KR102008367B1 - 인공지능 플래닝을 이용한 자율주행형 이동로봇과 이를 이용한 스마트 실내업무 관리 시스템 및 방법 - Google Patents

Abstract

본 발명은 인공지능 플래닝기술을 이용한 자율주행 지능형 이동로봇 및 앱과, 이 로봇 및 앱을 이용하여 가정 및 사업장내 필요한 곳으로 로봇을 이동시키고, 필요한 영상촬영을 하고, 이 영상을 인식하고, 인식된 결과에 따라 필요한 조치를 취하는 스마트 실내업무관리 시스템으로서, 운영준비상태에서 지능형 이동로봇에 탑재된 비전센서와 거리센서의 데이터를 입력으로 SLAM(Simultaneous Localization And Mapping) 기술을 사용하여 스마트 실내업무관리 서비스를 진행하기 위한 실내지도를 작성하고, 상시 운영상태에서 사용자가 실내업무관리 앱에 요청한 명령을 수행하기 위해 인공지능 플래닝 기술을 사용하여 지능형 이동로봇을 현재 위치에서 목적지로 장애물의 충돌없이 이동시키기는 에이전트 관리부; 지능형 이동로봇에 탑재된 카메라를 통해 입력된 영상데이터를 직접 실시간으로 입력받은후, 영상내 객체, 특히 사물객체를 인식하고 이 인식정보에 대한 테깅을 저장하는 객체정보 수집부; 및 사용자의 명령을 지능형 이동로봇에 전달하기 위해, 사용자의 스마트폰에 설치되어 GUI를 통해 텍스트, 음성, 실행명령중 하나 이상을 입력받아 지능형 이동로봇에게 명령을 전달하고, 지능형 이동로봇이 수행한 명령의 결과를 전달받아 사용자에게 전달해 주는 실내업무관리앱;을 포함한다. 따라서, 저렴하고도 간단한 구조로 효율적인 실내업무관리를 실현할 수 있다.

Description

인공지능 플래닝을 이용한 자율주행형 이동로봇과 이를 이용한 스마트 실내업무 관리 시스템 및 방법{SYSTEM AND METHOD FOR AUTONOMOUS MOBILE ROBOT USING A.I. PLANNING AND SMART INDOOR WORK MANAGEMENT SYSTEM USING THE ROBOT}

본 발명은 인공지능 플래닝기술을 이용한 자율주행 지능형 이동로봇 및 앱과, 이 로봇 및 앱을 이용하여 가정 및 사업장내 필요한 곳으로 로봇을 이동시키고, 필요한 영상촬영을 하고, 이 영상을 인식하고, 인식된 결과에 따라 필요한 조치를 취하는 스마트 실내업무 관리 시스템 및 방법에 관한 것이다. 또한 본 발명은 실내 측위기술을 대신하여 실내 지도를 로봇 스스로 작성하고 이 지도를 이용하여 로봇의 바퀴회전수를 카운팅 하는등의 로봇제어기술과 인공지능 플래닝 기술을 통하여 제어하게 되는 실내업무 관리 시스템 및 방법에 관한 것이다.

통상 가정이나 사업장내 필요한 영상확보를 위하여 여러 개의 카메라를 설치하고 이를 고정 혹은 각도변경 방식으로 활용하는 사례가 일반적이다. 하지만, 이보다 더욱 단일 카메라를 광범위하게 활용하는 방법은 카메라를 로봇에 탑재하여 원하는 장소, 원하는 각도로 이동시켜서 피사체를 최적의 조건에서 찍도록 하는 것이다. 이를 위해 카메라에 이동성을 부여할 필요성이 있는데, 지능형 이동 로봇상에 카메라를 탑재하고, 사용자가 원하는 피사체를 카메라가 고품질로 촬영하도록 하는 최적의 이동경로, 위치, 및 각도 조정을 이동로봇을 통하여 실현할 수 있다. 로봇의 이동은 주어진 공간에서의 GPS등 측위기술을 이용하면 편리하다. 하지만, GPS신호가 도달하기 어렵고 1~2m오차가 중요한 요소일 경우 실내 측위기술을 사용하여 구현할 수 있다. 예를 들면, WiFi를 이용하는 측위기술로서 특허문헌1(공개번호 10-2014-0055537(2014년05월09일 공개))이 제안되어 있으나 실내측위 기술은 미리 설정된 전자지도와 WiFi가 전제될 때 이용가능 하다는 점에서 미리 셋팅된 장비로 기술구현을 하기에는 설치구조가 상대적으로 복잡해지고 고가의 비용이 든다는 점에서 문제가 있다.

또한, 예를 들면, 특허문헌2(특허등록 10-1655760호, 공고일자: 2016년09월08일)의 경우와 같이, 기존의 스마트홈은 실내에 무선인터넷(WiFi) 환경을 구성하고, 제어하기 원하는 가전제품 또는 기기에 사물 인터넷(IoT: Internet Of Things) 환경을 구성하고, 사용자의 스마트폰에 설치된 사물 인터넷 운용프로그램을 통해 조정하기 원하는 가전제품을 제어하거나 또는 IoT 허브에 사람의 음성으로 '가습기 켜줘'와 같은 명령을 내림으로써 가습기의 전원을 온·오프(on/off) 하는 등의 동작을 실행할 수 있다. 이때 가전제품은 사물인터넷, 원격제어, 리모컨 등이 적용된 제품만이 세부적인 제어가 가능하고, 그렇지 않은 가전제품의 경우 단순한 전원 온·오프(on/off)의 기능 지원을 위해 전원 콘센트 앞단에 별도의 사물 인터넷이 적용된 멀티텝을 사용해야되는 형태였다.

그러나, 이 경우에도 WiFi 환경과 미리 설정된 제어 시스템 체계를 사용해야 하기 때문에 설치구조가 복잡해지고 규모가 커져서 시스템 구축비용이 과다해지고 관리해야할 개별 부품들의 개수가 많아서 고장율이 높아지고 유지보수에 많은 노동력과 비용이 든다는 점에서 역시 문제가 있다.

공개번호 10-2014-0055537(2014년05월09일 공개) 특허등록 10-1655760호(공고일자 2016년09월08일)

본 발명의 일실시예는 이러한 종래 기술의 문제를 해결하기 위한 것으로서, 가정이나 빌딩, 공장 내 등에서의 실내업무 관리에 있어서, 실내에 미리 셋팅된 무선통신 기반의 제어 시스템이 없어도 제어대상인 객체를 찾아가는 경로를 스스로 결정하여 해당 객체에 도달할 수 있고 그 객체의 상태를 인식하고 그 결과인 객체인식정보를 제어자의 스마트폰 앱에 전달할 수 있는 인공지능 플래닝을 이용한 자율주행형 이동로봇과 이를 이용한 스마트 실내업무관리 시스템 및 방법을 제공하는 것을 목적으로 한다.

본 발명의 다른 실시예는 실내 측위기술을 대신하여 실내 지도를 로봇 스스로 작성하고 이 지도를 이용하여 로봇의 바퀴회전수를 카운팅 하는 등의 로봇제어기술과 인공지능 플래닝 기술을 통하여 제어하게 되는 시스템 및 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명의 다른 실시예는 카메라 초점, 노출, 시간 등의 제어를 위하여 카메라와 컴퓨터가 일체화된 스마트폰과 같은 장치 및 앱을 사용하는 방법과 촬영된 피사체로부터 객체, 행위, 인물 등을 인식하고, 이를 피드백하여 보다 높은 인식률을 얻도록 상기 카메라의 위치 등을 재조정 하는 시스템 및 방법을 제공하는 것을 목적으로 한다. 이렇게 획득한 객체 정보를 스마트가사관리, 빌딩, 공장, 및 사무실과 유사한 사업장 등을 망라하는 실내업무 관리 목적에 응용할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 일양태는, 인공지능 플래닝기술을 이용한 자율주행 지능형 이동로봇 및 앱과, 이 로봇 및 앱을 이용하여 가정 및 사업장내 필요한 곳으로 로봇을 이동시키고, 필요한 영상촬영을 하고, 이 영상을 인식하고, 인식된 결과에 따라 필요한 조치를 취하는 스마트 실내업무관리 시스템으로서, 운영준비상태에서 상기 지능형 이동로봇에 탑재된 비전센서와 거리센서의 데이터를 입력으로 SLAM(Simultaneous Localization And Mapping) 기술을 사용하여 스마트 실내업무관리 서비스를 진행하기 위한 실내지도를 작성하고, 상시 운영상태에서 사용자가 실내업무관리 앱에 요청한 명령을 수행하기 위해 인공지능 플래닝 기술을 사용하여 지능형 이동로봇을 현재 위치에서 목적지로 장애물의 충돌없이 이동시키기는 에이전트 관리부; 상기 지능형 이동로봇에 탑재된 카메라를 통해 입력된 영상데이터를 직접 실시간으로 입력받은후, 영상내 객체, 특히 사물객체를 인식하고 이 인식정보에 대한 테깅을 저장하는 객체정보 수집부; 및 사용자의 명령을 상기 지능형 이동로봇에 전달하기 위해, 사용자의 스마트폰에 설치되어 GUI를 통해 텍스트, 음성, 실행명령중 하나 이상을 입력받아 지능형 이동로봇에게 명령을 전달하고, 지능형 이동로봇이 수행한 명령의 결과를 전달받아 사용자에게 전달해 주는 실내업무관리앱;을 포함하여 구성된다.

바람직하게는, 에이전트 관리부는 사용자의 스마트폰에 설치된 실내업무 관리앱으로부터 받은 명령을 분석하여 이동액션과 객체액션으로 구별하고 이동액션을 위치 제어부에 전달하고, 객체액션을 객체정보 수집부에 전달하여 명령을 수행하는 에이전트 제어부; 상기 에이전트 제어부로부터 전달 받은 이동액션을 기반으로 지능형 이동로봇이 특정위치로 이동할 수 있도록 오도메트리(Odometry)를 사용하여 지능형 이동로봇이 움직이는 이동량을 바퀴의 회전량을 가지고 측정하여 지도상의 지능형 이동로봇의 위치를 계산하고 사용자가의 명령한 목적지로 이동시키는 액션(Action)을 실행하는 위치 제어부; 및 상기 위치 제어부에서 얻은 지능형 이동 로봇의 위치값과 거리센서(Depth Camera)로 X-Y 평면상을 스캔하여 산출된 거리값을 입력으로 SLAM 기술을 사용하여 실내의 벽과 장애물이 구별되는 지도를 작성 및 갱신하는 액션(Action)을 실행하는 지도 관리부;를 포함하여 구성된다.

바람직하게는, 상기 위치 제어부는 지능형 이동로봇의 현재위치, 장애물의 위치, SLAM 기술을 사용하여 작성된 지도에서 점유영역(occupied area), 자유영역(free area), 미지영역(unknown area)에 대한 정보를 사용하여 이동할 수 있는 영역과 이동할 수 없는 영역을 계산한 코스트맵(Cost Map) 정보를 구성하는 액션(Action)을 실행하는 코스트맵 구성부; 및 코스트맵 정보를 기반으로 목적지까지의 최적 경로를 계산하고, 실시간으로 변경되는 장애물에 대한 정보를 거리센서를 통해 획득하여 지능형 로봇과 충돌 가능한 장애물을 회피하면서 목적지에 빠르게 도착할 수 있는 경로를 계산하는 액션(Action)을 실행하는 장애물 회피부;를 포함하여 구성된다.

바람직하게는, 상기 위치 제어부는 지능형 이동로봇이 움직이는 이동량을 바퀴 회전축의 회전량으로 추정항법(Dead-Reckoning)을 통해서 움직인 거리를 측정하여 위치계산을 하고, 관성측정장치(Inertial Measurement Unit)에서 측정한 관성정보를 적용하여 추정 항법의 오차를 보정해주는 액션(Action)을 포함하여 구성된다.

바람직하게는, 상기 객체정보 수집부는 객체정보 분석을 필요로하는 영상 스트리밍 데이타를 입력받기 위한 인터페이스로서, 지능형 이동로봇의 카메라로부터 입력된 영상스트리밍데이터를 입력받을 수 있는 영상입력부; 상기 영상입력부를 통해 입력된 영상에 포함된 객체들을 인식하기위해 HMM(Hidden Markov Model)이나, GMM(Gaussian Mixture Model), 딥뉴럴 네트워크나 LSTM(Long short-term memory) 중 어느 한 알고리즘을 이용하여 객체들에 테두리를 형성하여(엣지 작업을 수행하여) 객체들을 구분하고 일반객체들을 인식하는 액션(Action)을 실행하는 영상객체인식 엔진부; 및 상기 일반객체에 포함된 다양한 사물 및 사람에 대한 객체들중 시스템이 특정한 객체들만(특정사물 (가전제품, 가스 밸브, 보일러의 온도조절기, 조명), 사람 및 인상착의)을 인식하고 이를 분리해 내어 테깅하고 테깅 메타데이타를 저장하고, 저장된 상기 객체로부터 의미 있는 객체를 구별하는 액션(Action)을 실행하는 의미객체 인식부;를 포함하여 구성된다.

바람직하게는, 의미객체 인식부는 상기 일반객체로부터 건물의 실내에 나타나는 가전제품의 전원 온오프의 상태, 조명기기의 온·오프의 상태, 보일러의 온도조절기의 화면에 표시되는 온도 및 상태를 적어도 포함하는 사물객체를 구별하는 액션(Action)을 실행하는 사물 인식부; 상기 일반객체로부터 사람에 대한 인상착의로서 상/하의 색깔, 대략 키, 안경/가방/모자 착용여부 등의 사람객체를 구별하는 사람 인식부; 및 상기 사물객체에서 조명의 전원 온·오프, 보일러 온도 조절기의 화면에 표시되는 온도 변화를 적어도 포함하는 상태변화를 구별하는 액션(Action)을 실행하는 이벤트 분석부;를 포함하여 구성된다.

바람직하게는, 실내업무관리앱은 사용자와 입·출력정보를 제공할 수 있는 GUI를 제공하고 사용자의 입력인 텍스트, 음성, 실행명령중 하나 이상을 입력받으며, 텍스트, 음성 명령은 온톨로지 변환부에 전달하고 온톨로지 변환부가 추출한 실행명령, GUI로 입력된 실행명령을 지능형 이동로봇의 에이전트 관리부에 전달하고, 실행명령 수행결과를 전달받아 실내업무 관리앱의 GUI에 표시하는 실내업무 관리앱 관리부; 상기 실내업무 관리앱 관리부로부터 전달받은 텍스트, 음성 중 하나 이상을 입력으로 수집규칙을 적용하여 파싱하고 변환규칙을 적용하여 OWL 데이터를 생성관리하고 RDFS 수준의 지식 트리플로 변환하여 시멘틱웹 기술을 사용하여 사용자의 자연어를 컴퓨터가 처리할 수 있는 명령으로 변환하는 온토로리지 변환부;를 포함하여 구성된다.

바람직하게는, 실내업무 관리앱 관리부는 지능형 이동로봇의 에이전트 관리부로부터 실내지도와 실내지도에 위치한 사물객체, 지능형 이동로봇의 위치를 전달받아 실내업무 관리앱의 GUI에 표시하고, 사용자의 명령 입력과 명령 수행 결과를 전달받아 텍스트, 음성, 이미지, 동영상 중 하나 이상으로 GUI에 표시해주는 것을 포함하여 구성된다.

바람직하게는, 상기 에이전트 관리부는 도메인 플랜(Domain Plan)에 지능형 이동로봇의 이동과 관련된 움직임, 객체 수집과 관련된 움직임의 동작을 세부 액션(Action)들로 등록하고, 사용자 실행명령을 입력하면 실행명령을 해결하기 위한 세부액션들의 수행 절차를 인공지능 플래닝 기술을 통해 이동액션, 객체액션 중 하나로 생성하여, ROS 세부 액션(Action)들을 실행함으로써 실행명령을 자동으로 추론하고, 상기 이동액션과 객체액션은 도메인 플랜에 포함되어 있는 하나 이상의 액션(Action)들의 순차적인 실행 순서 정보를 갖는다.

바람직하게는, 액션(Action)은 액션이 실행되기 위한 사전조건, 액션 실행후 결과상태에 대한 정보를 포함하여 도메인 플랜에 포함된다.

바람직하게는, 실행명령은 선언적(Declarerative)으로 지능형 이동로봇의 현재상태와 목적상태에 대한 내용만 포함하고 있고, 어떻게 목적지로 찾아갈지는 에이전트 제어부가 플래닝하여 생성한 이동액션을 실행하여 최종 목적지 위치에 도달한다.

상기 목적을 실현하기 위한 본 발명의 다른 양태는 인공지능 플래닝 기술을 이용한 자율주행 지능형 이동로봇과, 이 로봇을 이용하여 가정 및 사업장내 필요한 곳으로 로봇을 이동시키고, 필요한 영상촬영을 하고, 이 영상을 인식하고, 인식된 결과에 따라 필요한 조치를 취하는 스마트 실내업무관리 방법으로서, 지능형 이동로봇이 운영준비상태에서 사용자가 실내업무 관리앱의 GUI를 통해 실행명령을 요청하거나 자율주행을 수행모드로 진행하면, 지능형 이동로봇의 에이전트 관리부가 이동로봇에 탑재된 비전센서와 거리센서의 데이터를 입력으로 하여 SLAM기술을 통해 스마트 실내업무관리 서비스를 진행하기 위한 실내지도를 작성하는 단계; 지능형 이동로봇이 상시운영상태에서 사용자가 실내업무 관리앱의 GUI를 통해 입력된 실행명령을 지능형 이동로봇의 에이전트 제어부가 이동액션과 객체액션으로 구별하고 이동액션을 입력으로 위치 제어부에서 액션(Action)을 실행하여 지능형 이동로봇을 목적지로 이동시키고, 객체액션을 입력으로 객체정보 수집부가 액션(Action)을 실행하여 객체의 종류 및 상태를 파악하여 그 결과를 실내업무 관리 앱에 실행결과를 전달하는 단계; 및 지능형 이동로봇이 운영중비상태에서 자율주행중 장애물을 발견하여 지능형 이동로봇의 에이전트 제어부가 객체 정보를 수집하라는 객체액션을 객체정보 수집부에 전달하고 객체정보 수집부는 액션(Action)을 실행하여 객체정보를 수집하거나, 실내지도가 작성된 상태에서 에이전트 제어부가 객체정보 수집부에 전달한 객체액션을 통해 객체의 상태를 구별하는 액션(Action)을 실행하는 단계;를 포함하여 구성된다.

바람직하게는, 지능형 이동로봇이 운영준비상태에서 사용자가 실내업무 관리앱을 통해 명령, 자율주행중 하나 이상을 사용하여 지능형 이동로봇의 에이전트 관리부가 이동로봇에 탑재된 비전센서와 거리센서의 데이터를 입력으로하여 SLAM 기술을 통해 스마트 실내업무관리 서비스를 진행하기 위한 실내지도를 작성하는 단계에서, 지능형 이동로봇의 위치 제어부가 자율주행을 수행할 때 오도메트리를 사용하여 지능형 이동로봇의 바퀴를 제어하고, 바퀴의 회전량을 측정하여 움직인 거리를 측정하는 추정항법(Dead-reckoning)을 통해 지능형 이동로봇의 위치를 판단하는 액션(Action)을 실행하는 단계; 지능형 이동로봇의 지도 관리부는 위치 제어부가 계산한 지능형 이동로봇의 위치 추정값과 거리센서(Deapth Camera)로 X-Y 평면상을 스캔하여 산출된 거리값을 입력으로 SLAM 기술을 사용하여 실내지도를 작성하는 액션(Action)을 실행하는 단계; 위치 제어부가 실시간으로 작성된 지도상에 점유영역(occupied area), 자유영역(free area), 미지영역(unknown area)에 대한 정보를 기반으로 이동할 수 있는 영역과 이동할 수 없는 영역을 계산한 코스트맵(Cost Map)정보를 구성하고 장애물을 회피하면서 자율주행을 진행하는 액션(Action)을 실행하는 단계;를 포함하여 구성된다.

바람직하게는, 지능형 이동로봇이 상시운영상태에서 사용자가 실내업무 관리앱의 GUI를 통해 입력된 실행명령을 지능형 이동로봇의 에이전트 제어부가 이동액션과 객체액션으로 구별하고 이동액션을 위치 제어부에서 인공지능 플래닝 기술로 실행하여 지능형 이동로봇을 목적지로 이동시키고, 객체액션을 객체정보 수집부가 수행하여 객체의 종류 및 상태를 파악하여 그 결과를 실내업무관리 앱에 실행결과를 전달하는 단계에서, 사용자가 실내업무 관리앱 GUI가 제공하는 실내지도상에서 텍스트, 음성, 실행명령중 하나 이상을 입력하여 '특정 객체인 가전제품(냉장고, 세탁기, 에어컨, 공기 청정기), 창문, 보일러 온도조절기, 도어락 있는 곳으로 이동하라', '가스밸브 잠금장치의 상태, 창문의 개폐 상태, 조명기기의 온·오프 상태를 확인하라'를 적어도 포함하는 명령들중 특정 명령을 내리는 단계; 사용자의 명령을 실내업무 관리앱 관리부는 실행명령으로 변환하여 지능형 이동로봇의 에이전트 제어부에 전달하고 에이전트 제어부가 구별한 이동액션을 위치제어부가 전달 코스트맵 정보를 기반으로 목적지까지의 최적경로를 다익스트라 알고리즘(Dijkstra Algorithm), A* 알고리즘, 전자기장 알고리즘 등을 사용하여 장애물을 회피하면서 지능형 이동로봇을 이동시키는 액션(Action)을 실행하는 단계;를 포함하여 구성된다.

바람직하게는, 지능형 이동로봇이 운영준비상태에서 자율주행중 장애물을 발견하여 지능형 이동로봇의 에이전트 제어부가 객체 정보를 수집하라는 객체액션을 객체정보 수집부에 전달하여 객체정보를 수집하거나, 상시운영상태에서 에이전트 관리부가 객체정보 수집부에 전달한 객체액션을 통해 객체의 상태를 구별하는 액션(Action)을 실행하는 단계에서, 에이전트 관리부가 전달한 장애물정보(장애물의 위치, 장애물 간의 거리)를 기반으로 지능형 이동로봇에 설치된 카메라를 제어하여 피사체를 원하는 각도로 촬영하고 객체정보 수집부를 통해 객체의 종류 및 상태를 구별하는 액션(Action)을 실행하는 단계; 사용자의 실행명령에서 에이전트 제어부가 구별한 객체액션 입력으로 객체정보 수집부는 인물객체의 인상착의, 사물객체의 상태값을 인식하여 일반객체의 상태를 구별하는 액션(Action)을 실행하는 단계; 에이전트 관리부가 실행명령을 실행한 결과를 사용자의 스마트폰의 앱의 GUI에 객체 촬영영상, 객체의 상태값 중 하나 이상을 그 결과로 표시하는 단계;를 포함하여 구성된다.

이상과 같은 구성에 따라서 본 발명은 다음과 같은 효과를 얻을 수 있다.

본 발명의 기술분야는 WIFI무선 인터넷이 설치된 건물의 실내에서 고가의 실내측위기술을 이용하지 않고 그 대안으로서 지능형 이동로봇에 중앙처리장치를 가지는 컴퓨터 기능을 하는 전자장치와 영상깊이 촬영이 가능한 카메라를 이용하여 지도를 작성하고 이를 이용하여 실내측위기술을 대신할 수 있다. 이렇게 이동성을 가지는 로봇상에 일반 카메라를 부착하면 실내 도처에 고정카메라를 설치하고 이것을 IoT 시스템으로 셋팅하는 기술을 사용하지 않을 수 있다. 즉, 본 발명의 경우, 이동성을 가지는 카메라를 확보하게 되며, 이 이동카메라를 통하여 사용자는 다양한 이점을 얻을 수 있다. 예를 들면, 영상내 객체 인식을 통하여 가스밸브 열려있는 상태와 같은 피사체 객체의 상태를 원격에서 파악한다든가, 노인들의 가정내 낙상과 같은 행위 인식을 한다든가, 얼굴인식 등을 통해 원하지 않는 방문객을 인식한다든가를 포함하고 있는 풍부한 내용 및 의미를 이해할 수 있게 된다. 즉, 카메라가 고정되었을 경우 주어진 공간내 다수 카메라를 설치함으로써 해결하였던 문제를 본 발명에서는 카메라에 이동성을 부여할 수 있는 바퀴달린 로봇을 부착함으로써 하나의 카메라로 다수 카메라를 통하여 확보할 수 있는 혜택을 얻을 수 있다.

본 발명에서 지능형 이동로봇은 실내를 이동하며 이 이동로봇에 탑재된 깊이 카메라의 비전센서와 거리센서의 입력데이터를 분석하고SLAM기술을 사용하여 지능형 이동로봇의 현재 위치를 추정하고, 로봇이 위치하는 주변 공간의 벽·사물등에 대한 영상 지도를 작성하여 상시 운영에 필요한 준비를 한다. 초기에 지능형 이동로봇은 사용자의 요청 또는 자율주행을 통해 실내의 여러 장소를 이동하면서 실내지도 작성을 스스로 진행하고, 실내지도 작성시 파악한 장애물의 위치정보와 지능형 이동로봇에 탑재된 비전센서와 거리센서의 데이터를 실시간으로 입력받아 실내에 위치한 장애물과의 충돌을 회피한다. 지능형 이동로봇은 탑재된 카메라로부터 상기 장애물의 실시간 영상을 입력받고, 입력 영상을 분석하여 상기 장애물의 객체정보를 구별한다.

실내지도가 준비가 되면 상시 운영상태로 전환되어 지능형 이동로봇이 이동할 때 직면하는 주변의 장애물을 인지하고 이를 회피할 수 있는 방법을 찾을 필요성이 있다. 이 필요성을 채워주는 고급 기술이 인공지능 플래닝 기술이다. 이 플래닝 기술의 도움으로 사용자는 로봇의 출발지에서 목적지로 이동하는 과정에서 생길수 있는 다수의 우회전·좌회전·직진 등의 단위이동행위들을 로봇스스로 알아서 수행하게 할 수 있으며 따라서 이부분을 무시하고 단순히 목적지만 지정해 줌으로써 로봇을 이동시킬 수 있다. 따라서, 다수의 카메라가 미리 셋팅된 상태에서 IoT 기반의 제어 시스템을 설치하지 않고도 단일 카메라 만으로 실내 전체에 대한 객체 정보 또는 객체 상태 정보를 용이하게 얻을 수 있고, 그에 따라서 적절한 객체 제어를 수행할 수 있는 기반을 제공할 수 있다.

사용자는 스마트폰에 설치된 '실내업무관리앱'을 사용하여 음성, 텍스트, GUI(Graphic User Interface)중 하나 이상의 입력을 통해 지능형 이동로봇에게 '이리와', '사용자의 위치로 이동하라', '특정 객체인 가전제품(냉장고, 세탁기, 에어컨, 공기 청정기), 창문, 보일러 온도조절기, 도어락 있는 곳으로 이동하라', '가스밸브 잠금장치의 상태, 창문의 개폐 상태, 조명기기의 온·오프 상태를 확인하라'와 같은 명령을 내리면, 지능형 이동로봇은 입력된 명령을 분석하여 인공지능 플래닝 기술을 사용하여 목적지까지의 최적경로를 계산하고 단위 이동행위를 로봇 스스로 수행하여 해당 위치로 이동한다.

특정 객체의 상태를 사용자에게 전달하기 위해 스마트폰의 카메라를 상기 특정 객체를 피사체로 하여 초점, 거리등을 맞추고 영상을 목적에 맞게 촬영하고, 이를 그 사물의 상태정보로 특정 객체의 영상, 특정 객체의 상태정보 중 하나 이상을 '실내업무관리앱'에게 전달하는 시스템 및 방법을 포함한다. 이때 지능형 이동로봇에 로봇팔이 설치되어 있다면 조명 스위치로 이동하여 전원을 온·오프(on/off) 동작을 실행할 수 있다. 따라서, 고비용으로 미리 셋팅된 다수의 카메라 또는 제어 체계가 없어도 적은 재원으로 가사나 사무업무 등의 실내업무를 이용자의 위치에 관계없이 실시간으로 타겟 객체의 상태를 파악할 수 있으므로, 이러한 실시간 객체 정보를 기반으로 실내업무를 저비용으로 효과적으로 제어할 수 있다.

본 발명에서는 인공지능 플래너라고 하는 플래닝 도구를 활용하여 로봇이 실내지도상에서 출발지에서 출발하여 목적지까지 찾아가는 최적의 경로를 생성해 내는데 활용한다. 이 경로찾기는 중간에 장애물이 있을경우 이 장애물을 회피하면서까지 최적의 경로를 찾아가는 것을 포함한다. 플래너는 인공지능의 논리적지식표현들을 이용하여 선언적 프로그래밍 (Declarative Programming)의 방식을 사용하는 기술이다. 선언적 프로그래밍이란 초기상태에서 출발하여 목적상태에 도달하도록 목표설정을 해 주면, 그 중간에 어떻게 초기상태에서 목적상태까지 도달할 수 있는가 에 관한 방법은 알려주지 않는 방식의 프로그램이다. 이 선언적 프로그램은 우리가 C, 파이슨 등 일반적인 컴퓨터 프로그램 언어에서 취하는 절차적 언어를 사용하는 방법과 크게 차이가 난다. 절차적 언어를 사용할 경우 초기상태에서 목적상태에 도달하기 위한 구체적인 방법 (예를들면, 우회전, 좌회전, 직진등)을 제시함으로써, 로봇이 이 절차를 단순 수행만 하면 목적상태에 도달하는 방식이다. 따라서, 이러한 절차적 언어를 사용할경우 로봇은 단순히 프로그래머가 시키는 절차를 수행하는 일 밖에 수행할 수 없게 된다. 하지만, 선언적 프로그래밍을 하는 플래너에서는 이런 절차는 플래너 스스로 찾기 때문에 프로그래머는 초기상태, 목적상태, 그리고, 이러한 환경을 설명하는 변수나 엑션들을 모두 논리언어로 표현하는 것이 크게 차이가 있다. 특히, 선언적 프로그래밍이 중심인 플래너가 PDDL이라는 언어를 사용하는 경우에는 문제자체를 기술하는 문제파일 (Problem File) 과 도메인을 기술하는 도메인파일(Domain File)이 있다. 이 도메인 파일에서는 프레디키트와 엑션들을 전부 기술한다. 도메인 파일에서 각 액션들은 수행하기 위해서 필요한 선행조건 (precondition)이 있고 결과 (effects)가 도출된다. 도메인 파일은 로봇이 초기상태에서 목적상태로 찾아가는 모든 경우의 수를 포함하는 경로를 모두 단순히 기술 해 두는것인데, 마치 검색트리에서 모든 트리의 가지를 모두 검색하는 전체 도메인을 설명하는것과 동일하다.

문제파일에서는 객체들과 초기상태와 목표상태를 기술한다. 즉, 상기 도메인 파일에서 기술된 엑션들을 수행하는데 필요한 전제조건을 만족하는 모든 경우의 수에서 목표상태에 도달가능한 최적의 경로를 휴리스틱을 이용해서 찾아내는 역할을 수행하는것이다. 따라서, 종래기술의 절차적 언어 방식의 경우는 프로그래머가 발생할 수 있는 모든 가능성을 상정해두고 프로그램을 해야 하고, 상정된 세부 액션이 없으면 장애가 있더라도 인공지능 로봇은 동작을 하지 않지만, 본 발명의 선언적 프로그램 방식은 간단하면서 돌발 장애에 대하여 능동적으로 대처할 수 있어 종래 미리 셋팅된 실내업무 시스템에 비하여 더욱 단순한 구조의 실내업무 시스템을 실현할 수 있다.

도 1은 본 발명의 일실시예에 따라서 인공지능 플래닝기술을 이용한 자율주행형 이동로봇과 이를 이용한 스마트 실내업무관리 시스템의 구성도.
도 2는 본 발명의 일실시예에 따른 지능형 이동로봇의 내부 구성도.
도 3은 본 발명의 일실시예에 따른 에이전트 관리부의 내부 구성도.
도 4는 본 발명의 일실시예에 따른 위치 제어부의 내부 구성도.
도 5는 본 발명의 일실시예에 따른 객체정보 수집부의 내부 구성도
도 6은 본 발명의 일실시예에 따른 의미객체 인식부의 내부 구성도
도 7은 본 발명의 일실시예에 따른 실내업무관리앱의 내부 구성도.
도 8은 본 발명의 일실시예에 따른 인공지능 플래닝기술을 이용한 자율주행형 이동로봇의 실행 방법을 도시한 흐름도.
도 9는 본 발명의 일실시예에 따른 지능형 이동로봇이 운영준비상태에서 실내지도를 작성하는 방법을 도시한 흐름도.
도 10은 본 발명의 일실시예에 따른 지능형 이동로봇이 상시운영상태에서 사용자의 명령을 실행하는 방법을 도시한 흐름도.
도 11은 본 발명의 일실시예에 따른 객체정보를 수집하는 방법을 도시한 흐름도.

본 발명의 실시예에 대하여 설명한다.

본 발명에서 사용하는 기술은 크게 나누어 다음 세가지 범주를 포함할 수 있다.

첫째, 본 발명의 로봇을 새로운 공간, 즉 가정이나 사업장과 같은 곳에서 처음 운용하는 운영준비상태 때는 서비스를 진행하기 위한 지도작성 단계가 필요하다. 실내에서 지능형 이동로봇이 스스로 자율주행 또는 사람의 도움을 받아 임의의 공간을 탐색한 촬영 영상을 분석하여 SLAM기술을 사용한 지도를 작성하고, 지능형 이동로봇은 바퀴의 회전량으로 자신이 움직인 거리를 측정하여 지도상의 현재 로봇의 위치를 스스로 계측하여 추정하고, 지능형 이동로봇에 탑재된 비전센서와 거리센서를 사용하여 SLAM기술을 통해 작성된 지도상에서 지능형 이동로봇 이동시 방해가 되는 장애물의 위치를 인식한다.

둘째, 상기 지능형 이동로봇에 의해 작성된 지도와 지능형 이동로봇의 위치정보에 의거하여 이동로봇의 상시 운영상태에 들어가게 된다. 상시 운영상태에서는 사용자가 지도상의 특정 위치로 이동하게 하기 위하여 스마트폰과 같은 기기상의 앱을 통하여 위치를 지정하고 “이리와”와 같은 명령을 로봇에게 내리면, 지능형 이동로봇이 현재의 위치에서 사용자가 명령한 목적지로 이동하기 위한 최적의 경로를 계산하고 사용자로부터 좌회전.우회전.직진과 같은 단위 이동행위에 대한 지시 없이 로봇 스스로 이를 추론하고 주행할 수 있음으로서, 사용자는 단순히 원하는 목적지만 지정하여도 로봇 스스로 출발지에서 목적지까지 이동할수 있는 일련의 단위 이동행위를 출력해주는 인공지능 플래닝기술이 사용된다. 따라서, 본 발명에서 지칭하는 플래닝 기술은 로봇 이 단위이동행위의 지시를 받지 않고 스스로 지도를 작성하고 최적 경로를 계산하여 사용자가 정해준 목적지로 이동할 수 있는 기능을 수행할 수 있는 기술을 의미한다.

셋째, 상기 지능형로봇에 탑재된 카메라를 이용하여 영상촬영·분석등의 응용분야이다. 지능형 이동로봇이 운영되는 실내에서 지능형 이동로봇이 사용자의 요청 또는 자율 주행을 통해 원하는 지점으로 이동후 그지점에서 지능형 이동로봇에 탑재된 카메라로 피사체를 촬영하는 기술과, 촬영된 영상을 입력받고 입력 영상을 실시간 혹은 비실시간으로 분석하여 사용자의 명령실행에 필요한 객체 정보를 알려주는 기술이다.

본 발명의 다른 실시예로서, 사용자가 스마트폰에 설치된 가사관리앱을 사용하여 음성, 텍스트, GUI(Graphic User Interface)중 하나 이상의 입력을 통해'특정 객체(가전제품, 창문, 보일러 온도조절기)가 있는 곳으로 이동하라', '가스밸브의 상태, 창문의 개폐 상태, 조명기기의 온·오프 상태를 확인하라'와 같은 명령을 내리면, 지능형 이동로봇은 입력된 명령을 분석하여 해당 위치로 이동하여, 특정 객체의 상태를 사용자에게 전달하기 위해 특정 객체를 촬영한 영상을 전송하거나 사용자가 요청한 명령의 실행 결과를 '가사관리앱'에 전달하는 시스템 및 방법을 포함할 수 있다.

이하, 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.

도 1을 참조하여 인공지능 플래닝기술을 이용한 지능형 이동로봇 영상촬영시스템과 실내업무관리앱을 사용한 스마트 실내업무관리 시스템의 구성 및 동작을 상세하게 설명한다.

본 발명은 임의의 실내공간에서 바퀴가 장착된 지능형 이동로봇(1000)이 비전센서, 거리센서, 카메라 중의 하나 이상을 포함한 인지센서(200)를 탑재하고 사용자(5000)가 스마트폰(2000)의 실내업무관리앱(2000a)에 요청한 명령을 무선통신(3000)을 통해 지능형 이동로봇에 전달하면, 지능형 이동로봇은 사용자(5000)의 명령을 실행하고 그 결과를 실내업무관리앱(2000a)의 GUI에 표시한다.

이때 비전센서에는 LRF, 초음파센서, 적외선센서 등이 사용되고, 거리센서에는 스테레오 카메라, 모노카메라, Kinect, Xtion등이 사용된다.

도 2에 도시된 바와 같이 지능형 이동로봇은 사용자의 스마트폰(2000)에 설치된 실내업무관리앱(2000a)의 GUI를 사용하여 사용자(5000)가 요청한 실행명령을 통신 제어부(1300)를 통해 에이전트 관리부(1100)가 전달받아 실행한다.

실내공간에서 처음 운행하는 운영준비상태에서 지능형 이동로봇의 에이전트 관리부(1100)는 사용자의 명령 또는 스케줄링된 명령실행을 통해 자율주행을 진행하고 지능형 이동로봇의 비전센서(200-1), 거리센서(200-2)중 하나 이상으로부터 입력된 데이터를 입출력 제어부(1400)로 입력받아 SLAM기술을 사용하여 실내지도를 작성하고 데이터 저장부(1500)를 사용하여 저장공간에 저장한다.

지능형 이동로봇(1000)이 자율주행모드로 실행중에 장애물을 발견하면 에이전트 관리부(1100)는 객체정보 수집부(1200)에 객체 정보를 수집하라는 객체액션을 내리고, 객체정보 수집부(1200)는 인지센서(200)중에서 비전센서(200-1), 카메라(200-3)중 하나이상을 제어하여 장애물에 대한 실시간 영상데이터를 입출력 제어부(1400)를 통해 입력받은 후 객체를 구별하기 위한 액션(Action) 프로세스를 진행한다.

사용자(5000)가 스마트폰(2000)의 실내업무관리앱(2100a)의 GUI를 통해 텍스트, 음성, 실행명령중 하나 이상을 입력하면, 실내업무관리앱(2100a)은는 지능형 이동로봇에 설치된ROS(robot operating system)가 처리할 수 있는 실행명령으로 변환하여 에이전트 관리부(1100)에 전달한다.

에이전트 관리부(1100)는 사용자(5000)가 요청한 '특정 객체(가전제품, 창문, 보일러 온도조절기)가 있는 곳으로 이동하라', '가스밸브의 상태, 창문의 개폐 상태, 조명기기의 온·오프 상태를 확인하라'와 같은 명령을 분석하여 이동액션과 객체액션으로 구분한후 객체액션을 객체정보 수집부(1200)에 전달하고, 지능형 이동로봇을 인공지능 플래닝 기술을 사용하여 객체액션을 실행할 객체로 이동시키는 액션(Action)을 실행하고 객체정보 수집부(1200)에서 분석한 객체의 상태정보(가스밸브의 상태, 창문의 개폐 상태, 조명기기의 온·오프상태)를 확인한 객체액션 수행 액션(Action) 결과를 통신 제어부(1300)를 통해 실내업무관리앱(2100a)에 전달한다.

이때 지능형 이동로봇(1000)이라 함은 탑재된 인지센서(200)를 통하여 확보된 영상 및 데이터를 압축, 분석, 저장, 인식 등을 처리할 수 있는 중앙처리장치, 메모리, 입출력 장치 등을 가지는 소형컴퓨터를 포함하는 용어로 사용되고 있으며, 인지센서(200)를 탑재하여 이동시킬 수 있는 기계장치에 ROS (Robot Operating System)와 인공 지능 플래닝 기술이 탑재되어 보다 정교하게 지능형으로 제어되는 특징을 가지고 있다.

상기 지능형 이동로봇(1000)에 탑재제된 인지센서(200)는 지능형 이동로봇에 부착된 짐벌(100)에 설치되어 피사체를 원하는 각도 높낮이 등을 조절하여 촬영 할 수 있고, 입출력 제어부(1400)에 의하여 정교하게 제어되는 특징을 가지고 있다.

이때 인공 지능플래닝 기술이라 함은 도메인 플랜(Domain Plan)에 지능형 이동로봇의 이동과 관련된 움직임, 객체 수집과 관련된 움직임의 동작을 세부 액션(Action)들로 등록하고, 에이전트 관리부(1100)에 사용자 실행명령을 입력하면 실행명령을 해결하기 위한 세부액션들의 수행 절차를 인공지능 플래닝기술을 통해 이동액션, 객체액션 중 하나로 생성하여, 사용자가 지능형 이동로봇의 실행방법에 대하여 세부적으로 신경쓰지 않더라도 ROS 세부 액션(Action)들을 실행함으로 실행명령을 해결하는 방법을 자동으로 추론하여 해결해 나가는 방법을 말한다.

이때 이동액션과 객체액션은 도메인 플랜에 포함되어 있는 하나 이상의 액션(Action)들의 순차적인 실행 순서 정보를 갖고 있다. 에이전트 제어부(1100)는 각각의 액션(Action)의 실행 결과에 대한 내용이 모니터링 하다가 이동액션 실행중에 예상치 못한 장애물을 발견하여 이동액션을 수행할 수 없는 경우 현재 위치에서 목적지까지 이동할 수 있는 이동액션을 새로 갱신하고, 새로 생성된 이동액션을 수행한다. 에이전트 제어부(1100)는 이러한 이동액션의 갱신과 수행을 반복하여 최종 목적지까지 지능형 이동로봇을 이동시킨다. 객체액션의 경우도 예외상황이 발생한 경우 에이전트 제어부(1100)는 객체액션을 새로 갱신하여 사용자의 실행명령을 처리하는 방법을 찾아낸다.

각각의 액션(Action)은 액션이 실행되기 위한 사전조건, 액션 실행후 결과상태에 대한 정보를 포함하여 도메인 플랜에 등록되고, 에이전트 관리부(1100)의 에이전트 제어부(1110)는 실행명령을 해결하기 위해 도메인 플랜에 등록된 액션들의 사전조건 결과상태를 기반으로 플래닝하여 이동액션, 객체액션중 하나 이상을 생성한다.

실행명령은 선언적(Declarerative)으로 지능형 이동로봇의 현재상태와 목적상태에 대한 내용만 포함하고 있다. 일예로 지능형 이동로봇의 이동을 위한 실행명령은 지능형 이동로봇의 현재위치와 목적지위치에 대한 내용을 포함하고 있고, 어떻게 목적지로 찾아갈지는 에이전트 제어부(1110)가 플래닝하여 생성한 이동액션을 실행하여 최종 목적지 위치에 도달한다.

에이전트 관리부(1000)의 에이전트 제어부(1110)는 사용자의 문제플랜의 해결을 하기 위한 세부 액션(Action)들을 의 그 세부액들의 집합인 이동액션과 객체액션으로 구별하고, 이 이동액션을 처리하기 위한 액션(Action)들을 순차적으로 수행하여 사용자 명령을 수행한다.

도메인 플랜에 포함되어 있는 액션(Action)들을 통해서 처리할 수 있는 문제와 관련하여 설명하면, 도 3에 도시된 바와 같이 에이전트 관리부(1100)는 실내업무관리앱(2100a)의 GUI를 통해 입력된 사용자(5000)의 실행명령을 전달받아 에이전트 제어부(1100)에 전달하고, 에이전트 제어부(1110)는 지도 관리부(1130)에서 관리하는 지능형 이동로봇의 현재 위치, 명령의 대상이 된 객체의 위치정보를 기반으로 상기 사용자(5000)의 명령을 이동액션과 객체액션으로 분석하여 지능형 이동로봇(1000)의 이동액션을 위치 제어부(1120)에 전달하고, 객체액션은 객체정보 수집부(1200)에 전달한다.

위치 제어부(1120)는 이동액션을 수행하기 위해 인공지능 플래닝 기술을 기반으로 오도메트리(Odometry)를 사용하여 지능형 이동로봇(1000)의 바퀴를 제어하고, 바퀴 회전축의 회전량을 측정하여 지능형 이동로봇(1000)의 현재 위치를 지도관리부(1130)에 전달하는 액션(Action)을 실행한다. 이때 바퀴 회전축의 회전량으로 움직인 거리를 측정하는 추정항법(Dead-reckoning)은 오차가 발생하기 때문에 위치 제어부(1120)는 IMU센서로 관성 보정을 획득하여 위치보상을 통해 오차를 줄여준다.

지도 관리부(1130)는 위치 제어부(1120)가 전달한 지능형 이동로봇(1000)의 위치 추정값과 거리센서(Depth Camera)로 X-Y평면상을 스캔하여 산출된 거리값을 입력으로 SLAM기술을 사용하여 데이터 저장부(1500)에 저장된 지도데이터를 갱신하고 장애물이 탐지되면 해당 정보를 에이전트 제어부(1110)에 전달하고 장애물의 위치를 지도상의 좌표에 업데이트하는 액션(Action)을 실행한다. 에이전트 제어부(1110)는 장애물에 대한 위치정보가 업데이트되면 객체정보 수집부(1200)에 장애물에 대한 객체정보를 수집하라는 객체액션을 전달하여 장애물에 대한 객체정보를 수집할 수 있다.

이때 SLAM(Simultaneous Localization And Mapping)이라 함은 지능형 이동로봇(1000)이 임의의 공간을 이동하면서 비전센서(200-1), 거리센서(200-2)중 하나 이상을 사용하여 주변의 장애물을 인지하고 현재 위치를 추정하는 동시에 지도를 작성하는 방법이다.

도 4에 도시된 바와 같이 코스트맵 구성부(1130)는 지도 관리부(1130)가 관리하는 지도상에 지능형 이동로봇의 현재 위치, 장애물의 위치 정보를 전달받아 지능형 이동로봇이 단위 이동행위를 수행하기 위한 지도상에 점유영역(occupied area), 자유영역(free area), 미지영역(unknown area)에 대한 정보를 기반으로 이동할 수 있는 영역과 이동할 수 없는 영역을 계산한 코스트맵(Cost Map)정보를 구성한다. 장애물 회피부(1122)는 구성된 코스트맵을 기반으로 목적지까지의 최적 경로를 다익스트라 알고로리즘(Dijkstra Algorithm), A* 알고리즘, 전자기장 알고리즘 등을 사용하여 지능형 이동로봇(1000)의 현재 위치에서 이동할 수 있는 최단거리 노드를 반복계산하여 최적의 경로를 찾는다. 이때 지도 관리부(1130)가 SLAM을 통해 생성된 지도는 실시간으로 변경되는 장애물에 대한 정보를 제공할 수 없음으로 목적지까지 도달하기 위해서는 비전센서(200-1), 거리센서(200-2) 중 하나이상에서 획득한 정보를 통해 DWA(dynamic Windows Approach)를 사용하여 실시간 장애물을 회피하면서 목적지까지 지능형 이동로봇(1000)을 이동시키는 액션(Action)을 수행한다.

도 5에 도시된 바와 같이 영상 입력부(1210)는 입출력 제어부(1400)를 통해 실시간으로 영상데이터를 스트리밍으로 입력받아 영상객체인식 엔진부(1220)에 전달한다.

영상객체인식 엔진부(1220)는 상기 영상데이터에 포함된 객체들을 인식하기위해 HMM(Hidden Markov Model)이나 GMM(Gaussian Mixture Model), 딥뉴럴네트워크나 LSTM(Long short-term memory)등의 알고리즘을 이용하여 객체들에 테두리(엣지)를 쳐서 일반객체들을 구분하고, 구분된 일반객체에서 사물객체, 사람객체를 구별하고 각각의 상태값들을 부여하는 액션(Action)을 수행한다.

의미객체 인식부(1230)는 상기 일반객체들에 포함된 다양한 사물객체와 사람객체들 중에서 지능형 지능로봇(1000)이 실내업무관리 명령을 실행하기 위한 타겟객체(여기에서는 특히 가전제품, 가스 밸브, 보일러의 온도조절기, 조명, 사용자, 사용자의 인상착의)를 인식하고 분리해내어 테깅하고 테깅 메타데이타를 데이터 저장부(1500)에 저장하는 액션(Action)을 수행한다.

도 6에 도시된 바와 같이 사물 인식부(1231)는 일반객체로부터 사물객체를 구별하고, 사물객체의 상태값(색상, 모양, 밝기, 표시된 텍스트)을 인식한다. 상기 사물객체들 중 특히 가사에 사용되는 가전제품, 가스 밸브, 보일러의 온도조절기, 조명 등을 타겟객체로 구별하고 타겟객체의 상태값을 통해 가전제품의 전원 온·오프의 상태, 조명기기의 온·오프의 상태, 보일러의 온도조절기의 화면에 표시되는 온도 및 상태를 구별하는 액션(Action)을 수행한다.

사람 인식부(1232)는 일반객체로부터 사람객체를 구별하고 사람에 대한 인상착의로서 상/하의 색깔, 대략 키, 안경/가방/모자 착용여부 등의 사람객체를 구별하는 액션(Action)을 수행한다. 상기 사물객들중 특히 실내업무관리앱(2000a)이 설치된 스마트폰(2000)을 보유한 사용자(5000)를 타겟객체로 구별한다. 이때 사용자(5000)를 타겟객체로 구분하는 방법은 스마트폰 이외에 사용자의 위치를 인식할 수 있는 센서들을 사용할 수도 있다.

이벤트 분석부(1233)는 사물객체 중에서 타겟객체로 구별된 조명의 전원 온·오프, 보일러 온도 조절기의 화면에 표시되는 온도 변화, 가전제품의 화면에 표시된 텍스트 또는 이미지의 변화와 같은 상태변화를 구별하고, 사용자(5000)의 위치 이동과 같은 상태변화를 모니터링 하는 액션(Action)을 수행한다.

도 7에 도시된 바와 같이 실내업무관리앱 관리부(2100)는 사용자(5000)의 스마트폰(2000)에 건물실내의 지도, 지도상에 지능형 이동로봇의 위치, 타겟객체의 위치중 하한나 이상의 정보를 표시하는 GUI(Graphic User Interface)를 제공하고, 사용자는 GUI의 버튼 클릭, 제스쳐, 텍스트 입력, 음성 입력중 하나 이상을 입출력 제어부(2300)를 통해 입력받으면, 실내업무관리앱 관리부(2100)는 버튼 클릭과 제스쳐를 실행명령으로 변환하고, 텍스트 입력과 음성입력은 온톨로지 변환부(2200)에 전달한다. 온톨로지 변환부는 자연어 처리 알고리즘을 통해 입력된 자연어를 ROS가 처리할 수 있는 실행명령으로 변환하여 실내업무관리앱 관리부(2100)에 전달하고 실내업무관리앱 관리부(2100)는 통신 제어부(2400)를 통해 지능형 이동로봇(1000)의 에이전트 관리부(1100)로 전달한다. 이때 GUI에 표시되는 지도에는 실내지도상의 벽, 장애물, 특정객체가 표시된다. 또한 사용자(5000)가 상기 GUI상에 타겟객체의 추가 삭제, 자율주행을 통한 지도작성 스케줄기능 등 지능형 이동로봇(1000)의 제어에 필요한 기능을 제공한다.

이하, 도 8 내지 도 11을 참조하여 본 발명에 따른 인공지능 플래닝기술을 이용한 자율주행형 이동로봇과 이를 이용한 스마트 실내업무관리 방법에 대하여 상세하게 설명한다.

도 8에 도시된 바와 같이, 지능형 이동로봇(1000)이 운영준비상태에서 사용자가 실내업무관리앱(2000a)의 GUI를 통해 실행명령을 요청하거나 자율주행모드를 진행하면, 지능형 이동로봇의 에이전트 관리부(1100)가 이동로봇에 탑재된 비전센서(200-1)와 거리센서(200-2)의 데이터를 입력으로하고을 SLAM기술을 사용하여 스마트 실내업무관리 서비스를 진행하기 위한 실내지도를 작성한다(S100).

도 9를 참조하여 보다 구체적으로 설명하면, 지능형 이동로봇(1000)의 위치 제어부(1120)가 자율주행을 수행할 때 오도메트리를 사용하여 지능형 이동로봇(1000)의 바퀴를 제어하고, 바퀴의 회전량을 측정하여 움직인 거리를 측정하는 추정항법(Dead-reckoning)을 통해 지능형 이동로봇의 위치를 판단하는 액션(Action)을 실행한다(S110).

이후, 지능형 이동로봇(1000)의 지도 관리부(1130)는 위치 제어부(1120)가 계산한 지능형 이동로봇(1000)의 위치 추정값과 거리센서(Deapth Camera)로 X-Y 평면상을 스캔하여 산출된 거리값을 입력으로 SLAM기술을 사용하여 실내지도를 작성하는 액션(Action)을 실행한다(S120).

위치 제어부(1120)가 실시간으로 작성된 지도상에 점유영역(occupied area), 자유영역(free area), 미지영역(unknown area)에 대한 정보를 기반으로 이동할 수 있는 영역과 이동할 수 없는 영역을 계산한 코스트맵(Cost Map)정보를 구성하고 장애물을 회피하면서 자율주행을 진행하는 액션(Action)을 실행한다(S130).

상술한 바와 같이, 지능형 이동로봇(1000)이 상시운영상태에서 사용자가 실내업무관리앱(2000a)의 GUI를 통해 입력된 실행명령을 지능형이동로봇(1000)의 에이전트 제어부(1110)가 이동액션과 객체액션으로 구별하고 이동액션을 위치 제어부(1120)에서 인공지능 플래닝 기술로 실행하여 지능형 이동로봇(1000)을 목적지로 이동시키고, 객체액션을 객체정보 수집부(1200)가 수행하고여 객체의 종류 및 상태를 파악하여 그 결과를 실내업무관리 앱(2000a)에 실행결과를 전달한다(S200).

도 10을 참조하여 보다 구체적으로 설명하면, 사용자가 실내업무관리 앱(2000a) GUI가 제공하는 실내지도상에서 텍스트, 음성, 실행명령중 하나 이상을 입력하여 예를 들면, '특정 객체인 가전제품(냉장고, 세탁기, 에어컨, 공기 청정기), 창문, 보일러 온도조절기, 도어락 있는 곳으로 이동하라', '가스밸브 잠금장치의 상태, 창문의 개폐 상태, 조명기기의 온·오프 상태를 확인하라'와 같은 명령을 내린다(S210).

사용자의 명령을 실내업무관리앱 관리부(2100)는 실행명령 변환하여 지능형 이동로봇(1000)의 에이전트 제어부(1110)에 전달하고 에이전트 제어부(1110)가 구별한 이동액션을 기초로 위치 제어부(1120)가 전달 코스트맵 정보를 기반으로 목적지까지의 최적경로를 다익스트라 알로리즘(Dijkstra Algorithm), A* 알고리즘, 전자기장 알고리즘 등을 사용하여 장애물을 회피하면서 지능형 이동로봇(1000)을 이동시키는 액션(Action)을 실행한다(S220).

상술한 바와 같이, 지능형 이동로봇(1000)이 운영중비상태에서 자율주행중 장애물을 발견하여 지능형 이동로봇(1000)의 에이전트 제어부(1110)가 객체 정보를 수집하라는 객체액션을 객체정보 수집부(1200)에 전달하여 객체정보를 수집하거나, 상시운영상태에서 에이전트 제어부(1110)가 객체정보 수집부(1200)에 전달한 객체액션을 통해 객체의 상태를 구별하는 액션(Action)을 실행한다(S300).

도 11을 참조하여 보다 구체적으로 설명하면, 에이전트 관리부(1100)가 전달한 장애물정보(장애물의 위치, 장애물간의 거리)를 기반으로 지능형 이동로봇(1000)에 설치된 카메라(200-3)를 제어하여 피사체를 원하는 각도로 촬영하고 객체정보 수집부(1200)를 통해 객체의 종류 및 상태를 구별하는 액션(Action)을 실행한다(S310).

사용자의 실행명령에서 에이전트 제어부(1110)가 구별한 객체액션을 통해 객체정보 수집부(1200)는 인물객체의 인상착의, 사물객체의 상태값을 인식하여 일반객체의 상태를 구별하는 액션(Action)을 실행한다(S320).

에이전트 관리부(1100)가 실행명령을 실행한 결과를 사용자의 스마트폰의 실내업무관리앱(2000a)의 GUI에 객체 촬영영상, 객체의 상태값 중 하나 이상을 그 결과로 표시한다(S330).

이상과 같이 본 발명의 바람직한 실시예에 대하여 설명하였지만 본 발명의 범위는 이에 한정되지 않으며 다음의 특허청구범위를 일탈하지 않고도 당분야의 통상의 기술자에 의해 여러 가지 변경 및 변형이 가능함은 자명한 것이므로, 이러한 변형 실시예는 모두 본 발명의 범위에 속한다고 할 수 있다.

100: 짐벌 200: 인지센서
1000: 지능형 이동로봇 1100: 에이전트 관리부
1110: 에이전트 제어부 1120: 위치 제어부
1121: 코스트맵 구성부 1122: 장애물 회피부
1130: 지도 관리부 1200: 객체정보 수집부
1210: 영상 입력부 1220: 영상객체인식 엔진부
1230: 의미객체 인식부 1231: 사물 인식부
1232: 사람 인식부 1233: 이벤트 분석부
1300: 통신 제어부 1400: 입출력 제어부
1500: 데이터 저장부 2000: 사용자 스마트폰
2100: 실내업무관리앱 관리부 2200: 온톨로지 변환부
2300: 입출력 제어부 2400: 통신제어부
2500: 데이터 저장부 3000: 무선통신
4000: 사용자 인터페이스 5000: 사용자

Claims (15)

1. 인공지능 플래닝기술을 이용한 자율주행 지능형 이동로봇 및 앱과, 이 로봇 및 앱을 이용하여 가정 및 사업장내 필요한 곳으로 로봇을 이동시키고, 필요한 영상촬영을 하고, 이 영상을 인식하고, 인식된 결과에 따라 필요한 조치를 취하는 스마트 실내업무관리 시스템으로서,
   운영준비상태에서 상기 지능형 이동로봇에 탑재된 비전센서와 거리센서의 데이터를 입력으로 SLAM(Simultaneous Localization And Mapping) 기술을 사용하여 스마트 실내업무관리 서비스를 진행하기 위한 실내지도를 작성하고, 상시 운영상태에서 사용자가 실내업무 관리앱에 요청한 명령을 수행하기 위해 인공지능 플래닝 기술을 사용하여 지능형 이동로봇을 현재 위치에서 목적지로 장애물의 충돌없이 이동시키기는 에이전트 관리부;
   상기 지능형 이동로봇에 탑재된 카메라를 통해 입력된 영상데이터를 직접 실시간으로 입력받은 후, 영상내 객체, 사물객체를 인식하고 이 인식정보에 대한 테깅을 저장하는 객체정보 수집부; 및
   사용자의 명령을 상기 지능형 이동로봇에 전달하기 위해, 사용자의 스마트폰에 설치되어 GUI를 통해 텍스트, 음성, 실행명령중 하나 이상을 입력받아 지능형 이동로봇에게 명령을 전달하고, 지능형 이동로봇이 수행한 명령의 결과를 전달받아 사용자에게 전달해 주는 실내업무 관리앱을 포함하고,
   상기 에이전트 관리부는,
   사용자의 스마트폰에 설치된 실내업무 관리앱으로부터 받은 명령을 분석하여 이동액션과 객체액션으로 구별하고 이동액션을 위치 제어부에 전달하고, 객체액션을 객체정보 수집부에 전달하여 명령을 수행하는 에이전트 제어부;
   상기 에이전트 제어부로부터 전달받은 이동액션을 기반으로 지능형 이동로봇이 특정위치로 이동할 수 있도록 오도메트리(Odometry)를 사용하여 지능형 이동로봇이 움직이는 이동량을 바퀴의 회전량을 가지고 측정하여 지도상의 지능형 이동로봇의 위치를 계산하고 사용자가 명령한 목적지로 이동시키는 액션(Action)을 실행하는 위치 제어부; 및
   상기 위치 제어부에서 얻은 지능형 이동 로봇의 위치값과 거리센서(Depth Camera)로 X-Y 평면상을 스캔하여 산출된 거리값을 입력으로 SLAM 기술을 사용하여 실내의 벽과 장애물이 구별되는 지도를 작성 및 갱신하는 액션(Action)을 실행하는 지도 관리부를 포함하고;
   상기 위치 제어부는
   지능형 이동로봇의 현재위치, 장애물의 위치, SLAM 기술을 사용하여 작성된 지도에서 점유영역(occupied area), 자유영역(free area), 미지영역(unknown area)에 대한 정보를 사용하여 이동할 수 있는 영역과 이동할 수 없는 영역을 계산한 코스트맵(Cost Map) 정보를 구성하는 액션(Action)을 실행하는 코스트맵 구성부; 및
   코스트맵 정보를 기반으로 목적지까지의 최적 경로를 계산하고, 실시간으로 변경되는 장애물에 대한 정보를 거리센서를 통해 획득하여 지능형 로봇과 충돌 가능한 장애물을 회피하면서 목적지에 빠르게 도착할 수 있는 경로를 계산하는 액션(Action)을 실행하는 장애물 회피부와,
   지능형 이동로봇이 움직이는 이동량을 바퀴 회전축의 회전량으로 추정항법(Dead-Reckoning)을 통해서 움직인 거리를 측정하여 위치계산을 하고, 관성측정장치(Inertial Measurement Unit)에서 측정한 관성정보를 적용하여 추정 항법의 오차를 보정해주는 액션(Action)을 포함하여 구성되는 것을 특징으로 하는 스마트 실내업무관리 시스템.
2. 삭제
3. 삭제
4. 삭제
5. 제 1항에 있어서,
   상기 객체정보 수집부는
   객체정보 분석을 필요로하는 영상 스트리밍 데이타를 입력받기 위한 인터페이스로서, 지능형 이동로봇의 카메라로부터 입력된 영상스트리밍데이터를 입력받을 수 있는 영상입력부;
   상기 영상입력부를 통해 입력된 영상에 포함된 객체들을 인식하기위해 HMM(Hidden Markov Model)이나, GMM(Gaussian Mixture Model), 딥뉴럴 네트워크나 LSTM(Long short-term memory) 중 어느 한 알고리즘을 이용하여 객체들에 테두리를 형성하여(엣지 작업을 수행하여) 객체들을 구분하고 일반객체들을 인식하는 액션(Action)을 실행하는 영상객체인식 엔진부; 및
   상기 일반객체에 포함된 다양한 사물 및 사람에 대한 객체들중 시스템이 특정한 객체들만(특정사물 (가전제품, 가스 밸브, 보일러의 온도조절기, 조명), 사람 및 인상착의)을 인식하고 이를 분리해 내어 테깅하고 테깅 메타데이타를 저장하고, 저장된 상기 객체로부터 의미 있는 객체를 구별하는 액션(Action)을 실행하는 의미객체 인식부를 포함하여 구성된 것을 특징으로 하는 스마트 실내업무관리 시스템.
6. 제 5항에 있어서,
   상기 의미객체 인식부는
   상기 일반객체로부터 건물의 실내에 나타나는 가전제품의 전원 온오프의 상태, 조명기기의 온·오프의 상태, 보일러의 온도조절기의 화면에 표시되는 온도 및 상태를 적어도 포함하는 사물객체를 구별하는 액션(Action)을 실행하는 사물 인식부;
   상기 일반객체로부터 사람에 대한 인상착의로서 상/하의 색깔, 대략 키, 안경/가방/모자 착용여부 등의 사람객체를 구별하는 사람 인식부; 및
   상기 사물객체에서 조명의 전원 온·오프, 보일러 온도 조절기의 화면에 표시되는 온도 변화를 적어도 포함하는 상태변화를 구별하는 액션(Action)을 실행하는 이벤트 분석부를 포함하여 구성된 것을 특징으로 하는 스마트 실내업무관리 시스템.
7. 제 1항에 있어서,
   상기 실내업무 관리앱은
   사용자와 입·출력정보를 제공할 수 있는 GUI를 제공하고 사용자의 입력인 텍스트, 음성, 실행명령중 하나 이상을 입력받으며, 텍스트, 음성 명령은 온톨로지 변환부에 전달하고 온톨로지 변환부가 추출한 실행명령, GUI로 입력된 실행명령을 지능형 이동로봇의 에이전트 관리부에 전달하고, 실행명령 수행결과를 전달받아 실내업무 관리앱의 GUI에 표시하는 실내업무 관리앱 관리부;
   상기 실내업무 관리앱 관리부로부터 전달받은 텍스트, 음성 중 하나 이상을 입력으로 수집규칙을 적용하여 파싱하고 변환규칙을 적용하여 OWL 데이터를 생성관리하고 RDFS 수준의 지식 트리플로 변환하여 시멘틱웹 기술을 사용하여 사용자의 자연어를 컴퓨터가 처리할 수 있는 명령으로 변환하는 온토로리지 변환부를 포함하여 구성된 것을 특징으로 하는 스마트 실내업무관리 시스템.
8. 제 7항에 있어서,
   상기 실내업무 관리앱 관리부는
   지능형 이동로봇의 에이전트 관리부로부터 실내지도와 실내지도에 위치한 사물객체, 지능형 이동로봇의 위치를 전달받아 실내업무 관리앱의 GUI에 표시하고, 사용자의 명령 입력과 명령 수행 결과를 전달받아 텍스트, 음성, 이미지, 동영상 중 하나 이상으로 GUI에 표시해주는 것을 포함하여 구성된 것을 특징으로 하는 스마트 실내업무관리 시스템.
9. 제1항에 있어서,
   상기 에이전트 관리부는 도메인 플랜(Domain Plan)에 지능형 이동로봇의 이동과 관련된 움직임, 객체 수집과 관련된 움직임의 동작을 세부 액션(Action)들로 등록하고, 사용자 실행명령을 입력하면 실행명령을 해결하기 위한 세부액션들의 수행 절차를 인공지능 플래닝 기술을 통해 이동액션, 객체액션 중 하나로 생성하여, ROS 세부 액션(Action)들을 실행함으로써 실행명령을 자동으로 추론하고,
   상기 이동액션과 객체액션은 도메인 플랜에 포함되어 있는 하나 이상의 액션(Action)들의 순차적인 실행 순서 정보를 갖는 것을 특징으로 하는 스마트 실내업무 관리 시스템.
10. 제9항에 있어서,
    액션(Action)은 액션이 실행되기 위한 사전조건, 액션 실행후 결과상태에 대한 정보를 포함하여 도메인 플랜에 포함되는 것을 특징으로 하는 스마트 실내업무 관리 시스템.
11. 제9항에 있어서,
    실행명령은 선언적(Declarerative)으로 지능형 이동로봇의 현재상태와 목적상태에 대한 내용만 포함하고 있고, 어떻게 목적지로 찾아갈지는 에이전트 제어부가 플래닝하여 생성한 이동액션을 실행하여 최종 목적지 위치에 도달하는 것을 특징으로 하는 스마트 실내업무 관리 시스템.
12. 인공지능 플래닝 기술을 이용한 자율주행 지능형 이동로봇과, 이 로봇을 이용하여 가정 및 사업장내 필요한 곳으로 로봇을 이동시키고, 필요한 영상촬영을 하고, 이 영상을 인식하고, 인식된 결과에 따라 필요한 조치를 취하는 스마트 실내업무관리 방법으로서,
    지능형 이동로봇이 운영준비상태에서 사용자가 실내업무 관리앱의 GUI를 통해 실행명령을 요청하거나 자율주행을 수행모드로 진행하면, 지능형 이동로봇의 에이전트 관리부가 이동로봇에 탑재된 비전센서와 거리센서의 데이터를 입력으로 하여 SLAM기술을 통해 스마트 실내업무관리 서비스를 진행하기 위한 실내지도를 작성하는 제1단계;
    지능형 이동로봇이 상시운영상태에서 사용자가 실내업무 관리앱의 GUI를 통해 입력된 실행명령을 지능형 이동로봇의 에이전트 제어부가 이동액션과 객체액션으로 구별하고 이동액션을 입력으로 위치 제어부에서 액션(Action)을 실행하여 지능형 이동로봇을 목적지로 이동시키고, 객체액션을 입력으로 객체정보 수집부가 액션(Action)을 실행하여 객체의 종류 및 상태를 파악하여 그 결과를 실내업무 관리 앱에 실행결과를 전달하는 제2단계; 및
    지능형 이동로봇이 운영중비상태에서 자율주행중 장애물을 발견하여 지능형 이동로봇의 에이전트 제어부가 객체 정보를 수집하라는 객체액션을 객체정보 수집부에 전달하고 객체정보 수집부는 액션(Action)을 실행하여 객체정보를 수집하거나, 실내지도가 작성된 상태에서 에이전트 제어부가 객체정보 수집부에 전달한 객체액션을 통해 객체의 상태를 구별하는 액션(Action)을 실행하는 제3단계를 포함하고;
    상기 제1단계에서,
    지능형 이동로봇의 위치 제어부가 자율주행을 수행할 때 오도메트리를 사용하여 지능형 이동로봇의 바퀴를 제어하고, 바퀴의 회전량을 측정하여 움직인 거리를 측정하는 추정항법(Dead-reckoning)을 통해 지능형 이동로봇의 위치를 판단하는 액션(Action)을 실행하는 단계;
    지능형 이동로봇의 지도 관리부는 위치 제어부가 계산한 지능형 이동로봇의 위치 추정값과 거리센서(Deapth Camera)로 X-Y 평면상을 스캔하여 산출된 거리값을 입력으로 SLAM 기술을 사용하여 실내지도를 작성하는 액션(Action)을 실행하는 단계;
    위치 제어부가 실시간으로 작성된 지도상에 점유영역(occupied area), 자유영역(free area), 미지영역(unknown area)에 대한 정보를 기반으로 이동할 수 있는 영역과 이동할 수 없는 영역을 계산한 코스트맵(Cost Map)정보를 구성하고 장애물을 회피하면서 자율주행을 진행하는 액션(Action)을 실행하는 단계를 포함하여 구성된 것을 특징으로 하는 스마트 실내업무관리 방법.
13. 삭제
14. 제 12항에 있어서,
    지능형 이동로봇이 상시운영상태에서 사용자가 실내업무 관리앱의 GUI를 통해 입력된 실행명령을 지능형 이동로봇의 에이전트 제어부가 이동액션과 객체액션으로 구별하고 이동액션을 위치 제어부에서 인공지능 플래닝 기술로 실행하여 지능형 이동로봇을 목적지로 이동시키고, 객체액션을 객체정보 수집부가 수행하여 객체의 종류 및 상태를 파악하여 그 결과를 실내업무관리 앱에 실행결과를 전달하는 단계에서,
    사용자가 실내업무 관리앱 GUI가 제공하는 실내지도상에서 텍스트, 음성, 실행명령중 하나 이상을 입력하여 '특정 객체인 가전제품(냉장고, 세탁기, 에어컨, 공기 청정기), 창문, 보일러 온도조절기, 도어락 있는 곳으로 이동하라', '가스밸브 잠금장치의 상태, 창문의 개폐 상태, 조명기기의 온·오프 상태를 확인하라'를 적어도 포함하는 명령들중 특정 명령을 내리는 단계;
    사용자의 명령을 실내업무 관리앱 관리부는 실행명령으로 변환하여 지능형 이동로봇의 에이전트 제어부에 전달하고 에이전트 제어부가 구별한 이동액션을 위치제어부가 전달 코스트맵 정보를 기반으로 목적지까지의 최적경로를 다익스트라 알고리즘(Dijkstra Algorithm), A* 알고리즘, 전자기장 알고리즘 등을 사용하여 장애물을 회피하면서 지능형 이동로봇을 이동시키는 액션(Action)을 실행하는 단계;
    를 포함하여 구성된 것을 특징으로 하는 스마트 실내업무관리 방법.
15. 제 12항에 있어서,
    지능형 이동로봇이 운영준비상태에서 자율주행중 장애물을 발견하여 지능형 이동로봇의 에이전트 제어부가 객체 정보를 수집하라는 객체액션을 객체정보 수집부에 전달하여 객체정보를 수집하거나, 상시운영상태에서 에이전트 관리부가 객체정보 수집부에 전달한 객체액션을 통해 객체의 상태를 구별하는 액션(Action)을 실행하는 단계에서,
    에이전트 관리부가 전달한 장애물정보(장애물의 위치, 장애물 간의 거리)를 기반으로 지능형 이동로봇에 설치된 카메라를 제어하여 피사체를 원하는 각도로 촬영하고 객체정보 수집부를 통해 객체의 종류 및 상태를 구별하는 액션(Action)을 실행하는 단계;
    사용자의 실행명령에서 에이전트 제어부가 구별한 객체액션 입력으로 객체정보 수집부는 인물객체의 인상착의, 사물객체의 상태값을 인식하여 일반객체의 상태를 구별하는 액션(Action)을 실행하는 단계;
    에이전트 관리부가 실행명령을 실행한 결과를 사용자의 스마트폰의 앱의 GUI에 객체 촬영영상, 객체의 상태값 중 하나 이상을 그 결과로 표시하는 단계;
    를 포함하여 구성된 것을 특징으로 하는 스마트 실내업무관리 방법.

Images