KR102669060B1 - 추적 대상의 위치를 추정하는 방법 및 장치 - Google Patents
추적 대상의 위치를 추정하는 방법 및 장치 Download PDFInfo
- Publication number
- KR102669060B1 KR102669060B1 KR1020230059339A KR20230059339A KR102669060B1 KR 102669060 B1 KR102669060 B1 KR 102669060B1 KR 1020230059339 A KR1020230059339 A KR 1020230059339A KR 20230059339 A KR20230059339 A KR 20230059339A KR 102669060 B1 KR102669060 B1 KR 102669060B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- location
- tracking target
- tracking
- robot
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000008859 change Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 210000000988 bone and bone Anatomy 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Child & Adolescent Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 일 실시예에 따른 로봇에 의해 케어 서비스를 제공할 추적 대상의 위치를 추정하는 방법은, 상기 케어 서비스를 제공하는 영역에 대한 지도 정보를 생성하는 단계; 입력받은 이미지 정보로부터 얼굴 정보, 신체 정보 및 의류 정보를 생성하고, 상기 얼굴 정보, 상기 신체 정보 및 상기 의류 정보 중 적어도 하나에 기초하여 상기 추적 대상을 식별하는 단계; 및 상기 지도 정보 상에서 상기 이미지 정보를 입력받은 위치 및 방향에 기초하여, 상기 지도 정보 상에서 상기 추적 대상의 위치를 특정하는 단계를 포함한다.
Description
본 발명은 지도 정보, 이미지 정보, 디바이스 신호 등에 기초하여 케어 서비스를 제공할 추적 대상의 위치를 추정하는 방법 및 장치에 관한 것이다.
각종 센서 및 인공지능 분야의 기술 발전, 노동력 부족 및 사회 노령화에 따라, 규정된 공간 내에서 이동하며 반복되는 작업을 수행하거나, 다양한 상황에 맞는 서비스를 제공하거나, 고령자 등에 맞춤형 케어 서비스를 제공하기 위한 로봇 기술이 주목받고 있다.
예를 들어, 고령자에 케어 서비스를 제공하는 로봇의 경우 케어 대상자가 생활하는 활동 공간 내에서 이동하면서, 케어 대상자에게 각종 생활 알림, 복약 알림, 인지 훈련을 포함한 각종 컨텐츠 제공, 이상 활동 및 응급 상황 발생 모니터링 및 신고 등 종합적인 기능을 제공할 수 있다.
이러한 케어 서비스 제공을 포함한 대인 서비스를 제공하는 로봇에 있어, 활동 공간을 인지하여 이동하면서 해당 공간 내에서 서비스 대상자를 신속하고 정확하게 식별하고 그 위치를 파악하는 기반 기술이 요구된다.
케어 서비스를 제공하는 영역에 대한 지도 정보와 이미지 정보에 기초하여 공간 내에서 케어 서비스를 제공할 추적 대상을 식별하고 추적 대상의 위치를 지도 정보 상에 특정할 수 있는 추적 대상의 위치를 추정하는 방법 및 장치를 제공하고자 한다.
지도 정보와 추적 대상이 착용 또는 소지한 디바이스로부터의 신호강도지표에 기초하여 추적 대상의 위치를 지도 정보 상에 특정할 수 있는 추적 대상의 위치를 추정하는 방법 및 장치를 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예에 따른 로봇에 의해 케어 서비스를 제공할 추적 대상의 위치를 추정하는 방법은, 상기 케어 서비스를 제공하는 영역에 대한 지도 정보를 생성하는 단계; 입력받은 이미지 정보로부터 얼굴 정보, 신체 정보 및 의류 정보를 생성하고, 상기 얼굴 정보, 상기 신체 정보 및 상기 의류 정보 중 적어도 하나에 기초하여 상기 추적 대상을 식별하는 단계; 및 상기 지도 정보 상에서 상기 이미지 정보를 입력받은 위치 및 방향에 기초하여, 상기 지도 정보 상에서 상기 추적 대상의 위치를 특정하는 단계를 포함한다.
본 발명의 일 실시예에 따른 케어 서비스를 제공할 추적 대상의 위치를 추정하는 장치는, 상기 케어 서비스를 제공하는 영역에 대한 지도 정보를 생성하는 지도 정보 생성부; 입력받은 이미지 정보로부터 얼굴 정보, 신체 정보 및 의류 정보를 생성하고, 상기 얼굴 정보, 상기 신체 정보 및 상기 의류 정보 중 적어도 하나에 기초하여 추적 대상을 식별하는 추적 대상 식별부; 및 상기 지도 정보 상에서 상기 이미지 정보를 입력받은 위치 및 방향에 기초하여, 상기 지도 정보 상에서 상기 추적 대상의 위치를 특정하는 위치 특정부를 포함한다.
또한, 본 발명의 다른 실시예에 따른 로봇에 의해 케어 서비스를 제공할 추적 대상의 위치를 추정하는 방법은, 상기 케어 서비스를 제공하는 영역에 대한 지도 정보에 기초하여 상기 추적 대상의 위치 후보군을 생성하는 단계; 상기 지도 정보 상의 복수의 지점에서 상기 추적 대상이 착용 또는 소지하고 있는 디바이스의 신호강도지표를 측정하는 단계; 상기 복수의 지점 간 위치 변화와 상기 신호강도지표의 변화에 기초하여 상기 위치 후보군을 갱신하는 단계; 및 갱신된 상기 위치 후보군에 기초하여 상기 지도 정보 상에서 상기 추적 대상의 위치를 특정하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 케어 서비스를 제공할 추적 대상의 위치를 추정하는 장치는, 상기 케어 서비스를 제공하는 영역에 대한 지도 정보에 기초하여 상기 추적 대상의 위치 후보군을 생성하는 위치 후보군 생성부; 상기 지도 정보 상의 복수의 지점에서 상기 추적 대상이 착용 또는 소지하고 있는 디바이스의 신호강도지표를 측정하는 신호강도지표 측정부; 상기 복수의 지점 간 위치 변화와 상기 신호강도지표의 변화에 기초하여 상기 위치 후보군을 갱신하는 위치 후보군 갱신부; 및 갱신된 상기 위치 후보군에 기초하여 상기 지도 정보 상에서 상기 측정 대상의 위치를 특정하는 위치 특정부를 포함한다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 로봇이 케어 서비스를 제공하는 영역에 대한 지도 정보와 이미지 정보에 기초하여 공간 내에서 케어 서비스를 제공할 추적 대상을 식별하고 그 위치를 지도 정보 상에 특정함으로써 추적 대상의 위치를 정확히 추정할 수 있다. 특히, 얼굴 정보, 신체 정보 및 의류 정보를 종합하여 추적 대상을 식별함으로써 다양한 상황에서 식별 및 위치 추정의 신뢰도를 확보할 수 있다.
또한, 로봇이 케어 서비스를 제공하는 영역에 대한 지도 정보와 추적 대상이 착용 또는 소지한 디바이스로부터의 신호강도지표에 기초하여 공간 내에서 추적 대상의 위치를 지도 정보 상에 특정함으로써 추적 대상의 위치를 정확히 추정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 케어 서비스 제공 시스템의 구성도이다.
도 2은 본 발명의 일 실시예에 따른 추적 대상의 위치를 추정하는 방법의 순서도이다.
도 3는 본 발명의 일 실시예에서 추적 대상을 식별하는 단계를 구체적으로 나타낸 도면이다.
도 4은 본 발명의 일 실시예에 따라 추적 대상인 고령자가 거주하는 공간에서 로봇에 의해 추적 대상의 위치를 추정하는 과정을 예시적으로 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 추적 대상의 위치를 추정하는 장치의 구성도이다.
도 6는 본 발명의 다른 실시예에 따른 추적 대상의 위치를 추정하는 방법의 순서도이다.
도 7은 본 발명의 다른 실시예에 따라 추적 대상인 고령자가 거주하는 공간에서 로봇에 의해 신호강도지표를 측정하여 추적 대상의 위치 후보군을 갱신하는 과정을 예시적으로 나타낸 도면이다.
도 8은 본 발명의 다른 실시예에 따른 추적 대상의 위치를 추정하는 장치의 구성도이다.
도 2은 본 발명의 일 실시예에 따른 추적 대상의 위치를 추정하는 방법의 순서도이다.
도 3는 본 발명의 일 실시예에서 추적 대상을 식별하는 단계를 구체적으로 나타낸 도면이다.
도 4은 본 발명의 일 실시예에 따라 추적 대상인 고령자가 거주하는 공간에서 로봇에 의해 추적 대상의 위치를 추정하는 과정을 예시적으로 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 추적 대상의 위치를 추정하는 장치의 구성도이다.
도 6는 본 발명의 다른 실시예에 따른 추적 대상의 위치를 추정하는 방법의 순서도이다.
도 7은 본 발명의 다른 실시예에 따라 추적 대상인 고령자가 거주하는 공간에서 로봇에 의해 신호강도지표를 측정하여 추적 대상의 위치 후보군을 갱신하는 과정을 예시적으로 나타낸 도면이다.
도 8은 본 발명의 다른 실시예에 따른 추적 대상의 위치를 추정하는 장치의 구성도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 구성이 개재되어 있거나, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
본 발명에 따른 추적 대상의 위치를 추정하는 방법은, 실내 공간 등에서 이동하면서 서비스를 제공하는 로봇 또는 로봇과 연결된 서버나 단말 및 이들의 연계에 의해 실시될 수 있는 것으로, 추적 대상은 실내 공간 등에서 활동 또는 거주하는 케어 서비스를 제공받을 고령자 또는 장애인 등일 수 있으나, 반드시 이에 한정되지 않는다.
또한, 본 발명에서 케어 서비스란 추적 대상인 케어 대상자에게 각종 생활 알림, 복약 알림, 인지 훈련을 포함한 각종 컨텐츠 제공, 이상 활동 및 응급 상황 발생 모니터링 및 신고 등의 서비스를 제공하는 것을 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 케어 서비스 제공 시스템의 구성도이다.
도 1을 참조하면, 케어 서비스 제공 시스템(1)은 로봇(100)를 포함할 수 있다.
도 1에 도시된 바와 같이, 로봇(100)과 서버(200)는 동시에 또는 시간 간격을 두고 네트워크로 연결될 수 있다. 또한, 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
로봇(100)은 내장된 전원 또는 외부의 전원에 기초하여 동작하며 사용자(10)와 교감하거나 상호작용하기 위한 로봇으로 예시될 수 있다. 보다 구체적으로, 로봇(100)은 바디부(110), 이동부(120)를 포함할 수 있으며, 기타 로봇의 구동을 위해 필요한 부가적인 구성들 역시 더 포함할 수 있다.
바디부(110)는 로봇(100)의 주요 부품들, 예를 들어 CPU(미도시), 배터리(미도시), 통신부(117) 등과 같은 부품들이 내부에 실장 또는 기타 다른 부품들이 외부에 연결되는 중심 구성으로서, 사용자를 촬영하거나 사용자의 음성이나 주변 소리를 센싱하여 관련 정보를 생성하기 위한 수집부(111)를, 이미지 또는 텍스트를 출력하는 디스플레이부(115), 음성을 출력하는 스피커부(미도시)를 더 포함할 수 있다.
수집부(111)는 카메라와 같은 시각 센서를 통해 사용자(10) 또는 사용자 주변의 환경을 촬영할 수 있다. 여기서 시각 센서에 포함되는 구성은 일반적인 RGB 픽셀의 촬영 정보를 생성하는 카메라, 어두운 환경에서 대상을 촬영하기 위한 적외선 카메라, 촬영 대상과의 거리에 대한 깊이 정보를 생성할 수 있는 깊이 카메라와 같은 촬영 장치들이 예시될 수 있다.
또한, 수집부(111)는 마이크와 같은 소리 센서를 통해 사용자(10) 또는 사용자 주변의 환경의 소리를 수신할 수 있다. 여기서 사용자의 음성이나 주변 소리는 사용자와의 인터렉션에 있어서 사용자 입력으로 취급되는 중요한 정보이기에, 마이크가 배치되는 위치는 사용자의 음성이나 주변 소리를 수신하는데 방해되는 요소가 없는 위치에 배치하는 것이 바람직하다. 예를 들어, 바디부(110) 전면에 형성된 스피커부의 홀(Hole) 바로 후면에 배치한다면, 사용자의 음성이나 주변 소리를 직접적으로 수신할 수 있을 것이다.
한편, 마이크는 후술할 스피커부와 별도로 배치된 독립된 구성이 아니라, 스피커부와 일체로 형성할 수도 있다. 이 경우, 앞서 설명한 마이크가 배치되는 위치에 대한 사항은 고려할 필요가 없을 것이며, 바디부(110) 내부의 공간 활용성 역시 양호해질 수 있을 것이다.
또한, 수집부(111)는 후술할 통신부를 통해 다른 스마트 디바이스로부터 생성되는 디바이스 정보를 수신할 수 있으며, 이에 대한 구체적인 설명은 후술하기로 한다.
이 외에도 수집부(111)는 로봇(100) 내 정보(특히, 케어 서비스 제공 장치의 구동상태), 케어 서비스 제공 장치를 둘러싼 주변 환경 정보, 위치 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다.
예를 들어, 수집부(111)는 상기한 센서들 이외에 근접 센서, 레이저 스캐너(라이다 센서), RGBD 센서, 지자기 센서, 초음파 센서, 관성 센서, UWB 센서 등을 구비할 수 있다.
디스플레이부(115)는 일종의 액정 표시 장치로서, 소정 정보의 텍스트, 이미지 및 동영상 중 어느 하나 이상이 출력될 수 있다. 여기서 소정 정보는 통신 상태 강도 정보, 배터리 잔량 정보, 무선 인터넷 ON/OFF정보 등과 같은 로봇(100)의 상태 정보를 포함할 수 있다. 디스플레이부(115)는 후술할 로봇(100)이 상황 정보에 대응하여 표시하는 미디어 콘텐츠가 표시될 수 있고, 후술할 로봇(100)이 스피커부를 통해 출력하는 음성을 텍스트로 변환한 정보도 표시할 수 있다. 예를 들어, 로봇(100)가 상황 인식을 통해 사용자에게 적절한 서비스를 제공하는 과정에서 기상 알람(Alarm)을 설정하였다면, 이에 대한 텍스트가 "오전 7:00 기상"으로 디스플레이부(115)에 출력될 수 있다.
이러한 디스플레이부(115)에 출력되는 텍스트는 앞서 설명한 정보 중 어느 하나가 반복하여 출력될 수도 있으나, 복수 개의 정보가 번갈아가며 출력되거나, 특정 정보가 디폴트 설정되어 출력될 수도 있다. 예를 들어, 통신 상태 강도 정보, 배터리 잔량 정보, 무선 인터넷 ON/OFF 정보 등과 같은 로봇(100)의 상태 정보는 디스플레이부(115)의 상단 또는 하단에 작은 텍스트로 디폴트 설정되어 지속적으로 출력되고, 기타 다른 정보 들이 번갈아가며 출력될 수 있다.
한편, 디스플레이부(115)는 이미지 및 동영상 중 어느 하나 이상을 출력할 수 있다고 한 바, 이 경우 디스플레이부(115)는 시안성 향상을 위해 텍스트만 출력하는 경우보다 고해상도임과 동시에 큰 사이즈의 액정 표시 장치로 구현하는 것이 바람직하다고 할 것이며, 도 1의 디스플레이부(115)는 예시적인 것으로 보아야 할 것이다.
스피커부는 음성을 포함하는 다양한 소리를 출력할 수 있다. 여기서 음성은 사용자와 인터렉션을 하기 위해 로봇(100)이 출력하는 청각적인 정보에 해당하는 것으로서, 사용자의 단말(미도시)에 설치된 미디어 전용 어플리케이션 또는 로봇(100)에 대한 직접적인 제어를 통해 음성의 종류를 다양하게 설정할 수 있다.
예를 들어, 스피커부를 통해 출력하는 음성의 종류를 남성 목소리, 여성 목소리, 성인 목소리 및 아동 목소리 등과 같이 다양한 목소리 중 어느 하나로 선택할 수 있으며, 한국어, 영어, 일본어 및 불어 등과 같이 언어의 종류까지 선택할 수 있다.
한편, 스피커부가 음성을 출력하기는 하나, 통상적인 스피커가 수행하는 역할, 예를 들어 보편적인 소리출력을 수행하지 않는 것이 아니며, 이 역시 동일하게 수행할 수 있다. 예를 들어, 사용자가 로봇(100)을 통해 음악을 감상하고 싶은 경우, 스피커부를 통해 음악을 출력할 수 있음은 물론이며, 디스플레이부(115)를 통해 동영상을 출력하는 경우, 해당 동영상과 동기화되는 소리는 스피커부를 통해 출력될 수 있다.
이동부(120)는 로봇(100)를 이동시킬 수 있다. 보다 구체적으로, 이동부(120)는 제어 장치의 이동 명령에 따라 주행과 관련하여 로봇의 바디부(110)가 특정 공간 내를 이동할 수 있는 수단을 제공한다. 보다 구체적으로, 이동부는 모터 및 복수의 바퀴를 포함하며, 이들이 조합되어, 로봇(100)을 주행, 방향 전환, 회전시키는 기능을 수행할 수 있다.
상기한 바디부(110) 및 이동부(120)에 의해 수행되는 기능들은 바디부 내의 제어부(미도시)에서 출력되는 제어 신호에 의해 수행되나, 설명의 편의를 위해 이하 로봇(100)에 의해 수행되는 것으로 설명을 이어가도록 한다.
도 2은 본 발명의 일 실시예에 따른 추적 대상의 위치를 추정하는 방법의 순서도이다. 도 3는 본 발명의 일 실시예에서 추적 대상을 식별하는 단계를 구체적으로 나타낸 도면이다. 또한, 도 4은 본 발명의 일 실시예에 따라 추적 대상인 고령자가 거주하는 공간에서 로봇에 의해 추적 대상의 위치를 추적하는 과정을 예시적으로 나타낸 도면이다.
도 2을 참조하면, 본 실시예에 따른 추적 대상의 위치를 추정하는 방법은, 지도 정보를 생성하는 단계(S110)와, 추적 대상을 식별하는 단계(S120)와, 지도 정보 상에서 추적 대상의 위치를 특정하는 단계(S150)를 포함한다. 또한, 본 실시예의 방법은 추적 대상의 위치 변화를 추적하는 단계(S130)와, 추적 대상의 위치를 하나로 특정하는 단계(S140)와, 위치 패턴 정보를 생성 또는 업데이트하는 단계(S160)를 더 포함할 수 있다.
지도 정보를 생성하는 단계(S110)에서, 케어 서비스를 제공하는 영역에 대한 지도 정보가 생성될 수 있다. 구체적으로, 로봇 등에 장착된 깊이 카메라 또는 라이다 등의 각종 센서에 의해 입력받은 정보에 기초하여 지도 정보가 생성될 수 있다. 이와 달리, 외부 장치 등으로부터 지도 데이터를 전달받음으로써 본 실시예를 위한 지도 정보가 생성될 수도 있다.
추적 대상을 식별하는 단계(S120)는 추적 대상의 신원을 정확하게 감지하기 위한 것으로, 본 실시예에 따라 입력받은 이미지 정보로부터 얼굴 정보, 신체 정보 및 의류 정보를 생성하고, 이들 정보 중 적어도 어느 하나에 기초하여 추적 대상을 식별하도록 수행된다.
여기서, 이미지 정보는 카메라에 의해 촬영된 영상일 수 있고, 카메라는 전술한 로봇에 장착된 것일 수 있다.
로봇의 카메라에서 촬영된 영상에서 움직임이 감지되는 경우, 예를 들면, 도 4에서 추적 대상이 방 안에서 나와 로봇과 같은 공간(도 4에서 거실)에 존재하거나 이동하기 시작하는 경우 추적 대상을 식별하는 단계(S120)가 개시될 수 있다.
이하에서는 도 3를 참조하여 얼굴 정보, 신체 정보 및 의류 정보 각각에 기초하여 추적 대상을 식별하는 단계(S120)에 대하여 구체적으로 설명한다. 여기서, 도 4에 나타낸 것과 같이, 얼굴 정보, 신체 정보, 의류 정보는 추적 대상에 있어 적어도 일부 영역에 대한 정보일 수 있다.
먼저, 얼굴 정보에 기초하여 추적 대상을 식별하는 단계로서, 추적 대상을 식별하는 단계(S120)는, 바운딩 박스(bounding box)를 추출하는 단계(S121)와, 추적 대상의 얼굴을 식별하는 단계(S122)를 포함할 수 있다.
바운딩 박스를 추출하는 단계(S121)에서는, 얼굴 감지 모델에 의해 입력받은 이미지 정보로부터 사람의 얼굴에 대한 바운딩 박스가 추출될 수 있다. 얼굴 감지 모델은 합성곱신경망(CNN) 기반의 감지 모델이 적용될 수 있고, 예를 들어, RCNN, Fast RCNN, YOLO, Single Shot Detector (SSD), Retina-Net, Pyramid Net 등의 물체 감지 알고리즘이 활용될 수 있다.
추적 대상의 얼굴을 식별하는 단계(S122)에서는, 신원 인식 모델에 의해 추출된 바운딩 박스의 이미지로부터 특징점이 추출되어 데이터베이스에 저장될 수 있고, 바운딩 박스의 이미지로부터 추출된 특징점을 데이터베이스에 기 저장된 특징점과 비교함으로써 추적 대상의 얼굴이 식별될 수 있다. 신원 인식 모델은 합성곱신경망 기반의 모델이 적용될 수 있고, 예를 들어, VGG-Face, FaceNet, OpenFace, DeepFace, ArcFace 등의 알고리즘이 활용될 수 있다.
다음으로, 신체 정보에 기초하여 추적 대상을 식별하는 단계로서, 추적 대상을 식별하는 단계(S120)는, 골격 정보를 추출하는 단계(S123)와, 추적 대상의 신체를 식별하는 단계(S124)를 포함할 수 있다.
골격 정보를 추출하는 단계(S123)에서는, 골격 정보 추출(Pose Estimation) 모델에 의하여 이미지 정보에서 관절의 위치를 포함하는 골격 정보가 추출될 수 있다.
추적 대상의 신체를 식별하는 단계(S124)에서는, 골격 정보에 기초하여 추적 대상의 키, 뼈 길이, 신체 비율 중 적어도 하나가 계산되어 데이터베이스에 저장될 수 있고, 계산된 값이 이미 데이터베이스에 저장된 값과 비교됨으로써 추적 대상의 신체가 식별될 수 있다.
신체 정보에 기초하여 추적 대상을 식별하는 단계에서는, 골격 정보 추출 모델로서 합성곱신경망 기반의 특징점 감지 모델이 적용될 수 있고, 예를 들어, MoveNet, PoseNet, OpenPose, MediaPipe, AlphaPose, Nuitrack, Kinecct SDK 등의 알고리즘이 활용될 수 있다. 골격 정보와 이에 기초하여 계산된 값들은 단기간에 변화하지 않는 것으로서 추적 대상의 식별에 효과적으로 활용될 수 있다.
나아가, 의류 정보에 기초하여 추적 대상을 식별하는 단계로서, 추적 대상을 식별하는 단계(S120)는, 의류 이미지를 추출하는 단계(S125)와, 추적 대상의 의류를 식별하는 단계(S126)를 포함할 수 있다.
구체적으로, 의류 이미지를 추출하는 단계(S125)에서, 입력받은 이미지 정보로부터 의류 이미지가 추출될 수 있다. 추적 대상의 의류를 식별하는 단계(S126)에서는, 의류 이미지로부터 특징점을 추출하여 데이터베이스에 저장 및 비교함으로써 추적 대상의 의류가 식별될 수 있다. 이 때, 기계학습, 심층신경망, 합성곱신경망 등의 모델에 의해 의류의 종류가 상의와 하의로 나뉘어 분류될 수 있고, 해당 의류의 특징점이 추출될 수 있다.
한편, 도 3에 나타낸 것과 같이, 본 실시예에 따르면 추적 대상을 식별하는 단계(S120)는, 얼굴 정보, 신체 정보 및 의류 정보를 서로 매칭하거나 서로 종합하여 추적 대상을 식별하는 단계(S127)를 더 포함할 수 있다.
구체적으로, 식별된 얼굴 정보, 신체 정보 및 의류 정보 중 적어도 둘을 서로 매칭하여 데이터베이스에 저장해 둘 수 있다. 이후 새롭게 생성 및 식별된 얼굴 정보, 신체 정보 및 의류 정보 중 적어도 하나가 있으면, 데이터베이스에 저장된 정보와 비교함으로써 추적 대상을 식별할 수 있다. 따라서, 어느 한 종류의 정보가 부족하더라도 추적 대상을 식별하는 신뢰도가 확보될 수 있다.
또한, 얼굴 정보, 신체 정보 및 의류 정보를 상호간 우선순위에 따라 순차적으로 추적 대상을 식별하거나, 또는 각각의 가중치에 기초하여 종합, 예를 들면 합산함으로써 추적 대상을 식별할 수 있다.
한편, 본 실시예에 따른 추적 대상의 위치를 추정하는 방법에서, 추적 대상의 위치 변화를 추적하는 단계(S130)는 식별된 추적 대상이 케어 서비스를 제공하는 영역에서 이동하는 것을 감지 및 추적하는 단계일 수 있다. 구체적으로 앞선 실시예와 같이 식별된 추적 대상에 대하여, 로봇의 카메라 등에 의해 일정 시간 동안의 영상 또는 이미지 정보를 입력받고, 입력받은 이미지 정보에서 시간의 경과에 따른 추적 대상의 위치 변화를 추적함으로써, 이동 방향이나 이동 상태를 추적할 수 있다. 도 4에 나타낸 것과 같이, 추적 대상이 다른 공간으로 이동하는 경우 그 위치 변화를 카메라 등으로 입력받은 이미지 정보에 의해 추적할 수 있다.
다른 한편으로, 추적 대상의 위치를 하나로 특정하는 단계(S140)는, 추적 대상의 위치가 복수 개로 추정되는 경우 수행될 수 있다. 앞서 설명한 추적 대상의 식별 또는 추적 대상의 위치 변화를 추적하는 과정 등에서, 복수의 위치에 추적 대상이 존재하는 것으로 계산될 수 있다.
이와 같은 경우 본 실시예에서는, 부가적으로 입력받은 음성 정보에 기초하여 추적 대상이 하나로 특정될 수 있다. 음성 정보는 앞서 설명한 이동 가능한 로봇 등에 장착된 마이크로부터 수집될 수 있고, 복수의 위치 중 음성 정보가 수집 및 확인되는 곳으로 추적 대상의 위치를 선택하여 특정할 수 있다. 도 4의 실시예와 같이, 음성 정보는 추적 대상에게 질문을 하는 등 음성을 발화하도록 유도함으로써 얻어지는 것일 수 있다.
다른 대안으로, 탐색 이미지 정보를 부가적으로 입력받아 추적 대상이 하나로 특정될 수 있다. 탐색 이미지 정보는 추적 대상을 식별하기 위하여 입력받은 이미지 정보와 동일한 종류의 것일 수 있으나, 또 다른 카메라 등으로부터 얻어지는 다른 종류의 이미지일 수도 있다. 로봇이 추적 대상이 위치하는 것으로 추정되는 복수의 위치로 이동하여 해당 위치를 직접 촬영한 탐색 이미지 정보를 통해, 추적 대상이 확인되는 곳으로 추적 대상의 위치를 선택하여 특정할 수 있다.
음성 정보 또는 탐색 이미지 정보는 공간 내의 복수의 위치에서 얻어진 것일 수 있고, 앞서 설명한 것과 같이, 로봇이 케어 서비스를 제공하는 영역에서 이동하면서 얻은 정보일 수 있다.
전술한 바와 같이 추적 대상이 식별되는 경우, 또는 추적 대상이 식별되고 추적 대상의 위치가 하나로 특정되는 경우, 지도 정보 상에서 추적 대상의 위치가 특정될 수 있다(S150). 구체적으로, 지도 정보 상에서의 추적 대상의 위치는, 지도 정보 상에서 이미지 정보를 입력받은 위치 및 방향에 관한 정보에 기초하여 특정될 수 있고, 나아가, 추적한 식별 대상의 위치 변화에 더 기초하여 특정될 수 있다.
한편, 본 실시예에 따라 특정 및 누적되는 추적 대상의 위치에 관한 정보는 위치 패턴 정보로 생성 및 업데이트될 수 있다(S160). 구체적으로, 위치 패턴 정보는 지도 정보 상에서 특정되는 추적 대상의 위치에 대한 빈도, 위치에 대한 시간대에 따른 빈도 등이 기록된 것일 수 있다. 나아가, 추적 대상이 로봇을 호출하거나 조작하여 로봇의 기능이 동작된 시간 및 위치에 관한 기록 등이 활용될 수 있다.
이와 같이 업데이트된 위치 패턴 정보는 추적 대상을 식별하는 단계(S120)에서 활용될 수 있다. 예를 들면, 추적 대상의 얼굴 정보 등이 정확하게 인식되지 않는 경우, 위치 패턴 정보에 따라서 가능성이 높은 사람으로 추적 대상을 식별할 수 있다.
본 발명의 일 실시예에 따르면, 이미지 정보 중 얼굴 정보, 신체 정보 및 의류 정보가 종합적으로 활용됨으로써, 추적 대상에 대한 인식이 정확하게 수행될 수 있다. 또한, 생성된 지도 정보 상에서 식별된 추적 대상의 위치를 여러 종류의 정보에 의해 추적하고 특정할 수 있어 정확도가 보장되고, 사람을 대상으로 하는 고도화된 서비스를 제공하는 기반이 마련될 수 있다.
도 5는 본 발명의 일 실시예에 따른 추적 대상의 위치를 추정하는 장치의 구성도이다. 본 실시예에 따른 추적 대상의 위치를 추정하는 장치는, 실내 공간 등에서 이동하면서 서비스를 제공하는 로봇 또는 로봇의 구성요소이거나, 로봇과 연결된 서버나 단말 및 이들을 결합한 시스템에서 구현되는 구성요소일 수 있다.
도 5를 참조하면, 본 실시예에 따른 케어 서비스를 제공할 추적 대상의 위치를 추정하는 장치(100)는, 케어 서비스를 제공하는 영역에 대한 지도 정보를 생성하는 지도 정보 생성부(110)와, 입력받은 이미지 정보로부터 얼굴 정보, 신체 정보 및 의류 정보를 생성하고, 얼굴 정보, 신체 정보 및 의류 정보 중 적어도 하나에 기초하여 추적 대상을 식별하는 추적 대상 식별부(120)와, 지도 정보 상에서 이미지 정보를 입력받은 위치 및 방향에 기초하여, 지도 정보 상에서 추적 대상의 위치를 특정하는 위치 특정부(130)를 포함할 수 있다. 또한, 장치(100)는 지도 정보 상에서 특정되는 추적 대상의 위치에 대한 정보를 누적한 위치 패턴 정보가 생성 또는 업데이트되는 위치 패턴 정보 생성부(140)를 더 포함할 수 있다.
또한, 도 2 내지 3을 통해 설명한 추적 대상의 위치를 추정하기 위한 단계들은, 각각 또는 조합하여 본 발명의 일 실시예에 따른 추적 대상의 위치를 추정하는 장치(100)의 구성요소가 될 수 있다.
다음으로, 도 6는 본 발명의 다른 실시예에 따른 추적 대상의 위치를 추정하는 방법의 순서도이다. 도 7은 본 발명의 다른 실시예에 따라 추적 대상인 고령자가 거주하는 공간에서 로봇에 의해 신호강도지표를 측정하여 추적 대상의 위치 후보군을 갱신하는 과정을 예시적으로 나타낸 도면이다.
이하에서는 도 6 및 6을 참조하여 본 발명의 다른 실시예에 따른 추적 대상의 위치를 추정하는 방법을 설명한다. 본 발명의 다른 실시예는 고령자 등의 추적 대상이 소지 또는 착용하고 있는 디바이스, 예를 들면, 각종 웨어러블 기기로부터 수신되는 신호 및 그 강도에 기초하여 추적 대상의 위치를 추정하도록 구성된다.
도 6를 참조하면, 본 실시예에 따른 추적 대상의 위치를 추정하는 방법은, 추적 대상의 위치 후보군을 생성하는 단계(S210)와, 디바이스의 신호강도지표를 측정하는 단계(S220)와, 추적 대상의 위치 후보군을 갱신하는 단계(S230)와, 지도 정보 상에서 추적 대상의 위치를 특정하는 단계(S250)를 포함한다. 또한, 갱신된 위치 후보군에 대하여 추적 대상의 위치를 확인하는 단계(S240)와, 위치 패턴 정보를 생성 또는 업데이트하는 단계(S260)가 더 포함될 수 있다.
본 실시예에서 지도 정보는 앞선 실시예와 같이 로봇의 깊이 카메라 또는 라이다에 기초하여 생성되거나, 외부 장치 등으로부터 지도 데이터를 전달받음으로써 생성될 수 있다.
추적 대상의 위치 후보군을 생성하는 단계(S210)에서, 지도 정보에 기초하여 위치 후보군이 생성될 수 있다. 도 7의 예시와 같이, 위치 후보군에는 지도 정보 상에서 추적 대상이 존재할 가능성이 높은 적어도 하나의 위치 후보가 포함될 수 있다.
디바이스의 신호강도지표를 측정하는 단계(S220)에서, 지도 정보 상의 복수의 지점을 이동하면서 추적 대상이 착용 또는 소지하고 있는 디바이스의 신호강도지표(RSSI, Receiver Signal Strength Indicator)를 측정할 수 있다. 구체적으로, 위치 후보군 중 적어도 한 곳에 대해 거리가 변화하도록 로봇이 이동하는 경로 상의 복수의 지점에 대해 신호강도지표가 측정될 수 있다. 로봇이 케어 서비스를 제공하는 영역 또는 그에 기초하여 생성된 지도 정보 상에서 이동하는 경로 상에서 신호강도지표가 복수 회 측정될 수 있다.
추적 대상의 위치 후보군을 갱신하는 단계(S230)에서, 복수의 지점 간 위치 변화와 측정된 신호강도지표의 변화에 기초하여 위치 후보군이 갱신될 수 있다.
예를 들어, 도 7의 (a)에 나타낸 것과 같은 로봇의 이동 경로를 따라 측정 위치 변화가 있을 때, 신호강도지표가 증가하도록 변화된다면, 신호강도지표가 감소해야 하는 위치인 후보 3은 위치 후보군에서 제외될 수 있다. 다음으로, 도 7의 (b)에서와 같은 로봇의 이동 경로 상에서, 신호강도지표가 증가하도록 변화하는 것이 감지된다면, 신호강도지표가 감소해야 하는 위치인 후보 1은 위치 후보군에서 제외될 수 있다. 위치 후보 별로 신호강도지표의 증가나 감소를 예상하는 판단은 지도 정보 상의 후보군 위치 및 신호강도지표 측정 위치에 기초한 것일 수 있다.
즉, 추적 대상의 위치 후보군을 갱신하는 단계(S230)는 지도 정보 상에서의 이동 경로의 방향과 측정되는 신호강도지표의 증감을 비교함으로써, 위치 후보군에서 가능성이 없는 위치 후보를 제외해 나가는 방식으로 수행될 수 있다.
지도 정보 상에서 추적 대상의 위치를 특정하는 단계(S250)에서, 갱신된 위치 후보군에 기초하여 지도 정보 상의 추적 대상의 위치가 특정될 수 있다. 특정된 추적 대상의 위치에 기반하여, 본 실시예에서 예로 든 이동 가능한 로봇에 의해 추적 대상에게 케어 서비스 등이 제공될 수 있다.
한편, 추적 대상의 위치 후보군을 생성하는 단계(S210) 및 추적 대상의 위치 후보군을 갱신하는 단계(S230) 중 적어도 하나에서, 입력받은 음성 정보 및 이미지 정보 중 적어도 하나에 더 기초하여 위치 후보군이 생성 또는 갱신될 수 있다. 음성 정보 또는 이미지 정보는 본 실시예에서 설명하는 로봇에 장착된 마이크 또는 카메라 등에 의해 수집된 것일 수 있다.
나아가, 추적 대상의 위치 후보군을 생성하는 단계(S210) 및 추적 대상의 위치 후보군을 갱신하는 단계(S230) 중 적어도 하나에서, 지도 정보 상에 위치가 특정된 센서 또는 추적 대상이 더 소지하거나 착용하고 있는 부가 디바이스로부터 입력받은 부가 감지 정보에 더 기초하여 위치 후보군이 생성 또는 갱신될 수 있다.
구체적으로, 추적 대상이 휴대폰이나 그 외 IoT 기기를 포함하는 부가 디바이스를 더 소지 또는 착용하고 있는 경우, 해당 디바이스로부터 부가 감지 정보를 더 입력받아 이에 기초하여 위치 후보군을 갱신함으로써 위치 특정의 정확도가 향상될 수 있다.
뿐만 아니라, 지도 정보 상에 위치가 특정된 센서, 예를 들면, 공간 내 특정 위치에 설치되어 있는 출입감지센서 등으로부터 입력받은 부가 감지 정보 또한 위치 후보군의 생성 또는 갱신에 활용될 수 있다.
다른 한편으로, 갱신된 위치 후보군에 대하여 추적 대상의 위치를 확인하는 단계(S240)에서, 추가로 입력받은 음성 정보 및 이미지 정보가 활용될 수 있다. 즉, 갱신된 위치 후보군의 위치 후보가 복수 개인 경우, 음성 정보, 이미지 정보 및 로봇이 해당 위치 후보 가까이에 근접하여 탐색한 신호강도지표 중 적어도 하나에 기초하여 추적 대상의 위치가 재차 확인될 수 있다.
또한 본 발명의 다른 실시예에서도, 본 발명의 일 실시예와 마찬가지로 위치 패턴 정보가 생성 또는 업데이트될 수 있다. 위치 패턴 정보를 생성 또는 업데이트하는 단계(S260)에서, 지도 정보 상에서 특정되는 추적 대상의 위치에 대한 정보가 누적되어 위치 패턴 정보가 생성되고 업데이트될 수 있다. 나아가, 추적 대상이 로봇을 호출하거나 조작하여 로봇의 기능이 동작된 시간 및 위치에 관한 기록 등이 활용될 수 있다.
이와 같이 생성 또는 업데이트된 정보는 추적 대상의 위치 후보군을 생성하는 단계(S210) 및 추적 대상의 위치 후보군을 갱신하는 단계(S230) 중 적어도 하나에서 기초 정보로 활용될 수 있다.
본 발명의 다른 실시예에 따르면, 지도 정보와 웨어러블 기기 등의 디바이스의 신호강도지표가 활용됨으로써, 추적 대상에 대한 인식이 정확하게 수행될 수 있다. 또한, 생성된 지도 정보 상에서 식별된 추적 대상의 위치를 부가적인 정보에 의해 추적하고 특정할 수 있어 정확도가 보장됨으로써, 사람을 대상으로 하는 고도화된 케어 서비스를 제공하는 기반이 마련될 수 있다.
도 8은 본 발명의 다른 실시예에 따른 추적 대상의 위치를 추정하는 장치의 구성도이다. 본 실시예에 따른 추적 대상의 위치를 추정하는 장치는, 실내 공간 등에서 이동하면서 서비스를 제공하는 로봇 또는 로봇의 구성요소이거나, 로봇과 연결된 서버나 단말 및 이들을 결합한 시스템에서 구현되는 구성요소일 수 있다.
도 8을 참조하면, 본 실시예에 따른 케어 서비스를 제공할 추적 대상의 위치를 추정하는 장치(200)는, 케어 서비스를 제공하는 영역에 대한 지도 정보 상에서 추적 대상의 위치 후보군을 생성하는 위치 후보군 생성부(210)와, 지도 정보 상의 복수의 지점에서 추적 대상이 착용 또는 소지하고 있는 디바이스의 신호강도지표를 측정하는 신호강도지표 측정부(220)와, 복수의 지점 간 위치 변화와 신호강도지표의 변화에 기초하여 추적 대상의 위치 후보군을 갱신하는 위치 후보군 갱신부(230)와, 갱신된 위치 후보군에 기초하여 지도 정보 상에서 측정 대상의 위치를 특정하는 위치 특정부(240)를 포함할 수 있다.
또한, 도 6 내지 6을 통해 설명된 추적 대상의 위치를 추적하기 위한 단계들은, 각각 또는 조합하여 본 발명의 다른 실시예에 따른 추적 대상의 위치를 추적하는 장치(200)가 수행하는 기능이 될 수 있다.
나아가, 상술한 설명에서, 본 발명의 일 실시예 및 다른 실시예에 따른 추적 대상의 위치를 추정하는 방법의 단계들은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100, 200: 추적 대상의 위치를 추정하는 장치
110: 지도 정보 생성부
120: 추적 대상 식별부
130, 240: 위치 특정부
140: 위치 패턴 정보 생성부
210: 위치 후보군 생성부
220: 신호강도지표 측정부
230: 위치 후보군 갱신부
110: 지도 정보 생성부
120: 추적 대상 식별부
130, 240: 위치 특정부
140: 위치 패턴 정보 생성부
210: 위치 후보군 생성부
220: 신호강도지표 측정부
230: 위치 후보군 갱신부
Claims (19)
- 로봇에 의해 케어 서비스를 제공할 추적 대상의 위치를 추정하는 방법에 있어서,
상기 케어 서비스를 제공하는 영역에 대한 지도 정보를 생성하는 단계;
상기 로봇에 장착된 시각 센서로부터 입력받은 이미지 정보로부터 얼굴 정보, 신체 정보 및 의류 정보를 생성하고, 상기 얼굴 정보, 상기 신체 정보 및 상기 의류 정보 중 적어도 하나에 기초하여 상기 추적 대상을 식별하는 단계;
상기 지도 정보 상에서 상기 이미지 정보를 입력받은 위치 및 방향에 기초하여, 상기 지도 정보 상에서 상기 추적 대상의 위치를 특정하는 단계; 및
상기 지도 정보 상에서 특정되는 상기 추적 대상의 위치에 대한 정보를 누적하여 위치 패턴 정보를 생성 또는 업데이트하는 단계를 포함하고,
상기 추적 대상을 식별하는 단계는,
기계학습, 심층신경망, 합성곱신경망 중 어느 하나에 기초한 모델에 의하여, 상기 이미지 정보로부터 의류의 종류를 분류한 의류 이미지를 추출하고, 상기 의류 이미지로부터 특징점을 추출하고,
상기 얼굴 정보, 상기 신체 정보 및 상기 의류 정보를 각각의 가중치에 기초하여 합산하여 추적 대상을 식별하고,
상기 지도 정보 상에서 특정되는 상기 추적 대상의 위치에 대한 빈도, 상기 지도 정보 상에서 특정되는 상기 추적 대상의 위치에 대한 시간대에 따른 빈도, 및 상기 추적 대상이 상기 로봇을 조작하여 상기 로봇의 기능이 동작된 시간 및 위치를 포함하는 상기 위치 패턴 정보에 더 기초하여 추적 대상을 식별하고,
상기 추적 대상의 위치가 복수 개로 추정되는 경우, 상기 로봇이 상기 추적 대상에게 음성을 발화하도록 유도하여 상기 로봇에 장착된 소리 센서로부터 입력받은 음성 정보에 기초하여 상기 복수 개의 위치 중 상기 음성 정보가 확인되는 곳으로 상기 추적 대상의 위치를 선택하여 특정하는 것인,
추적 대상의 위치를 추정하는 방법.
- 제 1 항에 있어서,
상기 얼굴 정보에 기초하여 상기 추적 대상을 식별하는 단계는,
얼굴 감지 모델에 의하여, 상기 이미지 정보로부터 사람의 얼굴에 대한 바운딩 박스(bounding box)를 추출하는 단계; 및
신원 인식 모델에 의하여, 상기 바운딩 박스의 이미지로부터 특징점을 추출하여 데이터베이스에 저장하고, 상기 데이터베이스에 저장된 특징점과 비교하여 상기 추적 대상의 얼굴을 식별하는 단계를 포함하는,
추적 대상의 위치를 추정하는 방법.
- 제 1 항에 있어서,
상기 신체 정보에 기초하여 상기 추적 대상을 식별하는 단계는,
골격 정보 추출 모델에 의하여, 상기 이미지 정보에서 관절의 위치를 포함하는 골격 정보를 추출하는 단계를 포함하는,
추적 대상의 위치를 추정하는 방법.
- 제 3 항에 있어서,
상기 신체 정보에 기초하여 상기 추적 대상을 식별하는 단계는,
상기 골격 정보에 기초하여 추적 대상의 키, 뼈 길이, 신체 비율 중 적어도 하나를 계산하여 데이터베이스에 저장하고, 상기 데이터베이스에 저장된 값과 비교하여 상기 추적 대상의 신체를 식별하는 단계를 더 포함하는,
추적 대상의 위치를 추정하는 방법.
- 삭제
- 제 1 항에 있어서,
상기 추적 대상을 식별하는 단계는,
상기 얼굴 정보, 상기 신체 정보 및 상기 의류 정보 중 하나를 데이터베이스에 저장하고,
상기 얼굴 정보, 상기 신체 정보 및 상기 의류 정보 중 적어도 하나와 상기 데이터베이스에 저장된 정보를 서로 비교하여 추적 대상을 식별하는 것인,
추적 대상의 위치를 추정하는 방법.
- 삭제
- 제 1 항에 있어서,
식별된 상기 추적 대상에 대하여, 입력받은 이미지 정보에서 상기 케어 서비스를 제공하는 영역에서 시간의 경과에 따른 상기 추적 대상의 위치 변화를 추적하는 단계를 더 포함하는,
추적 대상의 위치를 추정하는 방법.
- 삭제
- 제 1 항에 있어서,
상기 추적 대상의 위치가 복수 개로 추정되는 경우, 추정되는 복수 개의 상기 추적 대상의 위치로 이동하여 촬영한 탐색 이미지 정보를 입력받아 상기 추적 대상의 위치를 하나로 특정하는 단계를 더 포함하는,
추적 대상의 위치를 추정하는 방법.
- 삭제
- 케어 서비스를 제공할 추적 대상의 위치를 추정하는 장치에 있어서,
상기 케어 서비스를 제공하는 영역에 대한 지도 정보를 생성하는 지도 정보 생성부;
상기 케어 서비스를 제공하는 로봇에 장착된 시각 센서로부터 입력받은 이미지 정보로부터 얼굴 정보, 신체 정보 및 의류 정보를 생성하고, 상기 얼굴 정보, 상기 신체 정보 및 상기 의류 정보 중 적어도 하나에 기초하여 추적 대상을 식별하는 추적 대상 식별부;
상기 지도 정보 상에서 상기 이미지 정보를 입력받은 위치 및 방향에 기초하여, 상기 지도 정보 상에서 상기 추적 대상의 위치를 특정하는 위치 특정부; 및
상기 지도 정보 상에서 특정되는 상기 추적 대상의 위치에 대한 정보를 누적하여 위치 패턴 정보를 생성 또는 업데이트하는 위치 패턴 정보 생성부를 포함하고,
상기 추적 대상 식별부는,
기계학습, 심층신경망, 합성곱신경망 중 어느 하나에 기초한 모델에 의하여, 상기 이미지 정보로부터 의류의 종류를 분류한 의류 이미지를 추출하고, 상기 의류 이미지로부터 특징점을 추출하고,
상기 얼굴 정보, 상기 신체 정보 및 상기 의류 정보를 각각의 가중치에 기초하여 합산하여 추적 대상을 식별하고,
상기 지도 정보 상에서 특정되는 상기 추적 대상의 위치에 대한 빈도, 상기 지도 정보 상에서 특정되는 상기 추적 대상의 위치에 대한 시간대에 따른 빈도, 및 상기 추적 대상이 상기 로봇을 조작하여 상기 로봇의 기능이 동작된 시간 및 위치를 포함하는 상기 위치 패턴 정보에 더 기초하여 추적 대상을 식별하고,
상기 위치 특정부는, 상기 추적 대상의 위치가 복수 개로 추정되는 경우, 상기 로봇이 상기 추적 대상에게 음성을 발화하도록 유도하여 상기 로봇에 장착된 소리 센서로부터 입력받은 음성 정보에 기초하여 상기 복수 개의 위치 중 상기 음성 정보가 확인되는 곳으로 상기 추적 대상의 위치를 선택하여 특정하는 것인,
추적 대상의 위치를 추정하는 장치.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230059339A KR102669060B1 (ko) | 2023-05-08 | 2023-05-08 | 추적 대상의 위치를 추정하는 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230059339A KR102669060B1 (ko) | 2023-05-08 | 2023-05-08 | 추적 대상의 위치를 추정하는 방법 및 장치 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230128309A Division KR20240162971A (ko) | 2023-09-25 | 추적 대상의 위치를 추정하는 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102669060B1 true KR102669060B1 (ko) | 2024-05-29 |
Family
ID=91277703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230059339A KR102669060B1 (ko) | 2023-05-08 | 2023-05-08 | 추적 대상의 위치를 추정하는 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102669060B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006192563A (ja) * | 2004-12-14 | 2006-07-27 | Honda Motor Co Ltd | 識別対象識別装置およびそれを備えたロボット |
| KR101215948B1 (ko) * | 2012-04-02 | 2012-12-27 | 주식회사 뉴인테크 | 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법 |
| KR20190106908A (ko) * | 2019-05-02 | 2019-09-18 | 엘지전자 주식회사 | 인공지능 로봇과 그의 제어 방법 |
| KR20220021581A (ko) * | 2020-08-14 | 2022-02-22 | 삼성전자주식회사 | 로봇 및 이의 제어 방법 |
| KR102397078B1 (ko) | 2020-07-13 | 2022-05-19 | 지피헬스 주식회사 | 반려 로봇을 이용한 실버 케어 시스템 |
-
2023
- 2023-05-08 KR KR1020230059339A patent/KR102669060B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006192563A (ja) * | 2004-12-14 | 2006-07-27 | Honda Motor Co Ltd | 識別対象識別装置およびそれを備えたロボット |
| KR101215948B1 (ko) * | 2012-04-02 | 2012-12-27 | 주식회사 뉴인테크 | 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법 |
| KR20190106908A (ko) * | 2019-05-02 | 2019-09-18 | 엘지전자 주식회사 | 인공지능 로봇과 그의 제어 방법 |
| KR102397078B1 (ko) | 2020-07-13 | 2022-05-19 | 지피헬스 주식회사 | 반려 로봇을 이용한 실버 케어 시스템 |
| KR20220021581A (ko) * | 2020-08-14 | 2022-02-22 | 삼성전자주식회사 | 로봇 및 이의 제어 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ashiq et al. | CNN-based object recognition and tracking system to assist visually impaired people | |
| Deep et al. | A survey on anomalous behavior detection for elderly care using dense-sensing networks | |
| Hao et al. | Multiple human tracking and identification with wireless distributed pyroelectric sensor systems | |
| US10024678B2 (en) | Wearable clip for providing social and environmental awareness | |
| JP5682563B2 (ja) | 移動体軌跡識別システム、移動体軌跡識別方法および移動体軌跡識別プログラム | |
| US10024667B2 (en) | Wearable earpiece for providing social and environmental awareness | |
| KR101644443B1 (ko) | 시공적 상황데이터를 이용한 경고 방법 및 시스템 | |
| CN110301118A (zh) | 用于智能助理计算设备的位置校准 | |
| US20170364755A1 (en) | Systems and Methods for Tracking Movements of a Target | |
| Jeffin Gracewell et al. | RETRACTED ARTICLE: Fall detection based on posture classification for smart home environment | |
| Hernandez-Penaloza et al. | A multi-sensor fusion scheme to increase life autonomy of elderly people with cognitive problems | |
| CN101221621A (zh) | 警告监督用户受监视用户的行为的方法和系统 | |
| US20230050825A1 (en) | Hands-Free Crowd Sourced Indoor Navigation System and Method for Guiding Blind and Visually Impaired Persons | |
| Chen et al. | Smart campus care and guiding with dedicated video footprinting through Internet of Things technologies | |
| Li et al. | Collaborative fall detection using smart phone and Kinect | |
| CN106092091A (zh) | 电子机器设备 | |
| CN112381853A (zh) | 用于利用无线信号和图像来进行人员检测、跟踪和标识的装置和方法 | |
| Chang et al. | Video surveillance for hazardous conditions using sensor networks | |
| Irfan et al. | Crowd analysis using visual and non-visual sensors, a survey | |
| Aguilar-Ponce et al. | A network of sensor-based framework for automated visual surveillance | |
| Liu et al. | Vi-Fi: Associating moving subjects across vision and wireless sensors | |
| De et al. | Fall detection method based on spatio-temporal feature fusion using combined two-channel classification | |
| KR102669060B1 (ko) | 추적 대상의 위치를 추정하는 방법 및 장치 | |
| Youm et al. | Development of a methodology to predict and monitor emergency situations of the elderly based on object detection | |
| JP6720010B2 (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |