[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20240057536A - 3d 모델을 생성하는 로봇 및 이의 제어 방법 - Google Patents

3d 모델을 생성하는 로봇 및 이의 제어 방법 Download PDF

Info

Publication number
KR20240057536A
KR20240057536A KR1020220137789A KR20220137789A KR20240057536A KR 20240057536 A KR20240057536 A KR 20240057536A KR 1020220137789 A KR1020220137789 A KR 1020220137789A KR 20220137789 A KR20220137789 A KR 20220137789A KR 20240057536 A KR20240057536 A KR 20240057536A
Authority
KR
South Korea
Prior art keywords
user
robot
model
images
image
Prior art date
Application number
KR1020220137789A
Other languages
English (en)
Inventor
이태윤
문보석
우석윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020220137789A priority Critical patent/KR20240057536A/ko
Priority to PCT/KR2023/014160 priority patent/WO2024090792A1/ko
Publication of KR20240057536A publication Critical patent/KR20240057536A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

3D 모델을 생성하는 로봇 및 이의 제어 방법이 제공된다. 본 로봇은 주행부, 적어도 하나의 카메라, 출력부, 맵을 저장하는 메모리 및 주행부, 적어도 하나의 카메라, 출력부 및 메모리와 연결되며 로봇을 제어하는 적어도 하나의 프로세서를 포함한다. 적어도 하나의 프로세서는 사용자에 대한 3D 모델을 생성하는 제1 모드에 진입하면, 맵에 기초하여 사용자에 대한 3D 모델을 생성하기 위한 촬영 장소를 식별하고, 사용자에게 식별된 촬영 장소로 이동하라는 메시지를 출력하도록 출력부를 제어하며, 사용자가 상기 촬영 장소에 위치하면, 사용자를 촬영하기 위한 촬영 경로를 획득하며, 주행부를 통해 상기 촬영 경로를 따라 이동하는 동안 기설정된 촬영 간격으로 카메라를 통해 사용자를 촬영하여 복수의 이미지를 획득하고, 획득된 복수의 이미지에 기초하여 사용자에 대한 3D 모델을 생성한다.

Description

3D 모델을 생성하는 로봇 및 이의 제어 방법{A robot that generates a 3D model and its control method}
본 개시는 로봇 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 사용자를 복수의 방향에서 촬영하여 사용자에 대한 3D 모델을 생성하는 로봇 및 이의 제어 방법에 관한 것이다.
최근 메타버스에 대한 관심이 증가하면서 메타버스 공간 내에 사용자의 분신 역할을 수행하는 아바타의 중요성이 점점 커지고 있다. 특히, 최근 사용자에 대한 3D 모델을 생성하여 아바타를 생성하는 기술이 개발되고 있다.
다만, 근래에는 실감나는 3D 모델을 생성하기 위하여, 피사체를 중심으로 복수의 카메라를 배치하고, 배치된 복수의 카메라를 통해 획득된 복수의 이미지를 획득하여 3D 모델을 생성하였다. 또한, 생성된 3D 모델의 모션을 생성하기 위해, 모션 캡쳐 등과 같은 기술적이 적용되고 있다.
다만, 일반 사용자들에게는 피사체를 중심으로 복수의 카메라가 배치된 스튜디오에 가서 자신의 3D 모델을 생성하는 것이 비용이 비싸고, 편의성 역시 떨어지며, 필요할 때 바로 제작하지 못하는 한계가 존재한다.
본 개시의 일 실시예에 따른, 3D 모델을 생성하는 로봇은, 주행부; 적어도 하나의 카메라; 출력부; 맵을 저장하는 메모리; 및 상기 주행부, 상기 적어도 하나의 카메라, 상기 출력부 및 상기 메모리와 연결되며, 상기 로봇을 제어하는 적어도 하나의 프로세서;를 포함한다. 사용자에 대한 3D 모델을 생성하는 제1 모드에 진입하면, 상기 적어도 하나의 프로세서는, 상기 맵에 기초하여 상기 사용자에 대한 3D 모델을 생성하기 위한 촬영 장소를 식별한다. 상기 적어도 하나의 프로세서는, 상기 사용자에게 상기 식별된 촬영 장소로 이동하라는 메시지를 출력하도록 상기 출력부를 제어한다. 상기 사용자가 상기 촬영 장소에 위치하면, 상기 적어도 하나의 프로세서는, 상기 사용자를 촬영하기 위한 촬영 경로를 획득한다. 상기 적어도 하나의 프로세서는, 상기 주행부를 통해 상기 촬영 경로를 따라 이동하는 동안 기설정된 촬영 간격으로 상기 카메라를 통해 상기 사용자를 촬영하여 복수의 이미지를 획득한다. 상기 적어도 하나의 프로세서는, 상기 획득된 복수의 이미지에 기초하여 상기 사용자에 대한 3D 모델을 생성한다.
본 개시의 일 실시예에 따른, 3D 모델을 생성하는 로봇의 제어 방법은, 사용자에 대한 3D 모델을 생성하는 제1 모드에 진입하면, 상기 로봇에 저장된 맵에 기초하여 상기 사용자에 대한 3D 모델을 생성하기 위한 촬영 장소를 식별하는 단계; 상기 사용자에게 상기 식별된 촬영 장소로 이동하라는 메시지를 출력하는 단계; 상기 사용자가 상기 촬영 장소에 위치하면, 상기 사용자를 촬영하기 위한 촬영 경로를 획득하는 단계; 상기 촬영 경로를 따라 이동하는 동안 기설정된 촬영 간격으로 상기 사용자를 촬영하여 복수의 이미지를 획득하는 단계; 및 상기 획득된 복수의 이미지에 기초하여 상기 사용자에 대한 3D 모델을 생성하는 단계;를 포함한다.
본 개시의 일 실시예에 따른, 3D 모델을 생성하는 로봇의 제어 방법을 실행시키기 위한 프로그램을 저장하는 컴퓨터 판독가능한 기록매체에 있어서, 상기 제어 방법은, 사용자에 대한 3D 모델을 생성하는 제1 모드에 진입하면, 상기 로봇에 저장된 맵에 기초하여 상기 사용자에 대한 3D 모델을 생성하기 위한 촬영 장소를 식별하는 단계; 상기 사용자에게 상기 식별된 촬영 장소로 이동하라는 메시지를 출력하는 단계; 상기 사용자가 상기 촬영 장소에 위치하면, 상기 사용자를 촬영하기 위한 촬영 경로를 획득하는 단계; 상기 촬영 경로를 따라 이동하는 동안 기설정된 촬영 간격으로 상기 사용자를 촬영하여 복수의 이미지를 획득하는 단계; 및 상기 획득된 복수의 이미지에 기초하여 상기 사용자에 대한 3D 모델을 생성하는 단계;를 포함한다.
도 1은 본 개시의 일 실시예에 따른, 로봇을 이용하여 사용자에 대한 3D 모델을 생성하는 방법을 개략적으로 도시한 도면,
도 2는 본 개시의 일 실시예에 따른, 로봇의 구성을 나타내는 블록도,
도 3은 본 개시의 일 실시예에 따른, 제1 3D 모델 생성 모드로 동작하는 동안 사용자에 대한 3D 모델을 생성하는 방법을 설명하기 위한 흐름도,
도 4a는 본 개시의 일 실시예에 따른, 맵에 기초하여 촬영 장소를 식별하는 방법을 설명하기 위한 도면,
도 4b는 본 개시의 일 실시예에 따른, 사용자를 촬영하기 위한 촬영 경로를 획득하는 방법을 설명하기 위한 도면,
도 4c는 본 개시의 일 실시예에 따른, 기설정된 촬영 간격으로 사용자를 촬영하는 방법을 설명하기 위한 도면,
도 5a 및 도 5b는 본 개시의 일 실시예에 따른, 3D 모델의 품질을 판단하는 방법을 설명하기 위한 도면,
도 6은 본 개시의 일 실시예에 따른, 재설정된 촬영 간격으로 사용자를 촬영하는 방법을 설명하기 위한 도면,
도 7은 본 개시의 일 실시예에 따른, 제2 3D 모델 생성 모드로 동작하는 동안 사용자에 대한 3D 모델을 생성하는 방법을 설명하기 위한 흐름도,
도 8은 본 개시의 일 실시예에 따른, 사용자에 대한 촬영 위치에 기초하여 경로를 변경하는 방법을 설명하기 위한 도면,
도 9는 본 개시의 일 실시예에 따른, 제2 3D 모델 생성 모드로 동작하는 동안 3D 모델의 품질에 따라 3D 모델을 업데이트 하는 방법을 설명하기 위한 흐름도,
도 10은 본 개시의 일 실시예에 따른, 3D 모델의 얼굴 표정을 생성하는 방법을 설명하기 위한 흐름도, 그리고,
도 11은 본 개시의 일 실시예에 따른, 3D 모델의 모션을 생성하는 방법을 설명하기 위한 흐름도이다.
이하, 본 개시의 다양한 실시 예가 기재된다. 그러나, 이는 본 개시의 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예들의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
본 문서에서 사용된 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시예들을 배제하도록 해석될 수 없다
이하에서는 도면을 참조하여 본 개시에 대해 더욱 상세히 설명하도록 한다. 다만, 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
이하에서는 도면을 참조하여 본 개시에 대해 더욱 상세히 설명하기로 한다.
본 개시의 일 실시예에 따른, 로봇(100)은 사용자(10)에 대한 3D 모델을 생성하기 위한 3D 모델 생성 모드에 진입할 수 있다. 이때, 3D 모델 생성 모드는 제1 3D 모델 생성 모드 및 제2 3D 모델 생성 모드를 포함할 수 있다.
사용자에 대한 3D 모델을 생성하는 제1 3D 모델 생성 모드에 진입하면, 로봇(100)은 기저장된 맵에 기초하여 사용자(10)에 대한 3D 모델을 생성하기 위한 촬영 장소를 식별할 수 있다. 즉, 로봇(100)은 맵에 기초하여 사용자(10)로부터 임계 거리를 유지하면서 주행 가능한 영역을 촬영 장소로 식별할 수 있다.
그리고, 로봇(100)은 사용자(10)에게 식별된 촬영 장소로 이동하라는 메시지를 출력할 수 있다.
사용자(10)가 촬영 장소에 위치하면, 로봇(100)은 사용자(10)를 촬영하기 위한 촬영 경로를 획득하며, 도 1의 좌측에 도시된 바와 같이, 촬영 경로를 따라 이동하는 동안 기설정된 촬영 간격으로 사용자를 촬영하여 복수의 이미지를 획득할 수 있다.
그리고, 로봇(100)은 획득된 복수의 이미지에 기초하여 도 1의 우측에 도시된 바와 같이, 사용자에 대한 3D 모델(20)을 생성할 수 있다. 이때, 로봇(100)은 Photogrammetry 기법 또는 Vision 기법 등을 이용하여 사용자(10)에 대한 3D 모델(20)을 생성할 수 있다.
사용자에 대한 3D 모델을 생성하는 제2 3D 모델 생성 모드에 진입하면, 로봇(100)은 로봇(100)이 주행하는 동안 사용자(10)를 인식할 수 있다.
그리고, 로봇(100)은 인식된 사용자의 위치에 대한 정보에 기초하여 로봇(100)의 촬영 위치를 추정하며, 추정된 위치로 로봇을 이동할 수 있다.
그리고, 로봇(100)은 추정된 위치에서 카메라를 통해 적어도 하나의 이미지를 획득할 수 있다. 이때, 로봇(100)은 적어도 하나의 이미지를 분석하여 적어도 하나의 이미지의 유형(및 촬영 당시의 카메라의 자세 및 위치에 대한 정보)을 분류하고, 분류 결과에 따라 적어도 하나의 이미지를 유형별로 데이터베이스에 저장할 수 있다. 이때, 이미지의 유형은 사용자(10)를 촬영한 촬영 각도에 따라 구분될 수 있다.
데이터베이스에 기설정된 복수의 유형의 이미지가 저장되면, 로봇(100)은 복수의 유형의 이미지에 기초하여 3D 모델(20)을 생성할 수 있다.
상술한 바와 같이, 댁 내에서 사용자(10)에 대한 3D 모델(20)을 생성함으로써, 사용자는 별도의 스튜디오를 방문하지 않더라도 댁 내의 로봇(100)을 이용하여 사용자에 대한 3D 모델을 생성할 수 있게 된다.
도 2는 본 개시의 일 실시예에 따른, 로봇의 구성을 나타내는 블록도이다. 도 2에 도시된 바와 같이, 로봇(100)은 주행부(110), 카메라(120), 출력부(130), 센서(140), 통신 인터페이스(150), 메모리(160) 및 적어도 하나의 프로세서(170)를 포함할 수 있다. 본 개시의 일 실시예에 따른, 로봇(100)은 댁내에서 다양한 서비스를 제공하는 로봇일 수 있으나, 이는 일 실시예에 불과할 뿐, 공항, 호텔, 마트, 의류매장, 물류, 병원 등 다양한 장소에서 서비스를 제공하는 서비스 로봇(예를 들어, 안내 로봇 등)이 될 수 있다. 또한, 로봇(100)의 구성이 도 1에 도시된 구성으로 한정되는 것은 아니며, 당업자에게 자명한 구성이 추가될 수 있음은 물론이다.
주행부(110)는 적어도 하나의 프로세서(170)의 제어에 따라 로봇(100)을 주행(또는 이동)시킬 수 있다. 특히, 주행부(110)는 로봇(100)을 주행시키는 바퀴 및 바퀴를 회전시키는 바퀴 구동 모터를 포함할 수 있다.
특히, 주행부(110)는 사용자를 촬영하기 위하여 사용자를 둘러싼 촬영 경로에 따라 로봇(100)을 이동시킬 수 있다.
카메라(120)는 로봇(100) 주변을 촬영하여 이미지를 획득하기 위한 구성이다. 특히, 적어도 하나의 프로세서(170)는 카메라(120)를 통해 획득한 이미지를 분석하여 사용자를 인식할 수 있다. 또는, 적어도 하나의 프로세서(170)는 카메라를 통해 획득된 복수의 이미지를 이용하여 사용자에 대한 3D 모델을 생성할 수 있다. 이때, 카메라(120)는
출력부(130)는 다양한 정보를 출력할 수 있다. 특히, 출력부(130)는 사용자에게 촬영 위치로 안내하는 안내 메시지를 출력할 수 있다. 출력부(130)는 시각적인 메시지를 제공하는 디스플레이, LED 등으로 구현될 수 있으며, 청각적인 메시지를 제공하는 스피커 등을 구현될 수 있다.
센서(140)는 로봇(100) 주변의 환경이나 사용자의 상태를 감지하기 위한 구성이다. 일 실시예로, 센서(140)는 뎁스 센서 및 IMU(Inertial Measurement Unit) 센서를 포함할 수 있다. 뎁스 센서는 로봇(100) 주변의 장애물을 감지하기 위한 구성이다. 적어도 하나의 프로세서(170)는 뎁스 센서의 센싱값에 기초하여 로봇(100)으로부터 장애물까지의 거리를 획득할 수 있다. 예를 들어, 뎁스 센서는 라이다(LiDAR) 센서를 포함할 수 있다. 또는, 뎁스 센서는 레이더(Radar) 센서 및 뎁스 카메라를 포함할 수 있다. IMU 센서는 로봇(100)의 자세 정보를 획득하기 위한 구성이다. IMU 센서는 자이로 센서 및 지자기 센서를 포함할 수 있다. 그 밖에 로봇(100)은 로봇(100) 주변의 환경이나 사용자의 상태를 감지하기 위한 다양한 센서를 포함할 수 있다.
통신 인터페이스(150)는 적어도 하나의 회로를 포함하며 다양한 유형의 외부 기기나 서버와 통신을 수행할 수 있다. 통신 인터페이스(140)는 BLE(Bluetooth Low Energy) 모듈, 와이파이 통신 모듈, 셀룰러 통신모듈, 3G(3세대) 이동통신 모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈, 5G(5세대) 이동통신 모듈 중 적어도 하나를 포함할 수 있다.
특히, 통신 인터페이스(150)는 외부의 휴대 단말(예로, 사용자(10)의 스마트 폰 등)로 안내 메시지를 전송할 수 있다.
메모리(160)는 로봇(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 로봇(100)의 구성요소와 관련된 인스트럭션 또는 데이터를 저장할 수 있다. 특히, 메모리(160)는 3D 모델을 생성하기 위한 다양한 모듈을 포함할 수 있다.
특히, 메모리(160)는 사용자를 촬영한 이미지를 저장하는 데이터베이스를 포함할 수 있다. 또한, 메모리(160)는 얼굴 이미지와 표정 유형을 매칭하여 저장하는 데이터베이스, 모션 이미지와 모션 유형을 매칭하여 저장하는 데이터베이스를 저장할 수 있다. 또한, 메모리(160)는 댁 내의 맵에 대한 정보를 저장할 수 있다.
한편, 메모리(150)는 비휘발성 메모리(ex: 하드 디스크, SSD(Solid state drive), 플래시 메모리), 휘발성 메모리(적어도 하나의 프로세서(180) 내의 메모리도 포함할 수 있음.) 등으로 구현될 수 있다.
적어도 하나의 프로세서(170)는 메모리(160)와 전기적으로 연결되어 로봇(100)의 전반적인 기능 및 동작을 제어할 수 있다. 3D 모델 생성 모드에 진입하면, 적어도 하나의 프로세서(170)는 비휘발성 메모리에 저장되어 있는 모듈이 각종 동작을 수행하기 위한 데이터를 휘발성 메모리로 로딩(loading)할 수 있다. 여기서, 로딩이란 적어도 하나의 프로세서(180)가 액세스할 수 있도록 비휘발성 메모리에 저장된 데이터를 휘발성 메모리에 불러들여 저장하는 동작을 의미한다.
특히, 사용자에 대한 3D 모델을 생성하는 제1 모드에 진입하면, 적어도 하나의 프로세서(180)는 맵에 기초하여 사용자에 대한 3D 모델을 생성하기 위한 촬영 장소를 식별한다. 적어도 하나의 프로세서(180)는 사용자에게 상기 식별된 촬영 장소로 이동하라는 메시지를 출력하도록 출력부(130)를 제어한다. 사용자가 촬영 장소에 위치하면, 적어도 하나의 프로세서(180)는 사용자를 촬영하기 위한 촬영 경로를 획득한다. 적어도 하나의 프로세서(180)는 주행부(110)를 통해 촬영 경로를 따라 이동하는 동안 기설정된 촬영 간격으로 카메라(120)를 통해 사용자를 촬영하여 복수의 이미지를 획득한다. 적어도 하나의 프로세서(180)는 획득된 복수의 이미지에 기초하여 사용자에 대한 3D 모델을 생성한다.
또한, 적어도 하나의 프로세서(180)는 생성된 3D 모델을 2D로 투영하여 복수의 투영 이미지를 획득할 수 있다. 적어도 하나의 프로세서(180)는 복수의 이미지와 복수의 이미지와 대응되는 복수의 투영 이미지를 비교하며, 비교 결과를 바탕으로 3D 모델의 품질값을 측정할 수 있다. 이때, 적어도 하나의 프로세서(180)는 복수의 이미지 중 사용자의 정면을 기준으로 제1 각도에서 촬영된 제1 이미지에 포함된 복수의 제1 특징점의 픽셀과 복수의 투영 이미지 중 3D 모델을 제1 각도 방향에서 투영한 제1 투영 이미지에 포함된 복수의 제2 특징점의 픽셀을 비교하여 픽셀 차이값을 산출할 수 있다. 그리고, 적어도 하나의 프로세서(180)는 산출된 픽셀 차이값에 기초하여 3D 모델의 품질값을 측정할 수 있다.
3D 모델의 품질값이 임계값 미만인 경우, 적어도 하나의 프로세서(180)는 로봇의 촬영 간격 또는 촬영 위치를 재설정할 수 있다. 적어도 하나의 프로세서(180)는 주행부(110)를 통해 촬영 경로를 따라 이동하는 동안 재설정된 촬영 간격 또는 촬영 위치에서 사용자를 촬영하여 복수의 재설정 이미지를 획득할 수 있다. 적어도 하나의 프로세서(180)는 획득된 복수의 재설정 이미지에 기초하여 사용자에 대한 3D 모델을 업데이트할 수 있다.
한편, 사용자에 대한 3D 모델을 생성하는 제2 모드에 진입하면, 적어도 하나의 프로세서(180)는 로봇이 주행하는 동안 상기 사용자를 인식할 수 있다. 적어도 하나의 프로세서(180)는 인식된 사용자의 위치에 대한 정보에 기초하여 로봇의 촬영 위치를 추정할 수 있다. 적어도 하나의 프로세서(180)는 추정된 위치로 로봇(100)을 이동하도록 주행부(110)를 제어할 수 있다. 적어도 하나의 프로세서(180)는 추정된 위치에서 카메라(110)를 통해 적어도 하나의 이미지를 획득할 수 있다. 적어도 하나의 프로세서(180)는 적어도 하나의 이미지를 분석하여 적어도 하나의 이미지의 유형을 분류하여 데이터베이스에 저장할 수 있다.
그리고, 데이터베이스에 기설정된 복수의 유형의 이미지가 저장되면, 적어도 하나의 프로세서(180)는 저장된 복수의 유형의 이미지의 기초하여 사용자에 대한 3D 모델을 생성할 수 있다.
이때, 복수의 유형 중 저장되지 않은 유형의 이미지가 존재하면, 적어도 하나의 프로세서(180)는 저장되지 않는 유형의 이미지에 대응되는 촬영 각도로 촬영할 수 있도록 로봇(100)의 촬영 위치를 추정할 수 있다.
그리고, 적어도 하나의 프로세서(180)는 생성된 3D 모델을 2D로 투영하여 복수의 투영 이미지를 획득할 수 있다. 적어도 하나의 프로세서(180)는 복수의 유형의 이미지와 상기 복수의 유형의 이미지와 대응되는 복수의 투영 이미지를 비교하며, 비교 결과를 바탕으로 3D 모델의 품질값을 측정할 수 있다. 3D 모델의 품질값이 임계값 미만인 경우, 적어도 하나의 프로세서(180)는 로봇의 촬영 위치를 재설정하고, 주행부(110)를 통해 재설정된 촬영 위치에서 사용자를 촬영하여 복수의 재설정 이미지를 획득하고, 획득된 복수의 재설정 이미지에 기초하여 사용자에 대한 3D 모델을 업데이트할 수 있다.
한편, 사용자가 인식되면, 적어도 하나의 프로세서(180)는 사용자의 얼굴을 촬영하여 얼굴 이미지를 획득할 수 있다. 적어도 하나의 프로세서(180)는 획득된 얼굴 이미지를 분석하여 획득된 얼굴 이미지에 대응되는 표정 유형을 획득할 수 있다. 적어도 하나의 프로세서(180)는 얼굴 이미지와 상기 표정 유형에 대한 정보를 데이터베이스에 저장할 수 있다. 적어도 하나의 프로세서(180)는 데이터베이스에 저장된 표정 유형별 얼굴 이미지에 기초하여 3D 모델의 얼굴 표정을 생성할 수 있다.
또한, 사용자가 인식되면, 적어도 하나의 프로세서(180)는 사용자의 모션을 촬영하여 모션 이미지를 획득할 수 있다. 적어도 하나의 프로세서(180)는 획득된 모션 이미지를 분석하여 획득된 모션 이미지에 대응되는 모션 유형을 획득할 수 있다. 적어도 하나의 프로세서(180)는 모션 이미지와 상기 모션 유형에 대한 정보를 데이터베이스에 저장할 수 있다. 적어도 하나의 프로세서(180)는 데이터베이스에 저장된 모션 유형별 모션 이미지에 기초하여 3D 모델의 모션을 생성할 수 있다.
이하에서는 도 3 내지 도 6을 참조하여 제1 3D 모델 생성 모드로 동작하는 동안 사용자에 대한 3D 모델을 생성하는 방법에 대해 설명하기로 한다.
도 3은 본 개시의 일 실시예에 따른, 제1 3D 모델 생성 모드로 동작하는 동안 사용자에 대한 3D 모델을 생성하는 방법을 설명하기 위한 흐름도이다.
우선, 로봇(100)은 제1 3D 모델 생성 모드에 진입할 수 있다(S305). 구체적으로, 사용자로부터 "3D 모델 생성해 줘" 등과 같은 사용자 음성이 입력되면, 로봇(100)은 제1 3D 모델 생성 모드에 진입할 수 있다. 또는, 사용자 단말로부터 3D 모델 생성 요청이 수신되면, 로봇(100)은 제1 3D 모델 생성 모드에 진입할 수 있다.
로봇(100)은 메모리(160)에 저장된 맵에 기초하여 촬영 장소를 식별할 수 있다(S310). 구체적으로, 사용자에 대한 3D 모델을 생성하기 위해서는 사용자와 일정 간격을 유지하면서 사용자를 다양한 촬영 각도에서 촬영할 필요가 있다. 따라서, 사용자를 복수의 촬영 각도에서 촬영하기 위하여 임계 크기 이상의 영역이 필요하다. 따라서, 로봇(100)은 메모리(160)에 저장된 맵 중 임계 크기 이상의 영역을 검색할 수 있다. 임계 크기 이상의 영역이 복수 개 검색되면, 로봇(100)은 검색된 복수의 영역 중 사용자와 가장 가까운 영역을 촬영 장소로 식별할 수 있다.
한편, 임계 크기는 사용자 정보(예로, 사용자의 키 등)에 따라 결정될 수 있다. 구체적으로, 사용자의 키가 클수록 임계 크기가 크게 결정될 수 있으며, 사용자의 키가 작을수록 임계 크기가 작게 결정될 수 있다.
예를 들어, 도 4a의 좌측 도면에 도시된 바와 같이, 사용자(10)가 댁 내의 제1 공간에 위치하는 경우, 로봇(100)은 맵에 기초하여 도 4a의 우측에 도시된 바와 같이, 임계 크기 이상의 영역인 제2 공간(410)을 촬영 장소로 결정할 수 있다.
로봇(100)은 사용자에게 이동 메시지를 출력할 수 있다(2315). 구체적으로, 로봇(100)은 식별된 촬영 장소로 이동하라는 메시지를 사용자에게 출력할 수 있다. 예를 들어, 로봇(100)은 사용자에게 "거실로 이동하세요"라는 음성 메시지를 출력할 수 있으며, 사용자에게 "저를 따라 오세요"라는 음성 메시지와 함께 촬영 장소로 이동할 수 있다.
사용자가 촬영 장소에 위치하면, 로봇(100)은 촬영 경로를 획득할 수 있다(S320). 구체적으로, 로봇(100)은 사용자 이동 후 사용자 위치를 기반으로 촬영 경로를 획득할 수 있다. 예를 들어, 로봇(100)은 사용자가 위치한 지점을 기준으로 사용자와 일정 거리를 유지하도록 하는 원 형상의 촬영 경로를 획득할 수 있다. 이때, 일정 거리는 사용자 정보(예로, 사용자의 키)에 따라 결정될 수 있다. 예를 들어, 도 4b에 도시된 바와 같이, 로봇(10)은 사용자(10)를 기준으로 사용자와 일정 거리(R)를 유지하도록 하는 원 형상의 촬영 경로(420)를 획득할 수 있다.
이때, 로봇(100)은 촬영 경로를 따라 사용자를 촬영하고, 획득된 이미지를 기준으로 촬영 경로를 보정할 수 있다. 예를 들어, 획득된 이미지에 포함된 사용자의 크기가 임계 범위를 벗어나면, 로봇(100)은 촬영 경로를 보정할 수 있다. 즉, 획득된 이미지에 포함된 사용자의 크기가 임계 범위를 초과하면, 로봇(100)은 일정 거리를 증가시키도록 촬영 경로를 보정할 수 있다. 획득된 이미지에 포함된 사용자의 크기가 임계 범위 미만이면, 로봇(100)은 일정 거리를 감소시키도록 촬영 경로를 보정할 수 있다.
로봇(100)은 촬영 경로를 이동하는 동안 기설정된 촬영 간격으로 사용자를 촬영하여 복수의 이미지를 획득할 수 있다(S325). 이때, 기설정된 촬영 간격은 초기 설정에 의해 결정될 수 있다. 예를 들어, 도 4c에 도시된 바와 같이, 로봇(100)은 촬영 경로(420)를 이동하는 동안 제1 내지 제5 촬영 지점(430-1 내지 430-5)에서 5개의 촬영 이미지를 획득할 수 있다. 이때, 5개의 촬영 이미지 각각은 사용자의 정면을 기준으로 촬영된 촬영 각도에 대한 정보를 함께 저장할 수 있다. 한편, 로봇(100)은 기설정된 촬영 간격이 아닌 사용자 정보(예를 들어, 사용자의 키 등)에 기초하여 결정된 복수의 촬영 위치에서 복수의 이미지를 획득할 수 있다.
로봇(100)은 획득된 복수의 이미지에 기초하여 사용자에 대한 3D 모델(또는 기본 3D 모델)을 생성할 수 있다(S330). 이때, 로봇(100)은 Photogrammetry 기법 또는 Vision 기법 등을 이용하여 사용자(10)에 대한 3D 모델을 생성할 수 있다.
그리고, 로봇(100)은 획득된 3D 모델의 품질을 검사하기 위하여, 복수의 투영 이미지를 획득할 수 있다(S335). 이때, 복수의 투영 이미지는 복수의 이미지를 촬영한 촬영 각도에 대응되는 각도에서 3D 모델을 2D로 투영한 이미지일 수 있다. 예를 들어, 도 5a에 도시된 바와 같이, 제1 이미지(510)가 제1 촬영 각도(예로, 정면을 기준으로 72도)에서 촬영된 이미지인 경우, 로봇(100)은 3D 모델(20)의 정면을 기준으로 제1 각도(예로, 정면을 기준으로 72)에서 3D 모델을 투영하여 제1 투영 이미지(520)를 획득할 수 있다. 이와 같은 방식으로, 로봇(100)은 제1 내지 제5 이미지(430-1 내지 430-5) 각각에 대응되는 복수의 투영 이미지를 획득할 수 있다.
그리고, 로봇(100)은 복수의 이미지와 복수의 투영 이미지에 기초하여 3D 모델의 품질값을 획득할 수 있다(S340). 구체적으로, 로봇(100)은 복수의 이미지와 복수의 이미지와 대응되는 복수의 투영 이미지를 비교할 수 있다. 이때, 복수의 이미지 중 사용자의 정면을 기준으로 제1 각도에서 촬영된 제1 이미지에 포함된 복수의 제1 특징점의 픽셀과 복수의 투영 이미지 중 3D 모델을 제1 각도 방향에서 투영한 제1 투영 이미지에 포함된 복수의 제2 특징점의 픽셀을 비교하여 픽셀 차이값을 산출할 수 있다. 예를 들어, 로봇(100)은 제1 이미지(510)의 복수의 특징점(머리의 일 지점, 왼쪽 어깨의 일 지점, 왼 손의 일 지점, 왼 발의 일 지점)과 제1 이미지(510)에 대응되는 제1 투영 이미지(520)의 복수의 특징점(머리의 일 지점, 왼쪽 어깨의 일 지점, 왼 손의 일 지점, 왼 발의 일 지점)에 대해, 대응되는 픽셀 간의 픽셀 차이값을 산출할 수 있다. 그리고, 로봇(100)은 픽셀 차이값에 기초하여 3D 모델을 생성하는데 이용된 이미지의 품질값을 획득할 수 있다. 구체적으로, 로봇(100)은 픽셀 차이값이 클수록 품질값을 낮게 획득할 수 있으며, 픽셀 차이값이 작을수록 품질값을 높게 획득할 수 있다. 상술한 바와 같은 방법으로, 로봇(100)은 3D 모델을 생성하는데 이용된 복수의 이미지 각각에 대한 품질값을 획득하여, 3D 모델의 품질값을 획득할 수 있다.
그러나, 이는 일 실시예에 불과할 뿐, 로봇(100)은 이미지와 투영 이미지 사이의 유사도를 측정하여 3D 모델의 품질값을 획득할 수 있음은 물론이다. 또는, 로봇(100)은 이미지와 투영 이미지를 입력하여 품질값을 획득하도록 학습된 신경망 모델을 이용하여 3D 모델의 품질값을 획득할 수 있다. 즉, 로봇(100)은 신경망 모델에 이미지와 투영 이미지를 입력하여 3D 모델의 품질값을 획득할 수 있다.
로봇(100)은 품질값이 임계값 미만인지 여부를 판단할 수 있다(S345).
품질값이 임계값 이상인 경우(S345-N), 로봇(100)은 기존에 생성된 3D 모델을 이용하여 아바타를 생성할 수 있다.
품질값이 임계값 미만인 경우(S345-Y), 로봇(100)은 로봇의 촬영 간격 또는 촬영 위치를 재설정할 수 있다(S350). 이때, 로봇(100)은 이미지와 투영 이미지의 오차의 크기에 기초하여 로봇의 촬영 간격 또는 촬영 위치를 재설정할 수 있다. 즉, 로봇(100)은 이미지와 투영 이미지 사이의 오차의 크기가 큰 촬영 각도에서 촬영 간격을 좁게 하도록 재설정할 수 있으며, 이미지와 투영 이미지 사이의 오차의 크기가 작은 촬영 각도에서는 촬영 간격을 넓게 하도록 재설정할 수 있다. 또는, 로봇(100)은 이미지와 투영 이미지 사이의 오차의 크기가 큰 촬영 각도에서 재촬영을 하도록 촬영 위치를 재설정할 수 있다.
예를 들어, 로봇(100)은 도 6에 도시된 바와 같이, 촬영 경로 중 7개의 지점(610-1 내지 610-7)에서 재촬영을 수행하도록 촬영 간격 또는 촬영 위치를 재설정할 수 있다.
로봇(100)은 촬영 경로 중 재설정된 촬영 간격 또는 촬영 위치에서 사용자를 촬영하여 복수의 재설정 이미지를 획득할 수 있다(S355).
그리고, 로봇(100)은 복수의 재설정 이미지에 기초하여 3D 모델을 업데이트할 수 있다(S360). 구체적으로, 로봇(100)은 복수의 재설정 이미지에 기초하여 3D 모델을 재생성하여 기존의 3D 모델을 업데이트할 수 있다.
그리고, 로봇(100)은 업데이트된 3D 모델의 품질을 확인하기 위하여, S335 내지 S345 과정을 반복하여 수행할 수 있다.
도 7은 본 개시의 일 실시예에 따른, 제2 3D 모델 생성 모드로 동작하는 동안 사용자에 대한 3D 모델을 생성하는 방법을 설명하기 위한 흐름도이다.
우선, 로봇(100)은 제2 3D 모델 생성 모드에 진입할 수 있다(S710). 구체적으로, 사용자로부터 3D 모델 생성 요청이 수신되면, 로봇(100)은 제2 3D 모델 생성 모드에 진입할 수 있다. 이때, 로봇(100)(또는 사용자 단말)은 제1 3D 모델 생성 모드 및 제2 3D 모델 생성 모드 각각에 대응되는 아이콘을 표시할 수 있으며, 선택된 아이콘에 따라 3D 모델 생성 모드에 진입할 수 있다. 한편, 제2 3D 모델 생성 모드에 진입한 경우, 로봇(100)은 바로 사용자를 촬영하지 않고, 로봇(100)의 다른 기능(예로, 배달 기능, 청소 기능 등)을 수행하는 동안 주행 중에 사용자를 촬영할 수 있다.
제2 3D 모델 생성 모드에 진입한 후, 로봇(100)은 주행하는 동안 사용자를 인식할 수 있다(S720). 이때, 로봇(100)은 얼굴 인식, 음성 인식을 통해 사용자를 인식할 수 있다. 사용자가 인식되면, 로봇(100)은 사용자의 위치에 대한 정보를 획득할 수 있다. 이때, 사용자의 위치에 대한 정보는 사용자가 위치한 영역의 조명 정보 등이 포함될 수 있다. 또한, 로봇(100)은 인식된 사용자를 추적할 수 있다.
로봇(100)은 인식된 사용자에 대한 정보(예로, 현재 위치 및 사용자의 자세 등)에 기초하여 로봇(100)의 촬영 위치를 추정할 수 있다(S730). 이때, 로봇(100)은 사용자에 대한 정보 이외에 로봇(100)의 위치, 주변 장애물 정보, 맵 정보 등에 기초하여 로봇의 촬영 위치를 추정할 수 있음은 물론이다. 또한, 로봇(100)은 사용자가 위치한 영역 중 조명이 비추는 방향 또는 기설정된 값 이상의 조도를 가지는 방향을 식별하고, 식별된 방향에서 사용자를 촬영할 수 있도록 로봇(100)의 촬영 위치를 추정할 수 있다. 또는, 3D 모델을 생성하기 위해 필요한 복수의 유형 중 저장되지 않은 유형의 이미지가 존재하면, 로봇(100)은 저장되지 않는 유형의 이미지에 대응되는 촬영 각도로 촬영할 수 있도록 로봇의 촬영 위치를 추정할 수 있다. 예를 들어, 3D 모델을 생성하기 위하여, 6개 유형(예로, 0도에서 촬영한 유형, 60도에서 촬영한 유형, 120도에서 촬영한 유형, 180도에서 촬영한 유형, 240도에서 촬영한 유형 및 300도에서 촬영한 유형)의 이미지가 필요한 상황에서 60도에서 촬영한 유형의 이미지가 존재하지 않으면, 로봇(100)은 60도 방향에서 사용자를 촬영할 수 있도록 로봇(100)의 촬영 위치를 추정할 수 있다.
로봇(100)은 추정된 위치로 이동할 수 있다(S740). 이때, 로봇(100)은 기존의 경로에서 추정된 위치로 이동하기 위하여 새로운 경로를 식별할 수 있다. 예를 들어, 도 8에 도시된 바와 같이, 제1 경로(810)를 통해 주행하는 동안 제1 지점에 위치한 사용자(10)가 인식된 경우, 로봇(100)은 제2 지점(830)을 추정된 위치로 식별할 수 있다. 이때, 제1 경로(810) 내에 제2 지점(830)이 포함되어 있지 않으므로, 로봇(100)은 추정된 위치로 이동하기 위하여 새로운 제2 경로(820)를 식별할 수 있다.
로봇(100)은 추정된 위치에서 카메라(120)를 통해 적어도 하나의 이미지를 획득할 수 있다(S750). 적어도 하나의 이미지를 획득한 후, 로봇(100)은 기존의 기능을 수행하기 위하여 제2 경로(820)에 따라 주행할 수 있다.
로봇(100)은 적어도 하나의 이미지를 분석하여 적어도 하나의 이미지의 유형을 분류할 수 있다(S760). 구체적으로, 로봇(100)은 획득된 적어도 하나의 이미지를 분석하여 적어도 하나의 이미지가 촬영된 방향에 대한 정보 또는 적어도 하나의 이미지에 포함된 사용자의 신체 부위에 대한 정보를 획득할 수 있다. 그리고, 로봇(100)은 적어도 하나의 이미지가 촬영된 방향에 대한 정보 또는 적어도 하나의 이미지에 포함된 사용자의 신체 부위에 대한 정보에 기초하여 로봇을 기 저장된 복수의 유형 중 하나의 유형으로 분류할 수 있다. 또한, 로봇(100)은 사용자의 조도 및 피부톤에 기초하여 촬영된 이미지를 분류할 수 있다. 이때, 로봇(100)은 적어도 하나의 이미지를 분석하여 적어도 하나의 이미지의 유형을 분류할 수 있으나, 촬영 당시의 카메라의 자세 및 위치에 대한 정보에 대한 정보를 추정하여 데이터베이스에 함께 저장할 수 있다.
로봇(100)은 획득된 적어도 하나의 이미지와 이미지의 유형에 대한 정보를 데이터베이스에 저장할 수 있다(S770).
로봇(100)은 데이터베이스에 기설정된 복수의 유형의 이미지가 저장되었는지 여부를 판단할 수 있다(S780). 구체적으로, 로봇(100)은 사용자에 대한 3D 모델을 생성하는데 필요한 기설정된 복수의 유형의 이미지가 모두 저장되었는지 여부를 판단할 수 있다. 예를 들어, 로봇(100)은 3D 모델을 생성하기 위해 필요한 6개 유형(예로, 0도에서 촬영한 유형, 60도에서 촬영한 유형, 120도에서 촬영한 유형, 180도에서 촬영한 유형, 240도에서 촬영한 유형 및 300도에서 촬영한 유형)의 이미지가 모두 저장되었는지 여부를 판단할 수 있다. 이때, 로봇(100)은 한 개의 유형에 기설정된 복수의 개수(예로, 3개)의 이미지가 저장되었는지 여부를 판단할 수 있다.
데이터베이스에 기설정된 복수의 유형의 이미지가 저장된 경우(S780-Y), 로봇(100)은 데이터베이스에 저장된 이미지들을 이용하여 3D 모델을 생성할 수 있다(S790). 이때, 로봇(100)은 Photogrammetry 기법 또는 Vision 기법 등을 이용하여 사용자(10)에 대한 3D 모델을 생성할 수 있다.
데이터베이스에 기설정된 복수의 유형의 이미지가 저장되지 않은 경우(S780-N), 로봇(100)은 다시 사용자의 이미지를 획득하기 위하여, S720 단계 내지 S780 단계를 반복할 수 있다. 이때, 로봇(100)은 S730 단계에서 로봇(100)에 저장되지 않는 유형의 이미지에 대응되는 촬영 각도로 촬영할 수 있도록 로봇의 촬영 위치를 추정할 수 있다.
한편, 상술한 실시예에서는 사용자의 촬영 각도에 따라 이미지의 유형이 분류되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 이미지 포함된 사용자의 신체 부위에 따라 이미지의 유형이 분류될 수 있다. 예를 들어, 로봇(100)은 사용자의 얼굴, 몸통이 포함된 제1 유형, 사용자의 왼쪽 옆모습과 왼쪽 팔, 왼쪽 다리를 포함하는 제2 유형, 사용자의 뒷모습, 등, 엉덩이를 포함하는 제3 유형, 사용자의 오른쪽 옆모습과 오른쪽 팔, 오른쪽 다리를 포함하는 제4 유형으로 이미지를 분류할 수 있다.
도 9는 본 개시의 일 실시예에 따른, 제2 3D 모델 생성 모드로 동작하는 동안 3D 모델의 품질에 따라 3D 모델을 업데이트 하는 방법을 설명하기 위한 흐름도이다.
우선, 로봇(100)은 복수의 투영 이미지를 획득할 수 있다(S910). 이때, 복수의 투영 이미지는 데이터베이스에 저장된 복수의 이미지의 유형에 대응되는 각도에서 3D 모델을 2D로 투영한 이미지일 수 있다.
그리고, 로봇(100)은 복수의 유형의 이미지와 복수의 유형의 이미지와 대응되는 복수의 투영 이미지를 비교할 수 있다(S920). 이때, 로봇(100)은 복수의 이미지 중 사용자의 정면을 기준으로 제1 각도에서 촬영된 제1 이미지(즉, 제1 유형의 이미지)에 포함된 복수의 제1 특징점과 복수의 투영 이미지 중 3D 모델을 제1 각도 방향에서 투영한 제1 투영 이미지에 포함된 복수의 제2 특징점을 비교할 수 있다. 이와 같은 방식으로, 로봇(100)은 복수의 유형의 이미지에 포함된 복수의 제1 특징점을 대응되는 투영 이미지에 포함된 복수의 제2 특징점과 비교할 수 있다.
로봇(100)은 비교 결과에 기초하여 3D 모델의 품질값을 획득할 수 있다(S930). 구체적으로, 로봇(100)은 복수의 이미지와 복수의 이미지와 대응되는 복수의 투영 이미지를 비교할 수 있다. 구체적으로, 로봇(100)은 제1 유형의 이미지의 복수의 특징점(머리의 일 지점, 왼쪽 어깨의 일 지점, 왼 손의 일 지점, 왼 발의 일 지점)과 제1 유형의 이미지에 대응되는 제1 투영 이미지의 복수의 특징점(머리의 일 지점, 왼쪽 어깨의 일 지점, 왼 손의 일 지점, 왼 발의 일 지점)에 대해 대응되는 픽셀 간의 픽셀 차이값을 산출할 수 있다. 그리고, 로봇(100)은 픽셀 차이값에 기초하여 3D 모델을 생성하는데 이용된 이미지의 품질값을 획득할 수 있다. 구체적으로, 로봇(100)은 픽셀 차이값이 클수록 품질값을 낮게 획득할 수 있으며, 픽셀 차이값이 작을수록 품질값을 높게 획득할 수 있다. 상술한 바와 같은 방법으로, 로봇(100)은 3D 모델을 생성하는데 이용된 복수의 유형의 이미지 각각에 대한 품질값을 획득하여, 3D 모델의 품질값을 획득할 수 있다.
그러나, 이는 일 실시예에 불과할 뿐, 로봇(100)은 이미지와 투영 이미지 사이의 유사도를 측정하여 3D 모델의 품질값을 획득할 수 있음은 물론이다. 또는, 로봇(100)은 이미지와 투영 이미지를 입력하여 품질값을 획득하도록 학습된 신경망 모델을 이용하여 3D 모델의 품질값을 획득할 수 있다. 즉, 로봇(100)은 신경망 모델에 이미지와 투영 이미지를 입력하여 3D 모델의 품질값을 획득할 수 있다.
로봇(100)은 품질값이 임계값 미만인지 여부를 판단할 수 있다(S940).
품질값이 임계값 이상인 경우(S940-N), 로봇(100)은 기존에 생성된 3D 모델을 이용하여 아바타를 생성할 수 있다.
품질값이 임계값 미만인 경우(S940-Y), 로봇(100)은 로봇의 촬영 위치를 재설정할 수 있다(S950). 이때, 로봇(100)은 이미지와 투영 이미지의 오차의 크기에 기초하여 로봇의 촬영 간격 또는 촬영 위치를 재설정할 수 있다. 즉, 로봇(100)은 이미지와 투영 이미지 사이의 오차의 크기가 큰 촬영 각도에서 재촬영을 하도록 촬영 위치를 재설정할 수 있다. 이에 따라, 로봇(100)은 다른 기능을 수행하는 동안 이미지와 투영 이미지 사이의 오차의 크기가 큰 촬영 각도에서 재촬영을 하도록 주행 경로를 변경하여 촬영 위치를 추정할 수 있다.
로봇(100)은 재설정된 촬영 위치에서 사용자를 촬영하여 복수의 재설정 이미지를 획득할 수 있다(S960).
그리고, 로봇(100)은 복수의 재설정 이미지에 기초하여 3D 모델을 업데이트할 수 있다(S970). 구체적으로, 로봇(100)은 복수의 재설정 이미지에 기초하여 3D 모델을 재생성하여 기존의 3D 모델을 업데이트할 수 있다.
즉, 로봇(100)은 기존의 3D 모델의 품질을 분석하여 3D 모델의 품질을 개선시킬 수 있는 카메라의 위치 및 방향을 추정하고, 로봇(100)이 다른 기능을 수행하면서 주행하는 동안 추적하고 있는 사용자에 대해, 3D 모델 품질을 개선시킬 수 있는 위치 및 방향을 결정하고, 해당 위치 및 방향에서 촬영하여 얻은 이미지로 3D 모델을 업데이트(또는 개선)시킬 수 있다. 또한, 로봇(100)은 평소 주행하면서 상술한 과정을 반복하여 사용자에 대한 3D 모델을 지속적으로 개선시킬 수 있다.
또한, 로봇(100)은 주행 중 사용자를 인식하고, 인식된 사용자의 얼굴이나 모션에 대한 정보를 획득할 수 있다. 그리고, 로봇(100)은 획득된 사용자의 얼굴이나 모션에 대한 정보에 기초하여 3D 모델의 표정 또는 모션을 생성할 수 있다. 이에 대해서는 도 10 및 도 11을 참조하여 더욱 상세히 설명하기로 한다.
도 10은 본 개시의 일 실시예에 따른, 3D 모델의 얼굴 표정을 생성하는 방법을 설명하기 위한 흐름도이다.
우선, 로봇(100)은 사용자를 인식할 수 있다(S1010). 구체적으로, 로봇(100)은 로봇(100)의 다른 기능을 수행하는 상태에서 주행 중 사용자를 인식할 수 있다. 또는 로봇(100)은 제1 3D 모델 생성 모드 또는 제2 3D 모델 생성 모드로 동작하는 동안 사용자를 인식할 수 있다. 이때, 로봇(100)은 사용자의 얼굴, 홍채, 음성 등을 인식하여 사용자를 인식할 수 있다.
로봇(100)은 사용자 얼굴을 촬영하여 얼굴 이미지를 획득할 수 있다(S1020). 구체적으로, 로봇(100)은 인식된 사용자를 촬영하여 사용자의 얼굴 이미지를 획득할 수 있다.
로봇(100)은 얼굴 이미지를 분석하여 얼굴 이미지에 대응되는 표정 유형을 획득할 수 있다(S1030). 이때, 로봇(100)은 얼굴 이미지에 포함된 특징점(예를 들어, 눈, 코, 입 등)을 분석하여 얼굴 이미지에 대응되는 표정 유형에 대한 정보를 획득할 수 있다. 또는 로봇(100)은 얼굴 이미지를 학습된 신경망 모델에 입력하여 얼굴 이미지에 대응되는 표정 유형에 대한 정보를 획득할 수 있다.
로봇(100)은 획득된 얼굴 이미지와 표정 유형에 대한 정보를 데이터베이스에 저장할 수 있다(S1040). 이때, 로봇(100)은 얼굴 표정뿐만 아니라 얼굴의 피부 톤 등과 같은 부가 정보를 함께 저장할 수 있다.
로봇(100)은 데이터베이스에 저장된 표정 유형별 얼굴 이미지에 기초하여 3D 모델의 얼굴 표정을 생성할 수 있다(S1050. 이때, 로봇(100)은 사용자 입력에 따라 3D 모델의 얼굴 표정을 최종 생성할 수 있다. 한편, 로봇(100)은 Photogrammetry 기법 또는 Vision 기법 등을 이용하여 3D 모델의 얼굴 표정을 생성할 수 있다.
도 11은 본 개시의 일 실시예에 따른, 3D 모델의 모션을 생성하는 방법을 설명하기 위한 흐름도이다.
우선, 로봇(100)은 사용자를 인식할 수 있다(S1110). 구체적으로, 로봇(100)은 로봇(100)의 다른 기능을 수행하는 상태에서 주행 중 사용자를 인식할 수 있다. 또는 로봇(100)은 제1 3D 모델 생성 모드 또는 제2 3D 모델 생성 모드로 동작하는 동안 사용자를 인식할 수 있다. 이때, 로봇(100)은 사용자의 얼굴, 홍채, 음성 등을 인식하여 사용자를 인식할 수 있다.
로봇(100)은 사용자를 촬영하여 모션 이미지를 획득할 수 있다(S1120). 이때, 로봇(100)은 이동하면서 사용자의 모션을 촬영하여 모션 이미지를 획득할 수 있다.
로봇(100)은 모션 이미지를 분석하여 모션 이미지에 대응되는 모션 유형을 획득할 수 있다(S1130). 이때, 로봇(100)은 모션 이미지에 포함된 특징점(예를 들어, 팔, 다리, 몸통, 얼굴 등)을 분석하여 모션 이미지에 대응되는 모션 유형에 대한 정보를 획득할 수 있다. 또는, 로봇(100)은 모션 이미지를 학습된 신경망 모델에 입력하여 모션 이미지에 대응되는 모션 유형에 대한 정보를 획득할 수 있다.
로봇(100)은 획득된 모션 이미지와 모션 유형에 대한 정보를 데이터베이스에 저장할 수 있다(S1140).
로봇(100)은 데이터베이스에 저장된 모션 유형 별 모션 이미지에 기초하여 3D 모델의 모션을 생성할 수 있다(S1150). 이때, 로봇(100)은 사용자가 검색한 모션에 따라 3D 모델에 사용자의 모션을 적용할 수 있다. 한편, 로봇(100)은 모션 캡쳐 관련 그래픽스 기법 등을 이용하여 3D 모델에 사용자의 모션을 적용할 수 있다.
한편, 본 개시에 따른 인공지능과 관련된 기능(예로, 신경망 모델에 대한 학습 기능 및 추론 기능)은 로봇의 적어도 하나의 프로세서와 메모리를 통해 동작된다.
프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU(Central Processing Unit), GPU(Graphic Processing Unit), NPU(Neural Processing Unit) 중 적어도 하나를 포함할 수 있으나 전술한 프로세서의 예시에 한정되지 않는다.
CPU는 일반 연산뿐만 아니라 인공지능 연산을 수행할 수 있는 범용 프로세서로서, 다계층 캐시(Cache) 구조를 통해 복잡한 프로그램을 효율적으로 실행할 수 있다. CPU는 순차적인 계산을 통해 이전 계산 결과와 다음 계산 결과의 유기적인 연계가 가능하도록 하는 직렬 처리 방식에 유리하다. 범용 프로세서는 전술한 CPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
GPU는 그래픽 처리에 이용되는 부동 소수점 연산 등과 같은 대량 연산을 위한 프로세서로서, 코어를 대량으로 집적하여 대규모 연산을 병렬로 수행할 수 있다. 특히, GPU는 CPU에 비해 컨볼루션(Convolution) 연산 등과 같은 병렬 처리 방식에 유리할 수 있다. 또한, GPU는 CPU의 기능을 보완하기 위한 보조 프로세서(co-processor)로 이용될 수 있다. 대량 연산을 위한 프로세서는 전술한 GPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
NPU는 인공 신경망을 이용한 인공지능 연산에 특화된 프로세서로서, 인공 신경망을 구성하는 각 레이어를 하드웨어(예로, 실리콘)로 구현할 수 있다. 이때, NPU는 업체의 요구 사양에 따라 특화되어 설계되므로, CPU나 GPU에 비해 자유도가 낮으나, 업체가 요구하기 위한 인공지능 연산을 효율적으로 처리할 수 있다. 한편, 인공지능 연산에 특화된 프로세서로, NPU는 TPU(Tensor Processing Unit), IPU(Intelligence Processing Unit), VPU(Vision processing unit) 등과 같은 다양한 형태로 구현 될 수 있다. 인공 지능 프로세서는 전술한 NPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
또한, 하나 또는 복수의 프로세서는 SoC(System on Chip)으로 구현될 수 있다. 이때, SoC에는 하나 또는 복수의 프로세서 이외에 메모리, 및 프로세서와 메모리 사이의 데이터 통신을 위한 버스(Bus) 등과 같은 네트워크 인터페이스를 더 포함할 수 있다.
로봇(100)에 포함된 SoC(System on Chip)에 복수의 프로세서가 포함된 경우, 로봇(100)은 복수의 프로세서 중 일부 프로세서를 이용하여 인공지능과 관련된 연산(예를 들어, 인공지능 모델의 학습(learning)이나 추론(inference)에 관련된 연산)을 수행할 수 있다. 예를 들어, 로봇(100)은 복수의 프로세서 중 컨볼루션 연산, 행렬 곱 연산 등과 같은 인공지능 연산에 특화된 GPU, NPU, VPU, TPU, 하드웨어 가속기 중 적어도 하나를 이용하여 인공지능과 관련된 연산을 수행할 수 있다. 다만, 이는 일 실시예에 불과할 뿐, CPU 등과 범용 프로세서를 이용하여 인공지능과 관련된 연산을 처리할 수 있음은 물론이다.
또한, 로봇(100)은 하나의 프로세서에 포함된 멀티 코어(예를 들어, 듀얼 코어, 쿼드 코어 등)를 이용하여 인공지능과 관련된 기능에 대한 연산을 수행할 수 있다. 특히, 로봇(100)은 프로세서에 포함된 멀티 코어를 이용하여 병렬적으로 컨볼루션 연산, 행렬 곱 연산 등과 같은 인공 지능 연산을 수행할 수 있다.
하나 또는 복수의 프로세서는, 메모리에 저장된 기정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다.
여기서, 학습을 통해 만들어진다는 것은, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 기정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어 질 수도 있다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 적어도 하나의 레이어는 적어도 하나의 가중치(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 적어도 하나의 정의된 연산을 통해 레이어의 연산을 수행한다. 신경망의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks), Transformer가 있으며, 본 개시에서의 신경망은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)을 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 방법이다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 본 개시에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
또한, 본 개시의 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 개시의 다양한 실시 예에 따른 방법은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 로봇(100))를 포함할 수 있다.
한편, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
110: 주행부 120: 카메라
130: 출력부 140: 센서
150: 통신 인터페이스 160: 메모리
170: 적어도 하나의 프로세서

Claims (20)

  1. 3D 모델을 생성하는 로봇에 있어서,
    주행부;
    적어도 하나의 카메라;
    출력부;
    맵을 저장하는 메모리; 및
    상기 주행부, 상기 적어도 하나의 카메라, 상기 출력부 및 상기 메모리와 연결되며, 상기 로봇을 제어하는 적어도 하나의 프로세서;를 포함하며,
    상기 적어도 하나의 프로세서는,
    사용자에 대한 3D 모델을 생성하는 제1 모드에 진입하면, 상기 맵에 기초하여 상기 사용자에 대한 3D 모델을 생성하기 위한 촬영 장소를 식별하고,
    상기 사용자에게 상기 식별된 촬영 장소로 이동하라는 메시지를 출력하도록 상기 출력부를 제어하며,
    상기 사용자가 상기 촬영 장소에 위치하면, 상기 사용자를 촬영하기 위한 촬영 경로를 획득하며,
    상기 주행부를 통해 상기 촬영 경로를 따라 이동하는 동안 기설정된 촬영 간격으로 상기 카메라를 통해 상기 사용자를 촬영하여 복수의 이미지를 획득하고,
    상기 획득된 복수의 이미지에 기초하여 상기 사용자에 대한 3D 모델을 생성하는 로봇.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 생성된 3D 모델을 2D로 투영하여 복수의 투영 이미지를 획득하고,
    상기 복수의 이미지와 상기 복수의 이미지와 대응되는 복수의 투영 이미지를 비교하며,
    상기 비교 결과를 바탕으로 상기 3D 모델의 품질값을 측정하는 로봇
  3. 제2항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 복수의 이미지 중 사용자의 정면을 기준으로 제1 각도에서 촬영된 제1 이미지에 포함된 복수의 제1 특징점의 픽셀과 상기 복수의 투영 이미지 중 상기 3D 모델을 상기 제1 각도 방향에서 투영한 제1 투영 이미지에 포함된 복수의 제2 특징점의 픽셀을 비교하여 픽셀 차이값을 산출하며,
    상기 산출된 픽셀 차이값에 기초하여 상기 3D 모델의 품질값을 측정하는 로봇.
  4. 제3항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 3D 모델의 품질값이 임계값 미만인 경우, 상기 로봇의 촬영 간격 또는 촬영 위치를 재설정하고,
    상기 주행부를 통해 상기 촬영 경로를 따라 이동하는 동안 상기 재설정된 촬영 간격 또는 촬영 위치에서 상기 사용자를 촬영하여 복수의 재설정 이미지를 획득하고,
    상기 획득된 복수의 재설정 이미지에 기초하여 상기 사용자에 대한 3D 모델을 업데이트하는 로봇.
  5. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    사용자에 대한 3D 모델을 생성하는 제2 모드에 진입하면, 상기 로봇이 주행하는 동안 상기 사용자를 인식하고,
    상기 인식된 사용자의 위치에 대한 정보에 기초하여 상기 로봇의 촬영 위치를 추정하며,
    상기 추정된 위치로 상기 로봇을 이동하도록 상기 주행부를 제어하고,
    상기 추정된 위치에서 상기 카메라를 통해 적어도 하나의 이미지를 획득하며,
    상기 적어도 하나의 이미지를 분석하여 상기 적어도 하나의 이미지의 유형을 분류하여 데이터베이스에 저장하는 로봇.
  6. 제5항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 데이터베이스에 기설정된 복수의 유형의 이미지가 저장되면, 상기 저장된 복수의 유형의 이미지의 기초하여 상기 사용자에 대한 3D 모델을 생성하는 로봇.
  7. 제6항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 복수의 유형 중 저장되지 않은 유형의 이미지가 존재하면, 상기 저장되지 않는 유형의 이미지에 대응되는 촬영 각도로 촬영할 수 있도록 상기 로봇의 촬영 위치를 추정하는 로봇.
  8. 제6항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 생성된 3D 모델을 2D로 투영하여 복수의 투영 이미지를 획득하고,
    상기 복수의 유형의 이미지와 상기 복수의 유형의 이미지와 대응되는 복수의 투영 이미지를 비교하며,
    상기 비교 결과를 바탕으로 상기 3D 모델의 품질값을 측정하며,
    상기 3D 모델의 품질값이 임계값 미만인 경우, 상기 로봇의 촬영 위치를 재설정하고,
    상기 주행부를 통해 상기 재설정된 촬영 위치에서 상기 사용자를 촬영하여 복수의 재설정 이미지를 획득하고,
    상기 획득된 복수의 재설정 이미지에 기초하여 상기 사용자에 대한 3D 모델을 업데이트하는 로봇.
  9. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 사용자가 인식되면, 상기 사용자의 얼굴을 촬영하여 얼굴 이미지를 획득하고,
    상기 획득된 얼굴 이미지를 분석하여 상기 획득된 얼굴 이미지에 대응되는 표정 유형을 획득하고,
    상기 얼굴 이미지와 상기 표정 유형에 대한 정보를 데이터베이스에 저장하고,
    상기 데이터베이스에 저장된 표정 유형별 얼굴 이미지에 기초하여 3D 모델의 얼굴 표정을 생성하는 로봇.
  10. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 사용자가 인식되면, 상기 사용자의 모션을 촬영하여 모션 이미지를 획득하고,
    상기 획득된 모션 이미지를 분석하여 상기 획득된 모션 이미지에 대응되는 모션 유형을 획득하고,
    상기 모션 이미지와 상기 모션 유형에 대한 정보를 데이터베이스에 저장하고,
    상기 데이터베이스에 저장된 모션 유형별 모션 이미지에 기초하여 3D 모델의 모션을 생성하는 로봇.
  11. 3D 모델을 생성하는 로봇의 제어 방법에 있어서,
    사용자에 대한 3D 모델을 생성하는 제1 모드에 진입하면, 상기 로봇에 저장된 맵에 기초하여 상기 사용자에 대한 3D 모델을 생성하기 위한 촬영 장소를 식별하는 단계;
    상기 사용자에게 상기 식별된 촬영 장소로 이동하라는 메시지를 출력하는 단계;
    상기 사용자가 상기 촬영 장소에 위치하면, 상기 사용자를 촬영하기 위한 촬영 경로를 획득하는 단계;
    상기 촬영 경로를 따라 이동하는 동안 기설정된 촬영 간격으로 상기 사용자를 촬영하여 복수의 이미지를 획득하는 단계; 및
    상기 획득된 복수의 이미지에 기초하여 상기 사용자에 대한 3D 모델을 생성하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 제어 방법은,
    상기 생성된 3D 모델을 2D로 투영하여 복수의 투영 이미지를 획득하는 단계;
    상기 복수의 이미지와 상기 복수의 이미지와 대응되는 복수의 투영 이미지를 비교하는 단계;
    상기 비교 결과를 바탕으로 상기 3D 모델의 품질값을 측정하는 단계;를 포함하는 제어 방법.
  13. 제12항에 있어서,
    상기 비교하는 단계는,
    상기 복수의 이미지 중 사용자의 정면을 기준으로 제1 각도에서 촬영된 제1 이미지에 포함된 복수의 제1 특징점의 픽셀과 상기 복수의 투영 이미지 중 상기 3D 모델을 상기 제1 각도 방향에서 투영한 제1 투영 이미지에 포함된 복수의 제2 특징점의 픽셀을 비교하여 픽셀 차이값을 산출하고,
    상기 3D 모델의 품질값을 측정하는 단계는,
    상기 산출된 픽셀 차이값에 기초하여 상기 3D 모델의 품질값을 측정하는 제어 방법.
  14. 제13항에 있어서,
    상기 제어 방법은,
    상기 3D 모델의 품질값이 임계값 미만인 경우, 상기 로봇의 촬영 간격 또는 촬영 위치를 재설정하는 단계;
    상기 주행부를 통해 상기 촬영 경로를 따라 이동하는 동안 상기 재설정된 촬영 간격 또는 촬영 위치에서 상기 사용자를 촬영하여 복수의 재설정 이미지를 획득하는 단계; 및
    상기 획득된 복수의 재설정 이미지에 기초하여 상기 사용자에 대한 3D 모델을 업데이트하는 단계;를 포함하는 제어 방법.
  15. 제11항에 있어서,
    상기 제어 방법은,
    사용자에 대한 3D 모델을 생성하는 제2 모드에 진입하면, 상기 로봇이 주행하는 동안 상기 사용자를 인식하는 단계;
    상기 인식된 사용자의 위치에 대한 정보에 기초하여 상기 로봇의 촬영 위치를 추정하는 단계;
    상기 추정된 위치로 이동하는 단계;
    상기 추정된 위치에서 적어도 하나의 이미지를 획득하는 단계;
    상기 적어도 하나의 이미지를 분석하여 상기 적어도 하나의 이미지의 유형을 분류하여 데이터베이스에 저장하는 단계;를 포함하는 제어 방법.
  16. 제15항에 있어서,
    상기 제어 방법은,
    상기 데이터베이스에 기설정된 복수의 유형의 이미지가 저장되면, 상기 저장된 복수의 유형의 이미지의 기초하여 상기 사용자에 대한 3D 모델을 생성하는 단계;를 포함하는 제어 방법.
  17. 제16항에 있어서,
    상기 추정하는 단계는,
    상기 복수의 유형 중 저장되지 않은 유형의 이미지가 존재하면, 상기 저장되지 않는 유형의 이미지에 대응되는 촬영 각도로 촬영할 수 있도록 상기 로봇의 촬영 위치를 추정하는 제어 방법.
  18. 제16항에 있어서,
    상기 제어 방법은,
    상기 생성된 3D 모델을 2D로 투영하여 복수의 투영 이미지를 획득하는 단계;
    상기 복수의 유형의 이미지와 상기 복수의 유형의 이미지와 대응되는 복수의 투영 이미지를 비교하는 단계;
    상기 비교 결과를 바탕으로 상기 3D 모델의 품질값을 측정하는 단계;
    상기 3D 모델의 품질값이 임계값 미만인 경우, 상기 로봇의 촬영 위치를 재설정하는 단계;
    상기 주행부를 통해 상기 재설정된 촬영 위치에서 상기 사용자를 촬영하여 복수의 재설정 이미지를 획득하는 단계;
    상기 획득된 복수의 재설정 이미지에 기초하여 상기 사용자에 대한 3D 모델을 업데이트하는 단계;를 포함하는 제어 방법.
  19. 제11항에 있어서,
    상기 제어 방법은,
    상기 사용자가 인식되면, 상기 사용자의 얼굴을 촬영하여 얼굴 이미지를 획득하는 단계;
    상기 획득된 얼굴 이미지를 분석하여 상기 획득된 얼굴 이미지에 대응되는 표정 유형을 획득하는 단계;
    상기 얼굴 이미지와 상기 표정 유형에 대한 정보를 데이터베이스에 저장하는 단계;
    상기 데이터베이스에 저장된 표정 유형별 얼굴 이미지에 기초하여 3D 모델의 얼굴 표정을 생성하는 단계;를 포함하는 제어 방법.
  20. 제11항에 있어서,
    상기 제어 방법은,
    상기 사용자가 인식되면, 상기 사용자의 모션을 촬영하여 모션 이미지를 획득하는 단계;
    상기 획득된 모션 이미지를 분석하여 상기 획득된 모션 이미지에 대응되는 모션 유형을 획득하는 단계;
    상기 모션 이미지와 상기 모션 유형에 대한 정보를 데이터베이스에 저장하는 단계; 및
    상기 데이터베이스에 저장된 모션 유형별 모션 이미지에 기초하여 3D 모델의 모션을 생성하는 단계;를 포함하는 제어 방법.



KR1020220137789A 2022-10-24 2022-10-24 3d 모델을 생성하는 로봇 및 이의 제어 방법 KR20240057536A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220137789A KR20240057536A (ko) 2022-10-24 2022-10-24 3d 모델을 생성하는 로봇 및 이의 제어 방법
PCT/KR2023/014160 WO2024090792A1 (ko) 2022-10-24 2023-09-19 3d 모델을 생성하는 로봇 및 이의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220137789A KR20240057536A (ko) 2022-10-24 2022-10-24 3d 모델을 생성하는 로봇 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
KR20240057536A true KR20240057536A (ko) 2024-05-03

Family

ID=90831305

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220137789A KR20240057536A (ko) 2022-10-24 2022-10-24 3d 모델을 생성하는 로봇 및 이의 제어 방법

Country Status (2)

Country Link
KR (1) KR20240057536A (ko)
WO (1) WO2024090792A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005338977A (ja) * 2004-05-25 2005-12-08 Aichi Gakuin 立体画像処理システム
KR101757765B1 (ko) * 2016-05-24 2017-07-26 주식회사 글로브포인트 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템 및 그 제어 방법
KR20190090980A (ko) * 2018-01-26 2019-08-05 인천대학교 산학협력단 필터 부착 조명 및 드론을 이용한 3d 모델 생성 장치
WO2020130219A1 (ko) * 2018-12-21 2020-06-25 엘지전자 주식회사 로봇의 제어 방법
KR20210019185A (ko) * 2019-08-12 2021-02-22 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
WO2024090792A1 (ko) 2024-05-02

Similar Documents

Publication Publication Date Title
US12087077B2 (en) Determining associations between objects and persons using machine learning models
US11557085B2 (en) Neural network processing for multi-object 3D modeling
US10809081B1 (en) User interface and augmented reality for identifying vehicles and persons
KR101896131B1 (ko) 깊이 맵을 이용하는 모바일 카메라 로컬라이제이션
US10837788B1 (en) Techniques for identifying vehicles and persons
CA3073900C (en) Methods and systems for generating detailed datasets of an environment via gameplay
KR102526700B1 (ko) 전자 장치 및 그의 3d 이미지 표시 방법
US10909842B2 (en) Use of self-driving vehicles and mapping for pedestrian defined crosswalks
US11592825B2 (en) Electronic device and operation method therefor
WO2018103023A1 (zh) 人机混合决策方法和装置
WO2017127218A1 (en) Object-focused active three-dimensional reconstruction
CN112119627A (zh) 基于云台的目标跟随方法、装置、云台和计算机存储介质
US11138812B1 (en) Image processing for updating a model of an environment
CN116416291A (zh) 电子围栏自动生成方法、实时检测方法及装置
KR20220079428A (ko) 비디오에서 객체를 검출하는 방법 및 장치
KR20240057536A (ko) 3d 모델을 생성하는 로봇 및 이의 제어 방법
US20230245344A1 (en) Electronic device and controlling method of electronic device
KR20220021581A (ko) 로봇 및 이의 제어 방법
US11846514B1 (en) User interface and augmented reality for representing vehicles and persons
JP2021099384A (ja) 情報処理装置、情報処理方法およびプログラム
US12056858B2 (en) Hole filling method for providing virtual three-dimensional model and computing device therefor
JP2021099383A (ja) 情報処理装置、情報処理方法およびプログラム
KR20240002835A (ko) 공간에 대한 맵을 생성하는 전자 장치 및 이의 제어 방법
CN111971149A (zh) 记录介质、信息处理设备和信息处理方法
US20240153262A1 (en) Device for managing a visual saliency model and control method thereof