KR102095120B1 - 지능형 실내 공간 서비스를 위한 공간의 기능 및 의미를 포함한 실내 공간 모델링 방법 및 장치 - Google Patents

Abstract

지능형 실내 공간 서비스를 위한 공간의 기능 및 의미를 포함한 실내 공간 모델링 방법 및 장치가 제시된다. 본 발명에서 제안하는 지능형 실내 공간 서비스를 위한 공간의 기능 및 의미를 포함한 실내 공간 모델링 방법은 실내 공간에 대한 3D 데이터를 추출하는 프로세싱 단계, 상기 3D 데이터를 복수의 셀로 세분화하는 단계, 상기 복수의 셀에 대해 물리적 제약조건 및 의미적 제약조건을 확인하여 사람이 이동 가능한 공간과 이동 불가능한 공간을 구분하여 공간을 분할하는 단계, 오브젝트가 존재하는 오브젝트-셀(Object-Cell)과 아무것도 존재하지 않는 엠티-셀(Empty-Cell)을 구분하고, 상기 분할된 공간과 상기 복수의 셀간 병합을 수행하는 단계, 상기 병합을 수행하여 최종 셀을 생성하고 각각의 셀에 대한 정보 및 ID를 부여하는 단계, 상기 최종 셀의 구조(Structure) 및 기능(Function) 정보들에 기초하여 최종 셀간 병합을 통해 상위 의미 공간인 영역(Area)을 생성하는 단계, 생성된 영역의 기능과 구조 정보에 따라 병합된 스페이스(space)를 생성하는 단계 및 상기 최종 셀, 상기 영역 및 스페이스를 이용하여 에지를 생성하고, 에지를 이용하여 FBSMAP(Function-Behavior-Structure Map)을 생성하는 단계를 포함한다.

Description

지능형 실내 공간 서비스를 위한 공간의 기능 및 의미를 포함한 실내 공간 모델링 방법 및 장치{Method and Apparatus for indoor space modeling with function, behavior and structure for intelligent indoor service}

본 발명은 지능형 실내 공간 서비스를 위한 공간의 기능 및 의미를 포함한 실내 공간 모델링 방법 및 장치에 관한 것이다. 이 특허는 삼성전자 미래기술육성센터의 지원을 받아 수행된 연구임 (과제번호 SRFC-IT1701-14).

최근 실내 환경과 관련된 서비스가 주목 받고 있다. 생활 보조(비서 서비스), 실내 네비게이션, 증강현실 기반 아바타 텔레프레전스 등의 지능형 실내 서비스가 그 예라고 할 수 있다. 지능형 실내 서비스를 제공하기 위해서는 기술적으로 필요한 많은 요소가 있다. 그 요소들 중 중요한 한가지는 실내공간에 대한 디지털 데이터를 확보하는 것이다.

과거의 실내공간 서비스는 정밀한 측위를 기반으로 한 네비게이팅 서비스 같은 포지셔닝 서비스가 주로 이루었지만, 앞으로 다가올 4차산업혁명에서는 AI기반의 사용자 보조 서비스가 중심이 될 것으로 예측된다. 예를 들어 AI비서가 사용자의 움직임이나 행동 행태 등을 이해하여 그에 맞는 적절한 개인화 서비스를 제공하는 방식인데, 음성적으로 정보를 안내하는 것에서, 실내 공간에 위치한 IoT 디바이스 등(예를 들어, 조명, 전원 등)을 적절하게 제어하는 것을 예상할 수 있다.

이와 같은 시스템이 잘 동작하기 위해서는 실내 공간에 위치한 IoT 디바이스가 어디에 존재하고 있는지에 대한 물리적인 좌표가 요구되며, 더 나아가 해당 공간의 명확한 의미를 AI비서가 이해 할 수 있도록 제공 되어야 한다. 실내공간에서 어디까지가 휴식공간이고, 어디까지가 활동공간인지, 거실인지 AI비서가 이해하기 어렵기 때문이다.

따라서 미래의 지능형 서비스를 대상으로 요구되는 과거 공간의 물리적 모델링 방법에서 더 나아가 공간의 기능 및 의미를 포함한 논리적인 모델링을 하기 위한 방법이 필요하다.

본 발명이 이루고자 하는 기술적 과제는 미래의 지능형 서비스를 대상으로 요구되는 과거 공간의 물리적 모델링 방법에서 더 나아가 공간의 기능 및 의미를 포함한 논리적인 모델링을 하기 위한 방법 및 장치를 제공하는데 있다. 더욱 상세하게는 시스템이 공간의 의미를 잘 이해하여 서비스에 제공 할 수 있도록 복잡한 실내환경에서 공간 기능에 중점을 둔 새로운 실내공간 모델링 방법인 FBSMAP(Function-Behavior-Structure Map)을 제안하는 것이다.

일 측면에 있어서, 본 발명에서 제안하는 지능형 실내 공간 서비스를 위한 공간의 기능 및 의미를 포함한 실내 공간 모델링 방법은 실내 공간에 대한 3D 데이터를 추출하는 프로세싱 단계, 상기 3D 데이터를 복수의 셀로 세분화하는 단계, 상기 복수의 셀에 대해 물리적 제약조건 및 의미적 제약조건을 확인하여 사람이 이동 가능한 공간과 이동 불가능한 공간을 구분하여 공간을 분할하는 단계, 오브젝트가 존재하는 오브젝트-셀(Object-Cell)과 아무것도 존재하지 않는 엠티-셀(Empty-Cell)을 구분하고, 상기 분할된 공간과 상기 복수의 셀간 병합을 수행하는 단계, 상기 병합을 수행하여 최종 셀을 생성하고 각각의 셀에 대한 정보 및 ID를 부여하는 단계, 상기 최종 셀의 구조(Structure) 및 기능(Function) 정보들에 기초하여 최종 셀간 병합을 통해 상위 의미 공간인 영역(Area)을 생성하는 단계, 생성된 영역의 기능과 구조 정보에 따라 병합된 스페이스(space)를 생성하는 단계 및 상기 최종 셀, 상기 영역 및 스페이스를 이용하여 에지를 생성하고, 에지를 이용하여 FBSMAP(Function-Behavior-Structure Map)을 생성하는 단계를 포함한다.

상기 복수의 셀에 대해 물리적 제약조건 및 의미적 제약조건을 확인하여 사람이 이동 가능한 공간과 이동 불가능한 공간을 구분하여 공간을 분할하는 단계는 실내 공간에서 장애물의 크기 값을 이용하여 장애물에 대한 경계상자(Bounding Box)를 생성하고, 상기 복수의 셀의 그리드와 상기 경계상자의 교차점을 체크하여 장애물에 대한 정확한 위치와 연관성을 확인함으로써 물리적 제약조건을 확인하고, 이동 가능한 공간들에 대해 접근 권한이 있는지 대해 결정하는 의미적 제약조건을 확인한다.

상기 병합을 수행하여 최종 셀을 생성하고 각각의 셀에 대한 정보 및 ID를 부여하는 단계는 오브젝트-셀(Object-Cell)의 경우 객체에 따라 구조와 동작(Behavior) 정보가 존재하므로, 객체에 따라 각각 구조와 동작 정보가 포함 되는 최종 셀을 생성한다.

상기 최종 셀의 구조 및 기능 정보들에 기초하여 최종 셀간 병합을 통해 상위 의미 공간인 영역(Area)을 생성하는 단계는 장애물의 거리 및 방향에 의해 결정된 물리적 제약 조건과 장애물의 공간적 특징 및 기능에 의해 결정된 의미적 제약조건을 기준으로 영역을 생성하고, 물리적 제약조건을 반영하는 오브젝트-셀은 의미적 제약조건에 의해 영역으로 병합된다.

상기 최종 셀, 상기 영역 및 스페이스를 이용하여 에지를 생성하고, 에지를 이용하여 FBSMAP(Function-Behavior-Structure Map)을 생성하는 단계는 상기 최종 셀 중 엠티-셀(Empty-Cell)과 오브젝트-셀(Object-Cell)의 중심점들을 연결하여 사람이 이동할 수 있는 이동정보인 에지를 생성한다.

또 다른 일 측면에 있어서, 본 발명에서 제안하는 지능형 실내 공간 서비스를 위한 공간의 기능 및 의미를 포함한 실내 공간 모델링 장치는 실내 공간에 대한 3D 데이터를 추출하는 프로세싱부, 상기 3D 데이터를 복수의 셀로 세분화하고, 상기 복수의 셀에 대해 물리적 제약조건 및 의미적 제약조건을 확인하여 사람이 이동 가능한 공간과 이동 불가능한 공간을 구분하여 공간을 분할하는 공간 분할부, 오브젝트가 존재하는 오브젝트-셀(Object-Cell)과 아무것도 존재하지 않는 엠티-셀(Empty-Cell)을 구분하고, 상기 분할된 공간과 상기 복수의 셀간 병합을 수행하는 셀 병합부, 상기 병합을 수행하여 최종 셀을 생성하고 각각의 셀에 대한 정보 및 ID를 부여하는 최종 셀 생성부, 상기 최종 셀의 구조(Structure) 및 기능(Function) 정보들에 기초하여 최종 셀간 병합을 통해 상위 의미 공간인 영역(Area)을 생성하는 영역 생성부, 생성된 영역의 기능과 구조 정보에 따라 병합된 스페이스(space)를 생성하는 스페이스 생성부 및 상기 최종 셀, 상기 영역 및 스페이스를 이용하여 에지를 생성하고, 에지를 이용하여 FBSMAP(Function-Behavior-Structure Map)을 생성하는 FBSMAP 생성부를 포함한다.

본 발명의 실시예들에 따르면 실내공간의 공간적 특징(Spatial feature)들을 기반으로 공간 모델링(Space modeling)을 수행하여 모호한 실내 공간 표현 방법 (Indoor spatial representation)을 확립할 수 있고, 실내공간에 대한 질적 분석을 하기 위한 객관화 방법을 확립할 수 있다. 또한, 공간 간의 상관관계 및 유사성을 정량적인 지표로 획득할 수 있고, 아바타 텔레프레전스, 인공지능 기반 지능형 스마트 홈 서비스, 실내 위치 기반 서비스 등 실내공간을 기반으로 하는 다양한 고도화된 지능형 서비스를 제공하기 위한 기본 데이터로 활용 가능하다.

도 1은 본 발명의 일 실시예에 따른 실내공간 용어를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 지능형 실내 공간 서비스를 위한 공간의 기능 및 의미를 포함한 실내 공간 모델링 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 FBS 표현 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 실내공간에 대한 프로세싱 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 실내공간을 복수의 셀로 세분화하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 물리적 제약조건 및 의미적 제약조건을 체크하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 복수의 셀간 병합 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 최종 셀 생성 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 영역 생성 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따라 생성된 영역을 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따른 스페이스 생성 과정을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 에지 생성 과정을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 FBSMAP의 구조를 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따른 지능형 실내 공간 서비스를 위한 공간의 기능 및 의미를 포함한 실내 공간 모델링 장치의 구조를 나타내는 도면이다.
도 15 및 도 16은 본 발명의 일 실시예에 따른 FBSMAP 결과를 나타내는 도면이다.

지능형 실내 서비스는 효과적인 수행을 위해 고려해야 할 많은 요인들이 있다. 그 요소들 중 하나는 실내공간정보의 이해이다. 최적의 실내 서비스를 제공하기 위해 사용자뿐만 아니라 복잡한 실내 환경에서 공간의 명확한 의미도 더 잘 이해할 수 있어야 한다. 실내 지능형 서비스에 대한 수요가 증가함에 따라 해당 정보를 생성하는 시스템은 더욱 중요해지고 있다. 기존 모델링 방법으로는 시스템이 공간의 의미를 효과적으로 인식하고 이를 서비스에 활용하기에 부족하다.

첫째, 기존 실내공간 모델링 방법들은 공간을 하나의 명시적 의미로 이해하고 있다. 예를 들어, 하나의 공간을 가정에 있는 거실마다 기능적 특징이 다를 수 있고, 공간에 있는 다양한 실내 객체의 배치로 인해 그 목적이 다를 수 있다. 즉 거실이라는 공간은 가정마다 다 그 특징과 목적이 다양 할 수 있으나, 하나의 의미로만 표현되고 있다.

둘째, 실내공간의 기능적 특성이 시스템이 이해할 수 있도록 효과적으로 표현되고 있지 않다. 공간 내에서 하나의 가구는 다양한 기능성을 가질 수 있고, 다른 가구와 결합할 경우 다양한 기능성을 가질 수 있다. 예를 들어, 의자 1개만 있을 경우와 책상과 의자가 함께 있는 경우 기능적 특성이 다를 수 있다.

본 발명에서는 시스템이 공간의 의미를 잘 이해하여 서비스에 제공 할 수 있도록 복잡한 실내환경에서 공간 기능에 중점을 둔 새로운 실내공간 모델링 방법인 FBSMAP(Function-Behavior-Structure Map)을 제안하는 것이다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 실내공간 용어를 설명하기 위한 도면이다.

도 1을 참조하여 본 발명에서 실내공간을 구분하기 위한 용어를 정의한다. 실내공간에는 가구와 사물들이 존재하는데, 이를 고려한 세분화된 의미공간으로 표현하기 위하여 공간영역의 크기와 기능성에 따라 도 1과 같이 분류한다. 이러한 분류를 위해 Norberg-Schulz의 '존재론적 공간(existential space)' 이론과 OGC의 실내 공간 정보 국제 표준인 IndoorGML을 참조한다.

존재론적 공간(existential space)은 실내공간의 의미(Semantic)에 관련한 이론적 토대를 세우고 있다. IndoorGML은 방(Room) 기반 실내공간 모델링을 위한 국제표준아더, 특히, IndoorGML의 경우에는 셀 공간(Cell Space) 이라는 개념을 사용하고 있는데, 셀 공간은 지붕, 벽, 천장 등의 건축학적 요소를 실내 공간을 정의하는 요소로써 사용하지 않으며, 각 건축학적 요소들로부터 나타낼 수 있는 공간에 그 초점을 맞추어 간략화(Simplify) 하고 있다. 방, 복도, 계단 등을 대표적인 공간의 예로 들 수 있다.

본 발명은 가구와 실내에 존재하는 사물들을 모두 고려하여 세분화된 의미공간으로 표현하고자 한다. 이를 위해 Norberg-Schulz의 '존재론적 공간(existential space)' 이론과 OGC의 실내 공간 정보 국제 표준인 IndoorGML을 참고하여 영역의 크기와 기능성에 따라 다음 그림과 같이 분류한다.

본 발명에서는 도 1(a)에 나타낸 셀(Cell), 도 1(b)에 나타낸 중심 & 에지(Center & Edge), 도 1(c)에 나타낸 영역(Area), 도 1(d)에 나타낸 영역(스페이스)로 재정의한다.

도 1(a)의 셀(Cell)은 사람이 존재하는 공간 범위로 최소한의 의미를 가지는 최소 단위 공간 영역을 의미한다. 기본적으로 그리드(Grid)로 구분하였지만, 상황에 따라 다각형으로 구성될 수 있다.

도 1(b)의 중심(Center)의 경우 최소한의 의미를 가지는 공간영역에서 그 중심점을 의미하고, 에지(Edge)의 경우 사람이 이동 가능한 경로를 의미하며, 중심과 중심 간의 연결정보로써 표현된다.

도 1(c)의 영역(Area)은 셀간의 집합을 통해 일관된 행동이 가능한 셀 공간영역들의 집합을 의미한다. 예를 들어 TV가 존재하는 공간과 쇼파가 존재하는 공간의 집합은 누구나 이해 할 수 있는 휴식공간으로 정의 할 수 있다.

도 1(d)의 스페이스(Space)의 경우 영역보다 높은 레벨로 영역 간 조합을 통한 의미공간으로 정의된다. 예를 들어 거실 또는 주방으로 표현 및 이해 할 수 있다.

이와 같이 실내공간에 대한 용어 정리를 통해 보다 구체적인 공간의 의미를 부여 할 수 있고 계층적으로 구성이 가능하다. 이러한 체계적인 정보는 저장 및 공유에 쉽게 활용될 수 있다.

도 2는 본 발명의 일 실시예에 따른 지능형 실내 공간 서비스를 위한 공간의 기능 및 의미를 포함한 실내 공간 모델링 방법을 설명하기 위한 흐름도이다.

제안하는 지능형 실내 공간 서비스를 위한 공간의 기능 및 의미를 포함한 실내 공간 모델링 방법은 실내 공간에 대한 3D 데이터를 추출하는 프로세싱 단계(210), 상기 3D 데이터를 복수의 셀로 세분화하는 단계(220), 상기 복수의 셀에 대해 물리적 제약조건 및 의미적 제약조건을 확인하여 사람이 이동 가능한 공간과 이동 불가능한 공간을 구분하여 공간을 분할하는 단계(230), 오브젝트가 존재하는 오브젝트-셀(Object-Cell)과 아무것도 존재하지 않는 엠티-셀(Empty-Cell)을 구분하고, 상기 분할된 공간과 상기 복수의 셀간 병합을 수행하는 단계(240), 상기 병합을 수행하여 최종 셀을 생성하고 각각의 셀에 대한 정보 및 ID를 부여하는 단계(250), 상기 최종 셀의 구조(Structure) 및 기능(Function) 정보들에 기초하여 최종 셀간 병합을 통해 상위 의미 공간인 영역(Area)을 생성하는 단계(260), 생성된 영역의 기능과 구조 정보에 따라 병합된 스페이스(space)를 생성하는 단계(270) 및 상기 최종 셀, 상기 영역 및 스페이스를 이용하여 에지를 생성하고, 에지를 이용하여 FBSMAP(Function-Behavior-Structure Map)을 생성하는 단계(280)를 포함한다.

단계(210)에서, 실내 공간에 대한 3D 데이터를 추출하는 프로세싱한다.

단계(220)에서, 상기 3D 데이터를 복수의 셀로 세분화한다.

단계(230)에서, 상기 복수의 셀에 대해 물리적 제약조건 및 의미적 제약조건을 확인하여 사람이 이동 가능한 공간과 이동 불가능한 공간을 구분하여 공간을 분할한다. 실내 공간에서 장애물의 크기 값을 이용하여 장애물에 대한 경계상자(Bounding Box)를 생성한다. 상기 복수의 셀의 그리드와 상기 경계상자의 교차점을 체크하여 장애물에 대한 정확한 위치와 연관성을 확인함으로써 물리적 제약조건을 확인하고, 이동 가능한 공간들에 대해 접근 권한이 있는지 대해 결정하는 의미적 제약조건을 확인한다.

단계(240)에서, 오브젝트가 존재하는 오브젝트-셀(Object-Cell)과 아무것도 존재하지 않는 엠티-셀(Empty-Cell)을 구분하고, 상기 분할된 공간과 상기 복수의 셀간 병합을 수행한다.

단계(250)에서, 상기 병합을 수행하여 최종 셀을 생성하고 각각의 셀에 대한 정보 및 ID를 부여한다. 오브젝트-셀(Object-Cell)의 경우 객체에 따라 구조와 동작(Behavior) 정보가 존재하므로, 객체에 따라 각각 구조와 동작 정보가 포함 되는 최종 셀을 생성한다.

단계(260)에서, 상기 최종 셀의 구조(Structure) 및 기능(Function) 정보들에 기초하여 최종 셀간 병합을 통해 상위 의미 공간인 영역(Area)을 생성한다. 장애물의 거리 및 방향에 의해 결정된 물리적 제약 조건과 장애물의 공간적 특징 및 기능에 의해 결정된 의미적 제약조건을 기준으로 영역을 생성하고, 물리적 제약조건을 반영하는 오브젝트-셀은 의미적 제약조건에 의해 영역으로 병합된다.

단계(270)에서, 생성된 영역의 기능과 구조 정보에 따라 병합된 스페이스(space)를 생성한다.

단계(280)에서, 상기 최종 셀, 상기 영역 및 스페이스를 이용하여 에지를 생성하고, 에지를 이용하여 FBSMAP(Function-Behavior-Structure Map)을 생성한다. 상기 최종 셀 중 엠티-셀(Empty-Cell)과 오브젝트-셀(Object-Cell)의 중심점들을 연결하여 사람이 이동할 수 있는 이동정보인 에지를 생성한다. 도 3 내지 도 13을 참조하여 제안하는 지능형 실내 공간 서비스를 위한 공간의 기능 및 의미를 포함한 실내 공간 모델링 방법을 더욱 상세히 설명한다.

도 3은 본 발명의 일 실시예에 따른 FBS 표현 방법을 설명하기 위한 도면이다.

본 발명에서 제시하는 실내공간 모델링 방법은 다음의 단계를 거쳐 FBSMAP을 생성하는 것을 특징으로 한다.

먼저, FBS란 기능(Function) - 동작(Behavior) - 구조(Structure)의 약자로 온톨로지 구성법의 한 방법이다. 사물을 설계 할 때 FBS의 세 가지 범주로 객체를 개념화 한다. 공간의 의미론적 특징을 확보하기 위해, 각각의 단위 공간을 물리적(Structure), 의미적(Behavior & Function) 특징으로 분석한다. 공간의 성격을 규명 할 때, 해당 공간에 존재하는 객체에 의해 그 성격이 결정되는 성질을 이용하고자 하며, 이를 위해 실내공간에 존재하는 사물들(예를 들어, 가구)을 FBS로 표현하는 것을 특징으로 한다.

일련의 예로, 도 3(a)에서 1개인 객체인 의자가 1개가 존재 할 때, 이것을 FBS를 통해 표현하면 구조(Structure)와 동작(Behavior)을 정의 할 수 있다. 의자에 대한 기능(Function)은 기본적으로 동작을 통해 표현 가능하므로 따로 표현하지 않는다. 예를 들어, 구조에는 유형(Type), 사이즈(Size), 위치(Location), 방향(Direction)을 나타낼 수 있고, 동작에는 앉기(Sit), 기대기(Recline), 의지하기(Stand on) 등의 동작을 나타낼 수 있다.

도 3(b)의 경우에도 같은 방법으로 표현 할 수 있다. 1개인 객체인 책상이 1개가 존재 할 때, 이것을 FBS를 통해 표현하면 구조(Structure)와 동작(Behavior)을 정의 할 수 있다. 예를 들어, 구조에는 유형(Type), 사이즈(Size), 위치(Location), 방향(Direction)을 나타낼 수 있고, 동작에는 놓기(Put on), 기대기(Recline), 밑에 놓기(Get under) 등의 동작을 나타낼 수 있다.

각각 정의된 객체가 같은 공간에서 조합이 되면, 새로운 기능을 생성 할 수 있다. 그 예로 도 3(a)와 도 3(b)가 하나의 공간에 존재 할 경우, 공부 공간 또는 책 읽는 공간 또는 앉는 공간으로 각각 표현 할 수 있다. 본 발명은 FBS에 따른 표현 방법을 이용하여 실내공간 지도를 생성한다.

도 3(c)의 경우에는 2개인 객체인 의자와 책상이 존재 할 때, 이것을 FBS를 통해 표현하면 구조(Structure)와 기능(Function)을 정의 할 수 있다. 예를 들어, 구조에는 유형(Type), 수(Nunber), 사이즈(Size)를 나타낼 수 있고, 기능에는 공부(Study), 읽기(Read), 의지하기(Stand on) 등의 동작을 나타낼 수 있다.

도 4는 본 발명의 일 실시예에 따른 실내공간에 대한 프로세싱 과정을 설명하기 위한 도면이다.

실내 공간에 대한 3D 데이터를 추출하는 프로세싱하는 단계(210)에서, 집 안 환경에 대해 3D로 생성된 정보를 가져오고, 모든 정보를 추출한다. 현실을 하우스 3D모델로 자동으로 생성시키는 연구는 다양하다. 본 발명에서는 RGB-D 카메라를 이용하여 스캐닝을 통해 실내 하우스 3D모델이 생성되었음을 가정한다. 건물의 벽, 천장, 바닥, 창문, 문 등과 같은 요소로 가구 또한 분리되어 그 정보를 확보 할 수 있으며, 모든 가구는 새로운 범주로 분리되어 있다. 도 4는 일 실시예로 물리적(Physical)세계를 3D 데이터 셋으로 변환하는 과정을 보여준다.

도 4(a)는 물리적 기반 렌더링(Physical based rendering)을 나타내고, 도 4(b)는 깊이(Depth)를 나타내고, 도 4(c)는 볼륨메트릭 그라운드 트루(volumetric ground truth)를 나타낸다. 도 4(d)는 이러한 물리적(Physical)세계를 3D 데이터 셋으로 변환한 하우스 3D 모델 데이터를 나타낸다.

도 5는 본 발명의 일 실시예에 따른 실내공간을 복수의 셀로 세분화하는 과정을 설명하기 위한 도면이다.

3D 데이터를 복수의 셀로 세분화하는 단계(220)에서, 셀을 생성하기 위해서는 기준점을 식별해야 한다. 3D데이터를 이용하여, 기준점을 바닥 표면의 X 및 Y 좌표에 있는 가장 낮은 점에서 Z방향으로 상승하는 점을 기준으로 정한다. 그리드(Grid) 직사각형이 원점에서 생성되어 모든 바닥 표면을 완전히 덮을 수 있도록 X 및 Y 방향으로 생성된다. 수직 투영을 고려하여 바닥 표면 외부에 위치한 셀들은 모두 제거된다. 이후 바닥 표면의 윤곽과 교차하는 평면은 바닥 표면 형상에 따라 선택하고 다듬는다. 본 발명의 실시예에 따른 그리드는 0.6m² 간격으로 생성하는 것을 특징으로 한다. 이것은 사람 1명이 차지하는 최소 공간이다.

도 6은 본 발명의 일 실시예에 따른 물리적 제약조건 및 의미적 제약조건을 체크하는 과정을 설명하기 위한 도면이다.

복수의 셀에 대해 물리적 제약조건 및 의미적 제약조건을 확인하여 사람이 이동 가능한 공간과 이동 불가능한 공간을 구분하여 공간을 분할하는 단계(230)에서, 셀에 대해 물리적인 제약조건 및 의미적인 제약조건을 확인하여 사람이 이동 가능한 공간과 이동 불가능한 공간을 구분한다. 물리적 제약조건은 건축물 요소 및 가구들에 의해 결정된다. 특히, 보통 3D모델에서 가구의 정보에는 그 크기 값이 있는데, 이를 통해 실내 공간에서 각 가구에 대한 경계상자(Bounding Box)가 생성된다.

생성된 셀 그리드와 경계상자 교차점을 체크하면 가구의 정확한 위치와 그 연관성을 확인 할 수 있다. 의미적인 제약조건은 이동 가능한 공간들에 대해 접근 권한이 있는지 대해 결정하는 것이며, 사용자의 유형에 따라 접근 할 수 있는 공간이 상이 할 수 있다. 사용자 자체의 개인적 정보 및 보행 유형 등이 해당된다.

도 7은 본 발명의 일 실시예에 따른 복수의 셀간 병합 과정을 설명하기 위한 도면이다.

오브젝트가 존재하는 오브젝트-셀(Object-Cell)과 아무것도 존재하지 않는 엠티-셀(Empty-Cell)을 구분하고, 상기 분할된 공간과 상기 복수의 셀간 병합을 수행하는 단계(240)에서, 이전 두 단계에서 진행된 분할 공간들에 대해 셀간 병합을 수행한다. 오브젝트(Object)가 존재하는 오브젝트-셀(Object-Cell)(710)과 아무것도 존재하지 않는 엠티-셀(Empty-Cell)(720)을 구분하고 오브젝트-셀(Object-Cell)을 병합한다.

가구의 경계 박스(bounding box)를 통해 오브젝트-셀을 확보 할 수 있다. 객체의 경계 및 셀의 크기를 고려하여 함께 병합을 수행한다. 이 과정에서 불필요한 공간에 대한 분할을 제거하여 데이터 사이즈를 줄인다. 도 7(a)는 분할된 공간과 복수의 셀간 병합된 이미지를 나타내고, 도 7(b)는 오브젝트-셀과 엠티-셀을 나타낸다.

도 8은 본 발명의 일 실시예에 따른 최종 셀 생성 과정을 설명하기 위한 도면이다.

병합을 수행하여 최종 셀을 생성하고 각각의 셀에 대한 정보 및 ID를 부여하는 단계(250)에서, 이전 세 단계를 거쳐 최종 셀을 확정하고 각각의 셀에 정보 및 ID를 부여한다. 오브젝트-셀의 경우 객체에 따라 구조와 동작이 존재하므로, 최종적인 셀에는 객체에 따라 각각 동작과 구조가 포함 됨

도 9는 본 발명의 일 실시예에 따른 영역 생성 과정을 설명하기 위한 도면이다.

최종 셀의 구조(Structure) 및 기능(Function) 정보들에 기초하여 최종 셀간 병합을 통해 상위 의미 공간인 영역(Area)을 생성하는 단계(260)에서, 오브젝트-셀의 구조와 기능 정보들을 토대로, 셀간 병합을 통해 상위 의미 공간인 영역을 생성한다.

영역 생성의 기준은 2가지로 구분한다. 먼저, 장애물의 거리 및 방향에 의해 결정된 물리적 제약 조건과 장애물의 공간적 특징 및 기능에 의해 결정된 의미적 제약조건을 기준으로 영역을 생성하고, 물리적 제약조건을 반영하는 오브젝트-셀은 의미적 제약조건에 의해 영역으로 병합된다. 다시 말해, 오브젝트-셀들은 가구의 거리 및 방향 등과 같은 물리적 기준과 공간적 특징을 반영하고, 의미적 기준에 의해 영역으로 병합된다. 도 9(a)는 셀 스페이스를 나타내고, 도 9(b)는 영역 스페이스를 나타낸다.

도 10은 본 발명의 일 실시예에 따라 생성된 영역을 나타내는 도면이다.

도 10과 같이, 셀1에 대한 구조, 동작, 셀2에 대한 구조, 동작 및 영역1에 대한 기능 등을 나타낼 수 있다. 또한, 세3에 대한 구조, 동작, 셀4에 대한 구조, 동작 및 영역2에 대한 기능 등을 나타낼 수 있다.

도 11은 본 발명의 일 실시예에 따른 스페이스 생성 과정을 설명하기 위한 도면이다.

생성된 영역의 기능과 구조 정보에 따라 병합된 스페이스(space)를 생성하는 단계(270)에서, 스페이스는 영역의 기능과 구조에 따라 병합된다. 기본원칙은 이전 단계와 유사하지만 더 높은 수준의 의미를 가지고 있다.

스페이스는 주어진 실내 환경에서의 기능 목록과 위치, 의미에 기초하여 생성된다. 영역 및 스페이스의 공간 개념은 셀에 비해 레이어로 연결되어 있는 높은 수준의 레이어이므로 초기 정의된 셀의 성질을 그대로 계승한다. 도 10(a)는 영역 스페이스를 나타내고, 도 10(b)는 스페이스를 나타낸다.

도 12는 본 발명의 일 실시예에 따른 에지 생성 과정을 설명하기 위한 도면이다.

마지막으로, 상기 최종 셀, 상기 영역 및 스페이스를 이용하여 에지를 생성하고, 에지를 이용하여 FBSMAP(Function-Behavior-Structure Map)을 생성하는 단계(280)에서 엠티-셀과 오브젝트-셀의 중심점(Center)들을 연결하여 에지를 생성한다. 에지는 사람이 이동 할 수 있는 이동정보로 활용 할 수 있음과 동시에, 해당 공간에 대한 여러가지 분석 자료로 활용 할 수 있다.

도 13은 본 발명의 일 실시예에 따른 FBSMAP의 구조를 설명하기 위한 도면이다.

도 13(a)에는 셀(1310), 영역(1320), 스페이스(1330)를 3D로 나타내었고, 도 13(b)에는 본 발명에서 제시하는 FBSMAP의 구조를 나타내었다.

해당 공간에서 가장 하위 레이어에 셀 들이 존재하며, 해당 셀들은 구조와 동작을 가지고 있다. 셀은 세부적으로 오브젝트-셀과 엠티-셀로 구분된다. 셀들의 S와 B에 따라 인접한 셀들을 병합하여 영역을 생성할 수 있고, 이를 통해 상위 의미 정보인 기능을 정의 할 수 있다. 영역 또한 같은 방법으로 인접한 영역 간의 병합을 통해 스페이스를 생성 할 수 있다. 도 13(b)와 같이 FBSMAP을 DB화 하여 지능형 실내공간 서비스를 위한 공간정보로 활용할 수 있다.

도 14는 본 발명의 일 실시예에 따른 지능형 실내 공간 서비스를 위한 공간의 기능 및 의미를 포함한 실내 공간 모델링 장치의 구조를 나타내는 도면이다.

제안하는 지능형 실내 공간 서비스를 위한 공간의 기능 및 의미를 포함한 실내 공간 모델링 장치는 프로세싱부(1410), 공간 분할부(1420), 셀 병합부(1430), 최종 셀 생성부(1440), 영역 생성부(1450), 스페이스 생성부(1460) 및 FBSMAP 생성부(1470)를 포함한다.

프로세싱부(1410)는 실내 공간에 대한 3D 데이터를 추출한다.

공간 분할부(1420)는 3D 데이터를 복수의 셀로 세분화하고, 상기 복수의 셀에 대해 물리적 제약조건 및 의미적 제약조건을 확인하여 사람이 이동 가능한 공간과 이동 불가능한 공간을 구분하여 공간을 분할한다. 공간 분할부(1420)는 실내 공간에서 장애물의 크기 값을 이용하여 장애물에 대한 경계상자(Bounding Box)를 생성한다. 상기 복수의 셀의 그리드와 상기 경계상자의 교차점을 체크하여 장애물에 대한 정확한 위치와 연관성을 확인함으로써 물리적 제약조건을 확인하고, 이동 가능한 공간들에 대해 접근 권한이 있는지 대해 결정하는 의미적 제약조건을 확인한다.

셀 병합부(1430)는 오브젝트가 존재하는 오브젝트-셀(Object-Cell)과 아무것도 존재하지 않는 엠티-셀(Empty-Cell)을 구분하고, 상기 분할된 공간과 상기 복수의 셀간 병합을 수행한다.

최종 셀 생성부(1440)는 병합을 수행하여 최종 셀을 생성하고 각각의 셀에 대한 정보 및 ID를 부여한다. 최종 셀 생성부(1440)는 오브젝트-셀(Object-Cell)의 경우 객체에 따라 구조와 동작(Behavior) 정보가 존재하므로, 객체에 따라 각각 구조와 동작 정보가 포함 되는 최종 셀을 생성한다.

영역 생성부(1450)는 최종 셀의 구조(Structure) 및 기능(Function) 정보들에 기초하여 최종 셀간 병합을 통해 상위 의미 공간인 영역(Area)을 생성한다. 영역 생성부(1450)는 장애물의 거리 및 방향에 의해 결정된 물리적 제약 조건과 장애물의 공간적 특징 및 기능에 의해 결정된 의미적 제약조건을 기준으로 영역을 생성하고, 물리적 제약조건을 반영하는 오브젝트-셀은 의미적 제약조건에 의해 영역으로 병합된다.

스페이스 생성부(1460)는 생성된 영역의 기능과 구조 정보에 따라 병합된 스페이스(space)를 생성한다.

FBSMAP 생성부(1470)는 최종 셀, 상기 영역 및 스페이스를 이용하여 에지를 생성하고, 에지를 이용하여 FBSMAP(Function-Behavior-Structure Map)을 생성한다. FBSMAP 생성부(1470)는 최종 셀 중 엠티-셀(Empty-Cell)과 오브젝트-셀(Object-Cell)의 중심점들을 연결하여 사람이 이동할 수 있는 이동정보인 에지를 생성한다.

도 15 및 도 16은 본 발명의 일 실시예에 따른 FBSMAP 결과를 나타내는 도면이다.

도 15(a) 및 도 15(b)는 본 발명의 일 실시예에 따른 FBSMAP 결과이고, 스페이스(1510), 영역(1520), 오브젝트-셀(1530), 엠티0셀(1540), 에지(1550) 및 중심점(1560)을 나타내었다. 도 16는 본 발명의 또 다른 실시예에 따른 FBSMAP 결과이고, 스페이스(1610), 영역(1620), 오브젝트-셀(1630), 엠티0셀(1640), 에지(1650) 및 중심점(1660)을 나타내었다.

본 발명의 일 실시예에 따르면 실내공간의 공간적 특징(Spatial feature)들을 기반으로 공간 모델링(Space modeling)을 수행하여 모호한 실내 공간 표현 방법 (Indoor spatial representation)을 확립할 수 있다.

인테리어 및 가구를 기반으로 한 실내 공간 모석 방법론은 현재 뚜렷하게 해결방안이 나오지 않고 있다. 본 발명의 실시예에 따르면 실내공간에 대한 질적 분석을 하기 위한 객관화 방법을 확립하고, 공간 간의 상관관계 및 유사성을 정량적인 지표로 획득할 수 있다. 또한, 아바타 텔레프레전스, 인공지능 기반 지능형 스마트 홈 서비스, 실내 위치 기반 서비스 등 실내공간을 기반으로 하는 다양한 고도화된 지능형 서비스를 제공하기 위한 기본 데이터로 활용 가능하다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

1. 실내 공간에 대한 3D 데이터를 추출하는 프로세싱 단계;
   상기 3D 데이터를 복수의 셀로 세분화하는 단계;
   상기 복수의 셀에 대해 물리적 제약조건 및 의미적 제약조건을 확인하여 사람이 이동 가능한 공간과 이동 불가능한 공간을 구분하여 공간을 분할하는 단계;
   오브젝트가 존재하는 오브젝트-셀(Object-Cell)과 아무것도 존재하지 않는 엠티-셀(Empty-Cell)을 구분하고, 상기 분할된 공간과 상기 복수의 셀간 병합을 수행하는 단계;
   상기 병합을 수행하여 최종 셀을 생성하고 각각의 셀에 대한 정보 및 ID를 부여하는 단계;
   상기 최종 셀의 구조(Structure) 및 기능(Function) 정보들에 기초하여 최종 셀간 병합을 통해 상위 의미 공간인 영역(Area)을 생성하는 단계;
   생성된 영역의 기능과 구조 정보에 따라 병합된 스페이스(space)를 생성하는 단계; 및
   상기 최종 셀, 상기 영역 및 스페이스를 이용하여 에지를 생성하고, 에지를 이용하여 FBSMAP(Function-Behavior-Structure Map)을 생성하는 단계
   를 포함하고,
   상기 복수의 셀에 대해 물리적 제약조건 및 의미적 제약조건을 확인하여 사람이 이동 가능한 공간과 이동 불가능한 공간을 구분하여 공간을 분할하는 단계는,
   실내 공간에서 장애물의 크기 값을 이용하여 장애물에 대한 경계상자(Bounding Box)를 생성하고, 상기 복수의 셀의 그리드와 상기 경계상자의 교차점을 체크하여 장애물에 대한 정확한 위치와 연관성을 확인함으로써 물리적 제약조건을 확인하고, 이동 가능한 공간들에 대해 접근 권한이 있는지 대해 결정하는 의미적 제약조건을 확인하는
   실내 공간 모델링 방법.
2. 삭제
3. 제1항에 있어서,
   상기 병합을 수행하여 최종 셀을 생성하고 각각의 셀에 대한 정보 및 ID를 부여하는 단계는,
   오브젝트-셀(Object-Cell)의 경우 객체에 따라 구조와 동작(Behavior) 정보가 존재하므로, 객체에 따라 각각 구조와 동작 정보가 포함 되는 최종 셀을 생성하는
   실내 공간 모델링 방법.
4. 제1항에 있어서,
   상기 최종 셀의 구조 및 기능 정보들에 기초하여 최종 셀간 병합을 통해 상위 의미 공간인 영역(Area)을 생성하는 단계는,
   장애물의 거리 및 방향에 의해 결정된 물리적 제약 조건과 장애물의 공간적 특징 및 기능에 의해 결정된 의미적 제약조건을 기준으로 영역을 생성하고, 물리적 제약조건을 반영하는 오브젝트-셀은 의미적 제약조건에 의해 영역으로 병합되는
   실내 공간 모델링 방법.
5. 제1항에 있어서,
   상기 최종 셀, 상기 영역 및 스페이스를 이용하여 에지를 생성하고, 에지를 이용하여 FBSMAP(Function-Behavior-Structure Map)을 생성하는 단계는,
   상기 최종 셀 중 엠티-셀(Empty-Cell)과 오브젝트-셀(Object-Cell)의 중심점들을 연결하여 사람이 이동할 수 있는 이동정보인 에지를 생성하는
   실내 공간 모델링 방법.
6. 실내 공간에 대한 3D 데이터를 추출하는 프로세싱부;
   상기 3D 데이터를 복수의 셀로 세분화하고, 상기 복수의 셀에 대해 물리적 제약조건 및 의미적 제약조건을 확인하여 사람이 이동 가능한 공간과 이동 불가능한 공간을 구분하여 공간을 분할하는 공간 분할부;
   오브젝트가 존재하는 오브젝트-셀(Object-Cell)과 아무것도 존재하지 않는 엠티-셀(Empty-Cell)을 구분하고, 상기 분할된 공간과 상기 복수의 셀간 병합을 수행하는 셀 병합부;
   상기 병합을 수행하여 최종 셀을 생성하고 각각의 셀에 대한 정보 및 ID를 부여하는 최종 셀 생성부;
   상기 최종 셀의 구조(Structure) 및 기능(Function) 정보들에 기초하여 최종 셀간 병합을 통해 상위 의미 공간인 영역(Area)을 생성하는 영역 생성부;
   생성된 영역의 기능과 구조 정보에 따라 병합된 스페이스(space)를 생성하는 스페이스 생성부; 및
   상기 최종 셀, 상기 영역 및 스페이스를 이용하여 에지를 생성하고, 에지를 이용하여 FBSMAP(Function-Behavior-Structure Map)을 생성하는 FBSMAP 생성부
   를 포함하고,
   상기 공간 분할부는,
   실내 공간에서 장애물의 크기 값을 이용하여 장애물에 대한 경계상자(Bounding Box)를 생성하고, 상기 복수의 셀의 그리드와 상기 경계상자의 교차점을 체크하여 장애물에 대한 정확한 위치와 연관성을 확인함으로써 물리적 제약조건을 확인하고, 이동 가능한 공간들에 대해 접근 권한이 있는지 대해 결정하는 의미적 제약조건을 확인하는
   실내 공간 모델링 장치.
7. 삭제
8. 제6항에 있어서,
   상기 최종 셀 생성부는,
   오브젝트-셀(Object-Cell)의 경우 객체에 따라 구조와 동작(Behavior) 정보가 존재하므로, 객체에 따라 각각 구조와 동작 정보가 포함 되는 최종 셀을 생성하는
   실내 공간 모델링 장치.
9. 제6항에 있어서,
   상기 영역 생성부는,
   장애물의 거리 및 방향에 의해 결정된 물리적 제약 조건과 장애물의 공간적 특징 및 기능에 의해 결정된 의미적 제약조건을 기준으로 영역을 생성하고, 물리적 제약조건을 반영하는 오브젝트-셀은 의미적 제약조건에 의해 영역으로 병합되는
   실내 공간 모델링 장치.
10. 제6항에 있어서,
    상기 FBSMAP 생성부는,
    상기 최종 셀 중 엠티-셀(Empty-Cell)과 오브젝트-셀(Object-Cell)의 중심점들을 연결하여 사람이 이동할 수 있는 이동정보인 에지를 생성하는
    실내 공간 모델링 장치.

Images