KR101874895B1

KR101874895B1 - 증강 현실 제공 방법 및 이를 지원하는 단말기

Info

Publication number: KR101874895B1
Application number: KR1020120003798A
Authority: KR
Inventors: 김희운; 강지영; 김경화
Original assignee: 삼성전자 주식회사
Priority date: 2012-01-12
Filing date: 2012-01-12
Publication date: 2018-07-06
Also published as: US20130182012A1; CN103207728B; CN103207728A; US9558591B2; KR20130083179A

Abstract

본 발명은 증강 현실 제공 방법 및 이를 지원하는 단말기에 관한 것으로, 본 발명은 피사체가 촬상된 특정 이미지를 표시하는 표시부와, 상기 특정 이미지에서 상기 피사체의 면을 인식하고, 상기 면에 배치되어 표시되도록 가상 물체의 이미지를 상기 특정 이미지와 합성하고, 상기 표시부를 제어하여 상기 합성된 이미지가 출력되도록 지원하는 제어부로 구성된 것을 특징으로 한다. 본 발명은 피사체의 실제 면 위에 가상 물체를 배치시켜 표시함으로써, 사용자로 하여금 좀 더 현실감 있는 증강 현실을 즐기는 이점을 제공한다.

Description

증강 현실 제공 방법 및 이를 지원하는 단말기{Method for providing augmented reality and terminal supporting the same}

본 발명은 증강 현실을 제공하는 방법 및 이를 지원하는 단말기에 관한 것으로, 특정 이미지, 예컨대 프리뷰 이미지에서 피사체의 면을 인식하여 인식된 면에 가상 물체가 배치되게 표시함으로써, 좀 더 현실감 있는 증강 현실 제공하는 방법 및 이를 지원하는 단말기에 관한 것이다.

휴대 단말기는 이동성을 기반으로 다양한 사용자 기능을 지원하는 단말기로서, 그 이용의 편리성과 휴대의 용이성 등으로 인하여 매우 폭넓은 분야에서 이용되고 있다.

이러한 휴대 단말기는 다양한 사용자 기능 지원을 위하여 특정 기능 모듈을 탑재하고 있다. 예를 들면, 상기 휴대 단말기는 이미지 수집 기능을 위하여 카메라 모듈 등을 포함할 수 있다. 특히, 카메라 모듈은 현재 시판되고 있는 휴대 단말기의 거의 대부분에 장착되어 있다. 카메라 모듈이 장착된 휴대 단말기는 카메라 모듈을 통하여 수집되는 영상을 표시부에 출력하는 프리뷰 기능과, 사용자 요청에 따라 수집된 영상을 저장하는 저장 기능을 지원한다.

최근 들어 카메라 모듈을 이용한 흥미로운 기술들이 많이 배출되고 있는데, 이 중 하나가 바로 증강 현실 기술이다. 증강 현실 기술은 실세계에 가상 물체를 겹쳐 보여 주는 기술로, 그래픽 기술을 도용하여 이미지로 보이는 실세계에 가상 현실을 부가하는 것이다.

하지만 종래의 휴대 단말기는 증강 현실을 제공할 때 실세계 물체의 입체감에 대한 구분 없이 단순히 가상 물체 이미지를 합성하는 수준에 머물러 있다. 특히 종래의 휴대 단말기는 실세계 물체들 간의 경계나 단차를 분간하지 않고 가상 물체를 합성하기 때문에, 증강 현실이 적용된 이미지의 현실감이 대폭 떨어지는 안타까움이 있다.

그러므로 본 발명은 특정 이미지, 예컨대 프리뷰 이미지에서 피사체의 면을 인식하여 인식된 면에 가상 물체가 배치되게 표시함으로써, 좀 더 현실감 있는 증강 현실 제공하는 증강 현실 제공 방법 및 이를 지원하는 단말기를 제공하기 위한 것이다.

상기 과제를 해결하기 위한 본 발명에 따른 증강 현실 제공 방법은 피사체가 촬상된 특정 이미지를 획득하는 과정과, 상기 특정 이미지에서 가상 물체를 배치하기 위한 상기 피사체의 면을 인식하는 과정을 포함하는 것을 특징으로 한다.

상기 과제를 해결하기 위한 본 발명에 따른 증강 현실 지원 단말기는 피사체가 촬상된 특정 이미지를 표시하는 표시부와, 상기 특정 이미지에서 상기 피사체의 면을 인식하고, 상기 면에 배치되어 표시되도록 가상 물체의 이미지를 상기 특정 이미지와 합성하고, 상기 표시부를 제어하여 상기 합성된 이미지가 출력되도록 지원하는 제어부를 포함하는 것을 특징으로 한다.

본 발명의 실시예에 따른 증강 현실 제공 방법 및 이를 지원하는 단말기는 실제 면 위에 가상 물체를 배치시켜 표시함으로써, 사용자로 하여금 좀 더 현실감 있는 증강 현실을 즐기는 이점을 제공한다.

도 1은 본 발명의 실시예에 따른 단말기의 내부 구성을 도시하는 블록도이다.
도 2는 도 1의 제어부의 구성을 개략적으로 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 증강 현실 제공 절차를 도시하는 흐름도이다.
도 4는 본 발명의 일 실시예에 따라 증강 현실을 제공하는 화면 예시도이다.
도 5는 본 발명의 다른 실시예에 따라 증강 현실을 제공하는 화면 예시도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 보다 상세하게 설명하고자 한다. 이 때 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 그리고 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.

본 발명은 증강 현실을 제공하는 방법과 이를 지원하는 단말기에 관한 것으로, 촬상되는 실제 물체에 가상 물체가 배치되어 표시되도록 실제 물체 이미지와 가상 물체 이미지를 합성함으로써, 보다 높은 현실감을 가지는 증강 현실을 제공한다. 이를 위하여 본 발명은 현실 세계의 피사체가 촬상된 특정 이미지, 예컨대 프리뷰 이미지에서 피사체의 색상, 모서리 및 그림자 중 적어도 하나를 분석하여 가상 물체를 배치하기 위한 피사체의 면을 인식하는 것을 특징으로 한다. 또한 본 발명은 피사체에 배치 가능하도록 가상 물체를 변경하는 것을 특징으로 한다.

본 발명에서 가상 물체는 2D 또는 3D 이미지로 표현되는 물체이다. 또한 가상 물체는 특정 이벤트 예컨대, 메시지, 스케줄, 단말기 상태 알림 이벤트와 연관될 수 있다. 그리고 가상 물체는 배치될 피사체와 연관된 정보를 나타내는 물체일 수도 있다. 예를 들어 가상 물체는 피사체가 특정 장소이면, 그와 연관된 여행 정보, 혹은 피사체가 특정 인물과 연관된 개인 정보 등을 나타내는 것일 수 있다.

도 1은 본 발명의 실시예에 따른 단말기의 내부 구성을 도시하는 블록도이다. 본 발명의 단말기는 카메라부를 구비하고 증강 현실을 제공하는 것이라면 어떠한 전자 기기에서든지 구현가능하다. 예를 들면, 휴대 전화기, PMP(Portable Multimedia Player), 디지털 방송 플레이어, PDA(Personal Digital Assistant), 음악 파일 재생기(예컨대, MP3 플레이어), 휴대 게임 단말기, 태블릿 PC 및 스마트 폰(Smart Phone) 등의 이동 가능한 단말기 등, 카메라부를 구비하고 증강 현실을 제공하는 어떠한 기기이든지 될 수 있다. 한편 이하에서는 설명의 편의를 위하여 본 발명이 스마트 폰에서 구현되는 것으로 가정하여 본 발명이 설명된다.

도 1을 참조하면, 본 발명의 실시예에서 단말기(100)는 무선통신부(110), 입력부(120), 오디오 처리부(130), 표시부(140), 카메라부(150), 저장부(160), 및 제어부(170)를 포함한다. 이하 각 기능부들에 대하여 상세히 설명하기로 한다.

무선통신부(110)는 음성 통화를 위한 통신 채널 형성 및 화상 통화를 위한 통신 채널 형성, 영상이나 메시지 등의 데이터 전송을 위한 통신 채널(이하, 데이터 통신 채널) 형성 등을 제어부(170)의 제어 하에 수행한다. 특히 본 발명의 무선통신부(110)는 데이터 통신 채널을 통해 본 발명의 실시예에 따른 이미지 분석을 요청하는 메시지를 전송하고 상기 요청에 응한 이미지 분석 결과를 수신할 수 있다. 예를 들면 무선통신부(110)는 제어부(170)의 제어 하에 특정 서버에게 증강 현실 대상 이미지와 피사체의 색상, 모서리 및 그림자 중 적어도 하나에 대한 분석을 요청하는 메시지를 전송할 수 있다. 그리고 무선통신부(110)는 상기 특정 서버로부터 증강 현실 대상 이미지 분석 결과를 수신할 수 있다. 이에 따라 제어부(170)는 분석 결과를 참조하여 피사체의 면을 인식할 수 있다. 또한 본 발명의 무선통신부(110)는 데이터 통신 채널을 통해 증강 현실을 부가하기 위한 이미지 또는 증강 현실을 제공하기 위한 가상 물체 이미지를 수신할 수 있다.

입력부(120)는 다양한 문자 정보를 입력받고, 각종 기능들의 설정 및 단말기(100)의 기능 제어와 관련하여 입력되는 신호를 제어부(170)로 전달한다. 입력부(120)는 단말기(100)의 제공 형태에 따라 터치패드, 일반적인 키배열의 키패드 및 쿼티방식의 키패드 중 어느 하나 또는 이들의 조합으로 형성될 수 있다. 또한 입력부(120)는 특정 기능을 수행하도록 설정된 방향키, 볼륨키 및 핫키 등의 기능키를 더 포함할 수 있다. 특히 본 발명의 입력부(120)는 사용자에 의해 발생하는 증강 현실 제공 요청 신호를 생성할 수 있다. 또한 본 발명의 입력부(120)는 증강 현실 대상 이미지와 가상 물체 이미지의 선택을 위한 선택 신호를 생성할 수 있다. 그리고 입력부(120)는 증강 현실 대상 이미지 내 피사체의 면을 인식하는 방식에 대한 선택 신호를 생성할 수 있다. 예를 들면 사용자는 입력부(120)를 통해 색상, 모서리 및 그림자 중 어떠한 분석 요소, 혹은 어떠한 조합을 사용하여 피사체의 면을 인식할 지를 선택할 수 있다. 이에 따라 제어부(170)는 면 인식 방식 선택에 대한 신호를 입력부(120)에서 수신하여 증강 현실 대상 이미지를 분석하고 피사체의 면을 인식할 수 있다. 또한 본 발명의 입력부(120)는 본 발명의 실시예에 따른 증강 현실 제공 프로그램(161)이 이미지 촬영 기능 실행 시에 자동 실행되도록 설정하는 입력 신호를 생성할 수 있다.

오디오 처리부(130)는 통화 시 송수신 되는 오디오 데이터, 수신된 메시지에 포함된 오디오 데이터, 저장부(160)에 저장된 오디오 파일 재생에 따른 오디오 데이터 등을 재생하기 위한 스피커(SPK)와, 통화 시 사용자의 음성 또는 기타 오디오 신호를 수집하기 위한 마이크(MIC)를 포함한다. 특히 본 발명의 오디오 처리부(130)는 증강 현실이 적용된 이미지가 출력되면 그에 대응하는 효과음을 출력할 수 있다. 이러한 효과음들은 사용자 설정에 따라 생략될 수 있다.

표시부(140)는 단말기(100)의 이용에 따른 사용자가 입력한 정보 또는 사용자에게 제공되는 정보를 다양한 화면으로 표시한다. 특히 본 발명의 표시부(140)는 증강 현실 대상 이미지를 출력하며, 본 발명의 실시예에 따라 증강 현실 대상 이미지에 가상 물체 이미지가 합성된 증강 현실 적용 이미지를 출력한다. 예를 들면 표시부(140)는 제어부(170)의 제어 하에 증강 현실 대상 이미지 내 피사체에 가상 물체가 배치되게 증강 현실 적용 이미지를 출력함으로써, 좀 더 현실감 있는 증강 현실을 제공할 수 있다. 또한 본 발명의 표시부(140)는 증강 현실 대상 이미지에서 피사체의 면이 인식됨에 따라, 인식된 면을 하이라이트 하여 표시할 수 있다. 표시부(140)는 2D 그래픽 기술 또는 3D 그래픽 기술을 지원한다.

카메라부(150)는 제어부(170)의 제어에 따라 활성화되고, 다양한 카메라 기능 및 본 발명의 증강 현실 제공 기능을 지원할 수 있다. 이러한 카메라부(150)는 광학적 신호를 전기적 신호로 변환하는 카메라 센서, 아날로그 비디오 신호를 디지털 비디오 신호로 변환하는 신호처리장치(Image Signal Processor) 및 상기 신호처리장치에서 출력되는 비디오 신호를 표시부(140)에 표시하기 위해 상기 비디오 신호를 영상 처리(크기조정(Scaling), 잡음 제거, RGB 신호 변환 등)하는 영상처리장치(Digital Signal Processor) 등을 각각 포함할 수 있다. 여기서 상기 카메라 센서는 CCD 센서 또는 CMOS 센서 등이 사용될 수 있고, 상기 신호처리장치는 구성이 생략되고 DSP로 구현될 수 있다. 특히 본 발명의 카메라부(150) 피사체를 촬영하여 프리뷰 이미지를 생성하고 저장부(160)에 저장할 수 있다. 그리고 제어부(170)는 본 발명의 실시예에 따라 프리뷰 이미지를 증강 현실 대상 이미지로 사용할 수 있다.

저장부(160)는 본 발명의 실시예에 따른 기능 동작에 필요한 적어도 하나의 어플리케이션, 사용자에 의해 생성되는 사용자 데이터, 네트워크와 송수신하는 메시지 및 어플리케이션 실행에 따른 데이터 등을 저장한다. 이러한 저장부(160)는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다.

프로그램 영역은 단말기(100)의 부팅 및 상술한 각 구성의 운용을 위한 운영체제(OS, Operating System)와 다운로드 및 설치된 어플리케이션들 등을 저장할 수 있다. 특히 본 발명의 프로그램 영역은 증강 현실 제공 프로그램(161)을 저장한다.

상기 증강 현실 제공 프로그램(161)은 증강 현실 대상 이미지에서 피사체의 면을 인식하여 인식된 면에 가상 물체가 배치되어 표시되도록 지원하는 루틴들을 포함한다. 특히 본 발명의 실시예에 따른 증강 현실 제공 프로그램(161)은 증강 현실 대상 이미지를 획득하는 루틴과, 증강 현실 대상 이미지에서 색상, 모서리 및 그림자 중 적어도 하나를 분석하여 피사체의 면을 인식하는 루틴과, 인식된 면에 가상 물체가 배치되어 표시되도록 증강 현실 대상 이미지와 가상 물체 이미지를 합성하여 증강 현실 적용 이미지를 생성하는 루틴과, 증강 현실 적용 이미지를 출력하는 루틴을 포함하는 것을 특징으로 한다. 한편 상기 면 인식 루틴과 증강 현실 적용 이미지 생성 루틴은 이하에서 본 발명의 증강 현실 제공 절차와 증강 현실 제공 예시들을 통해 자세히 살펴보기로 한다.

데이터 영역은 단말기(100)의 사용에 따라 발생하는 데이터가 저장되는 영역이다. 특히 본 발명의 데이터 영역은 증강 현실 제공 프로그램(161)이 실행되는 중에 사용되거나 생성되는 데이터를 저장한다. 예를 들면, 데이터 영역은 증강 현실 대상 이미지, 가상 물체 이미지 및 증강 현실 대상 이미지와 가상 물체 이미지가 합성된 증강 현실 적용 이미지, 그리고 면 인식 방식을 저장할 수 있다.

제어부(170)는 단말기(100)의 전반적인 동작을 제어한다. 특히 본 발명의 제어부(170)는 증강 현실 대상 이미지, 예컨대 프리뷰 이미지에서 피사체의 면을 인식하여 인식된 면에 가상 물체가 배치되게 표시함으로써, 좀 더 현실감 있는 증강 현실 제공할 수 있도록 지원하는 기능 운용과 관련된 동작을 제어할 수 있다. 예를 들어, 제어부(170)는 증강 현실 대상 이미지에서 색상, 모서리 및 그림자 중 적어도 하나를 분석하여 피사체의 면을 인식한다. 그리고 제어부(170)는 상기 인식된 면에 가상 물체가 배치되어 표시되도록 증강 현실 대상 이미지와 가상 물체 이미지를 합성하여 증강 현실 적용 이미지를 생성한다. 그리고 제어부(170)는 이와 같이 생성된 증강 현실 적용 이미지가 출력되도록 표시부(140)를 제어함으로써, 한층 더 현실감이 있는 증강 현실을 제공할 수 있다. 또한 제어부(170)는 피사체와 연관된 정보를 나타내는 가상 물체가 증강 현실로 표현되도록 지원하기 때문에 정보 전달 효과를 제공하거나 재미 요소를 더할 수 있다. 이를 위하여 제어부(170)는 도 2에 도시된 바와 같은 구성부들을 포함할 수 있다.

도 2는 도 1의 제어부(170)의 구성을 개략적으로 나타낸 블록도이다.

도 2를 참조하면, 본 발명의 제어부(170)는 가상 물체 이미지 관리부(171), 증강 현실 적용부(173) 및 화면 출력부(175)를 포함한다.

가상 물체 이미지 관리부(171)는 가상 물체 이미지를 생성하거나 변경함으로써, 증강 현실에서 가상 물체가 피사체에 배치되어 표시될 수 있도록 지원한다. 예를 들면 가상 물체 이미지 관리부(171)는 특정 이벤트에 따라 가상 물체를 파악하고 그에 해당하는 이미지를 생성할 수 있다. 일례로 가상 물체 이미지 관리부(171)는 사용자의 선택 또는 메시지, 스케줄, 단말기(100) 상태 등의 알림 이벤트에 따라서 가상 물체를 선택할 수 있다. 또한 가상 물체 이미지 관리부(171)는 가상 물체 이미지를 변경할 수 있다. 예를 들면 가상 물체 이미지 관리부(171)는 가상 물체의 배치 구조를 변경할 수 있다. 여기서 가상 물체 이미지 관리부(171)는 가상 물체를 축소시키거나, 확장하거나, 2D 또는 3D 회전시키거나, 절단하거나, 말풍선과 같은 다른 가상 물체에 첨가하여 변경할 수 있다. 이에 따라 가상 물체 이미지 관리부(171)는 가상 물체 이미지가 배치될 피사체와의 접촉 부분의 크기를 면, 선, 또는 점으로 변경할 수 있다.

증강 현실 적용부(173)는 증강 현실 대상 이미지와 가상 물체 이미지를 합성해서 증강 현실 대상 이미지에 증강 현실을 적용한다. 구체적으로 증강 현실 적용부(173)는 증강 현실 대상 이미지에서 피사체의 색상, 모서리 및 그림자 중 적어도 하나를 분석하여 가상 물체를 배치하기 위한 적어도 하나의 면을 인식한다. 여기서 증강 현실 적용부(173)는 무선통신부(110) 제어하여 특정 서버에 상기 분석 작업의 대행을 요청할 수 있다. 또한 증강 현실 적용부(173)는 가상 물체 이미지와 증강 현실 대상 이미지 합성하여 증강 현실 적용 이미지를 생성한다. 그리고 증강 현실 적용부(173)는 증강 현실 적용 이미지를 저장부(160)에 저장하고, 증강 현실 적용 이미지가 준비되었음을 화면 출력부(175)에게 알린다. 한편 증강 현실 적용 이미지를 생성할 때 증강 현실 적용부(173)는 가상 물체가 인식된 면에 배치된 것처럼 보이도록 상기 이미지들을 합성한다.

추가로, 증강 현실 적용부(173)는 인식된 면에 가상 물체가 배치 가능한지를 판단할 수 있다. 여기서 증강 현실 적용부(173)는 인식된 면이 가상 물체를 수용할 만한 최소한의 면적을 가지는 지를 판단할 수 있다. 이때 증강 현실 적용부(173)는 면적 또는 형태 등을 파악하여 가상 물체가 인식된 면에 배치 가능한 지를 판별할 수 있다. 한편 인식된 면이 상기 최소한의 면적 또는 적합한 형태를 가지지 않는다면, 증강 현실 적용부(173)는 가상 물체가 인식된 면에 배치 불가능한 것으로 판단한다. 그리고 증강 현실 적용부(173)는 가상 물체 이미지 관리부(171)에게 인식된 면에 배치 가능하도록 가상 물체의 변경을 요청할 수 있다.

화면 출력부(175)는 일반적으로 사용자 기능이 수행됨에 따라 그에 대응하는 실행 화면이 출력되도록 표시부(140)를 제어한다. 특히 본 발명의 실시예에 따른 화면 출력부(175)는 증강 현실 요청에 따라 가상 물체를 피사체의 면에 배치되게 표시하는 증강 현실 적용 이미지가 출력되도록 표시부(140)를 제어한다. 이러한 화면 출력부(175)는 증강 현실 적용부(173)로부터 증강 현실 적용 이미지가 준비되었음을 알리는 신호 수신 시 저장부(160)를 엑세스하여 증강 현실 적용 이미지가 표시되도록 지원할 수 있다.

이상에서는 본 발명의 실시예에 따른 증강 현실 제공 단말기를 설명하였고, 이하에서는 증강 현실 제공 방법에 대하여 살펴보고자 한다.

도 3은 본 발명의 실시예에 따른 증강 현실 제공 절차를 도시하는 흐름도이다. 이하에서는 설명의 편의를 위하여 카메라 촬영 모드에서 제공되는 프리뷰 이미지에 증강 현실에 제공되는 것을 예로 들어 본 발명을 설명한다. 따라서 하기에서 프리뷰 이미지는 증강 현실 대상 이미지에 대응한다. 한편 당업자라면 본 발명이 프리뷰 이미지뿐만 아니라 촬영된 이미지에도 적용 가능하다는 점을 이해할 수 있을 것이다.

도 3을 참조하면, 상기 증강 현실 제공 절차는 제어부(170)가 310 과정에서 증강 현실 요청을 수신하면서 개시된다. 증강 현실 요청은 사용자에 의하여 입력부(120)를 통해 수신되거나, 혹은 알림 이벤트와 같은 특정 이벤트 발생 시 생성될 수 있다. 이에 따라 제어부(170)는 320 과정에서 저장부(160)를 엑세스 하여 프리뷰 이미지와 가상 물체 이미지를 획득한다. 여기서 가상 물체 이미지는 사용자에 의하여 미리 선택된 이미지이거나, 특정 이벤트와 연계되어 설정된 이미지일 수 있다.

그리고 제어부(170)는 330 과정에서 프리뷰 이미지의 색상, 모서리, 그림자 중 적어도 하나를 분석하고, 340 과정에서 분석 결과에 따라 가상 물체를 배치하기 위한 적어도 하나의 면으로 인식할 수 있다.

예를 들면, 제어부(170)는 프리뷰 이미지를 스캔하여 프리뷰 이미지의 색상을 파악할 수 있다. 이때 제어부(170)는 미리 정해진 색상 분석 단위별로 색상을 파악할 수 있으며, 상기 색상 분석 단위는 매크로블록(macroblock) 또는 픽셀 단위가 될 수 있다. 그런 다음 제어부(170)는 하나의 색상을 가지는 일정 영역을 판단할 수 있다. 이때 제어부(170)는 특정 범위 내에서 소정의 명도차를 가지는 색상들을 하나의 색상으로 판단할 수 있다. 제어부(170) 동일 색상으로 구성된 영역이 가상 물체를 배치하기 위한 면으로 인식할 수 있다.

또한 제어부(170)는 프리뷰 이미지에서 모서리를 검출할 수 있다. 그리고 제어부(170)는 모서리로 구획되는 폐쇄 영역이 존재하면, 상기 폐쇄 영역으로 정의되는 면을 가상 물체를 배치하기 위한 면으로 인식할 수 있다.

그리고 제어부(170)는 프리뷰 이미지에서 그림자를 찾은 다음 상기 그림자를 이용하여 가상 물체를 배치할 수 있는 면을 인식할 수 있다. 예를 들면, 제어부(170)는 프리뷰 이미지의 명도 분석 단위별로 명도레벨을 파악하여 그림자를 검출할 수 있다. 여기서 명도 분석 단위는 매크로블록 또는 픽셀 단위가 될 수 있다. 추가로 제어부(170)는 낮은 명도레벨(즉, 어두운 회색 레벨)을 가지는 영역을 파악한 후, 추가로 파악된 영역이 소정의 형상을 가지는 지를 더 판단하여 그림자를 검출할 수 있다. 여기서 소정의 형상은 피사체 형상과 유사한 것이 될 수 있다. 그림자가 파악되면, 제어부(170)는 그림자와 맞닿은 면과의 경계를 이용하여 가상 물체를 배치할 수 있는 면을 인식할 수 있다.

한편 제어부(170)는 상술된 면 인식 방식들의 조합을 이용하여 프리뷰 이미지를 분석할 수 있다. 예를 들면, 제어부(170)는 모서리를 추출한 다음, 색상을 이용하여 가상 물체를 배치할 수 있는 면을 인식할 수 있다. 혹은, 제어부(170)는 면 인식을 위하여 그림자를 검출한 다음, 그림자와 연계된 모서리를 파악할 수 있다.

하지만 340 과정에서 면이 인식되지 않으면, 제어부(170)는 증강 현실 제공 절차를 종료한다. 한편 제어부(170)는 증강 현실 제공 절차를 종료하지 않고, 가상 물체가 특정 지점 상에 표시되도록 지원할 수 있다.

가상 물체를 배치할 면이 인식되면, 제어부(170)는 350 과정에서 인식된 면에 가상 물체가 배치 가능한 지를 파악한다. 이때 제어부(170)는 인식된 면의 크기에 따라 상기 배치 가능 여부를 판단할 수 있다. 예를 들어, 제어부(170) 인식된 면의 크기와 가상 물체와의 접촉 부분의 크기 이상이면, 가상 물체를 인식된 면에 배치할 수 있는 것으로 판단하여 제어부(170)는 360 과정으로 분기한다.

한편 340 과정에서 다수 개의 면이 인식된다면, 제어부(170) 350 과정에서 인식된 면들의 면적 또는 형태를 비교하여 가장 큰 면적을 가지거나 가상 물체가 안전하게 배치되어 보이는 형태를 가지는 면을 선발하여 가상 물체의 배치 가능 여부를 판단할 수 있다.

한편 인식된 면에 가상 물체가 배치 불가능한 것으로 판단되는 경우 제어부(170)는 가상 물체가 인식된 면에 배치될 수 없는 것으로 판단하고, 355 과정으로 진행한다. 제어부(170)는 355 과정에서 인식된 면에 배치 가능하도록 가상 물체를 변경한다. 여기서 제어부(170)는 인식된 면의 면적에 맞추어 가상 물체를 축소, 회전, 절단할 수 있다. 또한 제어부(170)는 배치하기 원하는 가상 물체를 말풍선과 같이 작은 크기의 접촉 부분을 가지는 다른 가상 물체에 첨가할 수 있다. 이에 따라 제어부(170)는 가상 물체의 접촉 부분의 크기를 조절할 수 있다. 이러한 변경에 응하여 가상 물체는 제한된 접촉 면, 선 또는 점을 가지게 되고, 이에 인식된 면에 배치 가능하도록 설정된다. 제어부(170)는 이와 같이 355 과정을 수행한 후, 360 과정으로 분기한다.

제어부(170)는 360 과정에서 인식된 면에 배치되어 표시되도록 가상 물체의 이미지를 프리뷰 이미지와 합성하여 합성 이미지를 생성한다. 그러므로 합성 이미지는 증강 현실이 적용된 이미지이다. 이어서 제어부(170)는 370 과정에서 상기 합성 이미지를 출력하고 증강 현실 제공 절차를 종료한다.

이하에서는 도 4와 도 5를 참조하여 특정 이미지, 예컨대 프리뷰 이미지에서의 다양한 면 인식 방식과 각종 가상 물체 이미지를 살펴보기로 한다. 하기에는 프리뷰 이미지 출력 중 증강 현실 요청이 수신되어서 프리뷰 이미지에 증강 현실을 제공하는 것을 주된 예로 들어 본 발명을 설명한다.

도 4는 본 발명의 일 실시예에 따라 증강 현실을 제공하는 화면 예시도이다.

도 4를 참조하면, 제어부(170)는 401 화면에서와 같이 카메라 촬영 모드에서 프리뷰 이미지가 출력되도록 지원한다. 그러는 동안 제어부(170)는 증강 현실 요청을 수신할 수 있다. 증강 현실 요청은 일종의 알림 이벤트나 사용자의 요청에 의한 것일 수 있다. 그러므로 제어부(170)는 증강 현실을 통하여 일종의 알림 기능을 지원할 수 있다. 가령, 단말기(100)에서 이미지 촬영 중에 메시지, 전화 통화, 스케줄 등의 알림 이벤트가 발생되면, 제어부(170)는 현재 실행 중인 기능, 즉 프리뷰 이미지 출력 기능과 연계하여 증강 현실을 제공할 수 있다.

증강 현실 요청에 응하여 제어부(170)는 프리뷰 이미지의 색상, 모서리 및 그림자 중 적어도 하나를 분석하여 403 화면에서와 같이 다수 개의 면, 일례로 'A' 면, 'B' 면, 'C' 면, 'D' 면을 검출할 수 있다. 예를 들면 제어부(170)는 프리뷰 이미지의 색상을 분석할 수 있다. 그리고 하나의 동일한 색상을 가진 일정 영역으로 면으로 인식할 수 있다. 이에 더하여 제어부(170)는 색상 분석으로 파악된 면에서 모서리를 더 분석하여 실제 피사체의 면과 좀 더 일치하는 면을 인식할 수 있다. 한편 제어부(170)는 애초부터 프리뷰 이미지의 모서리를 분석할 수 있다. 이에 따라 제어부(170)는 피사체의 테두리를 파악하고, 테두리로 구획되는 영역을 가상 물체의 배치를 위한 면으로 인식할 수 있다.

그런 다음 제어부(170)는 검출된 면들 중 가상 물체, 예컨대 '전화기(450)'를 배치할 수 있는 면이 존재하는 지를 판단할 수 있다. 여기서 제어부(170)는 검출된 면의 면적이나 모양 등을 고려할 수 있다. 그리고 제어부(170)는 검출된 면들 중 'A' 면이 가장 넓은 면적을 가지고 있으며, '전화기(450)'를 배치할 수 있는 형태도 가진 것으로 판단할 수 있다. 이와 같이 가상 물체가 배치 가능한 면을 파악한 다음, 제어부(170)는 405 화면에서와 같이 '전화기(450)'의 이미지와 프리뷰 이미지를 합성하여 표시부(140)에 출력할 수 있다. 이때 제어부(170)는 인식된 'A' 면 위에 '전화기(450)'가 배치된 것과 같은 증강 현실이 제공되도록 두 개의 이미지들을 합성할 수 있다.

한편 가상 물체는 405 화면에서의 '전화기(450)' 이미지 외에도 다양한 형태를 가질 수 있다. 또한 제어부(170)는 인식된 면의 면적에 따라 가상 물체가 면 안에 배치 가능하도록 가상 물체를 변경할 수 있다. 이때 제어부(170)는 하술되는 여러 모양으로 가상 물체를 변경할 수 있다.

만약 인식된 면이 가상 물체를 수용하기에 부적합한 크기를 가진 것으로 판단되면, 제어부(170)는 407 화면에 도시되는 바와 같이 가상 물체, '편지 봉투(450)'를 회전 및 절단하여 'A'면의 일정 선 상에 배치되어 표시되도록 지원할 수 있다. 이에 따라 제어부(170)는 '편지 봉투(450)'를 인식된 'A'면 위에 배치할 수 있을 뿐만 아니라, 마치 '편지 봉투(450)'가 책 위에 꽂힌 듯 한 흥미로운 증강 현실을 제공할 수 있다. 또한 제어부(170)는 409 화면에 도시되는 바와 같이 '편지 봉투(450)'를 말풍선과 같은 다른 가상 물체와 결합하여 'A'면의 일정 점 상에 배치되어 표시되도록 지원할 수 있다.

한편 제어부(170)는 움직이는 가상 물체로 증강 현실을 제공할 수 있다. 예를 들면 제어부(170)는 410 화면에서와 같이 편지 봉투 아바타(450)가 인식된 'A' 면 안에서 이동하는 듯 한 증강 현실이 구현되도록 지원할 수 있다.

이하에서는 도 5를 참조하여 색상과 모서리를 이용하여 면을 인식하는 방법 왜 다른 방법을 설명하고자 한다.

도 5는 본 발명의 다른 실시예에 따라 증강 현실을 제공하는 화면 예시도이다.

도 5를 참조하면, 제어부(170)는 501 화면에서와 같이 프리뷰 이미지 출력 기능을 지원할 수 있다. 그리고 프리뷰 이미지가 출력되는 중에 제어부(170)는 증강 현실 요청을 수신하고 503 화면에서와 같이 상기 프리뷰 이미지의 'E' 그림자를 분석할 수 있다. 이때 제어부(170)는 프리뷰 이미지의 명암 레벨을 사용하여 어두운 회색의 명암을 가진 영역을 'E' 그림자로 인식할 수 있다. 한편 제어부(170)는 조도 센서를 사용하여 프리뷰 이미지에서 'E' 그림자를 분석할 수 있다. 이와 같이 일정 영역을 'E' 그림자인 것으로 판별한 후, 제어부(170)는 'E' 그림자의 윤곽을 파악할 수 있다. 이에 따라 제어부(170)는 'E' 그림자와 피사체 사이의 경계를 판단하여 505 화면에서와 같이 상기 경계에 맞닿아 있는 부분을 가상 물체가 배치될 수 있는 'F' 면으로 인식할 수 있다. 나아가 제어부(170)는 'E' 그림자의 윤곽과 맞닿아 있는 부분을 위주로 근방 영역의 색상 또는 모서리를 더 분석하여 상기 'F' 면을 인식할 수 있다. 제어부(170)는 이와 같은 다양한 방법으로 가상 물체를 배치하기 위한 면을 특정 이미지에서 인식할 수 있다.

이상에서 설명한 바와 같이 본 발명의 실시예에 따른 증강 현실 제공 방법 및 이를 지원하는 단말기에 따르면, 본 발명은 특정 이미지, 예컨대 프리뷰 이미지에서 피사체의 면을 인식하여 인식된 면에 가상 물체가 배치되게 표시함으로써, 좀 더 현실감 있는 증강 현실 제공할 수 있다.

한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 즉 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

100 : 단말기 110 : 무선통신부
120 : 입력부 130 : 오디오 처리부
140 : 표시부 150 : 카메라부
160 : 저장부 161 : 잠금 해제 설정 프로그램
170 : 제어부

Claims

단말기의 증강 현실 제공 방법에 있어서,
특정 이미지를 표시하는 동작;
상기 단말기에 대한 이벤트의 발생에 응답하여, 상기 이벤트를 나타내는 가상 물체를 제공하는 동작;
상기 특정 이미지에서 상기 가상 물체를 배치하기 위한 적어도 하나의 면을 인식하는 동작; 및
상기 인식된 적어도 하나의 면에 상기 가상 물체를 표시하는 동작을 포함하는 것을 특징으로 하는 단말기의 증강 현실 제공 방법.
제 1 항에 있어서,
상기 적어도 하나의 면을 인식하는 동작은, 상기 특정 이미지에서 색상, 모서리 및 그림자 중 적어도 하나를 분석하여 상기 적어도 하나의 면을 인식하는 것을 특징으로 하는 단말기의 증강 현실 제공 방법.
제 2 항에 있어서,
상기 적어도 하나의 면을 인식하는 동작은, 상기 특정 이미지에서 하나의 색상을 가지는 영역을 판단하는 동작을 포함하는 것을 특징으로 하는 단말기의 증강 현실 제공 방법.
제 3 항에 있어서,
상기 영역을 판단하는 동작은, 상기 영역을 상기 적어도 하나의 면으로 인식하는 동작인 것을 특징으로 하는 단말기의 증강 현실 제공 방법.
제 3 항에 있어서,
상기 영역에서 모서리를 검색하여 상기 모서리로 구획된 폐쇄 영역을 상기 적어도 하나의 면으로 인식하는 동작을 더 포함하는 것을 특징으로 하는 단말기의 증강 현실 제공 방법.
제 3 항에 있어서,
상기 영역은 소정의 명도차를 가지는 것을 특징으로 하는 단말기의 증강 현실 제공 방법.
제 2 항에 있어서,
상기 적어도 하나의 면을 인식하는 동작은, 상기 모서리에 의해 구획되는 영역을 상기 적어도 하나의 면으로 인식하는 동작인 것을 특징으로 하는 단말기의 증강 현실 제공 방법.
제 2 항에 있어서,
상기 적어도 하나의 면을 인식하는 동작은, 상기 그림자와 상기 특정 이미지에 포함된 피사체 사이의 경계를 이용하여 상기 적어도 하나의 면을 인식하는 동작인 것을 특징으로 하는 단말기의 증강 현실 제공 방법.
제 1 항에 있어서,
상기 적어도 하나의 면에 배치되어 표시되도록 상기 가상 물체의 이미지를 상기 특정 이미지와 합성하여 합성 이미지를 생성하는 동작; 및
상기 합성 이미지를 출력하는 동작을 더 포함하는 것을 특징으로 하는 단말기의 증강 현실 제공 방법.
제 1 항에 있어서,
상기 적어도 하나의 면의 크기에 따라 상기 가상 물체의 배치 가능 여부를 판단하는 동작; 및
상기 가상 물체가 상기 적어도 하나의 면에 배치 불가능한 경우, 상기 적어도 하나의 면의 일정 구역, 선 또는 점 상에 상기 가상 물체가 표시되도록 상기 가상 물체의 크기를 조정하는 동작을 더 포함하는 것을 특징으로 하는 단말기의 증강 현실 제공 방법.
제 1 항에 있어서,
상기 가상 물체는 2D 또는 3D 이미지로 표현되며,
상기 이벤트는 메시지, 전화 통화, 스케줄 및 상기 단말기에 대한 상태 알림 중 어느 하나와 관련된 이벤트인 것을 특징으로 하는 단말기의 증강 현실 제공 방법.
단말기에 있어서,
표시부; 및
상기 표시부를 통해 특정 이미지를 표시하고,
상기 단말기에 대한 이벤트의 발생에 응답하여, 상기 이벤트를 나타내는 가상 물체를 제공하고,
상기 특정 이미지에서 상기 가상 물체를 배치하기 위한 적어도 하나의 면을 인식하고,
상기 적어도 하나의 면에 상기 가상 물체가 배치되어 표시되도록 상기 가상 물체의 이미지를 상기 특정 이미지와 합성하고,
상기 표시부를 제어하여 상기 합성된 이미지가 출력되도록 지원하는 제어부를 포함하는 것을 특징으로 하는 단말기.
제 12 항에 있어서,
상기 제어부는, 상기 특정 이미지에서 색상, 모서리 및 그림자 중 적어도 하나를 분석하여 상기 적어도 하나의 면을 인식하는 것을 특징으로 하는 단말기.
제 13 항에 있어서,
상기 제어부는, 상기 특정 이미지에서 하나의 색상을 가지는 영역을 상기 적어도 하나의 면으로 인식하는 것을 특징으로 하는 단말기.
제 14 항에 있어서,
상기 영역은 소정의 명도차를 가지는 것을 특징으로 하는 단말기.
제 13 항에 있어서,
상기 제어부는, 상기 특정 이미지에서 상기 모서리에 의해 구획되는 영역을 상기 적어도 하나의 면으로 인식하는 것을 특징으로 하는 단말기.
제 13 항에 있어서,
상기 제어부는, 상기 그림자와 상기 특정 이미지에 포함된 피사체 사이의 경계를 이용하여 상기 적어도 하나의 면을 인식하는 것을 특징으로 하는 단말기.
제 12 항에 있어서,
상기 제어부는, 상기 가상 물체가 상기 적어도 하나의 면에 표시되도록 하기 위해, 상기 면의 면적 또는 크기에 따라, 상기 가상 물체를 축소시키거나, 확장하거나, 2D 또는 3D 회전시키거나, 절단하거나, 다른 가상 물체에 첨가하는 것을 특징으로 하는 단말기.
제 12 항에 있어서,
상기 가상 물체는 2D 또는 3D 이미지로 표현되며,
상기 이벤트는 메시지, 전화 통화, 스케줄 및 상기 단말기에 대한 상태 알림 중 어느 하나와 관련된 이벤트인 것을 특징으로 하는 단말기.
제 12 항에 있어서,
피사체를 촬영하여 상기 특정 이미지를 획득하는 카메라부를 더 포함하고,
상기 특정 이미지는 프리뷰 이미지인 것을 특징으로 하는 단말기.