[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102133843B1 - 3차원 프린팅의 프로세스를 인디케이팅하는 헤드 마운티드 디스플레이 및 그 제어 방법 - Google Patents

3차원 프린팅의 프로세스를 인디케이팅하는 헤드 마운티드 디스플레이 및 그 제어 방법 Download PDF

Info

Publication number
KR102133843B1
KR102133843B1 KR1020130131080A KR20130131080A KR102133843B1 KR 102133843 B1 KR102133843 B1 KR 102133843B1 KR 1020130131080 A KR1020130131080 A KR 1020130131080A KR 20130131080 A KR20130131080 A KR 20130131080A KR 102133843 B1 KR102133843 B1 KR 102133843B1
Authority
KR
South Korea
Prior art keywords
hmd
output
printer
augmented reality
marker
Prior art date
Application number
KR1020130131080A
Other languages
English (en)
Other versions
KR20150049907A (ko
Inventor
조은형
김종호
이도영
김지환
천시내
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130131080A priority Critical patent/KR102133843B1/ko
Priority to US14/158,334 priority patent/US8847953B1/en
Priority to PCT/KR2014/000632 priority patent/WO2015064846A1/en
Priority to EP14857556.6A priority patent/EP3063587B1/en
Publication of KR20150049907A publication Critical patent/KR20150049907A/ko
Application granted granted Critical
Publication of KR102133843B1 publication Critical patent/KR102133843B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/10—Processes of additive manufacturing
    • B29C64/106—Processes of additive manufacturing using only liquids or viscous materials, e.g. depositing a continuous bead of viscous material
    • B29C64/112—Processes of additive manufacturing using only liquids or viscous materials, e.g. depositing a continuous bead of viscous material using individual droplets, e.g. from jetting heads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30—Auxiliary operations or equipment
    • B29C64/386—Data acquisition or data processing for additive manufacturing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 명세서의 일 실시예에 따른 헤드 마운티드 디스플레이(Head Mounted Disaply, HMD)를 제어하는 방법은 카메라 유닛을 통해 3D 프린터를 제1 마커로써 디텍팅하는 단계, 상기 3D 프린터에 의해 3D 오브젝트가 출력되기 전이면, 상기 디텍팅된 제1 마커에 기초하여 상기 3D 오브젝트의 형상의 제1 증강현실 이미지를 디스플레이하는 단계 상기 3D 프린터의 상기 3D 오브젝트에 대한 출력이 시작되면, 상기 3D 프린터로부터 출력되는 상기 3D 오브젝트를 제2 마커로써 디텍팅하는 단계, 상기 제1 마커 및 상기 제2 마커에 기초하여 상기 디스플레이된 제1 증강현실 이미지를 제2 증강현실 이미지로 갱신하는 단계, 및 상기 제2 증강현실 이미지를 디스플레이하는 단계를 포함할 수 있다.

Description

3차원 프린팅의 프로세스를 인디케이팅하는 헤드 마운티드 디스플레이 및 그 제어 방법{Apparatus and Method for Head Mounted Display indicating process of 3D printing}
본 명세서는 헤드 마운티드 디스플레이에 대한 것으로, 특히 3D 프린팅의 프로세스를 인디케이팅하는 헤드 마운티드 디스플레이에 대한 것이다.
리얼 오브젝트와 버추얼 오브젝트가 혼합된 증강현실기술은 사용자가 증강현실 이미지와 함께 현실 이미지를 볼 수 있게 하여 현실감과 함께 부가 정보를 제공한다. 헤드 마운티드 디스플레이(HMD)는 카메라 유닛을 통해 리얼 오브젝트를 마커로써 디텍팅하고, 디텍팅된 마커에 기초하여 증강현실 이미지를 디스플레이할 수 있다. HMD는 디스플레이 유닛을 통해 증강현실 이미지를 디스플레이할 수 있다.
HMD는 마커에 대응하여 디스플레이된 증강현실 이미지에 리얼 오브젝트에 대한 부가 정보를 포함시킬 수 있다. 따라서 사용자는 디스플레이된 증강현실 이미지로부터 리얼 오브젝트에 대한 부가 정보를 획득할 수 있다.
본 명세서는, 3D 프린팅의 출력 결과인 3D 오브젝트에 대한 증강현실 이미지를 디스플레이하는 HMD 및 그의 제어 방법을 제공하고자 한다. 특히, 본 명세서에서 HMD는 3D 오브젝트의 출력 프로세스에 따라 디스플레이하는 증강현실 이미지를 적응적으로 변경하는 방법을 제공할 필요가 있다.
본 명세서의 일 실시예에 따른 헤드 마운티드 디스플레이(Head Mounted Disaply; HMD)는 제1 마커 또는 제2 마커를 디텍팅하는 카메라 유닛, 상기 제1 마커 또는 상기 제2 마커에 대응하는 증강현실 이미지를 디스플레이하는 디스플레이 유닛 및 상기 카메라 유닛 및 상기 디스플레이 유닛을 제어하는 컨트롤러를 포함하는 HMD로써, 상기 컨트롤러는 상기 카메라 유닛을 통해 3D 프린터의 적어도 일부분을 상기 제1 마커로써 디텍팅하고, 상기 3D 프린터에 의해 3D 오브젝트가 출력되기 전이면, 상기 디텍팅된 제1 마커에 기초하여 상기 3D 오브젝트의 형상의 상기 제1 증강현실 이미지를 디스플레이하고, 상기 3D 프린터의 상기 3D 오브젝트에 대한 출력이 시작되면, 상기 3D 프린터로부터 출력되는 상기 3D 오브젝트를 상기 제2 마커로써 디텍팅하고, 상기 제1 마커 및 상기 제2 마커에 기초하여 상기 디스플레이된 제1 증강현실 이미지를 제2 증강현실 이미지로 갱신하고, 상기 제2 증강현실 이미지를 디스플레이할 수 있다.
또한 본 명세서의 일 실시예에 따른 헤드 마운티드 디스플레이(Head Mounted Disaply; HMD) 제어하는 방법은 카메라 유닛을 통해 3D 프린터를 제1 마커로써 디텍팅하는 단계, 상기 3D 프린터에 의해 3D 오브젝트가 출력되기 전이면, 상기 디텍팅된 제1 마커에 기초하여 상기 3D 오브젝트의 형상의 제1 증강현실 이미지를 디스플레이하는 단계, 상기 3D 프린터의 상기 3D 오브젝트에 대한 출력이 시작되면, 상기 3D 프린터로부터 출력되는 상기 3D 오브젝트를 제2 마커로써 디텍팅하는 단계, 상기 제1 마커 및 상기 제2 마커에 기초하여 상기 디스플레이된 제1 증강현실 이미지를 제2 증강현실 이미지로 갱신하는 단계 및 상기 제2 증강현실 이미지를 디스플레이하는 단계를 포함할 수 있다.
본 명세서에 따르면, HMD는 3D 프린터로부터 출력될 예정인 3D 오브젝트의 형상을 증강현실 이미지로 디스플레이할 수 있다.
또한, 본 명세서에 따르면, HMD는 3D 프린터를 제1 마커로 디텍팅하고 3D 오브젝트를 제2 마커로 디텍팅할 수 있다.
또한, 본 명세서에 따르면, HMD는 3D 프린터가 출력 중인 3D 오브젝트의 형상을 증강현실 이미지로 디스플레이할 수 있다.
또한, 본 명세서에 따르면, HMD는 3D 프린터로부터 출력 중인 3D 오브젝트의 형상에 심리스하게 증강현실 이미지를 디스플레이할 수 있다.
또한, 본 명세서에 따르면, HMD는 3D 프린터의 출력 프로세스에 따라 디스플레이되는 증강현실 이미지를 변경할 수 있다.
또한, 본 명세서에 따르면, HMD는 3D 프린터의 출력 프로세스를 증강현실 이미지로 디스플레이할 수 있다.
또한, 본 명세서에 따르면, HMD는 3D 오브젝트 중 출력되지 않은 부분을 증강현실 이미지로 디스플레이할 수 있다.
또한, 본 명세서에 따르면, HMD는 3D 오브젝트의 출력 프로세스에 따라 마커 정보를 갱신할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 HMD와 외부 디바이스의 연결 상태를 나타낸 도면이다.
도 2는 본 명세서의 일 실시예에 따른 HMD가 3D 오브젝트의 형상을 증강현실 이미지로 디스플레이하는 방법을 나타낸 도면이다.
도 3은 본 명세서의 일 실시예에 따른 HMD에 디스플레이된 부가 정보를 나타낸 도면이다.
도 4는 본 명세서의 일 실시예에 따른 HMD가 3D 프린터에서 출력되는 3D 오브젝트를 마커로 디텍팅하는 방법을 나타낸 도면이다.
도 5는 본 명세서의 일 실시예에 따른 HMD가 3D 프린터의 동작에 따라 증강현실 이미지의 위치를 변경하는 방법을 나타낸 도면이다.
도 6은 본 명세서의 일 실시예에 따른 HMD의 블록도를 나타낸 도면이다.
도 7은 본 명세서의 일 실시예에 따른 HMD가 제1 마커 및 제2 마커를 디텍팅하는 방법을 나타낸 도면이다.
도 8은 본 명세서의 일 실시예에 따른 HMD가 디텍팅한 제2 마커를 갱신하는 방법을 나타낸 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서 헤드 마운티드 디스플레이는 사용자의 신체에 착용되어 시각정보를 디스플레이할 수 있는 웨어러블 디바이스를 포함할 수 있다. 또한 본 명세서에서 헤드 마운티드 디스플레이 제어 방법은 디스플레이 유닛을 포함하는 포터블 디바이스에 적용될 수 있다. 예를 들어, 포터블 디바이스는 스마트폰, 스마트패드, 노트북, 태블릿 컴퓨터, 뮤직 플레이어, 스마트 테이블, 모니터 또는 텔레비젼을 포함할 수 있다.
본 명세서에서 3D 프린터는 다양한 방식으로 3D 오브젝트를 출력할 수 있다. 예를 들어, 본 명세서의 3D 프린터는 선택적 레이저 소결(Selective Laser Sintering, SLS) 방식, FDM(Fused Deposition Modeling) 방식, DMLS(Direct Metal Laser Sintering) 방식, SLA(Stereo Lithography) 방식, LOM(Laminated Object Manufacturing) 방식, EBM(Electron Beam Melting) 방식, 및 PP(Powerder bed & Plaster-based) 방식을 이용하여 3D 오브젝트를 출력할 수 있다. 여기서, FDM 방식 및 LOM 방식은 3D 프린터에서 출력된 적어도 하나 이상의 3D 프린팅 레이어에 의해 3D 오브젝트를 구성할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 HMD와 외부 디바이스의 연결 상태를 나타낸 도면이다. HMD와 연결되는 외부 디바이스는 3D 프린터, 클라우드 서비스 시스템, 스마트폰, 태블릿 컴퓨터, 노트북 컴퓨터 또는 데스크탑 컴퓨터를 포함할 수 있다. 도 1의 상단에서 3D 프린터(10)와 HMD(11)는 클라우드 서비스 시스템(12)을 통해 연결될 수 있다. 또한 3D 프린터(10), HMD(11), 컴퓨터(13) 및 스토리지(14)는 네트워크 또는 클라우드 서비스 시스템(12)을 통해 상호 연결될 수 있다. HMD(11)는 네트워크 또는 클라우드 서비스 시스템(12)을 통해 3D 프린터(10), 컴퓨터(13), 스토리지(14)로부터 증강현실 이미지에 대한 정보를 획득할 수 있다. 증강현실 이미지에 대한 정보는 3D 프린터(10)에서 출력되는 3D 오브젝트에 대한 정보 및 3D 프린터(10)를 제어하는 제어 인터페이스에 대한 정보를 포함할 수 있다.
예를 들어, HMD(11)는 3D 오브젝트를 출력하는 3D 프린터(10)로부터 3D 오브젝트에 대한 정보를 수신할 수 있다. 3D 오브젝트에 대한 정보는 3D 오브젝트의 형상, 재질, 색상, 질량 및 부피에 대한 정보 중 적어도 하나를 포함할 수 있다. 또한 3D 오브젝트에 대한 정보는 출력중인 3D 오브젝트의 출력 진행 상태를 포함할 수 있다. 예를 들어, 3D 오브젝트의 출력 진행 상태는 3D 오브젝트가 몇 퍼센트나 출력되었는지, 출력이 완료될 때까지 남은 시간이 얼마인지를 나타낼 수 있다.
또한 HMD(11)는 3D 오브젝트를 출력하는 3D 프린터(10)로부터 3D 프린터(10)를 제어하는 제어 인터페이스에 대한 정보를 수신할 수 있다. 제어 인터페이스에 대한 정보는 3D 프린터에서 출력될 예정인 3D 오브젝트의 색상이나 사이즈, 재료등을 변경하는 제어 인터페이스를 포함할 수 있다. 또한 제어 인터페이스에 대한 정보는 3D 프린터의 출력을 제어하는 제어 인터페이스를 포함할 수 있다. 예를 들어, 제어 인터페이스에 대한 정보는 3D 프린터의 출력을 일시 정지하거나 재개하는 인터페이스 또는 3D 프린터의 출력을 취소하는 인터페이스를 포함할 수 있다.
다른 실시예로, HMD(11)는 3D 프린터(10)를 제어하는 컴퓨터(13)로부터 상술한 3D 오브젝트에 대한 정보 또는 제어 인터페이스에 대한 정보를 수신할 수 있다. HMD(11)는 네트워크 또는 클라우드 서비스 시스템(12)을 통해 3D 프린터(10)를 제어하는 컴퓨터(13)에 접속할 수 있으며 3D 오브젝트에 대한 정보 또는 제어 인터페이스에 대한 정보를 수신할 수 있다. 3D 오브젝트에 대한 정보는 3D 오브젝트의 형상, 재질, 색상, 질량 및 부피에 대한 정보 중 적어도 하나를 포함할 수 있다. 또한 3D 오브젝트에 대한 정보는 출력중인 3D 오브젝트의 출력 진행 상태를 포함할 수 있다. 제어 인터페이스에 대한 정보는 3D 프린터에서 출력될 예정인 3D 오브젝트의 색상이나 사이즈, 재료등을 변경하는 제어 인터페이스를 포함할 수 있다. 또한 제어 인터페이스에 대한 정보는 3D 프린터의 출력을 제어하는 제어 인터페이스를 포함할 수 있다. HMD(11)는 수신된 3D 오브젝트에 대한 정보를 이용하여 3D 오브젝트의 형상을 디스플레이할 수 있다. 또한 HMD(11)는 수신된 제어 인터페이스에 대한 정보를 이용하여 컴퓨터(13)를 통해 3D 프린터를 제어할 수 있다.
다른 실시예로, HMD(11)는 네트워크 또는 클라우드 서비스 시스템(12)에 존재하는 스토리지(14)로부터 3D 오브젝트에 대한 정보를 수신할 수 있다. 3D 오브젝트에 대한 정보는 3D 오브젝트의 형상, 재질, 색상, 질량 및 부피에 대한 정보 중 적어도 하나를 포함할 수 있다. 또한 3D 오브젝트에 대한 정보는 출력중인 3D 오브젝트의 출력 진행 상태를 포함할 수 있다. 예를 들어 HMD(11)는 출력하고자 하는 3D 오브젝트의 형상에 대한 정보를 스토리지(14)로부터 수신하고, 출력되는 3D 오브젝트에 오버랩하여 3D 오브젝트의 형상을 증강현실 이미지로써 디스플레이할 수 있다. 여기서 증강현실 이미지는 3D 증강현실 이미지일 수 있다.
도 1의 상단에서 HMD(11)가 네트워크 또는 클라우드 서비스 시스템을 통해 외부 디바이스들과 연결된 것과 달리, 도 1의 하단과 같이 3D 프린터(10), HMD(11) 및 컴퓨터(13)는 상호 직접 연결될 수 있다. 예를 들어, 3D 프린터(10), HMD(11) 및 컴퓨터(13)는 블루투스, 근거리통신(near field communication, NFC), 직비(zigbee) 및 무선랜 등으로 상호 연결될 수 있다. HMD(11)는 상술한 통신 방법으로 연결된 3D 프린터(10), 컴퓨터(13)로부터 증강현실 이미지에 대한 정보를 획득할 수 있다. 일 실시예로, HMD(11)는 커뮤니케이션 유닛을 통해서 3D 프린터와 페어링을 수행하고, 3D 프린터로부터 증강현실 이미지에 대한 정보를 수신할 수 있다.
증강현실 이미지에 대한 정보는 도 1의 상단에서 상술한 바와 같이, 3D 프린터(10)에서 출력되는 3D 오브젝트에 대한 정보 및 3D 프린터(10)를 제어하는 제어 인터페이스에 대한 정보를 포함할 수 있다. 3D 오브젝트에 대한 정보는 3D 오브젝트의 형상, 재질, 색상, 질량 및 부피에 대한 정보 중 적어도 하나를 포함할 수 있다. 또한 3D 오브젝트에 대한 정보는 출력중인 3D 오브젝트의 출력 진행 상태를 포함할 수 있다. 제어 인터페이스에 대한 정보는 3D 프린터에서 출력될 예정인 3D 오브젝트의 색상이나 사이즈, 재료등을 변경하는 제어 인터페이스를 포함할 수 있다. 또한 제어 인터페이스에 대한 정보는 3D 프린터의 출력을 제어하는 제어 인터페이스를 포함할 수 있다.
도 2는 본 명세서의 일 실시예에 따른 HMD가 3D 오브젝트의 형상을 증강현실 이미지로 디스플레이하는 방법을 나타낸 도면이다. 도 2의 상단에서 사용자는 HMD(11)를 착용할 수 있다. HMD(11)는 카메라 유닛을 통해 3D 프린터(10)를 제1 마커로써 디텍팅하고, 제1 마커에 대응하는 증강현실 이미지를 디스플레이할 수 있다. 여기서 증강현실 이미지는 3D 증강현실 이미지일 수 있다.
HMD(11)는 3D 프린터(10)와 네트워크 또는 클라우드 서비스 시스템을 통해 연결될 수 있다. 또한 실시예에 따라 HMD(11)는 3D 프린터(10)와 유무선으로 직접 연결될 수 있다. HMD(11)는 출력될 예정인 3D 오브젝트에 대한 정보 및 3D 프린터(10)의 제어 인터페이스에 대한 정보를 3D 프린터(10)로부터 수신할 수 있다.
도 2의 상단과 같이, 3D 프린터(10)에 의해 3D 오브젝트가 출력되기 이전인 경우, HMD(11)는 3D 프린터(10)의 적어도 일부분을 제1 마커로 디텍팅할 수 있다. 예를 들어, HMD(11)는 3D 프린터(10) 중 3D 프린팅의 결과물이 출력되는 위치인 출력 트레이를 제1 마커로 디텍팅할 수 있다. 즉, HMD(11)는 3D 프린팅의 결과물인 3D 오브젝트가 위치할 3D 프린터의 일부분을 제1 마커로 디텍팅할 수 있다. 다른 실시예로, HMD(11)는 3D 프린터(10)의 전체 형상을 제1 마커로 디텍팅할 수도 있다.
HMD(11)는 디텍팅된 제1 마커의 위치에 기초하여 제1 증강현실 이미지(21)를 디스플레이할 수 있다. HMD(11)는 3D 프린터(10)로부터 수신된 3D 오브젝트에 대한 정보에 기초하여 3D 오브젝트의 형상을 제1 증강현실 이미지(21-1)로써 디스플레이할 수 있다. HMD는 3D 오브젝트의 형상 중 출력되지 않은 부분의 형상을 제1 증강현실 이미지(21-1)로써 디스플레이할 수 있다. 즉, 3D 프린터(10)에 의해 3D 오브젝트가 출력되기 이전인 경우, HMD(11)는 제1 증강현실 이미지(21-1)로써 3D 오브젝트의 전체 형상 또는 최종 형상을 디스플레이할 수 있다.
이를 통해 사용자는 디스플레이된 제1 증강현실 이미지(21-1)를 시각으로 확인하고, 3D 오브젝트의 출력이 시작되기 이전이라도 3D 오브젝트의 형상을 인폼받을 수 있다.
도 2의 하단과 같이, 3D 프린터(10)에 의해 3D 오브젝트의 출력이 시작된 경우, HMD(11)는 제1 마커와 함께 부분적으로 프린트된 3D 오브젝트의 제1 부분(22)을 제2 마커로써 디텍팅할 수 있다. 예를 들어, HMD(11)는 3D 오브젝트의 전체 형상 중 제1 부분(22)이 프린트되고 나머지 부분은 프린트되지 않은 경우, 프린트된 제1 부분(22)만을 제2 마커로써 디텍팅할 수 있다. HMD(11)는 제2 마커를 추가적으로 디텍팅함으로써 증강현실 이미지가 디스플레이되는 위치를 정확하게 결정할 수 있다.
도 2의 하단과 같이, HMD(11)는 디텍팅된 제1 마커 및 제2 마커의 위치에 기초하여 제1 증강현실 이미지(21-1)를 제2 증강현실 이미지(21-2)로 갱신할 수 있다. 다시 말하면, HMD(11)는 3D 오브젝트의 전체 형상을 포함하는 제1 증강현실 이미지를 3D 오브젝트의 일부 형상을 포함하는 제2 증강현실 이미지로 갱신할 수 있다. HMD는 3D 오브젝트의 형상 중 출력되지 않은 부분의 형상을 제2 증강현실 이미지(21-2)로써 디스플레이할 수 있다.
HMD(11)는 3D 오브젝트의 전체 형상 중 이미 출력된 3D 오브젝트의 제1 부분(22), 다시 말해 제2 마커에 대응하는 부분을 제외한 나머지 부분을 제2 증강현실 이미지(21-2)로 디스플레이할 수 있다. 이를 통해 사용자는 디스플레이된 제2 증강현실 이미지(21-2)를 시각으로 확인할 수 있다. HMD(11)는 3D 오브젝트의 출력이 시작된 경우, 출력된 3D 오브젝트의 진행 상황에 따라 제1 증강현실 이미지를 제2 증강현실 이미지로 갱신함으로써 3D 프린팅의 프로세스를 사용자에게 인폼할 수 있다. 사용자는 3D 프린팅이 진행됨에 따라 갱신되는 증강현실 이미지를 통해 3D 프린팅이 얼마만큼 진행되었고, 앞으로 진행될 프로세스가 얼마만큼 남았는지 알 수 있다.
도 3은 본 명세서의 일 실시예에 따른 HMD에 디스플레이된 부가 정보를 나타낸 도면이다. HMD는 카메라 유닛을 이용하여 3D 프린터로부터 출력되는 3D 오브젝트(31)를 디텍팅할 수 있다. HMD는 디텍팅된 3D 오브젝트(31)를 제2 마커로 디텍팅할 수 있으며, 제2 마커의 위치에 기초하여 디지털 정보를 디스플레이할 수 있다. 아래에서는 HMD에 의해 디지털 정보가 디스플레이되는 영역을 디스플레이 스크린(30)으로 칭할 수 있다. 사용자는 디스플레이 스크린(30)에 디스플레이된 디지털 정보를 시각으로 확인할 수 있다.
도 3의 상단과 같이, HMD는 디스플레이 유닛을 이용하여 디스플레이 스크린(30)을 사용자에게 제공할 수 있다. HMD는 디스플레이 스크린(30)에 증강현실 이미지(32) 및 3D 오브젝트에 대한 정보(33)를 디스플레이할 수 있다. HMD는 디텍팅된 3D 오브젝트(31)에 심리스하게 증강현실 이미지(32)를 디스플레이할 수 있다. 즉, HMD는 디텍팅된 제2 마커에 심리스하게 증강현실 이미지(32)를 디스플레이할 수 있다. HMD는 리얼 오브젝트인 3D 오브젝트(31)에 심리스하게 이어서 버추얼 오브젝트인 증강현실 이미지(32)를 디스플레이할 수 있다. HMD는 증강현실 이미지(32)와 함께 3D 오브젝트에 대한 정보(33)를 디스플레이할 수 있다. HMD는 3D 오브젝트에 대한 정보(33)로써 3D 프린팅이 완료될 때까지의 남은 시간, 3D 오브젝트의 색상 정보 및 3D 프린팅이 몇 퍼센트 진행되었는지에 대한 인디케이터를 디스플레이할 수 있다. 또한, HMD는 부가 정보로써 3D 오브젝트에 대한 출력 프로세스 정보를 더 디스플레이할 수 있다.
또한, HMD는 3D 오브젝트의 크기 정보, 재질 정보, 부피 정보 및 질량 정보 중 적어도 하나를 3D 오브젝트에 대한 정보(33)로써 디스플레이할 수 있다. 사용자는 디스플레이된 3D 오브젝트에 대한 정보(33)를 시각으로 확인하고 3D 프린팅이 어느 정도 진행되었고 얼마 후에 종료되는지에 대한 정보를 인폼받을 수 있다.
도 3의 하단과 같이, HMD는 디스플레이 유닛을 이용하여 디스플레이 스크린(30)에 증강현실 이미지(32) 및 3D 프린터를 제어하는 제어 인터페이스(34)를 디스플레이할 수 있다. HMD는 디텍팅된 3D 오브젝트(31)에 심리스하게 증강현실 이미지(32)를 디스플레이할 수 있다. HMD는 리얼 오브젝트인 3D 오브젝트(31)에 심리스하게 이어서 버추얼 오브젝트인 증강현실 이미지(32)를 디스플레이할 수 있다. HMD는 증강현실 이미지(32)와 함께 3D 프린터를 제어하는 제어 인터페이스(34)를 디스플레이할 수 있다. HMD는 진행중인 3D 프린팅에 대한 일시 정지 및 시작 인터페이스를 디스플레이할 수 있으며, 3D 프린팅에 대한 취소 인터페이스도 디스플레이할 수 있다. 사용자는 3D 프린팅의 진행 상황을 시각으로 확인하고, 디스플레이된 제어 인터페이스(34)를 이용하여 3D 프린팅으로 일시적으로 정지시키거나 재개시킬 수 있으며, 경우에 따라 3D 프린팅을 취소할 수 있다.
도 4는 본 명세서의 일 실시예에 따른 HMD가 3D 프린터에서 출력되는 3D 오브젝트를 마커로 디텍팅하는 방법을 나타낸 도면이다. 3D 오브젝트는 3D 프린팅이 진행됨에 따라 형상이 변경된다. 예를 들어, 고체 수지 재료를 녹여서 쌓는 방식(fused deposition modeling)을 사용하는 적층식 3D 프린터는 3D 오브젝트의 하단부부터 3D 프린팅을 시작하고, 3D 오브젝트의 상단부에서 3D 프린팅을 종료할 수 있다. 도 2에서 설명한 바와 같이 HMD는 3D 프린팅이 진행되는 동안 출력중인 3D 오브젝트를 제2 마커로 디텍팅할 수 있다. 따라서 HMD는 3D 프린팅이 진행되는 동안 형상이 변경되는 3D 오브젝트를 제2 마커로 디텍팅할 수 있다. HMD는 제2 마커로써 디텍팅된 3D 오브젝트의 출력 상태에 따라 디스플레이하는 증강현실 이미지를 적응적으로 갱신할 수 있다. 여기서 증강현실 이미지는 3D 증강현실 이미지일 수 있다.
HMD는 3D 오브젝트에 대한 정보를 3D 프린터 또는 3D 프린터와 연결된 외부 디바이스로부터 수신할 수 있다. 3D 오브젝트에 대한 정보는 3D 오브젝트의 형상 정보를 포함할 수 있다. HMD는 3D 오브젝트의 형상 정보를 이용하여 제2 마커를 디텍팅할 수 있다. HMD는 3D 프린터의 3D 오브젝트에 대한 출력이 시작되면, 출력된 3D 오브젝트를 제2 마커로써 디텍팅할 수 있다. HMD는 3D 오브젝트의 형상 정보를 이용하여, 3D 프린터로부터 출력되는 3D 오브젝트와 3D 오브젝트의 형상 정보를 매칭시킬 수 있다. 즉, HMD는 전체 중 일부분이 출력된 3D 오브젝트와 3D 오브젝트의 형상 정보 중 일부가 일치하는지 여부를 결정할 수 있다.
HMD는 제1 부분(41)이 출력된 3D 오브젝트와 3D 오브젝트의 형상 정보가 일치하는 경우, 디스플레이 스크린(40)에 3D 오브젝트의 형상을 제2 증강현실 이미지(42)로써 디스플레이할 수 있다. 다시 말하면, HMD는 3D 오브젝트의 제1 부분을 제2 마커로 디텍팅하고, 제2 마커에 대응하는 제2 증강현실 이미지(42)를 디스플레이할 수 있다. 여기서 디스플레이 스크린(40)이란, HMD가 디스플레이 유닛을 통해 증강현실 이미지를 디스플레이하는 영역 또는 공간을 의미할 수 있다. HMD는 3D 오브젝트의 전체 형상 중 아직 프린트되지 않은 부분을 제2 증강현실 이미지(42)로 디스플레이할 수 있다. 즉, HMD는 3D 오브젝트의 전체 형상 중 이미 출력된 제1 부분(41)을 제외한 나머지 형상을 제2 증강현실 이미지(42)로써 디스플레이할 수 있다.
HMD는 출력된 3D 오브젝트의 제1 부분(41) 즉, 제2 마커의 위치에 대응하여 제2 증강현실 이미지(42)를 디스플레이할 수 있다. HMD는 출력된 3D 오브젝트의 제1 부분(41)에 심리스하게 제2 증강현실 이미지(42)를 연결하여 디스플레이할 수 있다. 따라서 사용자는 이미 출력된 3D 오브젝트의 제1 부분(41)을 리얼 오브젝트로써 확인하고, 아직 출력되지 않은 3D 오브젝트의 나머지 부분은 제2 증강현실 이미지(42)에 의해 버추얼 오브젝트로써 확인할 수 있다.
HMD는 3D 오브젝트의 제1 부분(41)이 출력된 후 3D 프린팅이 진행됨에 따라 3D 오브젝트의 제2 부분(43)이 출력되면 제2 마커를 갱신할 수 있다. 3D 프린터의 출력 방식이 FDM 방식인 경우, HMD는 3D 프린팅 레이어가 추가될 때 제2 마커를 갱신할 수 있다. 3D 오브젝트의 제2 부분(43)은 실시예에 따라 제1 부분 및 제1 부분이 출력된 이후 추가적으로 출력된 부분을 의미할 수 있다. 또는 3D 오브젝트의 제2 부분(43)은 제1 부분에 추가적으로 출력된 부분을 의미할 수 있다. 아래에서 제2 부분(43)은 제1 부분 및 제1 부분이 출력된 이후 추가적으로 출력된 부분을 포함하는 개념을 설명한다.
HMD는 3D 오브젝트의 제2 부분(43)을 갱신된 제2 마커로 디텍팅할 수 있다. HMD는 갱신된 제2 마커가 디텍팅되면, 디스플레이 스크린(40)에 디스플레이된 제2 증강현실 이미지(42)를 갱신할 수 있다. HMD는 갱신된 제2 마커에 대응하여 제3 증강현실 이미지(44)를 디스플레이할 수 있다. 제3 증강현실 이미지(44)는 제2 증강현실 이미지(42)가 갱신될 것일 수 있다.
HMD는 3D 오브젝트의 전체 형상 중 아직 프린트되지 않은 부분을 제3 증강현실 이미지(42)로 디스플레이할 수 있다. 즉, HMD는 3D 오브젝트의 전체 형상 중 이미 출력된 제2 부분(43)을 제외한 나머지 형상을 제3 증강현실 이미지(44)로써 디스플레이할 수 있다. 다시 말해 HMD는 3D 오브젝트의 전체 형상 중 갱신된 제2 마커에 대응하는 부분을 제외한 나머지 부분을 제3 증강현실 이미지(44)로써 디스플레이할 수 있다.
HMD는 출력된 3D 오브젝트의 제2 부분(43) 즉, 갱신된 제2 마커의 위치에 대응하여 제3 증강현실 이미지(44)를 디스플레이할 수 있다. HMD는 출력된 3D 오브젝트의 제2 부분(43)에 심리스하게 제3 증강현실 이미지(44)를 연결하여 디스플레이할 수 있다. 따라서 사용자는 이미 출력된 3D 오브젝트의 제2 부분(43)을 리얼 오브젝트로써 확인하고, 아직 출력되지 않은 3D 오브젝트의 나머지 부분은 제3 증강현실 이미지(44)에 의해 버추얼 오브젝트로써 확인할 수 있다.
도 5는 본 명세서의 일 실시예에 따른 HMD가 3D 프린터의 동작에 따라 증강현실 이미지의 위치를 변경하는 방법을 나타낸 도면이다. HMD는 HMD와 연결된 3D 프린터의 동작에 따라 디스플레이된 증강현실 이미지의 위치를 변경할 수 있다. HMD는 증강현실 이미지의 위치를 변경하여 3D 프린터와 연결되어 동작함을 사용자에게 인폼할 수 있다.
도 5의 상단에서 3D 프린터(10)는 3D 오브젝트가 출력되는 부분인 출력 트레이(51)를 포함할 수 있다. 3D 프린터(10)는 3D 프린팅이 시작되기 전인 대기 상태에서 출력 트레이(51)를 3D 프린터(10)의 외부로 이동시킬 수 있다. HMD는 출력하고자 하는 3D 오브젝트의 형상을 증강현실 이미지(52)로 디스플레이할 수 있다. 도 5의 중단과 같이 사용자는 증강현실 이미지로 디스플레이된 3D 오브젝트의 형상을 3D 프린터의 출력 트레이(51)에 위치시킬 수 있다. 도 5의 중단과 같이 3D 프린터의 외부로 이동된 출력 트레이(51)에 디스플레이된 증강현실 이미지(52)의 위치를 제1 위치로 정의할 수 있다.
HMD와 3D 프린터(10)가 연결된 경우, 3D 오브젝트의 형상이 3D 프린터의 출력 트레이(51)에 위치하면, HMD는 3D 프린터(10)에 3D 프린팅 오더를 송신할 수 있다. 3D 프린팅 오더는 HMD가 지시하는 3D 오브젝트를 3D 프린터에서 출력하게 하는 명령어이다. 3D 프린팅 오더는 3D 오브젝트에 대한 정보를 포함할 수 있으며, 예를 들어 3D 오브젝트에 대한 정보는 3D 오브젝트의 형상, 색상, 크기, 부피 및 질량에 대한 정보 중 적어도 하나를 포함할 수 있다. HMD는 3D 프린터(10)의 출력 트레이(51) 상에 디스플레이한 증강현실 이미지(52)에 대응하는 3D 오브젝트에 대한 3D 프린팅 오더를 3D 프린터(10)에 송신할 수 있다.
3D 프린터는 HMD로부터 3D 프린팅 오더를 수신하고, 수신된 3D 프린팅 오더에 포함된 3D 오브젝트에 대한 정보에 기초하여 3D 프린팅을 시작할 수 있다. 도 5의 하단과 같이 3D 프린터는 출력 대상인 3D 오브젝트의 형상이 위치한 출력 트레이(51)를 3D 프린터 내부로 이동시키고 3D 프린팅을 시작할 수 있다. 도 5의 하단과 같이 3D 프린터의 내부로 이동된 출력 트레이(51)에 디스플레이된 증강현실 이미지(52)의 위치를 제2 위치로 정의할 수 있다.
HMD는 3D 프린터의 출력 트레이(51)가 3D 프린터의 외부에서 내부로 이동되는 경우, 디스플레이된 증강현실 이미지(52)의 위치를 이동시킬 수 있다. HMD는 내부로 이동된 출력 트레이(51) 상에 증강현실 이미지(52)가 디스플레이되도록 증강현실 이미지(52)의 위치를 제1 위치에서 제2 위치로 변경할 수 있다. 이를 통해 HMD는 3D 오브젝트가 출력될 예정인 위치에 대응하여 증강현실 이미지(52)를 디스플레이할 수 있다.
도 6은 본 명세서의 일 실시예에 따른 HMD의 블록도를 나타낸 도면이다. HMD는 디스플레이 유닛(101), 카메라 유닛(102), 커뮤니케이션 유닛(103) 및 컨트롤러(104)를 포함할 수 있다.
디스플레이 유닛(101)은 시각 정보를 디스플레이할 수 있다. 디스플레이 유닛(101)은 3D 프린터에서 출력되는 3D 오브젝트를 증강현실 이미지로써 디스플레이하거나 3D 오브젝트에 대한 부가 정보를 디스플레이할 수 있다. 디스플레이 유닛(101)은 사용자의 좌안 및 우안에 각각 대응하는 제1 디스플레이 유닛 및 제2 디스플레이 유닛을 포함할 수 있다. 또한 디스플레이 유닛은 프로젝터를 더 포함할 수 있다.
디스플레이 유닛(101)은 실시예에 따라 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 액정 표시 장치(Liquid Crystal Display, LCD), 전자잉크, 프로젝터 및 플렉서블 디스플레이 중 적어도 하나를 포함할 수 있다.
카메라 유닛(102)은 광학 신호를 전기적 신호로 전환할 수 있다. 예를 들어, 카메라 유닛(102)은 증강현실 이미지에 대응하는 마커를 디텍팅할 수 있다. 카메라 유닛(102)은 3D 프린터를 제1 마커로 인식할 수 있으며, 3D 프린터에서 출력되는 3D 오브젝트를 제2 마커로 디텍팅할 수 있다. 카메라 유닛(102)은 디텍팅된 제1 마커 및 제2 마커에 대한 정보를 컨트롤러(104)에 전달할 수 있다. 카메라 유닛은 전하결합소자(Charge Coupled Device, CCD) 또는 상보성 금속 산화물 반도체(complementary metal-oxide semiconductor, CMOS)를 이용한 이미지 센서를 포함할 수 있다.
커뮤니케이션 유닛(103)은 HMD와 연결된 외부 디바이스에 디지털 정보를 송신하거나 외부 디바이스로부터 디지털 정보를 수신할 수 있다. 커뮤니케이션 유닛(103)은 직접 연결, 클라우드 서비스 시스템, 또는 네트워크를 이용하여 외부 디바이스와 HMD를 연결할 수 있다. 외부 디바이스는 3D 오브젝트를 출력하는 3D 프린터, 3D 오브젝트의 도면을 저장한 스토리지 및 3D 프린터를 제어하는 컴퓨터를 포함할 수 있다.
수신된 디지털 정보는 HMD에 디스플레이되는 증강현실 이미지에 대한 정보를 포함할 수 있다. 예를 들어 증강현실 이미지에 대한 정보는 3D 프린터에서 출력되는 3D 오브젝트에 대한 정보 및 3D 프린터를 제어하는 제어 인터페이스에 대한 정보일 수 있다. 커뮤니케이션 유닛(103)은 수신된 증강현실 이미지에 대한 정보를 컨트롤러에 전달하여 3D 오브젝트의 형상을 증강현실 이미지로 디스플레이되도록 할 수 있다.
송신된 디지털 정보는 3D 오브젝트에 대한 정보 및 3D 프린터를 제어하는 제어 명령을 포함할 수 있다. 커뮤니케이션 유닛(103)은 3D 프린터 또는 3D 프린터를 제어하는 컴퓨터에 3D 오브젝트의 형상 정보를 송신할 수 있다. 3D 오브젝트의 형상 정보를 수신한 3D 프린터 또는 컴퓨터는 3D 오브젝트의 형상 정보에 기초하여 3D 오브젝트를 출력할 수 있다.
또한 커뮤니케이션 유닛(103)은 3D 프린터 또는 3D 프린터를 제어하는 컴퓨터에 3D 프린터를 제어하는 제어 명령을 송신하여 3D 프린터를 제어할 수 있다. 즉, 커뮤니케이션 유닛(103)은 3D 프린팅에 대한 일시 정지, 재개, 취소 등의 제어 명령을 송신하여 3D 프린팅을 제어할 수 있다.
컨트롤러(104)는 카메라 유닛(102) 및 커뮤니케이션 유닛(103)으로부터 전달받은 정보를 이용하여 디스플레이 유닛(101)을 제어할 수 있다. 컨트롤러(104)는 카메라 유닛(102)으로부터 전달받은 마커에 대한 정보 및 커뮤니케이션 유닛(103)으로부터 전달받은 3D 오브젝트에 대한 정보를 이용하여 3D 오브젝트의 형상을 증강현실 이미지로써 디스플레이할 수 있다.
3D 프린터에 의해 3D 프린팅이 시작되기 이전인 경우, 컨트롤러(104)는 3D 프린터의 적어도 일부분을 제1 마커로 디텍팅할 수 있다. 컨트롤러(104)는 디텍팅된 제1 마커의 위치에 기초하여 3D 프린터에서 출력될 예정인 3D 오브젝트의 형상을 제1 증강현실 이미지로써 디스플레이할 수 있다. 여기서 컨트롤러(104)는
또한 컨트롤러(104)는 디스플레이된 증강현실 이미지의 사이즈, 색상, 재료 및 해상도 중 적어도 하나를 제어하여 출력될 예정인 3D 오브젝트의 사이즈, 색상, 재료 및 해상도를 변경할 수 있다.
3D 프린터에 의해 3D 프린팅이 시작된 경우, 컨트롤러(104)는 출력된 3D 오브젝트의 적어도 일부분을 제2 마커로 디텍팅할 수 있다. 컨트롤러(104)는 디텍팅된 제1 마커 및 제2 마커의 위치에 기초하여 출력중인 3D 오브젝트의 형상을 증강현실 이미지로써 디스플레이할 수 있다. 컨트롤러(104)는 3D 프린팅이 진행됨에 따라 3D 오브젝트의 형상이 변경되면, 변경된 3D 오브젝트에 대응하여 제2 마커를 갱신할 수 있다. 즉,컨트롤러(104)는 제1 부분이 출력된 3D 오브젝트를 제2 마커로 디텍팅한 후, 3D 오브젝트의 제1 부분에 추가적으로 제2 부분이 출력되면, 3D 오브젝트의 제1 부분 및 제2 부분을 병합하여 제2 마커로 디텍팅할 수 있다. 즉 컨트롤러(104)는 제2 마커를 제1 부분 및 제2 부분을 포함하는 것으로 갱신할 수 있다.
컨트롤러(104)는 3D 프린팅이 진행됨에 따라 디스플레이하는 증강현실 이미지를 갱신할 수 있다. 컨트롤러(104)는 제1 부분이 출력된 3D 오브젝트를 제2 마커로써 디텍팅한 경우, 제1 부분을 제외한 3D 오브젝트의 나머지 부분을 제2 증강현실 이미지로써 디스플레이할 수 있다. 또한 컨트롤러(104)는 제1 부분에 추가적으로 제2 부분이 출력된 3D 오브젝트를 갱신된 제2 마커로써 디텍팅한 경우, 제1 부분 및 제2 부분을 제외한 3D 오브젝트의 나머지 부분을 제3 증강현실 이미지로써 디스플레이할 수 있다. 여기서, 제3 증강현실 이미지는 제2 증강현실 이미지를 갱신한 결과일 수 있다.
도 6은 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 HMD의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 HMD의 엘러먼트들은 HMD의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 7은 본 명세서의 일 실시예에 따른 HMD가 제1 마커 및 제2 마커를 디텍팅하는 방법을 나타낸 도면이다. HMD는 3D 오브젝트가 출력될 예정인 3D 프린터를 제1 마커로써 디텍팅할 수 있다(S10). HMD는 3D 프린터를 제1 마커로써 디텍팅할 수 있다. HMD는 도 1에서 설명한 바와 같이 네트워크, 클라우드 서비스 시스템 또는 직접 연결을 통해 외부 디바이스와 연결될 수 있다. HMD는 연결된 외부 디바이스로부터 3D 프린터에 대한 정보 및 3D 프린터에서 출력되는 3D 오브젝트에 대한 정보를 수신할 수 있다. 도 2에서 설명한 바와 같이, HMD는 수신된 3D 프린터에 대한 정보를 이용하여 3D 프린터를 제1 마커로써 디텍팅할 수 있다. HMD는 실시예에 따라 S20 단계에서 3D 오브젝트가 출력되는지 여부를 디텍팅하기 전에, 디텍팅된 제1 마커에 대응하는 3D 오브젝트의 형상을 제1 증강현실 이미지로써 디스플레이할 수 있다.
HMD는 3D 프린터에 의해 3D 오브젝트가 출력되는지 여부를 디텍팅할 수 있다(S20). HMD는 제1 마커로써 디텍팅된 3D 프린터에 의해 3D 프린팅이 시작되었는지 여부를 카메라 유닛을 또는 커뮤니케이션 유닛을 통해 판단할 수 있다. 여기서, HMD는 3D 오브젝트의 적어도 일부가 출력되었는지에 기초하여 3D 프린팅이 시작되었는지 여부를 결정할 수 있다. 3D 프린터의 출력방식이 FDM 방식 또는 LOM 방식인 경우, HMD는 3D 오브젝트를 구성하는 적층식 재료가 3D 프린터로부터 출력되었는지에 기초하여 3D 프린팅의 시작 여부를 판단할 수 있다. 또한 3D 프린터의 출력 방식이 SLS 방식, DMLS 방식, SLA 방식, EBM 방식 또는 PP 방식인 경우, HMD는 3D 프린터의 헤드의 움직임, 또는 3D 프린터의 헤드로부터 레이저 또는 전자빔(Electron beam)이 방출되는지 여부로 3D 프린팅이 시작되었는지 여부를 결정할 수 있다.
3D 프린터에 의한 3D 오브젝트의 출력이 시작되지 않은 경우, HMD는 디텍팅된 제1 마커에 기초하여 3D 오브젝트의 형상을 제1 증강현실 이미지로써 디스플레이할 수 있다(S30). HMD는 디텍팅된 제1 마커에 기초하여 해당 3D 프린터에서 출력될 예정인 3D 오브젝트의 형상을 제1 증강현실 이미지로써 디스플레이할 수 있다. 여기서 제1 증강현실 이미지는 3D 증강현실 이미지일 수 있다. HMD는 외부 디바이스로부터 수신된 3D 오브젝트에 대한 정보로부터 3D 오브젝트의 형상 정보를 추출할 수 있다. HMD는 3D 오브젝트의 형상을 3D 프린터의 출력 트레이에 제1 증강현실 이미지로써 디스플레이할 수 있다. 여기서 HMD에 의해 디스플레이되는 제1 증강현실 이미지는 3D 오브젝트 중 아직 출력되지 않은 부분의 형상일 수 있다. 즉, HMD는 출력 예정인 3D 오브젝트의 최종 형상을 제1 증강현실 이미지로써 디스플레이할 수 있다. 또한 3D 프린터의 출력 트레이는 3D 프린터 내에서 3D 오브젝트가 출력되는 위치를 의미할 수 있다. 이를 통해 사용자는 디스플레이된 제1 증강현실 이미지를 시각으로 확인할 수 있다.
3D 프린터에 의해 3D 오브젝트의 출력이 시작된 경우, HMD는 출력되는 3D 오브젝트를 제2 마커로써 디텍팅할 수 있다(S40). 도 2에서 설명한 바와 같이, HMD는 앞서 디텍팅된 제1 마커에 추가하여 3D 오브젝트를 제2 마커로써 디텍팅할 수 있다. HMD는 외부 디바이스로부터 수신된 3D 오브젝트에 대한 정보 중 3D 오브젝트의 형상 정보를 이용하여 출력 중인 3D 오브젝트를 디텍팅할 수 있다. HMD는 3D 오브젝트의 형상 정보를 이용하여 3D 오브젝트를 모델링하고, 일부분이 출력된 3D 오브젝트와 모델링된 3D 오브젝트의 적어도 일부분이 일치하는 경우, 출력된 3D 오브젝트의 일부분을 제2 마커로써 디텍팅할 수 있다. 즉, 3D 오브젝트 중 제1 부분이 출력된 경우, HMD는 제1 부분이 모델링된 3D 오브젝트의 일부분과 일치함을 디텍팅할 수 있으며, 출력된 제1 부분을 제2 마커로써 디텍팅할 수 있다. 이러한 방법은 3D 프린터의 출력방식이 FDM 방식 또는 LOM 방식일 때 효과적으로 적용될 수 있다. 즉, HMD는 3D 프린터에 의해 3D 프린팅 레이어가 추가될 때 제2 마커를 디텍팅할 수 있다.
만약 3D 프린터의 출력 방식이 SLS 방식, DMLS 방식, SLA 방식, EBM 방식 또는 PP 방식인 경우, HMD는 출력 중인 3D 오브젝트의 형상을 디텍팅하지 못할 수 있다. 이러한 경우에 HMD는 3D 프린터의 헤드가 움직이는 위치 또는 3D 프린터의 헤드에서 방출되는 레이저 또는 전자빔의 궤도를 제2 마커로써 디텍팅할 수 있다.
HMD는 제1 마커 및 제2 마커에 기초하여 제2 증강현실 이미지를 디스플레이할 수 있다(S50). 도 2에서 설명한 바와 같이, HMD는 디텍팅된 제1 마커 및 제2 마커에 기초하여 제1 증강현실 이미지를 제2 증강현실 이미지로 갱신할 수 있다. 다시 말하면, HMD는 3D 오브젝트의 전체 형상을 포함하는 제1 증강현실 이미지를 3D 오브젝트의 일부 형상을 포함하는 제2 증강현실 이미지로 갱신할 수 있다. 여기서 제2 증강현실 이미지는 3D 증강현실 이미지일 수 있다.
HMD에 의해 디스플레이되는 제2 증강현실 이미지는 3D 오브젝트 중 아직 출력되지 않은 부분의 형상일 수 있다. 즉, HMD는 3D 오브젝트의 전체 형상 중 이미 출력된 3D 오브젝트의 제1 부분을 제외한 나머지 부분을 제2 증강현실 이미지로 디스플레이할 수 있다. 다시 말해 HMD는 3D 오브젝트의 전체 형상 중 제2 마커에 대응하는 부분을 제외한 나머지 부분을 제2 증강현실 이미지로써 디스플레이할 수 있다. 이를 통해 사용자는 디스플레이된 제2 증강현실 이미지를 시각으로 확인할 수 있다. HMD는 3D 오브젝트의 출력이 시작된 경우, 출력된 3D 오브젝트의 진행 상황에 따라 제1 증강현실 이미지를 제2 증강현실 이미지로 갱신함으로써 3D 프린팅의 프로세스를 사용자에게 인폼할 수 있다. 사용자는 3D 프린팅이 진행됨에 따라 갱신되는 증강현실 이미지를 통해 3D 프린팅이 얼마만큼 진행되었고, 앞으로 진행될 프로세스가 얼마만큼 남았는지 알 수 있다.
또한 HMD는 제2 증강현실 이미지와 함께, 3D 오브젝트에 대한 부가 정보를 디스플레이할 수 있다. HMD는 3D 오브젝트의 크기 정보, 재질 정보, 색상 정보, 부피 정보 및 질량 정보 중 적어도 하나를 부가 정보로써 디스플레이할 수 있다. 또한 HMD는 3D 오브젝트의 출력에 대한 프로세스 진행 정도를 그래프나 수치를 이용하여 부가 정보로써 디스플레이할 수 있다. 또한 HMD는 HMD와 연결된 3D 프린터 또는 컴퓨터를 제어하는 제어 인터페이스를 디스플레이할 수 있다. 제어 인터페이스는 3D 프린팅을 일시정지, 재개 또는 취소하는 인터페이스를 포함할 수 있다.
도 8은 본 명세서의 일 실시예에 따른 HMD가 디텍팅한 제2 마커를 갱신하는 방법을 나타낸 도면이다. HMD는 3D 오브젝트가 출력될 예정인 3D 프린터를 제1 마커로써 디텍팅할 수 있다(S110). HMD는 3D 프린터를 제1 마커로써 디텍팅할 수 있다. HMD는 도 1에서 설명한 바와 같이 네트워크, 클라우드 서비스 시스템 또는 직접 연결을 통해 외부 디바이스와 연결될 수 있다. HMD는 연결된 외부 디바이스로부터 3D 프린터에 대한 정보 및 3D 프린터에서 출력되는 3D 오브젝트에 대한 정보를 수신할 수 있다. 도 2에서 설명한 바와 같이, HMD는 수신된 3D 프린터에 대한 정보를 이용하여 3D 프린터를 제1 마커로써 디텍팅할 수 있다. HMD는 실시예에 따라 S120 단계에서 3D 오브젝트가 출력되는지 여부를 디텍팅하기 전에, 디텍팅된 제1 마커에 대응하는 3D 오브젝트의 형상을 제1 증강현실 이미지로써 디스플레이할 수 있다.
HMD는 3D 프린터에 의해 3D 오브젝트가 출력되는지 여부를 디텍팅할 수 있다(S120). HMD는 제1 마커로써 디텍팅된 3D 프린터에 의해 3D 프린팅이 시작되었는지 여부를 카메라 유닛을 또는 커뮤니케이션 유닛을 통해 판단할 수 있다. 여기서, HMD는 3D 오브젝트의 적어도 일부가 출력되었는지에 기초하여 3D 프린팅이 시작되었는지 여부를 결정할 수 있다. 3D 프린터의 출력방식이 FDM 방식 또는 LOM 방식인 경우, HMD는 3D 오브젝트를 구성하는 적층식 재료가 3D 프린터로부터 출력되었는지에 기초하여 3D 프린팅의 시작 여부를 판단할 수 있다. 또한 3D 프린터의 출력 방식이 SLS 방식, DMLS 방식, SLA 방식, EBM 방식 또는 PP 방식인 경우, HMD는 3D 프린터의 헤드의 움직임, 또는 3D 프린터의 헤드로부터 레이저 또는 전자빔(Electron beam)이 방출되는지 여부로 3D 프린팅이 시작되었는지 여부를 결정할 수 있다.
3D 프린터에 의한 3D 오브젝트의 출력이 시작되지 않은 경우, HMD는 디텍팅된 제1 마커에 기초하여 3D 오브젝트의 형상을 제1 증강현실 이미지로써 디스플레이할 수 있다(S130). HMD는 디텍팅된 제1 마커에 기초하여 해당 3D 프린터에서 출력될 예정인 3D 오브젝트의 형상을 제1 증강현실 이미지로써 디스플레이할 수 있다. 여기서 제1 증강현실 이미지는 3D 증강현실 이미지일 수 있다. HMD는 외부 디바이스로부터 수신된 3D 오브젝트에 대한 정보로부터 3D 오브젝트의 형상 정보를 추출할 수 있다. HMD는 3D 오브젝트의 형상을 3D 프린터의 출력 트레이에 제1 증강현실 이미지로써 디스플레이할 수 있다. 여기서 HMD에 의해 디스플레이되는 제1 증강현실 이미지는 3D 오브젝트 중 아직 출력되지 않은 부분의 형상일 수 있다. 즉, HMD는 출력 예정인 3D 오브젝트의 최종 형상을 제1 증강현실 이미지로써 디스플레이할 수 있다. 또한 3D 프린터의 출력 트레이는 3D 프린터 내에서 3D 오브젝트가 출력되는 위치를 의미할 수 있다. 이를 통해 사용자는 디스플레이된 제1 증강현실 이미지를 시각으로 확인할 수 있다.
3D 프린터에 의해 3D 오브젝트의 출력이 시작된 경우, HMD는 출력되는 3D 오브젝트를 제2 마커로써 디텍팅할 수 있다(S140). 도 2에서 설명한 바와 같이, HMD는 앞서 디텍팅된 제1 마커에 추가하여 3D 오브젝트를 제2 마커로써 디텍팅할 수 있다. HMD는 외부 디바이스로부터 수신된 3D 오브젝트에 대한 정보 중 3D 오브젝트의 형상 정보를 이용하여 출력 중인 3D 오브젝트를 디텍팅할 수 있다. HMD는 3D 오브젝트의 형상 정보를 이용하여 3D 오브젝트를 모델링하고, 일부분이 출력된 3D 오브젝트와 모델링된 3D 오브젝트의 적어도 일부분이 일치하는 경우, 출력된 3D 오브젝트의 일부분을 제2 마커로써 디텍팅할 수 있다. 즉, 3D 오브젝트 중 제1 부분이 출력된 경우, HMD는 제1 부분이 모델링된 3D 오브젝트의 일부분과 일치함을 디텍팅할 수 있으며, 출력된 제1 부분을 제2 마커로써 디텍팅할 수 있다. 이러한 방법은 3D 프린터의 출력방식이 FDM 방식 또는 LOM 방식일 때 효과적으로 적용될 수 있다. 3D 프린터의 출력 방식이 FDM 방식인 경우, HMD는 3D 프린팅 레이어가 추가될 때 제2 마커를 디텍팅할 수 있다.
만약 3D 프린터의 출력 방식이 SLS 방식, DMLS 방식, SLA 방식, EBM 방식 또는 PP 방식인 경우, HMD는 출력 중인 3D 오브젝트의 형상을 디텍팅하지 못할 수 있다. 이러한 경우에 HMD는 3D 프린터의 헤드가 움직이는 위치 또는 3D 프린터의 헤드에서 방출되는 레이저 또는 전자빔의 궤도를 제2 마커로써 디텍팅할 수 있다.
HMD는 제1 마커 및 제2 마커에 기초하여 제2 증강현실 이미지를 디스플레이할 수 있다(S150). 도 2에서 설명한 바와 같이, HMD는 디텍팅된 제1 마커 및 제2 마커에 기초하여 제1 증강현실 이미지를 제2 증강현실 이미지로 갱신할 수 있다. 여기서 제2 증강현실 이미지는 3D 증강현실 이미지일 수 있다. 다시 말하면, HMD는 3D 오브젝트의 전체 형상을 포함하는 제1 증강현실 이미지를 3D 오브젝트의 일부 형상을 포함하는 제2 증강현실 이미지로 갱신할 수 있다.
HMD에 의해 디스플레이되는 제2 증강현실 이미지는 3D 오브젝트 중 아직 출력되지 않은 부분의 형상일 수 있다. 즉, HMD는 3D 오브젝트의 전체 형상 중 이미 출력된 3D 오브젝트의 제1 부분을 제외한 나머지 부분을 제2 증강현실 이미지로 디스플레이할 수 있다. 다시 말해 HMD는 3D 오브젝트의 전체 형상 중 제2 마커에 대응하는 부분을 제외한 나머지 부분을 제2 증강현실 이미지로써 디스플레이할 수 있다.
이를 통해 사용자는 디스플레이된 제2 증강현실 이미지를 시각으로 확인할 수 있다. HMD는 3D 오브젝트의 출력이 시작된 경우, 출력된 3D 오브젝트의 진행 상황에 따라 제1 증강현실 이미지를 제2 증강현실 이미지로 갱신함으로써 3D 프린팅의 프로세스를 사용자에게 인폼할 수 있다. 사용자는 3D 프린팅이 진행됨에 따라 갱신되는 증강현실 이미지를 통해 3D 프린팅이 얼마만큼 진행되었고, 앞으로 진행될 프로세스가 얼마만큼 남았는지 알 수 있다.
또한 HMD는 제2 증강현실 이미지와 함께, 3D 오브젝트에 대한 부가 정보를 디스플레이할 수 있다. HMD는 3D 오브젝트의 크기 정보, 재질 정보, 색상 정보, 부피 정보 및 질량 정보 중 적어도 하나를 부가 정보로써 디스플레이할 수 있다. 또한 HMD는 3D 오브젝트의 출력에 대한 프로세스 진행 정도를 그래프나 수치를 이용하여 부가 정보로써 디스플레이할 수 있다. 또한 HMD는 HMD와 연결된 3D 프린터 또는 컴퓨터를 제어하는 제어 인터페이스를 부가 정보로써 디스플레이할 수 있다. 제어 인터페이스는 3D 프린팅을 일시정지, 재개 또는 취소하는 인터페이스를 포함할 수 있다.
HMD는 3D 프린터에 의한 3D 오브젝트의 출력이 종료되었는지 여부를 디텍팅할 수 있다(S160). HMD는 제1 마커로써 디텍팅된 3D 프린터에 의해 3D 프린팅이 종료되었는지 여부를 카메라 유닛을 또는 커뮤니케이션 유닛을 통해 판단할 수 있다. 여기서, HMD는 3D 오브젝트의 최종 형상이 출력되었는지에 기초하여 3D 프린팅이 종료되었는지 여부를 결정할 수 있다. 3D 프린터의 출력방식이 FDM 방식 또는 LOM 방식인 경우, HMD는 3D 오브젝트를 구성하는 적층식 재료가 3D 오브젝트의 최종 형상에 대응되도록 출력되었는지에 기초하여 3D 프린팅의 종료 여부를 판단할 수 있다. 또한 3D 프린터의 출력 방식이 SLS 방식, DMLS 방식, SLA 방식, EBM 방식 또는 PP 방식인 경우, HMD는 3D 프린터의 헤드의 움직임이 멈추었는지, 또는 3D 프린터의 헤드로부터 레이저 또는 전자빔(Electron beam)이 방출되지 않는지로 3D 프린팅의 종료 여부를 결정할 수 있다.
HMD는 3D 프린터에 의한 3D 오브젝트의 출력이 종료되지 않은 경우, 3D 오브젝트의 출력 프로세스에 따라 제2 마커를 갱신할 수 있다(S170). HMD는 3D 오브젝트의 제1 부분이 출력된 후 3D 프린팅이 진행됨에 따라 3D 오브젝트의 제2 부분이 출력되면 제2 마커를 갱신할 수 있다. 3D 프린터의 출력 방식이 FDM 방식인 경우, HMD는 3D 프린팅 레이어가 추가될 때 제2 마커를 갱신할 수 있다. 3D 오브젝트의 제2 부분은 실시예에 따라 제1 부분 및 제1 부분이 출력된 이후 추가적으로 출력된 부분을 의미할 수 있다. 또는 3D 오브젝트의 제2 부분은 제1 부분에 추가적으로 출력된 부분을 의미할 수 있다. 아래에서 제2 부분은 제1 부분이 출력된 이후 추가적으로 출력된 부분을 의미하는 것으로 가정하고 설명한다. HMD는 3D 오브젝트의 제1 부분 및 제2 부분을 갱신된 제2 마커로 디텍팅할 수 있다.
HMD는 제1 마커 및 갱신된 제2 마커에 기초하여 디스플레이된 제2 증강현실 이미지를 갱신할 수 있다(S180). HMD는 3D 오브젝트의 제1 부분 및 제2 부분을 갱신된 제2 마커로 디텍팅할 수 있다. HMD는 갱신된 제2 마커가 디텍팅되면, 디스플레이 스크린에 디스플레이된 제2 증강현실 이미지를 갱신할 수 있다. HMD는 갱신된 제2 마커에 대응하여 제3 증강현실 이미지를 디스플레이할 수 있다. 제3 증강현실 이미지는 제2 증강현실 이미지가 갱신될 것일 수 있다.
HMD는 3D 오브젝트의 전체 형상 중 아직 프린트되지 않은 부분을 제3 증강현실 이미지로 디스플레이할 수 있다. 즉, HMD는 3D 오브젝트의 전체 형상 중 이미 출력된 제1 부분 및 제2 부분을 제외한 나머지 형상을 제3 증강현실 이미지로써 디스플레이할 수 있다. 다시 말해 HMD는 3D 오브젝트의 전체 형상 중 갱신된 제2 마커에 대응하는 부분을 제외한 나머지 부분을 제3 증강현실 이미지로써 디스플레이할 수 있다.
HMD는 출력된 3D 오브젝트의 제1 부분 및 제2 부분, 다시 말해, 갱신된 제2 마커에 대응하여 제3 증강현실 이미지를 디스플레이할 수 있다. HMD는 출력된 3D 오브젝트의 제1 부분 및 제2 부분에 심리스하게 제3 증강현실 이미지를 연결하여 디스플레이할 수 있다. 따라서 사용자는 이미 출력된 3D 오브젝트의 제1 부분 및 제2 부분을 리얼 오브젝트로써 확인하고, 아직 출력되지 않은 3D 오브젝트의 나머지 부분은 제3 증강현실 이미지에 의해 버추얼 오브젝트로써 확인할 수 있다.
상술한 바와 같이 본 명세서의 HMD는 3D 프린팅이 시작되기 전에, 3D 프린터에서 출력될 예정인 3D 오브젝트의 형상을 증강현실 이미지로써 디스플레이하여 사용자에게 어떠한 3D 오브젝트가 출력될지를 인폼할 수 있다. 또한 HMD는 3D 프린팅이 시작되면 출력된 3D 오브젝트의 적어도 일부분에 대응하여 디스플레이된 증강현실 이미지를 갱신함으로써 사용자에게 3D 프린팅의 프로세스를 인디케이팅할 수 있다. 또한 HMD는 3D 프린팅이 시작되면 3D 프린팅이 완료되기까지의 시간 및 진행 상황에 대한 정보를 디스플레이하여 사용자에게 3D 프린팅에 대한 부가 정보를 제공할 수 있다.
10: 3D 프린터 11: HMD
21-1: 제1 증강현실 이미지 21-2: 제2 증강현실 이미지
22: 3D 오브젝트 51: 출력 트레이
101: 디스플레이 유닛 102: 카메라 유닛
103: 커뮤니케이션 유닛 104: 컨트롤러

Claims (23)

  1. 헤드 마운티드 디스플레이(Head Mounted Display; HMD)에 있어서,
    제1 마커 또는 제2 마커를 디텍팅하는 카메라 유닛;
    상기 제1 마커 또는 상기 제2 마커에 대응하는 증강현실 이미지를 디스플레이하는 디스플레이 유닛;
    3D 오브젝트의 형상 정보를 포함하는 저장부; 및
    상기 카메라 유닛 및 상기 디스플레이 유닛을 제어하는 컨트롤러를 포함하는 HMD로써,
    상기 컨트롤러는
    상기 카메라 유닛을 통해 3D 프린터의 적어도 일부분을 상기 제1 마커로써 디텍팅하고,
    상기 3D 프린터에서 3D 오브젝트가 출력되었는지 여부를 판단하고,
    상기 3D 프린터에서 3D 오브젝트가 출력되기 전이면 제1 프로세서를 실행하고, 상기 3D 프린터에서 3D 오브젝트가 출력된 후이면 제2 프로세서를 실행하고,
    상기 제1 프로세서는,
    상기 디텍팅된 제1 마커에 기초하여 상기 3D 프린터에서 출력될 3D 오브젝트의 형상의 제1 증강현실 이미지를 디스플레이하고,
    상기 3D 프린터에서 3D 오브젝트가 출력되기 시작되면, 상기 3D 프린터로부터 출력된 상기 3D 오브젝트를 상기 제2 마커로써 디텍팅하고,
    상기 제1 마커 및 상기 제2 마커에 기초하여 상기 디스플레이된 제1 증강현실 이미지를 제2 증강현실 이미지로 갱신하고,
    상기 제2 마커의 위치에 대응하여, 상기 제2 증강현실 이미지를 디스플레이하고,
    상기 제2 프로세서는,
    상기 3D 프린터로부터 출력된 3D 오브젝트를 상기 저장부에 저장된 3D 오브젝트의 형상 정보와 비교하고,
    상기 3D 프린터로부터 출력된 3D 오브젝트가 상기 저장부에 저장된 3D 오브젝트의 형상 정보의 일부분에 대응되는 경우, 상기 3D 프린터로부터 출력된 3D 오브젝트를 제2 마커로써 디텍팅하고,
    상기 제2 마커에 기초하여, 상기 3D 프린터에서 출력된 3D 오브젝트의 나머지 부분을 제2 증강현실로 디스플레이하는 HMD.
  2. 제 1 항에 있어서,
    상기 제1 증강현실 이미지 및 상기 제2 증강현실 이미지는 3D 증강현실 이미지인 HMD.
  3. 제 2 항에 있어서,
    상기 3D 프린터에 의해 상기 3D 오브젝트가 출력되기 전이면 상기 제1 증강현실 이미지는 상기 3D 오브젝트의 최종 형상을 포함하는 3D 이미지인 HMD.
  4. 제 2 항에 있어서,
    상기 제1 증강현실 이미지 및 상기 제2 증강현실 이미지는 상기 3D 오브젝트 중 출력되지 않은 부분의 형상인 HMD.
  5. 제 1 항에 있어서,
    상기 제2 증강현실 이미지는 상기 제1 증강현실 이미지로부터 상기 제2 마커에 대응하는 부분을 제외한 나머지 부분인 HMD.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 컨트롤러는 상기 제1 증강현실 이미지 또는 상기 제2 증강현실 이미지와 함께 상기 3D 오브젝트에 대한 부가 정보를 더 디스플레이하는 HMD.
  8. 제 7 항에 있어서,
    상기 제1 증강현실 이미지와 함께 디스플레이되는 부가 정보는 상기 3D 오브젝트의 크기 정보, 재질 정보, 색상 정보, 부피 정보 및 질량 정보 중 적어도 하나를 포함하는 HMD.
  9. 제 7 항에 있어서,
    상기 제2 증강현실 이미지와 함께 디스플레이되는 부가 정보는 상기 3D 오브젝트에 대한 출력 프로세스 정보를 포함하는 HMD.
  10. 제 1 항에 있어서,
    상기 컨트롤러는
    상기 제1 증강현실 이미지 또는 제2 증강현실 이미지와 함께 상기 3D 프린터에 대한 컨트롤 인터페이스를 더 디스플레이하는 HMD.
  11. 제 1 항에 있어서,
    상기 제2 마커는 상기 3D 오브젝트의 일부분인 HMD.
  12. 제 11 항에 있어서,
    상기 컨트롤러는 상기 3D 프린터로부터 상기 3D 오브젝트의 제1 부분이 출력되면, 상기 출력된 제1 부분을 상기 제2 마커로써 디텍팅하는 HMD.
  13. 제 12 항에 있어서,
    상기 컨트롤러는 상기 3D 오브젝트의 상기 제1 부분에 추가하여 제2 부분이 출력되면, 상기 출력된 제1 부분 및 상기 출력된 제2 부분을 상기 제2 마커로써 디텍팅하는 HMD.
  14. 제 1 항에 있어서,
    상기 3D 오브젝트는 상기 3D 프린터에서 출력된 적어도 하나 이상의 3D 프린팅 레이어에 의해 형성되는 HMD.
  15. 제 14 항에 있어서,
    상기 컨트롤러는
    상기 3D 프린팅 레이어가 추가될 때 상기 디스플레이된 제2 증강현실 이미지를 갱신하는 HMD.
  16. 제 1 항에 있어서,
    상기 HMD는 외부 디바이스와 데이터를 송수신하는 커뮤니케이션 유닛을 더 포함하는 HMD.
  17. 제 16 항에 있어서,
    상기 HMD는 상기 커뮤니케이션 유닛을 통해서 상기 3D 프린터와 페어링을 수행하고,
    상기 3D 프린터로부터 상기 3D 오브젝트에 대한 정보 또는 상기 제1 증강현실 이미지에 대한 정보를 수신하는 HMD.
  18. 제 17 항에 있어서,
    상기 3D 오브젝트에 대한 상기 정보는 상기 3D 오브젝트의 형상, 재질, 색상, 질량 및 부피에 대한 정보 중 적어도 하나를 포함하는 HMD.
  19. 제 17 항에 있어서,
    상기 3D 오브젝트에 대한 상기 정보는 상기 3D 오브젝트에 대한 출력이 완료되기까지의 남은 시간을 포함하는 HMD.
  20. 제 16 항에 있어서,
    상기 외부 디바이스는 상기 3D 프린터, 클라우드 서비스 시스템, 스마트폰, 태블릿 컴퓨터, 노트북 컴퓨터 또는 데스크탑 컴퓨터를 포함하는 HMD.
  21. 제 1 항에 있어서,
    상기 제1 증강현실 이미지는 상기 3D 오브젝트의 최종 형상인 HMD.
  22. 제 1 항에 있어서,
    상기 HMD는 상기 3D 프린터 내에서 상기 3D 오브젝트가 출력되는 제1 위치에 상기 제1 증강현실 이미지를 디스플레이하고,
    상기 제1 위치는 상기 3D 프린터 내에서 이동 가능한 출력 트레이 상에 구비되는 HMD.
  23. 헤드 마운티드 디스플레이(Head Mounted Disaply; HMD) 제어 방법에 있어서,
    카메라 유닛을 통해 3D 프린터를 제1 마커로써 디텍팅하는 단계;
    상기 3D 프린터에서 3D 오브젝트가 출력되었는지 판단하는 단계; 및
    상기 3D 프린터에서 3D 오브젝트가 출력되기 전이면 제1 프로세서를 실행하고, 상기 3D 프린터에서 3D 오브젝트가 출력된 후이면 제2 프로세서를 실행하는 단계;를 포함하고,
    상기 제1 프로세서는,
    상기 디텍팅된 제1 마커에 기초하여 상기 3D 오브젝트의 형상의 제1 증강현실 이미지를 디스플레이하는 단계;
    상기 3D 프린터에서 3D 오브젝트가 출력되기 시작되면, 상기 3D 프린터로부터 출력된 상기 3D 오브젝트를 제2 마커로써 디텍팅하는 단계;
    상기 제1 마커 및 상기 제2 마커에 기초하여 상기 디스플레이된 제1 증강현실 이미지를 제2 증강현실 이미지로 갱신하는 단계; 및
    상기 제2 마커의 위치에 기초하여, 상기 제2 증강현실 이미지를 디스플레이하는 단계; 를 포함하고,
    상기 제2 프로세서는,
    상기 3D 프린터로부터 출력된 3D 오브젝트를 저장부에 저장된 3D 오브젝트의 형상 정보와 비교하는 단계;
    상기 3D 프린터로부터 출력된 3D 오브젝트가 상기 저장부에 저장된 3D 오브젝트의 형상 정보의 일부분에 대응되는 경우, 상기 3D 프린터로부터 출력된 3D 오브젝트를 제2 마커로써 디텍팅하는 단계; 및
    상기 제2 마커에 기초하여, 상기 3D 프린터에서 출력된 3D 오브젝트의 나머지 부분을 제2 증강현실로 디스플레이하는 단계;를 포함하는 HMD 제어 방법.
KR1020130131080A 2013-10-31 2013-10-31 3차원 프린팅의 프로세스를 인디케이팅하는 헤드 마운티드 디스플레이 및 그 제어 방법 KR102133843B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130131080A KR102133843B1 (ko) 2013-10-31 2013-10-31 3차원 프린팅의 프로세스를 인디케이팅하는 헤드 마운티드 디스플레이 및 그 제어 방법
US14/158,334 US8847953B1 (en) 2013-10-31 2014-01-17 Apparatus and method for head mounted display indicating process of 3D printing
PCT/KR2014/000632 WO2015064846A1 (en) 2013-10-31 2014-01-22 Apparatus and method for head mounted display indicating process of 3d printing
EP14857556.6A EP3063587B1 (en) 2013-10-31 2014-01-22 Apparatus and method for head mounted display indicating process of 3d printing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130131080A KR102133843B1 (ko) 2013-10-31 2013-10-31 3차원 프린팅의 프로세스를 인디케이팅하는 헤드 마운티드 디스플레이 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20150049907A KR20150049907A (ko) 2015-05-08
KR102133843B1 true KR102133843B1 (ko) 2020-07-14

Family

ID=51588185

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130131080A KR102133843B1 (ko) 2013-10-31 2013-10-31 3차원 프린팅의 프로세스를 인디케이팅하는 헤드 마운티드 디스플레이 및 그 제어 방법

Country Status (4)

Country Link
US (1) US8847953B1 (ko)
EP (1) EP3063587B1 (ko)
KR (1) KR102133843B1 (ko)
WO (1) WO2015064846A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10331111B2 (en) * 2014-04-30 2019-06-25 Materialise N.V. Systems and methods for customization of objects in additive manufacturing
TWI546640B (zh) 2014-12-17 2016-08-21 財團法人國家實驗研究院 即時監控三維粉末成型式列印的系統及其方法
US9646419B2 (en) * 2015-01-14 2017-05-09 International Business Machines Corporation Augmented reality device display of image recognition analysis matches
JP2016139168A (ja) * 2015-01-26 2016-08-04 セイコーエプソン株式会社 表示システム、可搬型表示装置、表示制御装置、表示方法
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
GB2535727A (en) * 2015-02-25 2016-08-31 Bae Systems Plc Interactive information system
KR101953085B1 (ko) * 2015-06-23 2019-02-28 캐논코리아비즈니스솔루션 주식회사 디지털 홀로그램 장치를 구비한 3차원 프린터
US9865091B2 (en) * 2015-09-02 2018-01-09 Microsoft Technology Licensing, Llc Localizing devices in augmented reality environment
US9964765B2 (en) * 2015-09-11 2018-05-08 The Boeing Company Virtual display of the real-time position of a robotic device to a human operator positioned on an opposing side of an object
ITUB20154128A1 (it) * 2015-10-02 2017-04-02 Univ Bologna Alma Mater Studiorum Dispositivo e metodo di monitoraggio per macchine prototipatrici e simili
EP3163482A1 (en) * 2015-10-29 2017-05-03 Gemalto Sa Method, printing device and system for printing a three dimensional object
CN105825501B (zh) * 2016-03-10 2018-06-12 北京工业大学 一种模型引导下的3d打印额面肿瘤治疗导板智能化质量检测方法
US10331110B2 (en) * 2016-08-30 2019-06-25 International Business Machines Corporation Methods and systems for verifying and modifying a 3D printing process
KR20180041890A (ko) * 2016-10-17 2018-04-25 삼성전자주식회사 가상 객체를 표시하는 방법 및 장치
US10102659B1 (en) 2017-09-18 2018-10-16 Nicholas T. Hariton Systems and methods for utilizing a device as a marker for augmented reality content
US10105601B1 (en) 2017-10-27 2018-10-23 Nicholas T. Hariton Systems and methods for rendering a virtual content object in an augmented reality environment
KR102033399B1 (ko) * 2017-12-29 2019-11-08 인하대학교 산학협력단 증강현실을 이용한 3d 프린터 인쇄 물체 정보 표시 시스템 및 방법
US10636188B2 (en) 2018-02-09 2020-04-28 Nicholas T. Hariton Systems and methods for utilizing a living entity as a marker for augmented reality content
KR20190114677A (ko) 2018-03-30 2019-10-10 김하연 홀로그램 표시 장치를 구비한 3d 프린터
US10198871B1 (en) 2018-04-27 2019-02-05 Nicholas T. Hariton Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
US11422530B2 (en) * 2018-08-20 2022-08-23 Dell Products, L.P. Systems and methods for prototyping a virtual model
WO2020046285A1 (en) * 2018-08-28 2020-03-05 Hewlett-Packard Development Company, L.P. Virtualized environment for three-dimensional printing
US20200110560A1 (en) * 2018-10-09 2020-04-09 Nicholas T. Hariton Systems and methods for interfacing with a non-human entity based on user interaction with an augmented reality environment
US11117325B2 (en) * 2019-03-29 2021-09-14 Xerox Corporation Composite-based additive manufacturing (CBAM) augmented reality assisted sand blasting
US10586396B1 (en) 2019-04-30 2020-03-10 Nicholas T. Hariton Systems, methods, and storage media for conveying virtual content in an augmented reality environment
US11034092B2 (en) 2019-06-17 2021-06-15 International Business Machines Corporation 3D-printed object with dynamic augmented-reality textures
US11175791B1 (en) * 2020-09-29 2021-11-16 International Business Machines Corporation Augmented reality system for control boundary modification
DE102021200730A1 (de) 2021-01-27 2022-07-28 Volkswagen Aktiengesellschaft Verfahren und Einrichtung zur generativen Herstellung wenigstens eines Bauteils aus einem formlosen Material

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002352224A (ja) 2001-05-29 2002-12-06 Topcon Corp 画像測定表示装置、画像測定表示システム、施工管理方法、施工状態監視システム
US20120105903A1 (en) * 2010-08-18 2012-05-03 Pettis Nathaniel B Networked three-dimensional printing

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4168748B2 (ja) 2002-12-20 2008-10-22 富士ゼロックス株式会社 画像処理装置、画像処理プログラム、及び画像処理方法
US7290221B2 (en) 2003-04-16 2007-10-30 Hewlett-Packard Development Company, L.P. User interface, method and apparatus for providing three-dimensional object fabrication status
US7697750B2 (en) * 2004-12-06 2010-04-13 John Castle Simmons Specially coherent optics
WO2007103918A2 (en) * 2006-03-06 2007-09-13 D4D Technologies, Llc Augmented reality system for a dental laboratory
US8621502B2 (en) 2007-12-21 2013-12-31 Microsoft Corporation Obtaining user reactions to video
JP5384178B2 (ja) * 2008-04-21 2014-01-08 株式会社森精機製作所 加工シミュレーション方法及び加工シミュレーション装置
EP2339537B1 (en) 2009-12-23 2016-02-24 Metaio GmbH Method of determining reference features for use in an optical object initialization tracking process and object initialization tracking method
US8781794B2 (en) * 2010-10-21 2014-07-15 Lockheed Martin Corporation Methods and systems for creating free space reflective optical surfaces
KR101390383B1 (ko) * 2010-11-16 2014-04-29 한국전자통신연구원 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치
US8579620B2 (en) 2011-03-02 2013-11-12 Andy Wu Single-action three-dimensional model printing methods
US8188880B1 (en) 2011-03-14 2012-05-29 Google Inc. Methods and devices for augmenting a field of view
US10242456B2 (en) * 2011-06-23 2019-03-26 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (AR)
US9802364B2 (en) 2011-10-18 2017-10-31 3D Systems, Inc. Systems and methods for construction of an instruction set for three-dimensional printing of a user-customizableimage of a three-dimensional structure
US9734633B2 (en) * 2012-01-27 2017-08-15 Microsoft Technology Licensing, Llc Virtual environment generating system
US11110648B2 (en) * 2012-07-31 2021-09-07 Makerbot Industries, Llc Build material switching

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002352224A (ja) 2001-05-29 2002-12-06 Topcon Corp 画像測定表示装置、画像測定表示システム、施工管理方法、施工状態監視システム
US20120105903A1 (en) * 2010-08-18 2012-05-03 Pettis Nathaniel B Networked three-dimensional printing

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Andy, "3D printing makes use of augmented reality l 3DPrinterPrices.net", 16 June 2013*
Richard Bilton,"What happens when you combine 3D printing and augmented reality? Magic l VentureBeat.com", May 14, 2013*

Also Published As

Publication number Publication date
WO2015064846A1 (en) 2015-05-07
EP3063587A1 (en) 2016-09-07
EP3063587B1 (en) 2019-04-24
EP3063587A4 (en) 2017-04-05
KR20150049907A (ko) 2015-05-08
US8847953B1 (en) 2014-09-30

Similar Documents

Publication Publication Date Title
KR102133843B1 (ko) 3차원 프린팅의 프로세스를 인디케이팅하는 헤드 마운티드 디스플레이 및 그 제어 방법
US10764565B2 (en) Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
US9445084B2 (en) Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
KR102165450B1 (ko) 무인 항공기를 제어하는 포터블 디바이스 및 그 제어 방법
CN109671118B (zh) 一种虚拟现实多人交互方法、装置及系统
KR102233223B1 (ko) 화상 표시 장치 및 화상 표시 방법, 화상 출력 장치 및 화상 출력 방법과, 화상 표시 시스템
WO2015098051A1 (en) Information processing device, information processing method, and program
JP6465672B2 (ja) 情報処理装置および情報処理方法
KR101634265B1 (ko) 터치 펜 장치 및 이의 색상 설정 방법
US20120154377A1 (en) Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
CN109426478A (zh) 用于使用多个控制器控制电子设备的显示器的方法和设备
RU2015111261A (ru) Управление источниками света через портативное устройство
JP2018112809A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
CN110045935A (zh) 处理装置、显示系统以及记录介质
CN110047152A (zh) 基于虚拟环境的物体构建方法、装置及可读存储介质
EP3229482B1 (en) Master device, slave device, and control method therefor
KR101690311B1 (ko) 증강현실객체 배치, 공유 및 전시 시스템 및 배치, 공유 및 전시 방법
US20120218236A1 (en) Computer-readable storage medium having information processing program stored therein, information processing apparatus, information processing method, and information processing system
JP2018032102A (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP6494305B2 (ja) 情報処理装置、表示装置、および情報処理方法
US9167231B2 (en) System and method for calibrating a stereoscopic camera based on manual alignment of test images
JP2018022426A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
JP2017146726A (ja) 移動支援装置、及び、移動支援方法
JP2018028765A (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP2018032413A (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant