[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2016536700A - 拡張現実感のための方法とシステム - Google Patents

拡張現実感のための方法とシステム Download PDF

Info

Publication number
JP2016536700A
JP2016536700A JP2016539531A JP2016539531A JP2016536700A JP 2016536700 A JP2016536700 A JP 2016536700A JP 2016539531 A JP2016539531 A JP 2016539531A JP 2016539531 A JP2016539531 A JP 2016539531A JP 2016536700 A JP2016536700 A JP 2016536700A
Authority
JP
Japan
Prior art keywords
computer
holographic image
wearer
light source
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016539531A
Other languages
English (en)
Other versions
JP6632979B2 (ja
Inventor
サミュエル・アルシャンボー
ジェローム・バレ
オードゥ・ブシエ
ジャン−ポール・カノ
ダヴィド・エスカイシェ
ステファーヌ・ペロ
Original Assignee
エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック)
エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック), エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック) filed Critical エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック)
Publication of JP2016536700A publication Critical patent/JP2016536700A/ja
Application granted granted Critical
Publication of JP6632979B2 publication Critical patent/JP6632979B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02Details of features involved during the holographic process; Replication of holograms without interference recording
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2286Particular reconstruction light ; Beam properties
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/18Self-organising networks, e.g. ad-hoc networks or sensor networks
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • G02B2027/0174Head mounted characterised by optical features holographic
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C2202/00Generic optical aspects applicable to one or more of the subgroups of G02C7/00
    • G02C2202/20Diffractive and Fresnel lenses or lens portions
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00Optical parts
    • G02C7/02Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08Auxiliary lenses; Arrangements for varying focal length
    • G02C7/086Auxiliary lenses located directly on a main spectacle lens or in the immediate vicinity of main spectacles
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00Optical parts
    • G02C7/14Mirrors; Prisms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0061Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0204Object characteristics
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208Individual components other than the hologram
    • G03H2001/0228Electro-optic or electronic components relating to digital holography
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H2001/2236Details of the viewing window
    • G03H2001/2242Multiple viewing windows
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249Holobject properties
    • G03H2001/2284Superimposing the holobject with other visual information
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/40Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/42Synthetic representation, i.e. digital or optical object decomposition from real object, e.g. using 3D scanner
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00Active addressable light modulator
    • G03H2225/30Modulation
    • G03H2225/32Phase only
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00Electro-optic or electronic components relating to digital holography
    • G03H2226/04Transmission or communication means, e.g. internet protocol
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00Electro-optic or electronic components relating to digital holography
    • G03H2226/05Means for tracking the observer
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2227/00Mechanical components or mechanical aspects not otherwise provided for
    • G03H2227/02Handheld portable device, e.g. holographic camera, mobile holographic display
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2270/00Substrate bearing the hologram
    • G03H2270/55Substrate bearing the hologram being an optical element, e.g. spectacles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Holo Graphy (AREA)
  • User Interface Of Digital Computer (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

本発明は、頭部装着型表示を介したコンピュータ生成ホログラフィック画像の生成、検索、及び表示のための方法及びシステム(端末、装置)を提供する。ホログラフィック画像は、拡張現実における表示のための仮想検索可能タグとして使用され得る。

Description

本発明は、拡張現実感のシステムと方法に関する。本発明はより具体的には、頭部装着型表示(HMD:head−mounted display)を介したコンピュータ生成ホログラフィック画像の生成、検索、及び表示に関する。
表示機構を有する頭部装着装置は当該技術分野で知られている。このような装置としては、拡張現実感のための画像又はテキストをその装着者が見られるようにする所謂「スマート眼鏡」が挙げられる。
装着者の視覚的快適性を改善するためには、画像とテキストが装着者及び/又は装着装置に特に適応化されたカスタマイズされたやり方で表示される方法及びシステムを提供することが望ましい。
さらに、装着者の人間工学的快適性を改善するためには、軽量かつ小型の頭部装着装置、特には使用時に低エネルギー所要量を有する装置を提供することが望ましい。
また、安全性に関して、データ交換のための通信に使用されるいくつかのタイプの電磁波(特にHMDなど頭近傍に配置される装置の)は健康問題を生じ得る。したがって、その機能が装着者のこのような電磁波への露出を制限又は回避する頭部装着装置を提供することが望ましい。
本発明は概して、頭部装着型装置によるコンピュータ生成ホログラフィック画像表示のための方法及びシステムを提供する。
いくつかの態様では、本発明はコンピュータ生成ホログラフィック画像の検索及び表示のための方法及びシステムを提供する。他の態様では、本発明は、後の検索及び表示に利用可能にされ得るコンピュータ生成ホログラフィック画像の生成のための方法及びシステムを提供する。
本発明によると、表示の質と装着者の視覚的経験は、光学収差に起因する画像歪みを補正することにより強化され得る。このような収差は、装置自体の幾何学形状及び設計から生じ得る。
好ましい実施形態では、本発明は、位相空間光変調器(SLM:phase spatial light modulator)によりコンピュータ生成ホログラフィック画像表示を行う。SLMは「位相だけSLM:phase−only SLM」と「位相及び振幅SLM:phase and amplitude SLM」とから選択され得る。コンピュータ生成ホログラフィック画像の位相符号化は、エネルギー消費量及び画質という意味で極めて有利であり、以下に説明するような別の利点を提供する。
本発明の方法
一般論として、本発明は、コンピュータ生成ホログラフィック画像データの処理のためのコンピュータ実施方法を提供する。本方法は、
(a)頭部装着型コンピュータ生成ホログラフィック画像表示装置を備える装着者の存在を少なくとも1つの通信端末により検出する工程と、
(b)工程(a)において検知された存在に応じて、コンピュータ生成ホログラフィック画像データを上記装置と上記通信端末のうちの一方から上記装置と上記通信端末の他方へ送信する工程とを含む。
工程(b)はコンピュータ生成ホログラフィック画像データを光通信により送信する工程を含み得る。
本発明の方法はまた、
(c)上記装置の照射によりホログラフィック画像を表示するのに好適な(するように構成、配置された)光ビームを少なくとも1つの光源により放射する工程を含み、光源は、少なくとも1つの遠隔照射端末上に設けられる及び/又は上記装置に内蔵される。
光源が上記通信端末上に設けられる場合、工程(b)はコンピュータ生成ホログラフィック画像データを光源から上記装置へ送信する工程を含み得る。
少なくとも1つの通信端末及び/又は少なくとも1つの照射端末はネットワークを介しサーバへ接続され得る。
本発明の方法の第1の実施形態によると、工程(b)はコンピュータ生成ホログラフィック画像データを上記通信端末から上記装置へ送信する工程であり得る。
この第1の実施形態では、工程(b)はコンピュータ生成ホログラフィック画像データを複数の遠隔通信端末から上記装置へ順次送信する工程を含み得、上記通信端末のそれぞれは通信ネットワークを介し通信サーバへ接続され、順次放射は、1つの通信端末の近傍から別の通信端末の近傍への装着者の存在の順次検知工程を反映して、時間に応じた装着者の運動を規定する。
この第1の実施形態では、本発明の方法はさらに、
(a2)装着者の位置を判断する工程を含み得、工程(b)のコンピュータ生成ホログラフィック画像データは工程(a2)において判断された位置に従って定義される。
この第1の実施形態では、本発明の方法はさらに、
(d)装着者の運動を検知する工程と、
(e)工程(d)の運動の認識に応じて、上記通信端末から上記装置へ送信される別のコンピュータ生成ホログラフィ画像データの選択のための制御信号を生成する工程とを含み得る。
第2の実施形態によると、本発明の方法は、
(i)頭部装着型コンピュータ生成ホログラフィック画像表示装置を備える装着者の運動を検知する工程と、
(ii)工程(i)の運動の認識に応じて、画像データを取得する工程とを含み、工程(b)は、コンピュータ生成ホログラフィック画像データを上記装置から上記通信端末に向かって送信する工程である。
この第2の実施形態では、工程(ii)は、選択肢をメニューから選択する工程、少なくとも1つのキーを仮想キーボードに入力する工程、仮想ノートパッド上に手書きする工程、及びディジタル画像を撮る工程から選択された1又は複数の工程を含み得る。
この第2の実施形態では、少なくとも1つの通信端末はネットワークを介し通信サーバへ接続され得、工程(b)のデータは、任意選択的に位置に関連して、通信データベース内に格納され得る。
一般論として(第1及び第2の実施形態を含む)、本発明の方法はさらに、(a1)識別子と装着者との関連性をデータベース内に事前登録する予備工程を含み得、工程(b)のデータは識別子に従って、及び任意選択的にアクセス権に従って定義される。
本発明のシステムと装置
本発明は、
− 照射によりホログラフィック画像を表示するのに好適な(するように構成、配置された)光源と、
− 頭部装着型コンピュータ生成ホログラフィック画像表示装置を備える装着者の存在を検知するのに好適な(するように構成、配置された)センサと、
− 任意選択的に、コンピュータ生成ホログラフィック画像データを照射端末から及び/又は照射端末へ送信するのに好適な(するように構成、配置された)通信インターフェースとを含む照射端末を提供する。
この照射端末は、本発明の方法を実施するのに好適である(するように構成、配置される)。
本発明はまた、本明細書に記載されるそれぞれが照明ネットワークを介し照明サーバへ接続される複数の照射端末を含むシステムを提供する。このシステムは、本発明の方法を実施するのに好適である(するように構成、配置される)。
本発明はまた、
− コンピュータ生成ホログラフィック画像データを上記装置から及び/又は上記装置へ送信するのに好適な(するように構成、配置された)通信インターフェースと、
− 例えばLCoS(液晶オンシリコン:liquid crystal on silicon)又はガラス透過型アクティブマトリックス液晶で作られた位相空間光変調器(例えば、「位相だけ空間光変調器」又は「位相及び振幅空間光変調器」)と、
− 任意選択的に、照射次第ホログラフィック画像を表示するのに好適な(するように構成、配置された)光源と、を含む頭部装着型コンピュータ生成ホログラフィック画像表示装置を提供する。照射はSLMの照射を含む、すなわち、光源はホログラフィック画像を表示するように照射するのに好適である(するように構成、配置される)。
この装置は、本発明の方法を実施するのに好適である(するように構成、配置される)。
本発明の方法の実施形態を示す。 本発明の方法の実施形態を示す。 本発明の方法の実施形態を示す。 本発明の方法の実施形態を示す。 本発明の方法に有用な例示的データベースの構造を示す。 本発明の頭部装着装置の例示的構造を示す。 本発明の頭部装着装置の例示的構造を示す。 本発明の頭部装着装置の例示的構造を示す。
以下の定義は本発明を説明するために与えられる。
「コンピュータ生成ホログラフィック画像」は当該技術分野で知られている。このようなホログラフィック画像はコンピュータ生成ホログラムを読み出す(照射する)ことにより表示され得る。コンピュータ生成ホログラムは合成又はディジタルホログラムとも呼ばれる。コンピュータ生成ホログラムは通常、2D又は3D画像を選択しそのホログラムをディジタル的に計算することにより得られる。ホログラフィック画像は、光学的再構築により、すなわち好適な(するように構成、配置された)光ビーム(ホログラムの基準ビーム)によりホログラムを照射すること(読み出すこと)により表示され得る。画像は、物理的スクリーン又は支持体上に表示され得るという点で「リアル」であり、又は「空中」(仮想的)である。ホログラムは後で説明するようにホログラフィック支持体上へ印刷されてもよいしSLM上に実現されてもよい。
「コンピュータ生成ホログラフィック画像データ」HDは当該技術分野で知られている。「コンピュータ生成ホログラフィック画像データ」HDは通常、被験者による視覚化のためのコンピュータ生成ホログラフィック画像の表示を可能にする符号化データ(符号化データの組)を含む。コンピュータ生成ホログラフィック画像データは、画像(2D、3D)の画素毎の位相及び振幅についての情報を含むコンピュータ生成ホログラフィック画像自体(絵、アルファベット及び数字、及びそれらの組合せ等々であり得るその「コンテンツ」)の符号化データを含む。コンピュータ生成ホログラフィック画像データはまた、装着者の視野(例えば、装置HMDのフレームを基準とした)内のホログラフィック画像の表示の位置、及び/又は視覚化(ズーム又は拡大)されるホログラフィック画像のサイズ、及び/又は視覚化されるホログラフィック画像の焦点面の位置の符号化データをさらに含み得る。ホログラフィック画像位置、サイズ及び焦点面のためのこのようなデータは、内蔵光源を有する装置HMD上のホログラフィック画像の表示のために特に有用である。装置HMDが内蔵光源を備えない場合、すなわち、光源が装置HMDから遠く離れている場合、位置及び焦点面のデータはコンピュータ生成ホログラフィック画像データ内に暗黙的に含まれると考えられ得る。しかし、上記データはさらに、画像のサイズの(例えば、ズーミングの)データを含み得る。コンピュータ生成ホログラフィック画像データはまた、例えば多重表示のために表示されるいくつかの画像を提供し得る。コンピュータ生成ホログラフィック画像データは、1つの色(例えば、白と黒)で、又は2つ以上の色で(例えば、少なくとも3つの色(例えば、三原色)を使用して)画像を提供し得る。コンピュータ生成ホログラフィック画像自体(その「コンテンツ」)の符号化データは、有利には位相符号化される。データHDは、復号化され、表示手段(例えば、SLM)へ送信され得、好適に照射(構成、配置され)次第、ホログラムの読み出し及び当該ホログラフィック画像の表示を可能にする。本発明によると、データHDは、HMDのメモリ内に、及び/又は通信端末COM TERMなどの端末上のメモリ内に、及び/又は通信サーバCOM SERVなどのサーバを介しアクセス可能なデータベース内に格納され得る。ホログラフィック画像データHDの組が、コンピュータ生成ホログラフィック画像データHOLO DBのホログラフィック画像データベース内に格納され得る。データベースDBはホログラフィック画像データの組を格納し検索するのに好適な(するように構成、配置された)メモリを含み、通信サーバCOM SERVなどのサーバの一部であってもよいし、通信ネットワークCOM NETWを介しサーバへ接続されてもよい。コンピュータ生成ホログラフィック画像データベースの構造の例が図5に示される。図5は、コンピュータ生成ホログラフィック画像データHDを含むデータベースHOLO DBの例を示す。ホログラフィック画像はアルファベット文字及び数字(文字「A」、「B」などと数字「1」、「2」など)又は絵などのより複雑な画像であり得る。データは装着者の視野内の画像の位置LOCを含み得る。さらに、データの組はアクセス権ACに従って定義され得る。図5で、コンピュータ生成ホログラフィック画像データHDの各組は、例えば識別子(HOLO i)を使用することによりデータベースから検索され得る。データHDは一組のデータであり得る。データは、画像及び/又はテキストなどのコンテンツに対応し得る。データはまた、テキスト部及び/又はアイコン形式の選択肢のメニューに対応し得る。
「サーバ」SERVは当該技術分野で知られている。サーバSERVは拡張ネットワークNETWを介し複数の端末TERMへ接続され得る。ネットワークNETWは、データ送信を可能にし、無線周波数通信(Wi−Fi、ブルートゥース、3G、4Gなど)などの無線通信、及び/又はLi−Fi又はFSOなどの光通信(赤外線IR、近赤外線NIR、短波長赤外線SWIR、可視光など)、及び/又は有線通信(イーサーネット(登録商標)、光ファイバ)に依存し得る。サーバSERVは1又は複数のデータベースDBを含み得る及び/又は1又は複数のデータベースDBへ接続され得る。サーバSERVは通信サーバCOM SERV及び/又は照射サーバLIGHT SERVであり得る。
「データ送信」は当該技術分野で知られた手段により行われ得る。データは、無線通信(Wi−Fi、ブルートゥース、3G、4Gを含むRF;Li−Fi又はFSOを含む光通信など)により、又はエンティティからエンティティへの有線通信(例えば、イーサネット(登録商標)ケーブル、USBポート、光ファイバなどを介した)により送信され得る。光通信は、あり得る安全懸念に関して好ましいかもしれない。実際、Li−Fi又はFSOなどによる光通信の使用は、健康問題を引き起こし得るいくつかのタイプの波形(Wi−Fiなど)への露出を制限できるようにする。これは、このような装置が脳の近傍で装着するためのものであるので、特に頭部装着装置とのデータの送信へ適用される。
データは、格納データを含むメモリ又はデータベースへのアクセス及びそれからの検索により送信され得る(アクセスと検索は、例えば直接的であっても間接的であってもよいし、条件付きであってもなくてもよい)。データの送信はまた、予め定義されたアクセス権及び/又は所与端末(センサ)近傍における存在の検知に依存し得る。
「頭部装着表示装置」(HMD)は当該技術分野で知られている。ヘルメット装着型ディスプレイ、光学的頭部装着型ディスプレイ、頭部装着型ディスプレイなどを含むこのような装置は装着者の頭上に又はその周囲に装着される。これらは、装着者による視覚化のための画像を表示する光学的手段を含む。HMDは、コンピュータ生成画像だけのための、又はコンピュータ生成画像と「現実」視野との重畳視覚化のための表示を提供し得る。HMDは単眼又は双眼(両眼)であり得る。本発明のHMDは、眼鏡、スキー又は潜水マスクなどのマスク、ゴーグルなどを含む様々な形式を採り得る。HMDは1又は複数のレンズを含み得る。レンズは処方箋レンズから選択され得る。本発明によると、HMDは空間光変調器(SLM)を含む。好ましい実施形態では、HMDはレンズを備えた一対の眼鏡である。本発明の装置HMDの例が図6〜図8に示される。
「空間光変調器」(SLM)は当該技術分野で知られている。SLMは、位相SLM、「位相だけSLM」、「振幅だけSLM:amplitude−only SLM」、又は「位相及び振幅SLM」であり得る。有する場合は、振幅変調は、好適には位相変調から独立しており、中間調という意味で画質を改善するように画像スペックルの低減を可能にする。好ましい実施形態では、SLMは「位相SLM」又は「位相だけSLM」である。本発明によると、SLMは、
− 反射SLM(表示を引き起こす光ビームはSLM上で反射される)であり得る。その例としては、LCoS(液晶オンシリコン)材料で作られたSLMが挙げられる。可能な商業的供給源としては、Holoeye、Boulder Nonlinear Systems、Syndiant、Cambridge technologiesが挙げられる。反射SLMを含む本発明の装置HMDはさらに、ホログラフィックミラー又は
− 透過SLM(表示を引き起こす光ビームはSLMを通る)を含む。好適には、透過SLMは「シー・スルー」又は「透明」SLM、すなわち>85%又は>90%の送信率を有するSLMである。このような「シー・スルー」SLMは視野を損なうこと無しに装着者の眼の前に直接配置され得るので有利である。その例としては、ガラス上の薄いシリコン(SOI:シリコンオンインシュレータ)又はサファイヤ基板又はガラス透過型アクティブマトリックス液晶で作られる透明アクティブマトリクスが挙げられる。このような製品はCitizen Finetech Miyotaにより開発された。他の例としては、アモルファスシリコン、IGZOなどのLCD型透明アクティブマトリクスが挙げられる。可能な商業的供給源の例としてはBoulder Nonlinear Systemsが挙げられる。透過SLMを含む本発明の装置HMDはホログラフィックミラーを含んでも含まなくてもよい。
SLMは好適には以下の特徴の1つ又は複数、好適にはすべてを含む。
− <10μmの画素サイズ、好適には<5μm又は<4μm。間隔が空いた回折次数(選択/精選することが容易な)を有するように、そして位相の好適な(構成、配置された)空間サンプリングを提供してより高い解像度を有する画像及びその詳細のより良好な再生を生じるように、小さな画素サイズを有するSLMを選択することが好ましい。さらに、より小さな画素サイズは、回折角がより大きいのでより広い視野の画像の可能性を提供する。
− >85%、好適には>90%の回折効果。これは、改善された動力学(応答)、及び単一画素の位相の好適な(構成、配置された)サンプリングを提供するので、望ましい。
− 非可視コマンドマトリックスとハードウェア(画素を操るための)
− >2πの位相動力学
− 16レベル(4ビット)以上の位相サンプリング
− >90%、好適には>95%の充填比(画素有用領域)。
本発明によると、位相SLMは、その画像データが位相符号化される画像の表示を可能にするという点で有利である。位相符号化は、画像の所与の表示に必要なエネルギーを低下させる(「振幅だけ変調符号化:amplitude−only−modulation coding」と比較していかなる輝度損失も無い)。したがって、HMDのエネルギー消費量は、より少ない計算資源要件のために低減され得るので有利である。しかし、SLMがまた振幅変調を許容することもまた有利である。これは、この場合、計算がより多くの資源を必要とし、したがってより多くのエネルギーを消費し得るとしても改善された画質を提供するためである。
これは、より小さな電池の使用を可能にし、したがってHMDの容積を低減し、装置のエネルギー自律性を拡張する。本発明によると、SLMは、「プログラム可能」ホログラム、すなわち所望ホログラフィック画像の表示を可能にする電子的アドレス指定可能読み出し支援器(electronically addressable reading support)として働く。
「光源」LIGHT SOURCは当該技術分野で知られている。本発明によると、光源LIGHT SOURCは、装着者による視覚化のための画像を表示するのに好適な(するように構成、配置された)光ビームを発射し得る任意の光源である。ホログラフィック画像の表示に関しては、光ビームはホログラムの基準ビームを含む。画像は、光源LIGHT SOURCによるHMD装置の照射次第、修正コンピュータ生成画像データ(例えば、修正コンピュータ生成ホログラフィック画像データ)から表示され得る。光源LIGHT SOURCは、少なくとも部分的にコヒーレントであり、好適には疑似的又は完全にコヒーレント(空間的かつスペクトル的に)である。光のコヒーレンスは通常、空洞共振器内の活性媒体中の誘導放出から生じる。コヒーレンスは、誘導放出に使用されるいくつかの媒体の自発的放出だけに部分的に起因し得る。コヒーレント源の例としては、レーザダイオードと狭帯域レーザダイオードが挙げられる。部分的コヒーレント源の例としては、いくつかのレーザダイオード、変調レーザダイオード、S−LED、いくつかのLEDが挙げられる。別の例は欧州特許第0,421,460B1号明細書に記載されている。好適には、本発明によると、光源LIGHT SOURCは、完全なコヒーレンスから生じるスペックル効果を抑制するようにほぼ完全にコヒーレント(準コヒーレント)であり得る。
本発明によると、光源LIGHT SOURCは、単色又は多色、例えば三色であり得る。単色使用のためには、画像表示のために発射される光ビームは緑色光(約500〜560nmの波長)を含むことが好ましい。緑色光は、人間の網膜がこの範囲内の波長により敏感であるので、より低いエネルギー(例えば、<1mW)という点で有利である。約520〜550nmで発射する単色光源の例としては、クラス2レーザ、532nmのレーザ、520nmのレーザダイオード(例えば、Osram又はNichia製の)、約550nmで発射するLED、等々が挙げられる。好適には、単色源の電力は<10mWである。他の好適な単色光源としては、赤色615〜645nm、緑色520〜550nm、青色435〜465nmが挙げられる。多色使用のためには、撮像に使用される規格に近い波長(赤、緑、青色)(赤615〜645nm、緑520〜550nm、青色435〜465nm)を使用することが好ましい。3つの別個(赤、緑、青色)の源が使用される場合、それぞれの源は好適には<1mWの電力を有する。多色光源の例としては、レーザ、レーザダイオード、LED又はS−LEDが挙げられる。好適には、少なくとも3、好適には4又は5の異なる放射波長が色の品質を改善するように組み合わせて使用され得る。
好ましい実施態様では、いくつかの外部光源(自然光、装着者環境内の他のLED等々)から生じる雑音を回避するために、本発明の光源LIGHT SOURCは、同期検波と同様に、装置に関連する特定周波数と同期し得る。上記周波数は、画像変調を可視化するのを回避するようにフリッカ周波数よりはるかに高いことが好ましい。このとき、このような同期は、光源LIGHT SOURCと装置HMDにより表示された画像間に必要である。したがって、いくつかの実施形態では、次の2つの同期段階がある:寄生光源との望ましくない相互作用を回避するために照射光源LIGHT SOURCを識別する段階と、正しい色で正しい画像を表示するための変調段階。
照射は、所望表示を引き起こすために好適な(構成、配置された)光ビームが装置HMD(及びそのSLM)を照射し得る限り、指向性である必要はない。本発明によると、光源LIGHT SOURCは、照射端末LIGHT TERM上に設けられ得る及び/又はHMD装置に内蔵され得る。一実施形態では、光源LIGHT SOURCは遠隔照射端末LIGHT TERM上に設けられる(すなわちHMDの上の別個の端末)。照射端末LIGHT TERMはネットワークNETWを介しサーバSERVへ接続されてもされなくてもよい。照射端末LIGHT TERM上に設けられると、光源LIGHT SOURCは発散し得る。光源LIGHT SOURCによる光ビームの放射は、照射端末LIGHT TERM近傍の人が装置HMDを備えているかどうかに関係なく、照射端末LIGHT TERM近傍の人の視環境を乱さない。さらに、発散性でかつ低電力(約<100mW)の光源LIGHT SOURCの使用は、HMD装着者とHMD非装着者がレーザの使用により危険にさらされないので眼の安全性という意味で有利である。本発明によると、光源LIGHT SOURCはまた、データを送信するのに好適である(するように構成、配置される)ことが好ましい。好適な実施形態は、照射により画像を表示させること及びデータを送信することの両方に好適な(構成、配置された)光源LIGHT SOURCを含む。データを送信する際、光源LIGHT SOURCは光(可視光)通信により(例えば、Li−Fi通信により)データを発射し得る。データは、コンピュータ生成画像データ(修正又は非修正ID又はMID)、コンピュータ生成ホログラフィック画像データ(修正又は非修正MHD又はHD)又はPDなどのVPDであり得る。データは、例えばフリッカ周波数より高い(特には75Hz以上又は80Hz以上の周波数)変調により連続的に発射され得る。このような周波数は人間の眼に感知されなく、画像表示のための光ビームは「現実生活」における視界と干渉しない。
「端末」TERMは当該技術分野で知られている。本発明によると、端末TERMは照射端末LIGHT TERMと通信端末COM TERMを含む。端末TERMは同時に通信端末と照射端末とであり得る。これは、有利には、本発明によると、光源LIGHT SOURCもまたHMDへデータを送信するのに好適である(するように構成され、配置された)場合であろう。端末は、固定地理的座標又は固定GPS座標を有する端末と、非固定地理的座標又は非固定GPS座標を有する端末とを含む。固定地理的又はGPS座標を有する端末としては、列車駅、地下鉄駅、博物館、空港内、交通信号灯などに配置される端末が挙げられる。非固定GPSを有する端末としては、スマートフォン、タブレット、車両搭載ボックス、TVセットトップボックス、インターネットセットトップボックス、コンピュータなどが挙げられる。いくつかの実施形態では、端末はスマートフォン以外及び/又はタブレット以外である。端末は携帯型であってもなくてもよい。端末は、スタンドアロンである又はネットワークに接続されるかのいずれかである。
本発明は、頭部装着型表示を介したコンピュータ生成ホログラフィック画像の生成、検索、及び表示のための方法及びシステム(端末、装置)を提供する。ホログラフィック画像は、拡張現実における表示のために検索可能な仮想タグとして使用され得る。
本発明の方法
本発明は、コンピュータ生成ホログラフィック画像データを処理する方法を提供する。データは、ホログラフィック画像の後の表示のために生成又は検索され得るという点で、処理される。
本発明は、コンピュータ生成ホログラフィック画像データの処理のためのコンピュータ実施方法を提供する。本方法は、
(a)頭部装着型コンピュータ生成ホログラフィック画像表示装置HMDを備える装着者の存在を少なくとも1つの通信端末COM TERMにより検出する工程と、
(b)工程(a)において検知された存在に応じて、コンピュータ生成ホログラフィック画像データHDを装置HMDと通信端末COM TERMのうちの一方から装置HMDと通信端末COM TERMの他方へ送信する工程とを含む。
工程(b)はデータHDを送信する工程である。データHDの送信は2つの「方向」:すなわち装置HMDから端末COM TERMへ又は端末COM TERMから装置HMDへのいずれかで生じ得る。
これは、図1により示され、データHDの送信は装置HMDから端末COM TERMへ及びその逆で示される。通信端末COM TERMはネットワークを介しサーバへ接続されてもされなくてもよく、端末COM TERMはスタンドアロン端末又はネットワーク接続端末であり得る。
工程(b)がデータHDを装置HMDから端末COM TERMへ送信する工程を含む場合、本方法は「検索可能」ホログラフィック画像を生成するのに好適である(するように構成、配置される)。実際、データHDは送信され、端末COM TERM上のメモリであろうと上記端末へ接続されたサーバのデータベース上のメモリであろうとメモリ上に格納され得る。可能な用途は、同じ装着者による及び/又は他の装着者による検索及び表示のための、例えば所与の場所において「固定される」ことによりその後利用可能にされ得るホログラフィック画像タグの生成を含む。
工程(b)がデータHDを端末COM TERMから装置HMDへ送信する工程を含む場合、本方法は、ホログラフィック画像の表示のためにデータを検索するのに好適である(するように構成、配置される)。可能な用途は、場合により所与の場所に関連したタグ又はコンテンツなどのホログラフィック画像の検索を含む。例えば、ホログラフィック画像タグは、所与の場所の近傍にいるHMD装着者に関係のあるテキスト又は絵などの情報を提供し得る。所与の場所には端末が設けられており、端末は、端末の位置に「固定された」このようなタグを検索し表示する選択肢を装着者へ提示する。
好適には、本発明によると、工程(b)は、コンピュータ生成ホログラフィック画像データHDを、Li−Fi又はFSOを含む光通信により、又はエンティティからエンティティへの有線通信(例えば、イーサネット(登録商標)ケーブル、USBポート、光ファイバなどを介した)により送信する工程を含み得る。これは、上に説明したような安全懸念という意味で有利である。
別の態様では、本発明は、装着者により装着される頭部装着型コンピュータ生成ホログラフィック画像表示装置HMDによるコンピュータ生成ホログラフィック画像の表示のためのコンピュータ実施方法を提供する。ホログラフィック画像の表示は装着者により視認可能である。本方法は、本明細書に記載された工程(a)及び(b)を含み、さらに、(c)装置HMDの照射によりホログラフィック画像を表示するのに好適な(するように構成、配置された)光ビームを少なくとも1つの光源LIGHT SOURCにより放射する工程を含む。SLMを有するHMDでは、したがって、工程(c)は光源LIGHT SOURCによりSLMを照射する工程を含む。
いくつかの実施形態では、光源LIGHT SOURCは遠隔照射端末LIGHT TERM上に設けられる。他の実施形態では、光源LIGHT SOURCは装置HMDに内蔵される。いくつかの実施形態では、光源LIGHT SOURCは遠隔照射端末LIGHT TERM上に設けられ、光源LIGHT SOURCは装置HMDに内蔵される。
有利には、本発明によると、光源LIGHT SOURCが外部端末TERM(HMDの上の別個の遠隔端末)上に設けられる場合、光源は、一定の地理学的又はGPS座標を少なくとも一時的に有するという点で「固定」される。したがって、画像を「セット」することが可能であり、画像は光源LIGHT SOURC(例えば、博物館内の所与の絵画の近くに配置された端末TERM)に「取り付けられた」ままである。これは、装着者が頭を回転したとしても、アイトラッカの必要性は無くかつ画像を絵画に「取り付ける」ためのさらなる計算の必要もないという点で有利である。
本発明によると、光源LIGHT SOURCは、多重モードで光を放射し得る。多重モードは空間的又は時間的であり得る。多重化はまた、複数の装置HMDによる表示のために光を放射することに関わり得る。博物館の例では、単一光源LIGHT SOURCが何人かの訪問客のために同時に放射し得る。
本発明によると、光源LIGHT SOURCは通信端末COM TERM上に設けられ得る。したがって、工程(b)はコンピュータ生成ホログラフィック画像データHDを光源LIGHT SOURCから装置HMDへ送信する工程を含み得る。したがって、工程(b)は光通信により行われ得、このことは上に説明したように有利である。
さらに、本発明によると、少なくとも1つの通信端末COM TERMはネットワークCOM SERVを介しサーバCOM SERVへ接続され得(またはされなくてもよい)、及び/又は少なくとも1つの照射端末LIGHT TERMはネットワークLIGHT SERVを介しサーバLIGHT SERVへ接続され得る(またはされなくてもよい)。サーバは、データの更新を可能にするという点で有利である。サーバは1又は複数のデータベースを含み、及び/又は1又は複数のデータベースへ接続され得る。
ホログラフィック画像の「検索」及び表示方法(タグ読み出し方法)
第1の実施形態では、本発明は、コンピュータ生成ホログラフィック画像を表示するのに好適な(するように構成、配置された)データを検索する方法を提供する。データは、情報、絵などを特定位置へ「タグ付けする」又は「フラグを立てる」ように同特定位置へ結び付けられ得る。位置は固定されたGPS座標である必要はない。
この実施形態では、工程(b)は、コンピュータ生成ホログラフィック画像データHDを通信端末COM TERMから装置HMDへ送信する工程であり得る。送信は、装着者の視点からは「プッシュ」又は「プル」(すなわち、装着者からのいかなる指令にも無関係に、又は装着者のアクティブコマンドによりトリガされるかのいずれか)であり得る。
言い換えれば、この実施形態によると、光源は、コンピュータ生成ホログラフィック画像を表示する(好適な(構成、配置された)光ビームを供給することにより画像を再生する)のに好適である(するように構成、配置される)とともに、コンピュータ生成ホログラフィック画像データHDを(遠隔)通信端末COM TERMから装置HMDへ送信するのに好適である(するように構成、配置される)。この2重の役割は、HMD装置がそれ自身の光源を含まないとしてもHMD装置上の画像表示を可能にするという点で特に有利である。さらに、HMD装置は、画像データを含むデータを送信し得る通信端末COM TERMの役割と、有利にはその後直ちに好適な(配置、構成された)光ビームにより照射することにより画像を表示させ得る通信端末COM TERMの役割との2重の役割に依存する。
この実施態様によると、工程(b)のデータは端末COM TERM上のメモリ上に格納され得る(図1)、又はネットワークNETWを介し端末COM TERMへ接続されるデータベースDB内に格納され得る(図2)。データベースDBは、各組のデータが所与のコンテンツ(テキスト、画像など)に対応する複数組みのデータを含み得る。
この第1の実施形態によると、工程(b)のデータHDは実際のコンテンツ(テキスト、画像など)に対応してもよいし、コンテンツのさらなる選択のための選択肢のメニューを表示するためのデータを含んでもよい。したがって、表示工程(c)は、コンテンツを表示する工程、又はコンテンツへのアクセスを提供するための選択肢のメニューを表示する工程のいずれかであり得る。
この第1の実施形態によると、本方法は、逐次的コンピュータ生成ホログラフィック画像(コンテンツ、タグ)の順次検索及び表示を含み得る。したがって、この第1の実施形態では、工程(b)は、コンピュータ生成ホログラフィック画像データHDを複数の遠隔通信端末COM TERM iから上記装置へ順次送信する工程を含み得、複数の通信端末COM TERM iのそれぞれは通信ネットワークCOM NETWを介し通信サーバCOM SERVへ接続され、順次放射は、1つの通信端末COM TERM iの近傍から別の通信端末COM TERM jの近傍への装着者の存在の順次検知工程を反映し、時間に応じた装着者の運動を規定する。このような工程(b)は、一連のコンピュータ生成ホログラフィック画像(コンテンツ、タグ)の経時的な逐次表示を可能にする。通信ネットワークは、様々な端末及び/又は順次検索され表示されたタグのコンテンツの同期(時間調節)を可能にする。これは、複数の端末COM TERM1、2、3を示す図3により例示される。複数の端末COM TERM1、2、3はそれぞれネットワークNETWを介しサーバSERVへ接続される。ネットワークNETWは、データHD i(HD1、2、3)を格納し検索するのに好適な(するように構成、配置された)データベースDBを含む。データHD iは、データベースDBから端末COM TERM iへ、そして次に装置HMDへ送信され得る。装着者は例えば、一連の端末TERM1、2、3に沿って歩く又は運転するかもしれない。次に、データHD1、2、3は、端末COM TERM1、2、3から装置HMDへ順次それぞれ送信される。次に、装着者は、データHD1、2、3に対応するホログラフィック画像コンテンツHOLO1、2、3の逐次表示を視覚化し得る。この例は3つの端末を含むが、当業者は、これが制限的でないということ、本発明の方法が複数の任意の数の端末COM TERMにより行われ得るということを理解する。
依然として、この第1の実施形態によると、本発明の方法はさらに、(a2)装着者の位置を判断する工程を含み、工程(b)のコンピュータ生成ホログラフィック画像データHDは工程(a2)で判断された位置に従って定義される。装着者の位置は、例えばGPS座標による絶対的やり方で、又は例えば所与の端末COM TERMの近傍において相対的やり方で、判断され得る。相対的位置は、博物館内の所与の絵画などのランドマーク近傍、所与の地下鉄駅の近傍、所与の観光名所の入口で有り得る。次に、工程(b)のデータは有利には、判断された位置に従って定義され、判断された位置に関する関連情報を装着者が検索できるようにする。例えば、表示のために検索され得るホログラフィック画像(コンテンツ、タグ)はそれぞれ、博物館内の所与の絵画に関する情報(画家の名前、描いた日、絵画の題名など)、地下鉄駅周囲のローカル地図及び主方向の標識、最も近いレストラン又はATMに関する情報を含む。
依然として、この第1の実施形態によると、本発明の方法はさらに、いくつかの選択肢から(メニューなどから)選択されたホログラフィック画像のオンディマンドデータを検索する可能性を含み得る。本発明の方法はさらに、(d)装着者の運動を検知する工程と、(e)工程(d)の運動の認識に応じて、通信端末COM TERMから装置HMDへ送信される別のコンピュータ生成ホログラフィ画像データHDの選択のための制御信号を生成する工程とを含み得る。運動を検知する工程(d)は、装置HMD又は端末COM TERMが検出する工程であり得る。運動は、指令/制御信号を生成するのに好適な(するように構成、配置された)任意の運動であり得る。このような運動は、ボタンを押す、手運動、頭部運動、音声運動又は眼運動などをするなどの任意の触覚指令運動を含む。工程(e)の制御信号は、メニュー、ドロップダウンメニューからの選択、仮想キーボード上の1つのキーからの選択、仮想パッド上の手書きによる選択を含む選択肢の選択を可能にする。
ホログラフィック画像を生成し「タグ」を生成する方法
第2の実施形態では、本発明はまた、ホログラフィック画像(タグ/コンテンツ)を生成する方法を提供する。ホログラフィック画像は後で検索され表示され得る。ホログラフィック画像はまた、所与の場所に関連付けられ得、したがって、本発明はまた、ホログラフィック画像にタグ付けする方法を提供する。
この第2の実施形態によると、本発明は工程(a)と(b)を含む方法を提供し、工程(b)は、コンピュータ生成ホログラフィック画像データHDを上記装置から通信端末COM TERMに向かって送信する工程である。有利には、この実施形態は、端末へその後送信され得るデータを生成できるようにし、上記データはその後、さらなる検索及び表示に利用可能にされる。HMDは、「受信手段」として働き得るだけでなく、画像データの「発射手段」としても働き得る。
この第2の実施形態では、本方法は本明細書に記載されるように任意選択的工程(c)を含み得る。本方法はまた、(i)頭部装着型コンピュータ生成ホログラフィック画像表示装置HMDを備えた装着者の運動を検知する工程と、(ii)工程(i)の運動の認識に応じて、画像データなどのデータを取得する工程とを含み得る。工程(i)の運動は、指令のための制御信号を生成するのに好適な(するように構成、配置された)任意の運動であり得、工程(d)について上に説明したような運動を含み得る。
データを取得する工程は、工程(i)の運動の認識に応じてデータを取得する工程を含む。データは、絵データなどの画像データ、テキストデータであり得る。次に、画像データはコンピュータ生成画像データに変換され得る。変換は、HMD又は通信端末に内蔵されたプロセッサにより行われ得る。
データを取得する工程(ii)は、メニューから選択肢を選択する工程、仮想キーボード上の少なくとも1つのキーを叩く工程、仮想ノートパッド上に手書きする工程、音声指令により指令を与える工程、ディジタル画像を撮る又はディジタル映像を記録する工程、HMD上に配置されたボタンを押す工程、及びそれらの組合せから選択される1又は複数の工程を含み得る。したがって、工程(ii)のデータは、テキスト、絵、それらの組合せなどのデータであり得る。したがって、本発明は、コンテンツを含むコンピュータ生成ホログラフィック画像タグである仮想ポストを提供し得る。工程(ii)はまた、例えば仮想クリッキング(仮想ボタン「いいね!」の選択などの予め定義されたメニュー又は所定アイコンからの選択)により、又は認識されディジタルテキストに変換され得る仮想手書きにより、仮想的に注釈する工程であり得る。
再び、通信端末はネットワークを介しサーバへ接続されてもされなくてもよい。本発明の方法では、工程(ii)はサーバへの接続無しに行われ得る。代替的に、少なくとも1つの通信端末COM TERMはネットワークCOM NETWを介し通信サーバCOM SERVへ接続され得、工程(b)のデータは、任意選択的に位置に関連して通信データベースCOM DB内に格納され得る(図4により例示するように)。送信データと所与の場所との関連付けは、タグを固定する(すなわちコンピュータ生成ホログラフィック画像(コンテンツ)と特定位置とを関連付ける)選択肢を可能にする。例えば、レストランの顧客レビューは、レストランの近傍に位置する端末上で利用可能にされ得る。データに関連する位置は装着者の位置であってもなくてもよい。位置は、装着者が端末の近傍にいる時の装着者のものであり得るが、また、装着者が当該位置に最早いない時に装着者がデータと位置との関連性を提供する(例えば、別の端末を使用することによりネットワークを介しサーバへデータを提供することにより)ことも可能である。
所定アクセス権による方法
本発明はまた、装着者プロファイル及びアクセス権を定義するための選択肢を提供する。装着者プロファイルの定義は、所与の装着者の選択された関連情報を提供するのに有用である。例えば、装着者がスポーツに興味があれば、スポーツに関係する特定コンテンツが視覚化のために装着者に利用可能にされ得る。ホログラフィック画像データの検索のためのアクセス権(タグ又はコンテンツを視覚化するための制限付きアクセス)及び/又はホログラフィック画像の生成のためのアクセス権(タグ又はコンテンツを生成するための制限付きアクセス)が定義され得る。
本発明の方法はさらに、(a1)識別子IDと装着者との関連性をデータベース内に事前登録する予備工程を含み得、工程(b)のデータは、識別子IDに従って、及び任意選択的にアクセス権に従って定義される。
識別子IDは任意の好適な(構成、配置された)識別子であり得る。識別子IDは、例えば装置HMD上に配置されたQRコード(登録商標)又はRFIDなどのコードであり得る。識別子は、装着者の興味、習慣などの分野を反映し得る装着者プロファイルの定義を可能にする。識別子はまた、アクセス権を定義するために使用され得る。アクセス権は、データ検索(タグ表示)及び/又はデータ生成(タグ生成)という意味で、1又は複数のレベル(公開、半公開、機密など)のアクセスを設定することにより定義され得る。アクセス権は専用データベース(例えば、装着者データベース)内に格納され得る。同データベースは、端末上に設けられ得る及び/又は端末へ接続されたサーバ上に設けられ得る。
本発明のシステムと装置
別の態様では、本発明は、照射端末LIGHT TERMと装置HMDとを含むシステムを提供する。上記システムは、本発明の方法を実行するのに好適である(するように構成、配置される)。
本発明は照射端末LIGHT TERMを提供する。この端末は本発明の方法を実施するのに好適である。
本発明の照射端末LIGHT TERMは、
− 照射によりホログラフィック画像を表示するのに好適な(するように構成、配置された)光源LIGHT SOURCと、
− 頭部装着型コンピュータ生成ホログラフィック画像表示装置HMDを備える装着者の存在を検知するのに好適な(するように構成、配置された)センサLIGHT SENSと、
− 任意選択的に、コンピュータ生成ホログラフィック画像データを照射端末から及び/又は照射端末LIGHT TERMへ送信するのに好適な(するように構成、配置された)通信インターフェースLIGHT INTとを含む。
照射端末はネットワークへ接続されてもされなくてもよい(スタンドアロン端末又はネットワーク接続)。
装着者の存在は、当該技術領域において知られた手段、例えば任意の好適な(構成、配置された)識別子により検知され得る。好適な(構成、配置された)識別子は、QRコード(登録商標)又はRFIDなどのコードを含む。識別子は装置HMD上に設けられ得る。識別子はまた、HMD(及び装着者)に固有の変調周波数であり得る。識別子は光学的署名であり得る。
通信インターフェースINTは、USBポート及び/又はブルートゥース、Wi−Fi、4G、3Gなどの無線周波数を含む無線通信、光(Li−Fi又はFSO)及び/又はIR通信のための任意の他のインターフェース、及び/又はフォトダイオード(データを受信するための)及び/又は発射器(データを発射するための)例えば可視又は近赤外IR光源を含み得る。
さらに、照射端末LIGHT TERMは、以下のもののうちの1又は複数を含み得る。
− 電池又は任意の他の電源手段、
− GPS座標を判断するためのGPS、
− 1つのメモリ又は複数のメモリ、
− ディジタルカメラ、
− 他のセンサ、
− ホログラフィック画像データ(修正又は未修正)を処理するために好適な(するように構成、配置された)コントローラCONT。コントローラCONTは、工程(iii)を実行するのに好適であり(するように構成、配置され)、プロセッサを含む。
好ましい実施態様では、本発明の照射端末LIGHT TERMでは、光源LIGHT SOURCはさらに、コンピュータ生成ホログラフィック画像データHDを照射端末LIGHT TERMから送信するのに好適である(するように構成、配置される)。光通信は、上に説明したように極めて有利である。
本発明はまた、本明細書に記載されるような照射端末のネットワーク配備に関する。したがって、本発明は、照射端末LIGHT TERMのそれぞれが照射ネットワークLIGHT NETWを介し照射サーバLIGHT SERVへ接続される本明細書に記載されるような複数の照射端末LIGHT TERMを含むシステムに関する。
本発明はまた、頭部装着装置に関する。頭部装着装置は、本発明の方法を実施するのに好適である(するように構成、配置される)。本発明は、
− コンピュータ生成ホログラフィック画像データHDを上記装置から及び/又は上記装置へ送信するのに好適な(するように構成、配置された)通信インターフェースμINTと、
− 例えばLCoS(液晶オンシリコン:liquid crystal on silicon)又はガラス透過型アクティブマトリックス液晶で作られた位相空間光変調器SLM(例えば、「位相だけ空間光変調器」又は「位相及び振幅空間光変調器」)と、
− 任意選択的に、照射によりホログラフィック画像を表示するのに好適な(するように構成、配置された)光源LIGHT SOURCとを含む頭部装着型コンピュータ生成ホログラフィック画像表示装置を提供する。
この装置HMDは、本発明の方法を実施するのに好適である(するように構成、配置される)。
好適な実施形態では、装置HMDは位相SLMを有する一対の処方箋眼鏡である。
好適には、コンピュータ生成画像はコンピュータ生成ホログラフィック画像である。
SLMは好適には、位相SLM(例えば、「位相だけSLM」)であり、LCoS又はガラスすなわち透過型アクティブマトリックス液晶で作られ得る。SLMはまた、装着者眼の前に設けられる「シー・スルー」SLMであり得、この場合、ホログラフィックミラーは必要ではない。SLMが装着者眼の前以外の他のどこかに設けられる場合、例えばSLMが装置HMD側に又は装着者の蔓部近くに設けられる場合は、ホログラフィックミラーが必要かもしれない。
本発明によると、装置HMDは、以下のもののうちの1又は複数を含み得る。
− 少なくとも1つのレンズ。レンズは、反射防止膜と、任意選択的に、装着者側のレンズ上又は内に設けられるホログラフィックミラーとを備え、ホログラフィックミラーは好適には、装置HMDが内蔵光源LIGHT SOURCを備える場合に存在し、レンズは一対の処方箋レンズの一部であり得る、
− 電池、
− GPS、
− 少なくとも1つのメモリ、
− カメラ、
− マイクロホン、
− センサ(例えば、アイトラッカ、運動トラッカー又は触覚指令手段を含む触覚手段)、
− 画像データを処理(復号化、復調、符号化等々)するのに好適な(するように構成、配置された)マイクロコントローラ(μCONT)。コントローラCONTは、工程(iii)を実行するのに好適であり(するように構成、配置され)得、プロセッサを含み得る。
通信インターフェースμINTは、USBポート及び/又はブルートゥース、Wi−Fi、4G、3Gなどの無線周波数を含む無線通信、光(Li−Fi、FSO)及び/又はIR通信のための任意の他のインターフェース、及び/又は、フォトダイオード(データを受信するための)及び/又は発射器(データを放射するための)例えば可視又は近赤外IR光源を含み得る。装置HMDは、視覚化パラメータデータVPD、コンピュータ生成画像データID、及び修正コンピュータ生成画像データMIDから選択されたデータを格納するのに好適な(するように構成、配置された)メモリを含み得る。装置HMDのプログラミングは、視覚化パラメータデータVPD、コンピュータ生成画像データID、及び修正コンピュータ生成画像データMIDから選択されたデータを入力する工程を含み得る。本発明の装置HMDの例が図6〜図8に示される。これらの例は、装置の蔓部(temple)TEMP上に搭載された光源LIGHT SOURCを含む装置である。但し、光源LIGHT SOURCの存在は本発明によると任意選択的である。
装置HMDは空間光変調器SLMとレンズLを含む。
SLMは装置HMDの蔓部TEMP上に配置され得る。SLMは反射(図6)の又は透過(図7)の機能を有し得る。光源LIGHT SOURCにより放射された光ビームは、レンズLにぶつかる前に、SLMによりそれぞれ反射(図6)又は透過(図7〜8)される。本発明の装置HMDが反射SLMを含む場合、装置HMDはホログラフィックミラーをさらに含む。レンズLは、装着者の眼に面するレンズL側にホログラフィックミラーMIRRを備える。レンズLは反射防止膜をも備える。ホログラフィックミラーMIRR上の反射後、光ビームは装着者の眼へ導かれ、したがってホログラフィック画像の視覚化を引き起こす。ホログラフィックミラーMIRRは中心から外れている。
ホログラフィックミラーは、当該技術分野で知られており、光学的ホログラフィック素子の一部である。ホログラフィックミラーは、例えば一組の干渉縞の回折格子を含む。ホログラフィックミラーは、重クロム酸ゼラチンのフォトポリマ又は当該技術分野で知られた合成フォトポリマ、又は漂白銀ホログラフィック乳剤で作られ得る。有利には、ホログラフィックミラーMIRRはレンズの幾何学形状に影響を与えること無くレンズと組み合わせられ得る。結果として、レンズの光機能とホログラフィックミラーの光機能は、完全に無相関にされ、独立に最適化され得る。ホログラフィックミラーは系の光学収差の一部又はすべてを補正するように設計され得る(特にSLMは図6〜図7のように眼鏡蔓部TEMP上に配置されるので、中心から外れており、装着者により視覚化される画像に光学収差を生じさせる)。ホログラフィックミラーは視野収差を制限する(リデューストアパーチャ)ように角度範囲(angular fraction)毎に製造され得る。このような場合、ミラーは、所与の方向の入射光の所望波長の光だけを反射する。このようなミラーは、内蔵光源LIGHT SOURCを備える装置HMDに特に有利である。より大きなアパーチャを有する画像の構築のためには、画像全体をフラグメント化し、ビームによりミラーの走査を進めることが可能である。
SLMはまた、図8に示すように「シー・スルー」透過型SLMであり得る。遠隔光源LIGHT SOURCは、レンズLとSLMを通って装着者の眼に達するビームを放射する。
単色使用のためには、ホログラフィックミラーは、照射の波長で光学的に記録(規定)される。この波長以外の波長では、ミラーは透明であり、したがってレンズを通しての装着者による視覚を損なわない。三色使用(赤、緑、青色)では、ホログラフィックミラーは3つの波長で光学的に記録(規定)され、ホログラフィック画像は3つの当該波長で視覚化され得る。ホログラフィックミラーは他の波長では透明である。同様に、3つの選択された波長以外の波長では、ミラーは透明であり、したがってレンズを通しての装着者による視覚を損なわない(回折効果はゼロである)。好適には、同ミラーは、照射(入射光)の様々な角度に対して光学的に記録される。
より一般的には、ホログラフィックミラーの設計と設定は当業者にとって周知の知識である。
本発明の装置HMDは、ミラーが照射と視覚化に使用される波長に固有であるので、装置HMDを装着する装着者により視覚化される画像の機密性を保護するという点で有利である。
SLMがレンズ/HMDの蔓部上に設けられる場合、SLMは、明らかに中心から外れており、したがって、SLMによるホログラフィック画像の投影は視覚的/光学的収差を生じる。視覚的/光学的収差は有利にはホログラフィック画像データの好適な(構成、配置された)修正により少なくとも部分的に補償され得る。したがって、SLMは、SLMにより放射(透過又は反射)される波面をそれに応じて修正し、視覚的経験及び快適性の改善につながる。
本発明はまた、頭部装着装置内のSLMの使用に関する。より具体的には、本発明は、処方箋眼鏡を含む眼鏡内のSLMの使用に関する。SLMは、位相及び/又は振幅空間光変調器SLM、好適には位相SLM又は「位相だけSLM」(例えば、LCoS SLM、ガラス透過型アクティブマトリクスLC SLM)であり得る。
本発明の方法及びシステムは、以下の多くの用途に役立つ。家庭で、台所で、例えば料理中に料理インストラクション、台所/家電製品のユーザーマニュアルを表示する用途に、自動車内で、例えば運転中に方向又は交通情報を表示する用途に、居間で、例えば、TV視聴中にTV番組ガイドを表示する用途に、ショッピングモールで、方向を表示するために、広告のために、特別のイベントに関する情報、価格情報、製品情報を通知する用途に、観光地で方向又は情報を表示する用途に。本発明は以下の非限定的な実施例により示される。
実施例1:空港内の情報の表示
装着者は本発明の装置HMDを備える。装着者は飛行機に搭乗するために空港内にいる。空港は本発明の複数の端末を備える。端末は空港内に配備される。各端末は、装置HMD上にホログラフィック画像を表示させるのに、及びLi−Fi通信を使用することによりデータを送信するのに好適な(構成、配置された)光源を備える。装着者は、搭乗する飛行を識別する装着者プロファイルを有し、他の特徴を含み得る。プロファイルは、端末へ接続されたデータベース上に格納される。また端末へ接続された別のデータベースはフライトに関する関連情報(出発ゲート、ゲート閉鎖時間など)を含む。
装着者は、情報をHMD上のコンピュータ生成ホログラフィック画像として検索し視覚化し得る。このような情報は、出発のゲート変更、予想遅延、空港情報などのフライト情報を含み得る。さらに、装着者は、空港内で迷った場合に出発のゲートへの方向、装着者の現在位置から出発ゲートまで歩くのに必要な距離及び/又はおおよその時間を検索し表示し得る。装着者プロファイルに応じて別の情報も利用可能にされ得る。例えば、装着者が文学に興味があれば、空港内の最も近い書店に関する情報が表示に利用可能にされ得る。
実施例2:興味のある近場の情報の表示
装着者は本発明の装置HMDを備える。装着者は観光地にいる。観光地は本発明の通信端末COM TERMを備える。端末は装着者の存在を検知し、この検知結果は、ホログラフィック画像データHDを端末COM TERMから装置HMDへ送信させる。データHDは、アイコンを含むメニューの表示を可能にする。アイコンは、レストランのアイコン(例えば、カトラリーと皿とを示す画像)、ATMのアイコン(例えば、ユーロのシンボル又はドルのシンボル)、店のアイコン(例えば、かご又はショッピングカート)などを含み得る。触覚手段を使用すること(例えば、仮想クリッキング)により、装着者は、アイコンのうちの1つを選択し得る。ユーロのアイコンを選択することにより、別の表示には、端末近傍の最も近いATMの位置を特定する指示が与えられる。
実施例3:レストラン用タグ(フラグ)の生成
装着者は本発明の装置HMDを備える。通信端末COM TERMはレストランの近くにある。端末はネットワークNETWを介しサーバSERVへ接続される。サーバはデータベースDBへ接続される。データベースは、ホログラフィック画像データを含むコンテンツデータベースと装着者プロファイルを含む装着者データベースとを含む。装着者は美食クラブの会員であり装着者には装着者プロファイル及び事前登録されたアクセス権が反映される。
装着者は、レストランで夕食をとり、美食クラブの他の会員に利用可能なレビューを投稿するつもりである。装着者は、カメラ及び/又は触覚手段を使用することにより(例えば、仮想キーボードを叩くことにより)データ(写真、テキストのエントリー)を取得することにより、レビューに対応するコンテンツ(皿の絵、食事についての一般的コメント)を生成し得る。このとき、2つの選択肢がある。装着者が、コンテンツに対応するホログラフィック画像データHDをレストランの近くに配置された装置HMDから端末COM TERMへ送信するか、又は、装着者が家へ帰り、家庭で上記データHDを端末から送信するかのいずれかである。いずれの場合も、ホログラフィック画像データHDは、それぞれの端末からサーバ及びネットワークを介しデータベースへアップロードされ得る。
次に、装着者により投稿されたコンテンツは、同クラブの会員の予め定義されたアクセス権に従って美食クラブの他の会員に利用可能にされる。レストランの近くに到達すると、好適な(構成、配置された)アクセス権を有するクラブの別の会員は装着者により生成されたコンテンツ(レビュー)を検索し表示し得る。

Claims (22)

  1. コンピュータ生成ホログラフィック画像データの処理のためのコンピュータ実施方法であって、
    (a)頭部装着型コンピュータ生成ホログラフィック画像表示装置(HMD)を備える装着者の存在を少なくとも1つの通信端末(COM TERM)により検出する工程と、
    (b)工程(a)において検知された前記存在に応じて、コンピュータ生成ホログラフィック画像データ(HD)を前記装置(HMD)と前記通信端末(COM TERM)のうちの一方から前記装置(HMD)と前記通信端末(COM TERM)の他方へ送信する工程とを含むコンピュータ実施方法。
  2. 工程(b)は光通信により前記コンピュータ生成ホログラフィック画像データ(HD)を送信する工程を含む、請求項1に記載のコンピュータ実施方法。
  3. (c)少なくとも1つの光源(LIGHT SOURC)により、前記装置(HMD)の照射により前記ホログラフィック画像を表示するように配置された光ビームを放射する工程であって、前記光源(LIGHT SOURC)は少なくとも1つの遠隔照射端末上に設けられる及び/又は前記装置(HMD)に内蔵される、工程をさらに含む請求項1または2に記載のコンピュータ実施方法。
  4. 前記光源(LIGHT SOURC)は前記通信端末(COM TERM)上に設けられ、工程(b)は前記コンピュータ生成ホログラフィック画像データ(HD)を前記光源(LIGHT SOURC)から前記装置(HMD)へ送信する工程を含む、請求項3に記載のコンピュータ実施方法。
  5. 前記少なくとも1つの通信端末(COM TERM)はネットワーク(NETW)を介しサーバ(SERV)へ接続される、請求項1乃至4のいずれか一項に記載のコンピュータ実施方法。
  6. 前記少なくとも1つの照射端末はネットワークを介しサーバへ接続される、請求項3乃至5のいずれか一項に記載のコンピュータ実施方法。
  7. 工程(b)は、前記コンピュータ生成ホログラフィック画像データ(HD)を前記通信端末(COM TERM)から前記装置(HMD)へ送信する工程である、請求項1乃至6のいずれか一項に記載のコンピュータ実施方法。
  8. 工程(b)は、コンピュータ生成ホログラフィック画像データ(HD)を複数の遠隔通信端末(COM TERM i)から前記装置へ順次送信する工程を含み、
    前記通信端末(COM TERM i)のそれぞれは通信ネットワーク(COM NETW)を介し通信サーバ(COM SERV)へ接続され、
    前記順次放射は、1つの通信端末(COM TERM i)の近傍から別の通信端末(COM TERM j)の近傍への前記装着者の存在の前記順次検知工程を反映し、時間に応じた前記装着者の運動を規定する、請求項7に記載のコンピュータ実施方法。
  9. (a2)前記装着者の位置を判断する工程であって、工程(b)の前記コンピュータ生成ホログラフィック画像データ(HD)は工程(a2)で判断された前記位置に従って定義される、工程をさらに含む請求項7または8に記載のコンピュータ実施方法。
  10. (d)装着者の運動を検知する工程と、
    (e)工程(d)の前記運動の認識に応じて、前記通信端末(COM TERM)から前記装置(HMD)へ送信される別のコンピュータ生成ホログラフィ画像データ(HD)の選択のための制御信号を生成する工程とをさらに含む請求項7乃至9のいずれか一項に記載のコンピュータ実施方法。
  11. (i)前記頭部装着型コンピュータ生成ホログラフィック画像表示装置(HMD)を備える装着者の運動を検知する工程と、
    (ii)工程(i)の前記運動の認識に応じて画像データを取得する工程とを含む方法であって、
    工程(b)は、コンピュータ生成ホログラフィック画像データ(HD)を前記装置から前記通信端末(COM TERM)に向かって送信する工程である、請求項1乃至6のいずれか一項に記載のコンピュータ実施方法。
  12. 工程(ii)は、メニューから選択肢を選択する工程と、少なくとも1つのキーを仮想キーボードに入力する工程と、仮想ノートパッド上に手書きする工程と、ディジタル画像を撮る工程とから選択された1又は複数の工程を含む、請求項11に記載のコンピュータ実施方法。
  13. 前記少なくとも1つの通信端末(COM TERM)はネットワーク(COM NETW)を介し通信サーバ(COM SERV)へ接続され、
    工程(b)の前記データは通信データベース(COM DB)内に格納される、請求項11または12に記載のコンピュータ実施方法。
  14. 工程(b)の前記データは位置に関連して通信データベース(COM DB)内に格納される、請求項13に記載のコンピュータ実施方法。
  15. (a1)識別子(ID)と前記装着者との関連性をデータベース内に事前登録する予備工程をさらに含む方法であって、工程(b)の前記データは前記識別子(ID)に従って定義される、請求項1乃至14のいずれか一項に記載のコンピュータ実施方法。
  16. 工程(b)の前記データは、アクセス権に従って前記識別子(ID)に基づいて定義される、請求項15に記載のコンピュータ実施方法。
  17. − ホログラフィック画像を表示するように照射するように配置された光源(LIGHT SOURC)と、
    − 頭部装着型コンピュータ生成ホログラフィック画像表示装置(HMD)を備える装着者の存在を検知するように配置されたセンサとを含む請求項3、4又は6の方法、又は請求項3、4又は6に依存する場合は請求項7乃至16の方法を実施するように配置された照射端末。
  18. コンピュータ生成ホログラフィック画像データを前記照射端末から及び/又は前記照射端末へ送信するように配置された通信インターフェースをさらに含む請求項17に記載の照射端末。
  19. 請求項1乃至16のいずれか一項に記載の方法を実施するように配置されたシステムであって、請求項14に記載の複数の照射端末を含み、前記照射端末のそれぞれは照射ネットワークを介し照射サーバへ接続される、システム。
  20. − コンピュータ生成ホログラフィック画像データ(HD)を前記装置から及び/又は前記装置へ送信するように配置された通信インターフェースと、位相空間光変調器(SLM)とを含む請求項1乃至16のいずれか一項に記載の方法を実施するように配置された頭部装着型コンピュータ生成ホログラフィック画像表示装置。
  21. 前記位相空間光変調器(SLM)はLCoS(液晶オンシリコン)又はガラス透過型アクティブマトリックス液晶で作られる請求項20に記載の頭部装着型コンピュータ生成ホログラフィック画像表示装置。
  22. 前記SLMの照射によりホログラフィック画像を表示するように配置された光源(LIGHT SOURC)をさらに含む請求項20または21に記載の頭部装着型コンピュータ生成ホログラフィック画像表示装置。
JP2016539531A 2013-09-04 2014-09-03 拡張現実感のための方法とシステム Active JP6632979B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13306207.5 2013-09-04
EP13306207 2013-09-04
PCT/EP2014/068754 WO2015032824A1 (en) 2013-09-04 2014-09-03 Methods and systems for augmented reality

Publications (2)

Publication Number Publication Date
JP2016536700A true JP2016536700A (ja) 2016-11-24
JP6632979B2 JP6632979B2 (ja) 2020-01-22

Family

ID=49170646

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016539531A Active JP6632979B2 (ja) 2013-09-04 2014-09-03 拡張現実感のための方法とシステム

Country Status (6)

Country Link
US (1) US10698364B2 (ja)
EP (2) EP3042248B1 (ja)
JP (1) JP6632979B2 (ja)
KR (1) KR102277893B1 (ja)
CN (2) CN112416221A (ja)
WO (1) WO2015032824A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016535872A (ja) * 2013-09-04 2016-11-17 エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック) 拡張現実感のための方法とシステム
JP2020507221A (ja) * 2017-02-03 2020-03-05 ベステル エレクトロニク サナイー ベ ティカレト エー.エス. Hmdを用いたビデオ会議の改良された方法およびシステム
US12124115B2 (en) 2019-06-28 2024-10-22 Essilor International Optical article

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10571696B2 (en) 2014-12-26 2020-02-25 Cy Vision Inc. Near-to-eye display device
US9715016B2 (en) * 2015-03-11 2017-07-25 The Boeing Company Real time multi dimensional image fusing
KR102586069B1 (ko) 2015-07-03 2023-10-05 에씰로 앙터나시오날 증강 현실을 위한 방법 및 시스템
JP6930929B2 (ja) 2015-07-03 2021-09-01 エシロール アンテルナショナルEssilor International 拡張現実のための方法とシステム
WO2017045061A1 (en) * 2015-09-16 2017-03-23 Therrien Robert Relaxation and meditation eyewear
US20170115489A1 (en) * 2015-10-26 2017-04-27 Xinda Hu Head mounted display device with multiple segment display and optics
US11663937B2 (en) 2016-02-22 2023-05-30 Real View Imaging Ltd. Pupil tracking in an image display system
US10788791B2 (en) 2016-02-22 2020-09-29 Real View Imaging Ltd. Method and system for displaying holographic images within a real object
US10795316B2 (en) 2016-02-22 2020-10-06 Real View Imaging Ltd. Wide field of view hybrid holographic display
WO2017145158A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. Zero order blocking and diverging for holographic imaging
US10782570B2 (en) 2016-03-25 2020-09-22 Cy Vision Inc. Near-to-eye image display device delivering enhanced viewing experience
US20170323482A1 (en) * 2016-05-05 2017-11-09 Universal City Studios Llc Systems and methods for generating stereoscopic, augmented, and virtual reality images
US10976705B2 (en) 2016-07-28 2021-04-13 Cy Vision Inc. System and method for high-quality speckle-free phase-only computer-generated holographic image projection
CN106296827A (zh) * 2016-08-10 2017-01-04 网易(杭州)网络有限公司 图像处理方法和装置
CN106200831A (zh) * 2016-08-31 2016-12-07 广州数娱信息科技有限公司 一种ar、全息智能装置
US10187146B2 (en) * 2016-09-19 2019-01-22 DISH Technologies L.L.C. Light converting device
CN106444030A (zh) * 2016-10-13 2017-02-22 佛山市炫鲸科技有限公司 基于可见光通信的虚拟现实头盔与系统
CN110431470B (zh) * 2017-01-19 2022-03-01 脸谱科技有限责任公司 焦面显示
US10338675B2 (en) * 2017-02-14 2019-07-02 Facebook Technologies, Llc Selective color sensing for motion tracking
CN106980178B (zh) * 2017-03-24 2019-05-31 浙江大学 一种位相型LCoS图像信号处理方法以及近眼显示系统
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
US10895966B2 (en) 2017-06-30 2021-01-19 Microsoft Technology Licensing, Llc Selection using a multi-device mixed interactivity system
US11023109B2 (en) 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
IT201700090535A1 (it) * 2017-08-04 2019-02-04 Stefano Bastianello Sistema ottico fuori asse per schermo ad alta trasparenza in realtà aumentata
JP7317003B2 (ja) * 2017-09-27 2023-07-28 マジック リープ, インコーポレイテッド 別個の位相および振幅変調器を伴う接眼3dディスプレイ
US10438404B2 (en) 2017-10-13 2019-10-08 Disney Enterprises, Inc. Ambient light characterization
EP3502763B1 (en) 2017-12-22 2023-02-01 Essilor International Head mounted device comprising a fourier hologram
US10964030B2 (en) 2018-02-12 2021-03-30 Samsung Electronics Co., Ltd. Device and method with pose estimator based on current predicted motion state array
US10521013B2 (en) 2018-03-01 2019-12-31 Samsung Electronics Co., Ltd. High-speed staggered binocular eye tracking systems
EP3567419A1 (en) * 2018-05-11 2019-11-13 Essilor International (Compagnie Generale D'optique) A system for generating a virtual image for a wearer
CN109031669B (zh) * 2018-09-25 2021-03-23 杭州光粒科技有限公司 紧凑型全息近眼ar显示系统及其应用
EP3686767B1 (en) * 2019-01-25 2024-05-22 Essilor International Method, device and system for identifying a device
EP3703073A1 (en) * 2019-03-01 2020-09-02 Koninklijke Philips N.V. A projection and measurement system
GB2580441B (en) * 2019-03-14 2022-03-16 Dualitas Ltd Laser modulation
CN110244473A (zh) * 2019-05-06 2019-09-17 华为技术有限公司 一种显示装置及眼镜
CN111948807B (zh) * 2019-05-14 2022-10-25 Oppo广东移动通信有限公司 控制方法、控制装置、穿戴设备和存储介质
CN112565165B (zh) * 2019-09-26 2022-03-29 北京外号信息技术有限公司 基于光通信装置的交互方法和系统
US20220335698A1 (en) * 2019-12-17 2022-10-20 Ashley SinHee Kim System and method for transforming mapping information to an illustrated map
US11842445B1 (en) 2020-10-28 2023-12-12 Wells Fargo Bank, N.A. Digital representation of transfer of monetary assets
CN113031281B (zh) * 2021-04-21 2022-11-08 南昌三极光电有限公司 一种光学系统
CN114363594A (zh) * 2021-12-29 2022-04-15 帛度光电科技(苏州)有限公司 多空间光调制器控制系统及其控制方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006154133A (ja) * 2004-11-26 2006-06-15 Ntt Docomo Inc 画像表示装置、立体画像表示装置及び立体画像表示システム
JP2009237801A (ja) * 2008-03-26 2009-10-15 Nippon Tokei Jimu Center:Kk 通信システム及び通信方法
JP2010039556A (ja) * 2008-07-31 2010-02-18 Canon Inc システム
US20100165429A1 (en) * 2007-03-30 2010-07-01 Light Blue Optics Ltd. Optical systems
WO2010103995A1 (ja) * 2009-03-12 2010-09-16 ブラザー工業株式会社 ヘッドマウントディスプレイ
US20110270522A1 (en) * 2010-04-30 2011-11-03 Ryan Fink Visual training devices, systems, and methods
US20120249416A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Modular mobile connected pico projectors for a local multi-user collaboration
JP2012249147A (ja) * 2011-05-30 2012-12-13 Japan Radio Co Ltd 画像提供装置
WO2013057923A1 (ja) * 2011-10-20 2013-04-25 パナソニック株式会社 表示装置および表示システム
US20130222384A1 (en) * 2010-11-08 2013-08-29 Seereal Technologies S.A. Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3933443A1 (de) 1989-10-06 1991-04-11 Zeiss Carl Fa Strahlungsquelle fuer teilkohaerente strahlung
JP3407383B2 (ja) * 1993-06-15 2003-05-19 オリンパス光学工業株式会社 頭部装着型ディスプレイシステム
JP3385238B2 (ja) * 1999-01-12 2003-03-10 シャープ株式会社 光送受信モジュール
GB0000209D0 (en) * 2000-01-07 2000-03-01 Holmetrica Limited Holographic multiplexed image sensor
JP2006293667A (ja) * 2005-04-11 2006-10-26 Sony Corp コンテンツ配信システム、コンテンツ提供媒体製造方法、コンテンツ取得装置、コンテンツ取得方法
DE102006003741B4 (de) * 2006-01-18 2009-08-27 Seereal Technologies S.A. Verfahren zum Kodieren eines computergenerierten Hologramms
JP2007274566A (ja) * 2006-03-31 2007-10-18 Nakagawa Kenkyusho:Kk 照明光通信装置
KR101502622B1 (ko) * 2007-12-27 2015-03-13 메이플 비젼 테크놀로지스 인크. 광정보 처리를 위한 데이터 처리 시스템 및 데이터 처리방법
US8019233B2 (en) * 2008-05-30 2011-09-13 Avago Technologies Fiber Ip (Singapore) Pte. Ltd. Method and apparatus for using a hologram to control the optical field distribution of light generated by a light source and launched into an end of an optical waveguide
US8436789B2 (en) * 2009-01-16 2013-05-07 Microsoft Corporation Surface puck
US20110143769A1 (en) * 2009-12-16 2011-06-16 Microsoft Corporation Dual display mobile communication device
US20120212484A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
WO2011106798A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
GB201011829D0 (en) * 2010-07-14 2010-09-01 Two Trees Photonics Ltd Display system
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
CN102857299A (zh) * 2012-08-23 2013-01-02 中国科学院苏州纳米技术与纳米仿生研究所 光通信系统及方法
US20150355481A1 (en) * 2012-12-31 2015-12-10 Esight Corp. Apparatus and method for fitting head mounted vision augmentation systems
US20140282911A1 (en) * 2013-03-15 2014-09-18 Huntington Ingalls, Inc. System and Method for Providing Secure Data for Display Using Augmented Reality
CN103297888A (zh) * 2013-04-24 2013-09-11 青岛海信电器股份有限公司 无线耳机装置、移动终端装置以及可调制光源器件

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006154133A (ja) * 2004-11-26 2006-06-15 Ntt Docomo Inc 画像表示装置、立体画像表示装置及び立体画像表示システム
US20100165429A1 (en) * 2007-03-30 2010-07-01 Light Blue Optics Ltd. Optical systems
JP2009237801A (ja) * 2008-03-26 2009-10-15 Nippon Tokei Jimu Center:Kk 通信システム及び通信方法
JP2010039556A (ja) * 2008-07-31 2010-02-18 Canon Inc システム
WO2010103995A1 (ja) * 2009-03-12 2010-09-16 ブラザー工業株式会社 ヘッドマウントディスプレイ
US20110270522A1 (en) * 2010-04-30 2011-11-03 Ryan Fink Visual training devices, systems, and methods
US20130222384A1 (en) * 2010-11-08 2013-08-29 Seereal Technologies S.A. Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles
US20120249416A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Modular mobile connected pico projectors for a local multi-user collaboration
JP2012249147A (ja) * 2011-05-30 2012-12-13 Japan Radio Co Ltd 画像提供装置
WO2013057923A1 (ja) * 2011-10-20 2013-04-25 パナソニック株式会社 表示装置および表示システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016535872A (ja) * 2013-09-04 2016-11-17 エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック) 拡張現実感のための方法とシステム
JP2020507221A (ja) * 2017-02-03 2020-03-05 ベステル エレクトロニク サナイー ベ ティカレト エー.エス. Hmdを用いたビデオ会議の改良された方法およびシステム
US12124115B2 (en) 2019-06-28 2024-10-22 Essilor International Optical article

Also Published As

Publication number Publication date
EP3042248B1 (en) 2020-06-17
EP3657265B1 (en) 2023-05-03
JP6632979B2 (ja) 2020-01-22
CN112416221A (zh) 2021-02-26
KR102277893B1 (ko) 2021-07-15
EP3657265A1 (en) 2020-05-27
CN105579917A (zh) 2016-05-11
US10698364B2 (en) 2020-06-30
EP3042248A1 (en) 2016-07-13
KR20160048801A (ko) 2016-05-04
CN105579917B (zh) 2020-12-01
WO2015032824A1 (en) 2015-03-12
US20160223986A1 (en) 2016-08-04

Similar Documents

Publication Publication Date Title
JP6632979B2 (ja) 拡張現実感のための方法とシステム
JP6675312B2 (ja) 拡張現実感のための方法とシステム
US10777094B1 (en) Wireless devices and intelligent glasses with real-time tracking and network connectivity
CN105431763B (zh) 在佩戴移动设备时跟踪头部移动
CN106415444B (zh) 注视滑扫选择
CN105934730B (zh) 自动内容滚动
CN105992965B (zh) 响应于焦点移位的立体显示
JP2022188158A (ja) 拡張現実ディスプレイシステム
CN103076875A (zh) 具有全息对象的个人音频/视频系统
US11281003B2 (en) Near eye dynamic holography
CN109814719B (zh) 一种基于穿戴眼镜的显示信息的方法与设备
CN105009039A (zh) 使用imu的直接全息图操纵
CN105264548A (zh) 用于生成增强现实体验的难以察觉的标签
JP6705124B2 (ja) 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
CN104838326A (zh) 可佩戴的食物营养反馈系统
CN105103082A (zh) 由人触发的全息提醒
JP2013521576A (ja) 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
JP2016039599A (ja) 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
WO2018122709A1 (en) Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US11966048B1 (en) Head-mounted devices with dual gaze tracking systems
US20240242442A1 (en) Supplementing user perception and experience with augmented reality (ar), artificial intelligence (ai), and machine-learning (ml) techniques utilizing an artificial intelligence (ai) agent
WO2016121049A1 (ja) 情報表示端末および情報表示方法
JP2017078894A (ja) 携帯型表示装置、検索サーバー、および携帯型表示装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170901

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180702

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190913

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191211

R150 Certificate of patent or registration of utility model

Ref document number: 6632979

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250