JP7094266B2 - 単一深度追跡型の遠近調節-両眼転導ソリューション - Google Patents
単一深度追跡型の遠近調節-両眼転導ソリューション Download PDFInfo
- Publication number
- JP7094266B2 JP7094266B2 JP2019506096A JP2019506096A JP7094266B2 JP 7094266 B2 JP7094266 B2 JP 7094266B2 JP 2019506096 A JP2019506096 A JP 2019506096A JP 2019506096 A JP2019506096 A JP 2019506096A JP 7094266 B2 JP7094266 B2 JP 7094266B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- observer
- virtual object
- stereoscopic
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004308 accommodation Effects 0.000 title description 33
- 210000001508 eye Anatomy 0.000 claims description 181
- 238000000034 method Methods 0.000 claims description 117
- 230000000007 visual effect Effects 0.000 claims description 31
- 230000004438 eyesight Effects 0.000 claims description 30
- 230000003287 optical effect Effects 0.000 claims description 24
- 238000001914 filtration Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 7
- 210000001747 pupil Anatomy 0.000 claims description 6
- 210000005252 bulbus oculi Anatomy 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 206010020675 Hypermetropia Diseases 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 230000005684 electric field Effects 0.000 claims description 2
- 230000004305 hyperopia Effects 0.000 claims description 2
- 201000006318 hyperopia Diseases 0.000 claims description 2
- 230000004379 myopia Effects 0.000 claims description 2
- 208000001491 myopia Diseases 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 210000000695 crystalline len Anatomy 0.000 description 118
- 230000008569 process Effects 0.000 description 57
- 238000012545 processing Methods 0.000 description 37
- 210000003205 muscle Anatomy 0.000 description 29
- 210000004556 brain Anatomy 0.000 description 25
- 238000004891 communication Methods 0.000 description 18
- 210000001525 retina Anatomy 0.000 description 11
- 230000001886 ciliary effect Effects 0.000 description 10
- 230000026683 transduction Effects 0.000 description 8
- 238000010361 transduction Methods 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000000873 fovea centralis Anatomy 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- 230000002350 accommodative effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 208000004209 confusion Diseases 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 206010013395 disorientation Diseases 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
- H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本節に記載されているアプローチは、探求し得るアプローチではあるが、必ずしもこれまでに着想または探求されてきたアプローチではない。従って、別途示唆のない限り、本節に記載されたアプローチのいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、1以上のアプローチに関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。
1.一般的概要
2.遠近調節および両眼転導
3.遠近調節と両眼転導との不整合
4.遠近調節と両眼転導との不整合の解決
5.転導角の追跡
6.ビデオストリーミングサーバーおよびクライアントの例
7.プロセスフローの例
8.実装メカニズム-ハードウェア概要
9.均等物、拡張物、代替物、その他
本概要は、本発明のある例示的実施形態が有するいくつかの側面について、基本的説明を提示する。本概要は、例示的実施形態が有する諸側面についての広範かつ網羅的な要約ではない、ということに留意すべきである。さらに留意すべきは、本概要は、例示的実施形態が有する任意の特に重要な側面または要素を示すものとして理解されるようには意図されておらず、その特定の例示的実施形態あるいは広く本発明の何らの範囲をも規程するものとして理解されるようにも意図されていない。本概要は、単に、例示的実施形態に関するいくつかの概念を凝縮された簡素な形式で提示するものであって、以下に続く例示的実施形態についてのより詳細な説明に対する単なる概念的な前置きとして理解されるべきである。別個の実施形態が本明細書において述べているが、本明細書に述べた実施形態の任意の組み合わせおよび/または部分的な実施形態は、組み合わせられてさらなる実施形態を形成し得ることに留意されたい。
図1Aは、一例としての観察者の有する人間の眼100を、観察者の頭部の真上から見た断面図を示す。図示されるように、眼(100)は、眼(100)の前部に位置する瞳孔104の中心点と、眼(100)の後部にある網膜110に位置する中心窩106の中心点とを通過する、光軸102(横線112に垂直である)を有する。瞳孔(104)の後ろに位置する水晶体108を通って集められた光は、水晶体(108)によって、中心窩(106)に投射され得る。例示目的にすぎないが、水晶体(108)は、眼球焦点距離によって光学的に特徴付けられ得る。水晶体は、単一の焦点距離を有する光学レンズを表現している場合としていない場合とが有り得るため、本明細書における眼球焦点距離は、以下のうちの1つを指す。すなわち、光軸(102)近くの光に対する焦点距離、水晶体の中央部の平均焦点距離、光軸(102)近くの光に対する実効焦点距離、中心窩に投射された光に関する焦点距離、または、中心視に対して局所的には完全に近いレンズ(locally near perfect lens)の焦点距離などである。様々な実施形態において、水晶体は単一のレンズまたは複数のレンズとしてモデル化することができ、このうちの1つ、一部、または全部が、例えば眼(100)内のあるいは眼(100)に関連する毛様体筋を通じて制御可能な、可変焦点レンズを有し得ることに留意されたい。
いくつかの実施形態において、本明細書に記載の立体画像またはマルチビュー画像は、1つ以上の空間環境において用いられる1つ以上のカメラシステムによって撮像され得る。空間環境の例は、これらのみに限定されないが、物理的空間環境、シミュレートされた空間環境、映画スタジオ、屋外シーン、屋内シーン、トンネル、通り、乗り物、船、飛行機、大気圏外空間などがある。カメラシステムの例としては、これらのみに限定されないが、3Dカメラ、マルチビューカメラ、ライトフィールドカメラ、重複する視野および/または重複しない視野を有する複数のカメラ、デジタルカメラ、アナログカメラ、ウェブカメラなどがある。
図2Bは、(a)左画像(252-1)および右画像(252-2)が描画される1つ以上の画像ディスプレイと(b)観察者の眼(100-1および100-2)との間に配置された、1つ以上の自動調整レンズ228-1、228-2等を介した、左画像(252-1)および右画像(252-2)を含む立体画像中に表される仮想物体(214)の観察の一例を示す。いくつかの実施形態において、画像ディスプレイのうちのいくつかまたは全部が、観察者に対して固定されており(例えば観察者に対して固定距離にあるなど)、かつ瞳孔間線(120)に平行(または実質的に平行)である。例示目的にすぎないが、自動調整レンズは、左画像(252-1)と左眼(100-1)との間に配置された左自動調整レンズ228-1、および、右画像(252-2)と右眼(100-2)との間に配置された右自動調整レンズ228-2を有する。本明細書に記載の自動調整レンズの例としては、必ずしも以下のものに限定されないが、機械的制御が可能な自動調整レンズ、電子的制御が可能な自動調整レンズ、液体ベースの自動調整レンズなどがある。
図2Cは、立体画像の時間的シーケンスを観察する際の、観察者の転導角の追跡の一例を示す。立体画像の時間的シーケンスは、1つ以上のシーン、シーンの一部分、グループオブピクチャ(GOP)などを表し得る。立体画像の各々は、2つの3D画像の組み合わせ、または2つ以上のマルチビュー画像の組み合わせによって表現され得る。本明細書において、転導角とは、観察者の個々の眼(例えば左眼、右眼など)の視野角を言う。本明細書に記載の技術によって追跡される転導角の例としては、必ずしも以下のものに限定されないが、 左転導角(すなわち左眼の転導角)、右転導角(すなわち右眼の転導角)、観察者の瞳孔間線(120)、観察者の正面観察方向(118)などのうちの一つなどの基準方向に対する転導角、観察者の水平観察平面または観察者の顔面の(鉛直方向の)正中線に対する仰角などがある。
図3Aは、画像プロセッサ302、深度ベースの画像生成器312などを備えたビデオストリーミングサーバー300の一例を示す。いくつかの実施形態において、画像プロセッサ(302)は、画像受信器306、データリポジトリ310などを備える。ビデオストリーミングサーバー(300)の構成要素の一部または全部は、1つ以上のデバイス、モジュール、ユニットなどによって、ソフトウェア、ハードウェア、ソフトウェアとハードウェアとの組み合わせなどとして実装され得る。
図4は、本発明の例示的実施形態によるプロセスフローの例を示す。いくつかの例示的実施形態において、1つ以上の計算装置または構成要素がこのプロセスフローを実行し得る。ブロック402において、観察者が第1の左画像および第1の右画像を含む第1の立体画像を観察しているときに、画像処理システム(例えば図3Aから図3Cのビデオストリーミングサーバーまたはビデオストリーミングクライアントの任意の組み合わせなど)が、観察者の左眼の左転導角および前記観察者の右眼の右転導角を決定する。
一実施形態によれば、本明細書に説明されている技術は、1つ以上の専用の計算装置によって実施される。専用の計算装置は、当該技術を実行するようにハードワイヤードで接続され得るか、または、当該技術を実行するように持続的にプログラムされた1つ以上の特定用途向け集積回路(ASIC)またはフィールドプログラマブルゲートアレイ(FPGA)のようなデジタル電子デバイスを含み得るか、または、ファームウェア、メモリ、その他の格納装置、または何らかの組み合わせにおけるプログラム指令に従って技術を実行するようにプログラムされた、1つ以上の汎用のハードウェアプロセッサを含み得る。そのような専用の計算装置はまた、カスタムハードワイヤードロジック、ASIC,またはFPGAとカスタムプログラミングとを組み合わせることにより、技術を実現し得る。専用の計算装置は、デスクトップコンピュータシステム、ポータブルコンピュータシステム、携帯用のデバイス、ネットワーキングデバイス、またはハードワイヤードおよび/またはプログラムロジックを組み込むことにより技術を実施する、任意の他のデバイスであり得る。
この明細書において、態様毎に異なり得る多数の詳細事項に言及しながら本発明の実施形態を説明した。従って、本発明が何たるか、また、本出願人が本発明であると意図するものを示す唯一且つ排他的な指標は、本願が特許になった際の請求の範囲(今後出されるあらゆる補正を含む、特許された特定の請求項)である。当該請求項に含まれる用語について本明細書中に明示したあらゆる定義が、請求項において使用される当該用語の意味を決定するものとする。よって、請求項において明示されていない限定事項、要素、性質、特徴、利点または属性は、その請求項の範囲をいかなる意味においても限定すべきではない。従って、本明細書および図面は、限定的ではなく、例示的であるとみなされるものである。
EEE1. 観察者が第1の左画像および第1の右画像を含む第1の立体画像を観察しているときに、観察者の左眼の左転導角および前記観察者の右眼の右転導角を決定することと、
(i)前記観察者の左眼の左転導角および(ii)前記観察者の右眼の右転導角に少なくとも部分的に基づいて、仮想物体深度を決定することと、
前記観察者のための第2の左画像および第2の右画像を含む第2の立体画像を1つ以上の画像ディスプレイにおいて描画することであって、前記第2の立体画像は前記第1の立体画像よりも後に提示される、描画することと、
前記第2の立体画像を前記1つ以上の画像ディスプレイから前記仮想物体深度にある仮想物体面に投射すること、
を含む方法。
EEE2.前記入力左画像および前記入力右画像中に表される視認対象物体のアスペクト比を、前記仮想物体深度にある前記仮想物体面に投射された前記第2の左画像および前記第2の右画像中に表される前記視認対象物体の変更後のアスペクト比に調整する、1回以上のアスペクト比調整演算を適用することによって、前記第2の左画像および前記第2の右画像は入力左画像および入力右画像から生成される、EEE1に記載の方法。
EEE3.前記入力左画像および前記入力右画像中に表される視認対象物体の深度を、前記仮想物体深度にある前記仮想物体面に投射された前記第2の左画像および前記第2の右画像中に表される前記視認対象物体の変更後の深度に変換する、1回以上の深度補正演算の適用することによって、前記第2の左画像および前記第2の右画像は入力左画像および入力右画像から生成される、EEE1に記載の方法。
EEE4.前記第2の左画像および前記第2の右画像の1つ以上の空間領域を前記入力左画像および前記入力右画像に対してぼやけさせる1回以上のブラーフィルタリング演算を適用することにより、前記第2の左画像および前記第2の右画像は入力左画像および入力右画像から生成され、前記第2の左画像および前記第2の右画像の前記1つ以上の空間領域は、前記観察者の中心視から離れている、EEE1に記載の方法。
EEE5.前記第2の立体画像の前記第2の左画像および前記第2の右画像は、同時に描画されて前記観察者によって観察される、EEE1に記載の方法。
EEE6.前記第2の立体画像の前記第2の左画像および前記第2の右画像は、フレームシーケンシャルに描画されて前記観察者によって観察される、EEE1に記載の方法。
EEE7.前記第2の立体画像は、前記観察者に観察されるために描画される立体画像のシーケンス中において、前記第1の立体画像の時間的に直後に提示される、EEE1に記載の方法。
EEE8.前記第2の立体画像を前記仮想物体深度にある前記仮想物体面に投射するために1つ以上の自動調整レンズが用いられ、前記仮想物体深度に少なくとも部分的に基づいて、前記1つ以上の自動調整レンズの1つ以上の焦点距離が決定される、EEE1に記載の方法。
EEE9.前記第2の立体画像は入力立体画像のシーケンス中における第2の入力立体画像から生成され、前記第2の立体画像以外の立体画像は前記第2の入力立体画像から生成されず、前記第2の立体画像は、前記仮想物体深度以外の仮想物体深度では投射されない、EEE1に記載の方法。
EEE10.前記第2の立体画像の前記第2の左画像および前記第2の右画像は、それぞれ、第1の画像ディスプレイおよび第2の画像ディスプレイに描画される、EEE1に記載の方法。
EEE11.前記第2の立体画像の前記第2の左画像および前記第2の右画像は、1つの画像ディスプレイに描画される、EEE1に記載の方法。
EEE12.前記第2の立体画像の前記第2の左画像および前記第2の右画像の少なくとも一方は、単一のレンズ素子を有する自動調整レンズに基づいて前記仮想物体面に投射される、EEE1に記載の方法。
EEE13.前記第2の立体画像の前記第2の左画像および前記第2の右画像の少なくとも一方は、複数のレンズ素子を有する自動調整レンズに基づいて前記仮想物体面に投射される、EEE1に記載の方法。
EEE14.前記第2の立体画像の前記第2の左画像は、前記観察者の左眼にのみ視認可能であり、前記第2の立体画像の前記第2の右画像は、前記観察者の右眼にのみ視認可能である、EEE1に記載の方法。
EEE15.前記観察者が前記第2の左画像および前記第2の右画像を含む前記第2の立体画像を観察しているときに、前記観察者の左眼の第2の左転導角および前記観察者の右眼の第2の右転導角を決定することと、
(i)前記観察者の左眼の前記第2の左転導角および(ii)前記観察者の右眼の前記第2の右転導角に少なくとも部分的に基づいて、第2の仮想物体深度を決定することと、
前記観察者のための第3の左画像および第3の右画像を含む第3の立体画像を、前記1つ以上の画像ディスプレイにおいて描画することであって、前記第3の立体画像は前記第2の立体画像よりも後に提示される、描画することと、
前記第3の立体画像を前記1つ以上の画像ディスプレイから前記第2の仮想物体深度にある第2の仮想物体面に投射することと、をさらに含む、EEE1に記載の方法。
EEE16.前記仮想物体深度は、前記観察者の固有の視覚特性に少なくとも部分的に基づいて調節される、EEE1に記載の方法。
EEE17.EEE1から16に記載の方法のうちいずれかを実行する、装置。
EEE18.EEE1から16に記載の方法のうちいずれかを実行する、システム。
EEE19.1つ以上のプロセッサにより実行されたとき、EEE1から16のいずれかに記載の方法を実行させるソフトウェア命令を格納した、非一時的なコンピュータ読み取り可能な記憶媒体。
EEE20.1つ以上のプロセッサと、1つ以上のプロセッサにより実行されたとき、EEE1から16のいずれかに記載の方法を実行させる、1組の命令を格納した1つ以上の記憶媒体とを備えた、計算装置。
Claims (23)
- 観察者が第1の左画像および第1の右画像を含む第1の立体画像を観察しているときに、少なくとも2種の視線追跡方法の組み合わせであって、1種が電界測定を用い、他の1種が光センサ、眼球像の取得、または赤外線を用いる少なくとも2種の視線追跡方法の組み合わせにより、観察者の左眼の左転導角および前記観察者の右眼の右転導角を決定することと、
(i)前記観察者の左眼の左転導角および(ii)前記観察者の右眼の右転導角に少なくとも部分的に基づいて、仮想物体深度を決定することと、
前記観察者のための第2の左画像および第2の右画像を含む第2の立体画像を1つ以上の画像ディスプレイに描画することであって、前記第2の立体画像は前記第1の立体画像よりも後に提示される、描画することと、
前記第2の立体画像を前記1つ以上の画像ディスプレイから前記仮想物体深度にある仮想物体面に投射することであって、前記第2の左画像および前記第2の右画像の1つ以上の空間領域を入力左画像および入力右画像に対してぼやけさせる1回以上のブラーフィルタリング演算を適用することにより、前記第2の左画像および前記第2の右画像は前記入力左画像および前記入力右画像から生成され、前記第2の左画像および前記第2の右画像の前記1つ以上の空間領域は、前記観察者の中心視から離れている、投射することと、
を含む方法。 - 前記ブラーフィルタリング演算は、可変空間解像度を有するブラーフィルタによって実装される、請求項1に記載の方法。
- 前記ブラーフィルタリング演算は、ある強度でぼやけを付与することを含み、前記ぼやけの強度は、前記仮想物体面に表現された前記第2の左画像および前記第2の右画像における画像細部の、前記観察者の中心視に対する距離が増加するにしたがって増大する、請求項1または2に記載の方法。
- 前記ブラーフィルタリング演算は、
前記観察者の中心視を包含する画像細部において最小限またはゼロのぼやけを付与することと、
前記観察者の中心視からより遠い画像細部においてより強いぼやけを付与することと、
を含む、請求項3に記載の方法。 - 前記ブラーフィルタは、第1および第2のブラーフィルタを含み、前記第1のブラーフィルタは、前記仮想物体面の左中心視領域に投射された前記第2の左画像中の画像細部においてゼロまたは最小限のぼやけを生じさせるように構成され、前記第2のブラーフィルタは、前記仮想物体面の右中心視領域に投射された前記第2の右画像中の画像細部においてゼロまたは最小限のぼやけを生じさせるように構成されている、
請求項2に記載の方法。 - 前記第1および第2のブラーフィルタは、前記仮想物体面の1つ以上の左右それぞれの非中心視領域に投射される前記第2の左画像および前記第2の右画像の中の画像細部において、より強いぼやけを生じさせるように構成されている、請求項5に記載の方法。
- 前記入力左画像および前記入力右画像中に表される視認対象物体のアスペクト比を、前記仮想物体深度にある前記仮想物体面に投射される前記第2の左画像および前記第2の右画像中に表される前記視認対象物体の変更後のアスペクト比に調整する、1回以上のアスペクト比調整演算を適用することにより、前記第2の左画像および前記第2の右画像は入力左画像および入力右画像から生成される、請求項1から6のいずれかに記載の方法。
- 前記入力左画像および前記入力右画像中に表される視認対象物体の深度を、前記仮想物体深度にある前記仮想物体面に投射された前記第2の左画像および前記第2の右画像中に表される前記視認対象物体の変更後の深度に変換する、1回以上の深度補正演算の適用することによって、前記第2の左画像および前記第2の右画像は入力左画像および入力右画像から生成される、請求項1から7のいずれかに記載の方法。
- 前記第2の立体画像の前記第2の左画像および前記第2の右画像は、同時に描画されて前記観察者によって観察される、請求項1から8のいずれかに記載の方法。
- 前記第2の立体画像の前記第2の左画像および前記第2の右画像は、フレームシーケンシャルに描画されて前記観察者によって観察される、請求項1から9のいずれかに記載の方法。
- 前記第2の立体画像は、前記観察者に観察されるために描画される立体画像のシーケンス中において、前記第1の立体画像の時間的に直後に提示される、請求項1から10のいずれかに記載の方法。
- 前記第2の立体画像を前記仮想物体深度にある前記仮想物体面に投射するために1つ以上の自動調整レンズが用いられ、前記仮想物体深度に少なくとも部分的に基づいて、前記1つ以上の自動調整レンズの1つ以上の焦点距離が決定される、請求項1から11のいずれかに記載の方法。
- 前記第2の立体画像は、入力立体画像のシーケンス中における第2の入力立体画像から生成され、前記第2の立体画像以外の立体画像は、前記第2の入力立体画像から生成されず、前記第2の立体画像は、前記仮想物体深度以外の仮想物体深度では投射されない、請求項1から12のいずれかに記載の方法。
- 前記第2の立体画像の前記第2の左画像および前記第2の右画像は、それぞれ、第1の画像ディスプレイおよび第2の画像ディスプレイに描画される、請求項1から13のいずれかに記載の方法。
- 前記第2の立体画像の前記第2の左画像および前記第2の右画像は、1つの画像ディスプレイに描画される、請求項1から13のいずれかに記載の方法。
- 前記第2の立体画像の前記第2の左画像および前記第2の右画像の少なくとも一方は、単一のレンズ素子を有する自動調整レンズに基づいて前記仮想物体面に投射される、請求項1から15のいずれかに記載の方法。
- 前記第2の立体画像の前記第2の左画像および前記第2の右画像のうち少なくとも一方は、複数のレンズ素子を有する自動調整レンズに基づいて前記仮想物体面に投射される、請求項1から15のいずれかに記載の方法。
- 前記第2の立体画像の前記第2の左画像は、前記観察者の左眼にのみ視認可能であり、前記第2の立体画像の前記第2の右画像は、前記観察者の右眼にのみ視認可能である、請求項1から17のいずれかに記載の方法。
- 前記観察者が前記第2の左画像および前記第2の右画像を含む前記第2の立体画像を観察しているときに、前記観察者の左眼の第2の左転導角および前記観察者の右眼の第2の右転導角を決定することと、
(i)前記観察者の左眼の前記第2の左転導角および(ii)前記観察者の右眼の前記第2の右転導角に少なくとも部分的に基づいて、第2の仮想物体深度を決定することと、
前記観察者のための第3の左画像および第3の右画像を含む第3の立体画像を、前記1つ以上の画像ディスプレイに描画することであって、前記第3の立体画像は前記第2の立体画像よりも後に提示される、描画することと、
前記第3の立体画像を前記1つ以上の画像ディスプレイから前記第2の仮想物体深度にある第2の仮想物体面に投射することと、
をさらに含む、請求項1から18のいずれかに記載の方法。 - 前記仮想物体深度は、前記観察者の少なくとも1つの特性に少なくとも部分的に基づいて調整され、前記特性は、{近視、遠視、正常な立体視覚、正常でない立体視覚、眼鏡装用、眼鏡非装用、コンタクトレンズ装用、瞳孔間距離、および目-自動調整レンズ距離}からなる群から選択される、請求項1から19のいずれかに記載の方法。
- 請求項1から20のいずかに記載の方法を実行するように構成された装置。
- 1つ以上のプロセッサによって実行されたときに請求項1から20のいずれかに記載の方法を実行させるソフトウェア命令を含むコンピュータプログラム。
- 1つ以上のプロセッサと、1つ以上のプロセッサによって実行されたとき、請求項1から20のいずかに記載の方法を実行させる、1組の命令を格納した1つ以上の記憶媒体とを備えた、計算装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021038211A JP7335285B2 (ja) | 2016-08-04 | 2021-03-10 | 単一深度追跡型の遠近調節-両眼転導ソリューション |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662370901P | 2016-08-04 | 2016-08-04 | |
EP16182719.1 | 2016-08-04 | ||
US62/370,901 | 2016-08-04 | ||
EP16182719 | 2016-08-04 | ||
PCT/US2017/045267 WO2018027015A1 (en) | 2016-08-04 | 2017-08-03 | Single depth tracked accommodation-vergence solutions |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021038211A Division JP7335285B2 (ja) | 2016-08-04 | 2021-03-10 | 単一深度追跡型の遠近調節-両眼転導ソリューション |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019532535A JP2019532535A (ja) | 2019-11-07 |
JP7094266B2 true JP7094266B2 (ja) | 2022-07-01 |
Family
ID=59626699
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019506096A Active JP7094266B2 (ja) | 2016-08-04 | 2017-08-03 | 単一深度追跡型の遠近調節-両眼転導ソリューション |
JP2021038211A Active JP7335285B2 (ja) | 2016-08-04 | 2021-03-10 | 単一深度追跡型の遠近調節-両眼転導ソリューション |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021038211A Active JP7335285B2 (ja) | 2016-08-04 | 2021-03-10 | 単一深度追跡型の遠近調節-両眼転導ソリューション |
Country Status (6)
Country | Link |
---|---|
US (2) | US10943359B2 (ja) |
EP (1) | EP3494695B1 (ja) |
JP (2) | JP7094266B2 (ja) |
KR (1) | KR102239686B1 (ja) |
CN (2) | CN109644261B (ja) |
PL (1) | PL3494695T3 (ja) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3062142B1 (en) | 2015-02-26 | 2018-10-03 | Nokia Technologies OY | Apparatus for a near-eye display |
US10650552B2 (en) | 2016-12-29 | 2020-05-12 | Magic Leap, Inc. | Systems and methods for augmented reality |
EP3343267B1 (en) | 2016-12-30 | 2024-01-24 | Magic Leap, Inc. | Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light |
US11164352B2 (en) | 2017-04-21 | 2021-11-02 | Intel Corporation | Low power foveated rendering to save power on GPU and/or display |
US10578870B2 (en) | 2017-07-26 | 2020-03-03 | Magic Leap, Inc. | Exit pupil expander |
KR102596429B1 (ko) | 2017-12-10 | 2023-10-30 | 매직 립, 인코포레이티드 | 광학 도파관들 상의 반사―방지 코팅들 |
WO2019126331A1 (en) | 2017-12-20 | 2019-06-27 | Magic Leap, Inc. | Insert for augmented reality viewing device |
US10755676B2 (en) * | 2018-03-15 | 2020-08-25 | Magic Leap, Inc. | Image correction due to deformation of components of a viewing device |
CN208044203U (zh) * | 2018-04-28 | 2018-11-02 | 北京京东方光电科技有限公司 | 显示设备、光学系统和虚拟现实头戴显示设备 |
CN112236713B (zh) | 2018-05-30 | 2023-01-24 | 奇跃公司 | 紧凑的可变聚焦配置 |
CN112601975B (zh) | 2018-05-31 | 2024-09-06 | 奇跃公司 | 雷达头部姿势定位 |
US10825424B2 (en) | 2018-06-05 | 2020-11-03 | Magic Leap, Inc. | Homography transformation matrices based temperature calibration of a viewing system |
US11092812B2 (en) | 2018-06-08 | 2021-08-17 | Magic Leap, Inc. | Augmented reality viewer with automated surface selection placement and content orientation placement |
WO2020010097A1 (en) | 2018-07-02 | 2020-01-09 | Magic Leap, Inc. | Pixel intensity modulation using modifying gain values |
WO2020010226A1 (en) | 2018-07-03 | 2020-01-09 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
US11856479B2 (en) | 2018-07-03 | 2023-12-26 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality along a route with markers |
EP3827224B1 (en) | 2018-07-24 | 2023-09-06 | Magic Leap, Inc. | Temperature dependent calibration of movement detection devices |
US11624929B2 (en) | 2018-07-24 | 2023-04-11 | Magic Leap, Inc. | Viewing device with dust seal integration |
JP7401519B2 (ja) | 2018-08-02 | 2023-12-19 | マジック リープ, インコーポレイテッド | 頭部運動に基づく瞳孔間距離補償を伴う視認システム |
EP3830631A4 (en) | 2018-08-03 | 2021-10-27 | Magic Leap, Inc. | NON-FUSED POSE DRIFT CORRECTION OF A FUSED TOTEM IN A USER INTERACTION SYSTEM |
EP3840645A4 (en) | 2018-08-22 | 2021-10-20 | Magic Leap, Inc. | PATIENT VISUALIZATION SYSTEM |
EP3881279A4 (en) | 2018-11-16 | 2022-08-17 | Magic Leap, Inc. | IMAGE SIZE-TRIGGERED CLARIFICATION TO MAINTAIN IMAGE SHARPNESS |
CN113454507B (zh) | 2018-12-21 | 2024-05-07 | 奇跃公司 | 用于促进波导内的全内反射的气穴结构 |
CN113518961B (zh) | 2019-02-06 | 2024-09-24 | 奇跃公司 | 基于目标意图的时钟速度确定和调整 |
EP3939030A4 (en) | 2019-03-12 | 2022-11-30 | Magic Leap, Inc. | REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY |
CN114127837A (zh) | 2019-05-01 | 2022-03-01 | 奇跃公司 | 内容提供系统和方法 |
CN113875230B (zh) | 2019-05-23 | 2023-03-28 | 奇跃公司 | 混合模式三维显示方法 |
WO2021021670A1 (en) | 2019-07-26 | 2021-02-04 | Magic Leap, Inc. | Systems and methods for augmented reality |
CN114365027A (zh) * | 2019-11-06 | 2022-04-15 | 海思智财控股有限公司 | 显示具有景深的物体的系统与方法 |
EP4058936A4 (en) | 2019-11-14 | 2023-05-03 | Magic Leap, Inc. | SYSTEMS AND METHODS FOR VIRTUAL AND AUGMENTED REALITY |
JP2023502927A (ja) | 2019-11-15 | 2023-01-26 | マジック リープ, インコーポレイテッド | 外科手術環境において使用するための視認システム |
CN112929643B (zh) * | 2019-12-05 | 2022-06-28 | 北京芯海视界三维科技有限公司 | 3d显示设备、方法及终端 |
CN114830011A (zh) * | 2019-12-06 | 2022-07-29 | 奇跃公司 | 虚拟、增强和混合现实系统和方法 |
CN114746903B (zh) | 2019-12-06 | 2023-11-14 | 奇跃公司 | 虚拟、增强和混合现实系统和方法 |
WO2022036302A1 (en) | 2020-08-14 | 2022-02-17 | Hes Ip Holdings, Llc | Systems and methods for superimposing virtual image on real-time image |
CN114616511A (zh) * | 2020-09-03 | 2022-06-10 | 海思智财控股有限公司 | 改善双眼视觉的系统与方法 |
JP2023544704A (ja) * | 2020-09-30 | 2023-10-25 | アキュセラ インコーポレイテッド | 近視の予測、診断、計画、および監視デバイス |
US11953689B2 (en) | 2020-09-30 | 2024-04-09 | Hes Ip Holdings, Llc | Virtual image display system for virtual reality and augmented reality devices |
CN113093402B (zh) * | 2021-04-16 | 2022-12-02 | 业成科技(成都)有限公司 | 立体显示器及其制造方法与立体显示系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006287813A (ja) | 2005-04-04 | 2006-10-19 | Fuji Photo Film Co Ltd | 3次元画像表示装置 |
JP2011125692A (ja) | 2009-11-18 | 2011-06-30 | Panasonic Corp | 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置 |
JP2013254358A (ja) | 2012-06-07 | 2013-12-19 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
WO2016105521A1 (en) | 2014-12-23 | 2016-06-30 | Meta Company | Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0468340A3 (en) | 1990-07-24 | 1992-12-16 | Biocontrol Systems, Inc. | Eye directed controller |
JP3802630B2 (ja) | 1996-12-28 | 2006-07-26 | オリンパス株式会社 | 立体画像生成装置および立体画像生成方法 |
US7428001B2 (en) | 2002-03-15 | 2008-09-23 | University Of Washington | Materials and methods for simulating focal shifts in viewers using large depth of focus displays |
US7872635B2 (en) * | 2003-05-15 | 2011-01-18 | Optimetrics, Inc. | Foveated display eye-tracking system and method |
JP4492597B2 (ja) * | 2006-09-20 | 2010-06-30 | 太郎 諌山 | 立体表示処理装置および立体表示処理方法 |
KR20090014927A (ko) * | 2007-08-06 | 2009-02-11 | 삼성전자주식회사 | 깊이 조절을 이용한 양안식 영상의 재생 방법 및 장치 |
EP2309310A1 (en) | 2009-10-01 | 2011-04-13 | Koninklijke Philips Electronics N.V. | 3D spectacles |
US20110228051A1 (en) * | 2010-03-17 | 2011-09-22 | Goksel Dedeoglu | Stereoscopic Viewing Comfort Through Gaze Estimation |
US9292973B2 (en) | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
JP5464279B2 (ja) * | 2010-12-22 | 2014-04-09 | コニカミノルタ株式会社 | 画像処理装置、そのプログラム、および画像処理方法 |
US8953242B2 (en) | 2011-03-31 | 2015-02-10 | Honeywell International Inc. | Varible focus stereoscopic display system and method |
GB201110661D0 (en) | 2011-06-23 | 2011-08-10 | Univ Durham | Apparatus and method for displaying images |
JP2013090180A (ja) * | 2011-10-19 | 2013-05-13 | Nippon Hoso Kyokai <Nhk> | 立体映像撮影表示装置 |
JP5214040B2 (ja) * | 2012-01-30 | 2013-06-19 | 学校法人 文教大学学園 | ズーミング可能な立体写真ビューア |
WO2014033306A1 (en) * | 2012-09-03 | 2014-03-06 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | Head mounted system and method to compute and render a stream of digital images using a head mounted system |
JP6026836B2 (ja) * | 2012-09-28 | 2016-11-16 | パイオニア株式会社 | 画像表示装置、制御方法、プログラム及び記憶媒体 |
US9137524B2 (en) * | 2012-11-27 | 2015-09-15 | Qualcomm Incorporated | System and method for generating 3-D plenoptic video images |
JP2014219621A (ja) * | 2013-05-10 | 2014-11-20 | 株式会社タイトー | 表示装置、表示制御プログラム |
GB201310256D0 (en) | 2013-06-10 | 2013-07-24 | Univ Durham | Stereoscopic display and method |
KR102056221B1 (ko) * | 2013-07-12 | 2019-12-16 | 삼성전자주식회사 | 시선인식을 이용한 장치 연결 방법 및 장치 |
KR102126532B1 (ko) * | 2013-09-30 | 2020-06-24 | 엘지디스플레이 주식회사 | 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치 |
US10330935B2 (en) | 2016-09-22 | 2019-06-25 | Apple Inc. | Predictive, foveated virtual reality system |
-
2017
- 2017-08-03 JP JP2019506096A patent/JP7094266B2/ja active Active
- 2017-08-03 KR KR1020197003590A patent/KR102239686B1/ko active IP Right Grant
- 2017-08-03 PL PL17752236.4T patent/PL3494695T3/pl unknown
- 2017-08-03 CN CN201780047659.4A patent/CN109644261B/zh active Active
- 2017-08-03 US US16/323,236 patent/US10943359B2/en active Active
- 2017-08-03 CN CN202110519116.6A patent/CN113240601B/zh active Active
- 2017-08-03 EP EP17752236.4A patent/EP3494695B1/en active Active
-
2021
- 2021-03-03 US US17/191,642 patent/US11694353B2/en active Active
- 2021-03-10 JP JP2021038211A patent/JP7335285B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006287813A (ja) | 2005-04-04 | 2006-10-19 | Fuji Photo Film Co Ltd | 3次元画像表示装置 |
JP2011125692A (ja) | 2009-11-18 | 2011-06-30 | Panasonic Corp | 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置 |
JP2013254358A (ja) | 2012-06-07 | 2013-12-19 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
WO2016105521A1 (en) | 2014-12-23 | 2016-06-30 | Meta Company | Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest |
Also Published As
Publication number | Publication date |
---|---|
KR102239686B1 (ko) | 2021-04-13 |
KR20190026004A (ko) | 2019-03-12 |
US10943359B2 (en) | 2021-03-09 |
CN109644261A (zh) | 2019-04-16 |
JP7335285B2 (ja) | 2023-08-29 |
CN109644261B (zh) | 2021-06-01 |
CN113240601A (zh) | 2021-08-10 |
JP2021122109A (ja) | 2021-08-26 |
EP3494695B1 (en) | 2023-09-27 |
CN113240601B (zh) | 2024-03-26 |
US20210264631A1 (en) | 2021-08-26 |
US11694353B2 (en) | 2023-07-04 |
JP2019532535A (ja) | 2019-11-07 |
PL3494695T3 (pl) | 2024-02-19 |
US20190172216A1 (en) | 2019-06-06 |
EP3494695A1 (en) | 2019-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7094266B2 (ja) | 単一深度追跡型の遠近調節-両眼転導ソリューション | |
CN108051925B (zh) | 具有焦点可调透镜的眼镜设备 | |
US10241329B2 (en) | Varifocal aberration compensation for near-eye displays | |
CN108600733B (zh) | 一种基于人眼跟踪的裸眼3d显示方法 | |
CN106484116B (zh) | 媒体文件的处理方法和装置 | |
WO2019109323A1 (zh) | 图像显示方法、穿戴式智能设备及存储介质 | |
JP7148634B2 (ja) | ヘッドマウントディスプレイ装置 | |
KR20150088355A (ko) | 눈동자 이동 시점 생성을 지원하는 스테레오 라이트필드 입출력 장치 및 방법 | |
US10075700B2 (en) | Device, method and computer program for 3D rendering | |
CN106293561B (zh) | 显示控制方法和装置、显示设备 | |
KR101818839B1 (ko) | 스테레오 삼차원 영상 콘텐츠 디스플레이 제작 및 재생 방법 | |
TW202344958A (zh) | 用於預測性下載體積資料的系統和方法 | |
CN104216126A (zh) | 一种变焦3d显示技术 | |
CN109298793B (zh) | 一种屏幕位置调节方法及装置 | |
KR102358240B1 (ko) | 단일 깊이 추적 순응-수렴 솔루션 | |
WO2018027015A1 (en) | Single depth tracked accommodation-vergence solutions | |
Wartell et al. | Characterizing Image Fusion Techniques in Stereoscopic HTDs. | |
US12143561B2 (en) | Image generation system and method | |
EP4030752A1 (en) | Image generation system and method | |
US12015758B1 (en) | Holographic video sessions | |
CN109313823A (zh) | 信息处理装置、信息处理方法和程序 | |
WO2023146882A1 (en) | Display system with machine learning (ml) based stereoscopic view synthesis over a wide field of view | |
CN117452637A (zh) | 头戴式显示器和图像显示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190404 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200826 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210310 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210310 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210318 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210323 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20210409 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20210413 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20211109 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20220104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220404 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220419 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220524 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220621 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7094266 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |