JP2018511882A - 電子機器、方法、及びソフトウェア - Google Patents
電子機器、方法、及びソフトウェア Download PDFInfo
- Publication number
- JP2018511882A JP2018511882A JP2017550964A JP2017550964A JP2018511882A JP 2018511882 A JP2018511882 A JP 2018511882A JP 2017550964 A JP2017550964 A JP 2017550964A JP 2017550964 A JP2017550964 A JP 2017550964A JP 2018511882 A JP2018511882 A JP 2018511882A
- Authority
- JP
- Japan
- Prior art keywords
- user
- display
- processor
- control signal
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 64
- 230000003287 optical effect Effects 0.000 claims abstract description 69
- 206010047571 Visual impairment Diseases 0.000 claims abstract description 26
- 208000029257 vision disease Diseases 0.000 claims abstract description 24
- 230000004393 visual impairment Effects 0.000 claims abstract description 24
- 210000001747 pupil Anatomy 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 31
- 210000001525 retina Anatomy 0.000 claims description 30
- 230000005540 biological transmission Effects 0.000 claims description 12
- 230000004304 visual acuity Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 abstract description 15
- 238000012986 modification Methods 0.000 abstract description 15
- 239000010410 layer Substances 0.000 description 123
- 238000005457 optimization Methods 0.000 description 50
- 238000004364 calculation method Methods 0.000 description 32
- 238000013459 approach Methods 0.000 description 25
- 238000013461 design Methods 0.000 description 22
- 230000000007 visual effect Effects 0.000 description 18
- 230000000694 effects Effects 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 13
- 230000004438 eyesight Effects 0.000 description 12
- 208000001491 myopia Diseases 0.000 description 11
- 201000010041 presbyopia Diseases 0.000 description 10
- 230000002829 reductive effect Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 9
- 230000001771 impaired effect Effects 0.000 description 9
- 230000036961 partial effect Effects 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 210000004087 cornea Anatomy 0.000 description 8
- 230000004913 activation Effects 0.000 description 7
- 230000006735 deficit Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000005192 partition Methods 0.000 description 6
- 230000004256 retinal image Effects 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 238000000638 solvent extraction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 206010020675 Hypermetropia Diseases 0.000 description 3
- 230000004308 accommodation Effects 0.000 description 3
- 230000001154 acute effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 201000006318 hyperopia Diseases 0.000 description 3
- 230000004305 hyperopia Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 208000014733 refractive error Diseases 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 101000733752 Homo sapiens Retroviral-like aspartic protease 1 Proteins 0.000 description 2
- 102100033717 Retroviral-like aspartic protease 1 Human genes 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 238000002945 steepest descent method Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 208000010415 Low Vision Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 210000003986 cell retinal photoreceptor Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004303 low vision Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 210000000608 photoreceptor cell Anatomy 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/028—Improving the quality of display appearance by changing the viewing angle properties, e.g. widening the viewing angle, adapting the viewing angle to the view direction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/04—Display protection
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2358/00—Arrangements for display data security
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Liquid Crystal (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
Description
本出願は、2013年12月18日出願された、オーストラリア仮特許出願第2013904949号から優先権を主張し、その内容は、参照により本明細書で援用される。
ユーザへグラフィカル・ユーザ・インタフェースを表示するディスプレイ、
ユーザの視力障害を補うようにグラフィカル・ユーザ・インタフェースを修正する要求を受信する入力ポート、及び
1枚以上の光学レンズの光学効果を再現することで、ユーザの視力障害を補うようにグラフィカル・ユーザ・インタフェースを修正するプロセッサ、
を備える。
ユーザの視力障害を補うようにグラフィカル・ユーザ・インタフェースを修正する要求を受信し、
1枚以上の光学レンズの光学効果を再現することで、ユーザの視力障害を補うようにグラフィカル・ユーザ・インタフェースを修正する、
ことを備える。
視線方向、
見られている拡張オブジェクト上の眼の固視点、
瞳孔中心の位置、及び
瞳孔径、
のうちの1つ以上を各眼について備えることができる。
1.時間内に高速で連続して一連のデータを周期的なパターンで繰り返し表示し、多成分画像を知覚する網膜について視覚保持の原理による、各ピクセルP、Q、Q’、...。
2.各ピクセルは、強度及び色について独立して制御されることが可能である複数のサブピクセルからなることができる。
3.各ピクセルは、その成分の強度及び色の合計を表示する。
1.理想的にある点に結像される領域QQ’のサイズ。これは、瞳孔径に密接に関連する。
2.各ピクセルQ、P、Q’、...と関連した光線方向の広がり。これは、主にディスプレイ技術の機能である。
3.ユーザがディスプレイを視聴している方向。これは、多くのスマートフォン、3D立体ディスプレイ、及び他のデバイスに現在存在している「スマート・スクリーン」・アイ・トラッキング技術の使用により想定されて固視される、または動的に測定される、のいずれか一方をされることが可能である。
4.ユーザの視野。本明細書で、ブラー制御が中心窩視野の小さい領域で最も重要であることに留意するべきである。これは、一般的に直進方向に関して±1°のみである。この領域の外側(眼の中心窩に対応する)に、網膜は、低い視力を有し、ブラーに比較的に鈍感である。
5.ディスプレイ画面の視距離。ふたたび、これは、多くのスマートフォン、3D立体ディスプレイ及び他のデバイスに現在存在している「スマート・スクリーン」・アイ・トラッキング技術の使用により、想定されて固視される、または動的に測定される、のいずれか一方をされることが可能である。
6.ユーザの屈折矯正。これは、ユーザが図5を参照して上記で説明されるように入力することができるユーザ固有のデータである。
これらのパラメータは、ブラーを制御する際に相反する役割をもつことができる。
表示装置技術は、LEDのような、発光素子アレイのいずれかである光源を用いることができる、またはマスク背後のバックライト源からくる光を透過させる、若しくは遮断するために、発光素子をオン若しくはオフにすることが可能である、行列マスクを用いることができる。LCDディスプレイは、この後者の技術の実施例である。このようにして、ピクセルは、物理的な、発光素子、または背景光が通過するアパーチャのいずれか一方である。どちらの事例でも、このピクセルは、電子的な手段によりオンまたはオフに切り替えられることが可能である。さまざまな素子、方法、及びピクセル・パターンは、色、解像度、及び電力使用効率のような、望ましい画像特性を達成するために使用できる。
ふたたび、近見視点が600mm(1.66D)であり、300mmの距離でディスプレイを明瞭に見たいユーザの特定の事例を考察する。これは、300mmで近見視力用に+1.50〜+2.00Dの加算を必要とする老視ユーザの典型である。
点画像を生成するだけでなく、空間的に拡張されたオブジェクトの網膜像を生成することが望ましい。このような画像は、多くの点の画像の重ね合わせから構成されることが可能である。このようにして、開始点として、上記で開示された方法は、この目的のために使用できる。しかしながら、それ自体で、これは、異なる点画像を生成するために、同一のピクセル、及び同一のアパーチャの複数回の使用により、不満足な画質を生成する可能性がある。これは、通信及び撮像技術で複数の他の分野で発生する「クロストーク」現象に類似する。この困難を克服するため、単独で、または任意の組み合わせに併せて、のいずれか一方で以下のアプローチを使用することができる。
a)パターンを通じて、ピクセル強度、及びアパーチャ透過高速サイクルである、時間ベースの多重化は、複数の点画像のために必要である。これは、異なるパターンに電子的に再マッピングされる光源及びマスク技術の短い動的な応答時間、ならびに多成分画像を知覚する網膜への視覚保持の原理に依存する。
b)各ピクセル、及び各アパーチャは、強度、色及び透過について独立して制御されることが可能である、それぞれ複数のサブピクセル、及びサブアパーチャからなることができる。
c)各ピクセルは、それが与える必要がある、さまざまな複数の像点の強度及び色の合計を表示する。
d)設計最適化技術は、像点間の「クロストーク」の全体的に望ましくないブラー効果を最小にするために使用されることが可能である。これは、「クロストーク」の存在下で、信号を最適化するために広く使用される、工学、数学、統計学及びコンピュータ・サイエンスの既存の分野からの設計最適化技術を用いることで実行されることが可能である。このような技術は、最小二乗最適化、フィルタリング、周波数、及びフーリエ解析の使用を頻繁に含む。
・ソース層のピクセルの寸法及びピッチ、
・マスク層1(及び存在する場合に追加の層)のアパーチャの寸法及びピッチ、
・これらの層間距離、
・ユーザの視線方向、ならびに
・ソース・ピクセルからの光の相対的な強度、
を含む。
1.光線束は、全瞳孔面積より小さい面積に衝突するため、それらの効果的なブラーは、衝突された瞳孔面積対全瞳孔面積の割合で1.66Dから低減される。
2.各束の中心光線は、網膜上の同一の点へ鮮明に集束される。
ピクセル及びアパーチャのピッチ:0.005mm〜0.200mm
ピクセル及びアパーチャの直径(サイズ):0.005mm〜0.100mm
を有することが可能である。
この第一最適化アプローチの目標は、設計目的関数、
この第二最適化アプローチの目標は、設計目的関数、
b=B/(各光線束により照射された全瞳孔面積のnx割合)
であり、同一の輝度を生じる。図11で、2次元パターンで、n=3の例示目的のために、他の事例で、n>10、輝度を増す。
1.中心光線QM1910を含む任意の光線束1908について、光線束1908が衝突する眼の正面1902(図19でのように、今回の用途では、平面であるとみなされる)上の面積(GG’)を計算する。これは、図12の内容で前述されたような、マスク層1604から300mmで眼1902の表面上にMでアパーチャ1604の投影面積である。
2.主光線QM1910が眼(直径pの)の瞳孔アパーチャ内の眼1902の正面上に衝突する場合に、つぎに眼1902の正面での屈折後に主光線QM1910が網膜1904に当たる(600mmの距離でオブジェクトについての焦点面である図19でのような平面であると今回の用途では、みなされる)点H1918を求める。この計算を近軸光線追跡に基づき実行する。
3.H1918に最も近い現在のフレームの点Z1912を決定し、この光線束QM1910〜Z1912を割り当てる。
4.i(Q)×t(M)×面積GG’として、この光線束1910の輝度を計算し、i(Q)は、ソース点Q(均一と仮定される)に放射された光の強度であり、t(M)は、Mでアパーチャを介する透過率である。
5.すべての光線束QMについて計算1.〜4.を実行し、Qは、ソース面内のすべての点(またはこの簡略化されたオプションを考慮する場合に、中心窩視野の制限内のすべての点)に及び、Mは、マスク層の対応する部分上のすべてのアパーチャに及び、明らかに、t(M)>0が必要であるアパーチャのみを考慮する。これを行う際に、
a.各点Zと関連したすべての光線束の輝度の数値合計を蓄積する
b.各点Zと関連した投影された光線束により衝突される面積GG’の集合論的合併を蓄積する
6.5.で記述された計算ループの最後に、
a.E(Z)は、各点Zと関連したすべての光線束の輝度の合計である
b.各点Zと関連した、投影された光線束により衝突される面積GG’の合併の面積をA(Z)とし、つぎに
e(Z)=A(Z)/(πp2)
で、pは、瞳孔径である(上記の実施例で5mmであるとされている)。
7.現在の視線方向及び両眼輻輳について左眼及び右眼の両方のための計算1.〜7.を実行する(図6参照)。これは、eR(Z),eL(Z),ER(Z)、及びEL(Z)を与えられる。
1.単一点の事例についてのコスト関数を最適化する結果は、データ・メモリ206上に格納されることができる。プロセッサ202は、大幅に輻輳を増加させ、計算を加速させることができる、開始点としてこれらの値にアクセスすることが可能である。
2.プロセッサ202は、鋭角視野で主要である、「中心窩視野」の領域に計算を集中させることができる。これは、300mmでディスプレイを見るときに、約5mmx5mmの領域に対応することができる。12/mm(300dpi)のピクセル及びアパーチャ・ピッチを仮定すると、これは、どの時点(すなわち、任意の特定の視線方向について)でも主要である潜在的に7200個の最適化変数(2層について)を与える。中心窩視野のこの領域外に、相当のブラーを許容することができるため、最適ではない解は、許容可能である。視線方向が変化する場合に、プロセッサ202は、中心窩視野のこの領域を変更する。
3.概説された第一最適化アプローチは、事前に計算され、データ・メモリ206に格納され、オフラインで行われることが可能であるため、リアルタイムでデバイスのプロセッサ202により行われない。
4.プロセッサ202は、ある程度の近似に最適化計算の精度を限定することができる。たとえば、プロセッサ202は、古い解、及び新規の解の間での変更が所定の閾値を下回るまで、反復してよりよい解を求める。この実施例で、所定の閾値は、比較的高い可能性がある。他の実施例で、ディスプレイのフレーム・レートに基づき一定時間後に最適化を簡単に停止することが可能である。
1.必要な計算の多くを事前に実行し、この結果をデータとして、またはプログラムされたプロセッサ・インストラクションとしてデバイス内の内部に格納することができながら、計算上比較的簡単である。重要なことには、他の画像処理アプローチとは異なり、この技術は、各フレームの特定の画像コンテンツの任意の知識に依存しない。適切なプロセッサで、すべての計算は、リアルタイムで実行されることが可能である。
2.このアプローチは、ヒト視覚系の基本的な光及び運動挙動、特に視力についての中心窩領域の決定的な重要性、拡張された視野の知覚を視聴者に与える眼の動き、及び適当な老視者の両眼輻輳プロファイルを考慮に入れる。
3.リアルタイムで視聴者の両眼の視線方向、視聴者の両眼の状態、及び瞳孔径を正確に追跡するアイ・トラッキング・ハードウェア及びソフトウェアの使用。これは、多層ディスプレイのさまざまなピクセル状態を変更することで、デバイス上に表示される画像を動的に更新するために使用される。
4.それは、所望の全体画像の部分を各表現する、複数の部分画像を使用する。これらの部分画像は、インターレース方式で高速に連続してユーザへ提示される。これを適切なタイミングで行う場合に、つぎに残像、及びヒト視覚系のフリッカー応答は、単一画像の視聴者の知覚をもたらす。
・61.666Dの球面屈折度数を有する角膜面、
・22.222mmの軸上の角膜網膜間距離P0Q0、
・n’=4/3の内部屈折率、
・角膜面内にある瞳孔、
を有する。
は、この方向2008沿いに600mmであり、
を通る水平破線2006は、網膜へ共役な平面を表現する。
図21a及び21bは、2層の視覚ディスプレイを示す。それは、光を放射する規則的なピクセル・アレイであるソース層2102からなる。これらのピクセルは、LEDディスプレイ内のような、それら自体の能力で光源であることができ、代替に、それらは、バックライトを含むLCDディスプレイ内のように、このソース層の背後にある別の照明源から制御された光量を透過させる、制御された透過素子であり得る。より一般的に、それらは、強度範囲にわたり光を放射するために個別に制御されることが可能である規則的なピクセル・アレイである。さらに、それぞれのこれらのピクセルは、再度それぞれ個別に制御可能な、少数のサブピクセルを含むことができる。たとえば、これらのサブピクセルは、異なる色の光を放射し、いくつかのRGBの3色パターンでピクセル内に配列されることができる。
以下の実施例は、ディスプレイ面に垂直な視線方向を有する、上記の多層ディスプレイの単眼視の事例に関係する。 例示的なユーザが600mmの近点で老視者であることが想起され、図23は、眼2304から300mmの距離で配置されたディスプレイ2302を示す。これは、望ましい読書距離であり、このユーザにとって、屈折誤差1.66Dに対応する。マスク層なしで、または完全に開いたマスク層ありで視聴する場合に、ポイント・ソース・ピクセルは、多くの状況でディスプレイを使用するユーザの能力を制限する、70μmの近似半径のこのような視聴者の中心窩上のブラー・スポットに導く(これは、図23のQを介して網膜へ共役な平面に投影された瞳孔に対応する)。
1.各ソース・ピクセルについて、そのアパーチャを通過するそのソース・ピクセルからの光も、瞳孔を通過するような、限定された数のアパーチャのみがある。これは、そのピクセル、及びオフセット・アパーチャを通る主光線が瞳孔を通過するように、ピクセルに関連するアパーチャ・オフセット・セットによる近似方式で簡便に記述されることが可能である。これらのアパーチャは、そのソース・ピクセル(及び所与の眼構成)について実現可能なアパーチャと言われる。
2.異なるソース・ピクセルについて実現可能なアパーチャ・セット間でオーバーラップがない、またはより一般的に、比較的オーバーラップが少ない、これらの例外は、
・最適化技術(後に考察される)により処理されることが可能である、または
・間もなく説明される構成に影響を与えない、または
・記述される構成で無視され、この無視が性能を低下させる可能性があることを受け入れる。
つぎに、図28で描写されるような、単眼斜めの視線方向の事例を考察する。典型的に、傾斜角αは、小さく、α≦10°である。この事例で、最も顕著な効果は、ここで上記の構成のオフセットnが図29で示されるような視線方向に対応するオフセットn0に関連して、
1.視線方向
2.視聴されている拡張されたオブジェクト上の眼の固視点
3.瞳孔の中心位置
4.瞳孔径
をリアルタイムで正確に測定することが可能である。プロセッサ202は、このアイ・トラッキング技術からのこれらの結果を利用して、上記の計算に必要なパラメータを決定する。
近見視力で、ユーザの両眼の視線方向は、共通点上に輻輳近点を通常輻輳する。輻輳について調節刺激から発生すると考えられる、近見視力の輻輳及び調節間で観測された密接な相関があるため、輻輳近点は、近見焦点に通常近い。このような、調節可能な輻輳は、ユーザがそれに気付かない、無意識である。自発的な輻輳は、一部のユーザに可能であり得るが、それは、通常かなりの集中力を必要とするため、退屈かつ不自然かつ不快である可能性がある。
先に述べたように、実現可能なアパーチャ・セットの非オーバーラップに関連する上記の一般的な構成様式の背後のいくつかの仮定は、必ずしも成り立たない可能性がある。この仮定が成立しない場合に、つぎにそれは、異なるアパーチャを通過する主光線により共役面上の空間的に別の2点で1つのソース・ピクセルを結像するときの事例につながることができる。一方で、この状況を許容することができ、この事例で、上記の構成を無関係に実行し、性能のいくらかの低下をもたらす。他方で、この状況が発生する場合に、それは、その影響を最小にしようとする、追加の計算最適化手順により処理されることができる。この意味で、プロセッサ202は、一方のサブセットの投影のオーバーラップを、共役面上の任意の他方のサブセットの投影で最小にする。この最小化は、構成技術が最小のオーバーラップ、若しくはオーバーラップがないことにつながる仮定で、制御信号を構成することを備えることができる、または最小のオーバーラップに最終的に到達するように制御信号を反復して最適化することを備えることができる。
ζk,k=1,...,Nを、網膜への共役面上の1セットの点とする。典型的に、1セットのζkは、各ζkが単一の網膜の視細胞、またはおそらく少数の隣接する視細胞の中心に対応する、点の長方形のアレイである。
1.実際に、実行される3つの(独立した)最適化があり、各ピクセル空間位置と関連した各3色の成分R、G、Bについてのものである。
2.この計算は、リアルタイムで、潜在的に経時的に変化している標的画像について実行できる。
3.この計算は、視聴者の変化する視線方向についてリアルタイムで実行できる。
と関連した行列の最も重要な特異ベクトルを考察することで、行われることが可能である。ふたたび、これをオフラインで実行することができ、つぎのリアルタイム処理のためにモバイル・デバイスのデータ・ストア206に格納される結果に関して1回のみそれを行うことが可能である。これは、問題の次元を減らすが、それは、計算集約的な計算を依然として構成していることができる。モバイル、または他の表示装置上のプロセッサ202は、効率的なこれらの計算のために、上記で説明された一部、またはすべての近似技術を使用することもできる。
Claims (22)
- 電子機器であって、
グラフィカル・ユーザ・インタフェースをユーザへ表示するディスプレイ、
前記ユーザの視力障害を補うように前記グラフィカル・ユーザ・インタフェースを修正する要求を受信する入力ポート、及び
1枚以上の光学レンズの光学効果を再現することで、前記ユーザの視力障害を補うように前記グラフィカル・ユーザ・インタフェースを修正するプロセッサ、
を備える、前記電子機器。 - 1枚以上の光学レンズの前記光学効果は、1枚以上の処方レンズの前記光学効果である、請求項1の前記機器。
- 前記プロセッサは、前記ユーザが複数の候補の光学レンズのうちの1枚以上を選択することを可能にするディスプレイを生成し、前記光学効果は、前記選択された1枚以上の候補の光学レンズの前記光学効果である、請求項1または2の前記機器。
- 前記プロセッサは、前記ユーザがユーザ・クレデンシャルを提供し、前記ユーザと関連し、前記1枚以上の光学レンズと関連したユーザ・アカウントにアクセスすることを可能にするディスプレイを生成する、先行請求項のいずれか1項の前記機器。
- 前記プロセッサは、前記電子機器にインストールされたオペレーティング・システムの1つ以上の機能を実行し、前記グラフィカル・ユーザ・インタフェースを修正する、先行請求項のいずれか1項の前記機器。
- 前記ディスプレイは、複数のアクティブ光源を含むソース層、及び複数の透過制御素子を含む1層以上のマスク層を備える、先行請求項のいずれか1項の前記機器。
- 前記プロセッサは、1枚以上の光学レンズの前記光学効果を再現するように前記ソース層、及び前記1層以上のマスク層を制御する制御信号を決定する、請求項6の前記機器。
- ユーザへのディスプレイにグラフィカル・ユーザ・インタフェースを表示する方法であって、
前記ユーザの視力障害を補うように前記グラフィカル・ユーザ・インタフェースを修正する要求を受信し、
1枚以上の光学レンズの光学効果を再現することで、前記ユーザの視力障害を補うように前記グラフィカル・ユーザ・インタフェースを修正する、
ことを備える、前記方法。 - 前記グラフィカル・ユーザ・インタフェースを修正することは、1枚以上の光学レンズの前記光学効果を再現するように前記ディスプレイのソース層、及び前記ディスプレイの1層以上のマスク層を制御する制御信号を決定することを備える、請求項8の前記方法。
- 前記ユーザの視力測定を示すセンサ・データを受信することをさらに備え、前記制御信号を決定することは、前記視力測定により識別された前記ディスプレイの領域に関して1枚以上の光学レンズの前記光学効果を再現するように前記制御信号を決定することを備える、請求項9の前記方法。
- 前記制御信号を決定することは、前記制御信号に基づくコスト関数を最適化することを備える、請求項9または10の前記方法。
- 前記コスト関数は、前記ユーザにより知覚されたブラー量を表現する、請求項11の前記方法。
- 前記コスト関数は、瞳孔焦点誤差に基づく、請求項11または12の前記方法。
- 前記コスト関数を最適化することは、前記ユーザの前記視線方向と関連した事前に計算されたデータを受信することを備える、請求項11〜13のいずれか1項の前記方法。
- 前記コスト関数を最適化することは、線形問題を解くことを備え、
前記ユーザの前記視線方向と関連した事前に計算されたデータを受信することは、前記ユーザの前記視線方向についての前記線形問題の特異値分解を示すデータを受信することを備える、請求項14の前記方法。 - 前記制御信号を決定することは、前記インタフェースの各複数のサブセットのピクセルについて前記制御信号を決定することを備える、請求項9〜15のいずれか1項の前記方法。
- 前記制御信号を決定することは、前記ソース層、及び前記マスク層の前記複数のサブセットのピクセルが連続表示されるように前記制御信号を決定することを備える、請求項16の前記方法。
- 所定のパターン内で前記ソース層、及び前記マスク層のピクセルは、前記同一のサブセットに属する、請求項16または17の前記方法。
- 前記制御信号を決定することは、前記所定のパターンに基づくコスト関数を最適化することを備える、請求項18の前記方法。
- 前記制御信号を決定することは、
前記網膜への共役面上にソース・ピクセルの投影を決定し、
前記共役面上で任意の一方のサブセットの前記投影と、他方のサブセットの前記投影のオーバーラップを最小限にする、
ことを備える、請求項17〜19のいずれか1項の前記方法。 - コンピュータにインストールされるときに、前記コンピュータに請求項8〜20のいずれか1項の前記方法を実行させる、ソフトウェア。
- 前記ソフトウェアは、前記コンピュータにインストールされたオペレーティング・システム内に統合される、請求項21の前記ソフトウェア。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AUPCT/AU2014/050436 | 2014-12-18 | ||
PCT/AU2014/050436 WO2016094928A1 (en) | 2014-12-18 | 2014-12-18 | Replicating effects of optical lenses |
PCT/AU2015/050816 WO2016094963A1 (en) | 2014-12-18 | 2015-12-18 | Replicating effects of optical lenses |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018511882A true JP2018511882A (ja) | 2018-04-26 |
JP6779904B2 JP6779904B2 (ja) | 2020-11-04 |
Family
ID=56125427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017550964A Active JP6779904B2 (ja) | 2014-12-18 | 2015-12-18 | 電子機器、方法、及びソフトウェア |
Country Status (7)
Country | Link |
---|---|
US (1) | US10679518B2 (ja) |
EP (1) | EP3235231B8 (ja) |
JP (1) | JP6779904B2 (ja) |
KR (1) | KR102428196B1 (ja) |
CN (1) | CN107113366B (ja) |
AU (1) | AU2015367225B2 (ja) |
WO (2) | WO2016094928A1 (ja) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2901477C (en) | 2015-08-25 | 2023-07-18 | Evolution Optiks Limited | Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display |
US10460704B2 (en) | 2016-04-01 | 2019-10-29 | Movidius Limited | Systems and methods for head-mounted display adapted to human visual mechanism |
US10949947B2 (en) | 2017-12-29 | 2021-03-16 | Intel Corporation | Foveated image rendering for head-mounted display devices |
US11693239B2 (en) | 2018-03-09 | 2023-07-04 | Evolution Optiks Limited | Vision correction system and method, light field display and light field shaping layer and alignment therefor |
US11353699B2 (en) | 2018-03-09 | 2022-06-07 | Evolution Optiks Limited | Vision correction system and method, light field display and light field shaping layer and alignment therefor |
CA3021636A1 (en) | 2018-10-22 | 2020-04-22 | Evolution Optiks Limited | Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same |
WO2019171342A1 (en) * | 2018-03-09 | 2019-09-12 | Evolution Optiks Limited | Vision correction system and method, light field display and microlens array therefor |
US10860099B2 (en) | 2018-10-22 | 2020-12-08 | Evolution Optiks Limited | Light field display, adjusted pixel rendering method therefor, and adjusted vision perception system and method using same addressing astigmatism or similar conditions |
US11327563B2 (en) | 2018-10-22 | 2022-05-10 | Evolution Optiks Limited | Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same |
US10936064B2 (en) | 2018-10-22 | 2021-03-02 | Evolution Optiks Limited | Light field display, adjusted pixel rendering method therefor, and adjusted vision perception system and method using same addressing astigmatism or similar conditions |
US11966507B2 (en) | 2018-10-22 | 2024-04-23 | Evolution Optiks Limited | Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same |
US10636116B1 (en) | 2018-10-22 | 2020-04-28 | Evolution Optiks Limited | Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same |
US10761604B2 (en) | 2018-10-22 | 2020-09-01 | Evolution Optiks Limited | Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same |
US11500460B2 (en) | 2018-10-22 | 2022-11-15 | Evolution Optiks Limited | Light field device, optical aberration compensation or simulation rendering |
US11789531B2 (en) | 2019-01-28 | 2023-10-17 | Evolution Optiks Limited | Light field vision-based testing device, system and method |
US11500461B2 (en) | 2019-11-01 | 2022-11-15 | Evolution Optiks Limited | Light field vision-based testing device, system and method |
CA3134744A1 (en) | 2019-04-23 | 2020-10-29 | Evolution Optiks Limited | Digital display device comprising a complementary light field display or display portion, and vision correction system and method using same |
CA3134734A1 (en) * | 2019-05-09 | 2020-11-12 | Evolution Optiks Limited | Corrective light field display profile management, communication and integration system and method |
WO2021038422A2 (en) | 2019-08-26 | 2021-03-04 | Evolution Optiks Limited | Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same |
US12112665B2 (en) | 2019-11-01 | 2024-10-08 | Evolution Optiks Limited | Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same |
US11487361B1 (en) | 2019-11-01 | 2022-11-01 | Evolution Optiks Limited | Light field device and vision testing system using same |
US11823598B2 (en) | 2019-11-01 | 2023-11-21 | Evolution Optiks Limited | Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same |
GB2595707B (en) * | 2020-06-04 | 2023-02-15 | Sony Interactive Entertainment Inc | Gaze tracking apparatus and systems |
US11467320B2 (en) | 2020-12-24 | 2022-10-11 | Microsoft Technology Licensing, Llc | Head mounted display device having dynamically addressable shutter array |
CN113132642B (zh) * | 2021-04-26 | 2023-09-26 | 维沃移动通信有限公司 | 图像显示的方法及装置、电子设备 |
US11726734B2 (en) * | 2022-01-13 | 2023-08-15 | Motorola Mobility Llc | Configuring an external presentation device based on an impairment of a user |
US12131009B2 (en) | 2022-01-13 | 2024-10-29 | Motorola Mobility Llc | Configuring an external presentation device based on user handedness |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6674436B1 (en) | 1999-02-01 | 2004-01-06 | Microsoft Corporation | Methods and apparatus for improving the quality of displayed images through the use of display device and display condition information |
WO2006029048A2 (en) * | 2004-09-03 | 2006-03-16 | Panaseca, Inc. | Vision center kiosk |
US7873213B2 (en) | 2006-09-26 | 2011-01-18 | Sharp Laboratories Of America, Inc. | Systems and methods for color-deficient image enhancement |
ES2686922T3 (es) * | 2010-04-22 | 2018-10-22 | Massachusetts Institute Of Technology | Herramienta cercana al ojo para la evaluación de la refracción |
US9852496B2 (en) * | 2010-06-11 | 2017-12-26 | Back In Focus | Systems and methods for rendering a display to compensate for a viewer's visual impairment |
US20120001932A1 (en) | 2010-07-02 | 2012-01-05 | Burnett William R | Systems and methods for assisting visually-impaired users to view visual content |
US20120096380A1 (en) * | 2010-10-13 | 2012-04-19 | Wagner David L | Color Selection Graphical User Interface |
JP2012190184A (ja) * | 2011-03-09 | 2012-10-04 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US8605082B2 (en) * | 2011-04-18 | 2013-12-10 | Brian K. Buchheit | Rendering adjustments to autocompensate for users with ocular abnormalities |
JP6000546B2 (ja) | 2011-06-30 | 2016-09-28 | 浜松ホトニクス株式会社 | 顕微観察用光学装置 |
US9064447B2 (en) | 2011-12-13 | 2015-06-23 | Vmware, Inc. | Methods and devices for filtering and displaying data |
KR101388697B1 (ko) * | 2011-12-13 | 2014-04-25 | 삼성전기주식회사 | 옵티컬 네비게이션 모듈 및 옵티컬 네비게이션 모듈용 렌즈 |
BR102012010884B1 (pt) * | 2012-05-08 | 2021-12-07 | Universidade Federal Do Rio Grande Do Sul | Dispositivos de exibição configuráveis para compensar aberrações visuais |
US9494797B2 (en) * | 2012-07-02 | 2016-11-15 | Nvidia Corporation | Near-eye parallax barrier displays |
KR20140019545A (ko) * | 2012-08-06 | 2014-02-17 | 엘지전자 주식회사 | 영상 출력 장치 |
US8976323B2 (en) * | 2013-01-04 | 2015-03-10 | Disney Enterprises, Inc. | Switching dual layer display with independent layer content and a dynamic mask |
US9406253B2 (en) * | 2013-03-14 | 2016-08-02 | Broadcom Corporation | Vision corrective display |
TW201513085A (zh) * | 2013-09-25 | 2015-04-01 | Chunghwa Picture Tubes Ltd | 用以降低液晶顯示系統功耗的方法 |
-
2014
- 2014-12-18 WO PCT/AU2014/050436 patent/WO2016094928A1/en active Application Filing
-
2015
- 2015-12-18 US US15/536,638 patent/US10679518B2/en active Active
- 2015-12-18 EP EP15868718.6A patent/EP3235231B8/en active Active
- 2015-12-18 JP JP2017550964A patent/JP6779904B2/ja active Active
- 2015-12-18 WO PCT/AU2015/050816 patent/WO2016094963A1/en active Application Filing
- 2015-12-18 AU AU2015367225A patent/AU2015367225B2/en active Active
- 2015-12-18 KR KR1020177018012A patent/KR102428196B1/ko active IP Right Grant
- 2015-12-18 CN CN201580072941.9A patent/CN107113366B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
AU2015367225B2 (en) | 2020-06-25 |
EP3235231A1 (en) | 2017-10-25 |
JP6779904B2 (ja) | 2020-11-04 |
EP3235231B1 (en) | 2023-06-21 |
CN107113366B (zh) | 2020-04-03 |
EP3235231A4 (en) | 2018-05-23 |
US20170365189A1 (en) | 2017-12-21 |
AU2015367225A1 (en) | 2017-06-29 |
EP3235231B8 (en) | 2023-07-26 |
WO2016094963A1 (en) | 2016-06-23 |
KR102428196B1 (ko) | 2022-08-02 |
CN107113366A (zh) | 2017-08-29 |
US10679518B2 (en) | 2020-06-09 |
KR20170097068A (ko) | 2017-08-25 |
WO2016094928A1 (en) | 2016-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6779904B2 (ja) | 電子機器、方法、及びソフトウェア | |
US10271042B2 (en) | Calibration of a head mounted eye tracking system | |
US20230341693A1 (en) | Virtual reality and augmented reality systems with dynamic vision correction | |
US10712563B2 (en) | Methods for near-to-eye displays exploiting optical focus and depth information extraction | |
CN114599266A (zh) | 光场基于视力的测试设备、用于其的经调整的像素渲染方法、以及使用其的在线基于视力的测试管理系统和方法 | |
US11619995B2 (en) | Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same | |
US11966507B2 (en) | Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same | |
US11927733B2 (en) | Image compensation device for image for augmented reality | |
US20230360571A1 (en) | Vision correction of screen images | |
Wetzstein et al. | State of the art in perceptual VR displays | |
US11487361B1 (en) | Light field device and vision testing system using same | |
KR20210072348A (ko) | 사실적인 가상 현실을 위한 동적 포비티드 렌더링 방법 | |
CA3209939A1 (en) | Light field device and vision-based testing system using same | |
CA3186253A1 (en) | Light field display for rendering perception-adjusted content, and dynamic light field shaping system and layer therefor | |
US20230104168A1 (en) | Light field device and vision testing system using same | |
Padmanaban et al. | 4‐3: Invited Paper: Gaze‐contingent Adaptive Focus Near‐eye Displays | |
US12141346B2 (en) | Vision correction display device, eye-tracking system and method to compensate for visual impairments | |
KR20230087597A (ko) | 시력 교정 디스플레이 디바이스, 눈 추적 시스템 및 시각 장애들을 보상하기 위한 방법 | |
CN114615921A (zh) | 光场显示器、用于其的经调整的像素渲染方法、以及解决散光或类似状况的使用其的经调整的视力感知系统和方法 | |
CA3022719A1 (en) | Vision correction system and method, light field display and microlens array therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170828 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20171005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20171005 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191126 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200929 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201014 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6779904 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |