[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2022151109A - Dimming device - Google Patents

Dimming device Download PDF

Info

Publication number
JP2022151109A
JP2022151109A JP2021054025A JP2021054025A JP2022151109A JP 2022151109 A JP2022151109 A JP 2022151109A JP 2021054025 A JP2021054025 A JP 2021054025A JP 2021054025 A JP2021054025 A JP 2021054025A JP 2022151109 A JP2022151109 A JP 2022151109A
Authority
JP
Japan
Prior art keywords
liquid crystal
crystal display
light
transmittance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021054025A
Other languages
Japanese (ja)
Inventor
瀟丹 胡
Xiaodan Hu
直也 磯山
Naoya Isoyama
信親 酒田
Nobuchika Sakata
清 清川
Kiyoshi Kiyokawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nara Institute of Science and Technology NUC
Original Assignee
Nara Institute of Science and Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nara Institute of Science and Technology NUC filed Critical Nara Institute of Science and Technology NUC
Priority to JP2021054025A priority Critical patent/JP2022151109A/en
Publication of JP2022151109A publication Critical patent/JP2022151109A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Eyeglasses (AREA)

Abstract

To provide a dimming device which suppresses darkening in a low luminance part while adjusting a high luminance part to be dark and prevents inversion of a brightness and darkness relation for each portion.SOLUTION: A dimming device comprises: an image sensor 20; image correction means 21; a liquid crystal display 31; a liquid crystal display 32; parallax calibration means 40; transmittance control means 70; and transmittance control means 71. The parallax calibration means 40 comprises: a distance sensor 50; and a pupil sensor 60. The image sensor 20 can capture an image similar to the external field that eyeballs 11 of a user observe through the liquid crystal display 31 by imaging through the liquid crystal display 32. The parallax calibration means 40 calculates a parallax between the eyeballs of the user and the image sensor 20 to calibrate the image displayed on the liquid crystal display 31 on the basis of the calculated parallax. The distance sensor 50 detects a distance between an object 8 and the liquid crystal display 31, and the pupil sensor 60 detects a pupil position of the eyeballs 11 of the user.SELECTED DRAWING: Figure 1

Description

本発明は、視覚過敏症のための適応的な光量調整が可能なスマートサングラスに関するものである。 TECHNICAL FIELD The present invention relates to smart sunglasses capable of adaptive light intensity adjustment for people with visual hypersensitivity.

自閉症スペクトラム障害(Autism Spectrum Disorder:ASD)とは、対人関係が苦手、強いこだわりといった特徴をもつ発達障害の一つであり、感覚過敏であるといった非定型な特徴を有することが知られている。そして、その中でも視覚過敏、すなわちものが眩しく見えるといった特徴が顕著に見られる。
そこで視覚過敏の症状を持つ人の多くは、日常的にサングラスをかけて生活を行っている。しかしながら、一般的なサングラスは、明るい所では効果的であるが、暗い所では暗くなりすぎるため、外さなければならず、煩雑であるという問題がある。
Autism Spectrum Disorder (ASD) is one of the developmental disorders characterized by poor interpersonal relationships and strong obsessions, and is known to have atypical characteristics such as hypersensitivity. there is Among them, hypersensitivity of vision, that is, the feature of seeing things in a bright light is conspicuous.
Therefore, many people with symptoms of visual hypersensitivity wear sunglasses on a daily basis. However, general sunglasses are effective in bright places, but they become too dark in dark places, so they have to be removed, which is a problem.

そこで、光センサに応じてレンズ全体の透過率を変更することのできる自動調光メガネが知られている(非特許文献1を参照)。非特許文献1の自動調光メガネによれば、明るい所では防眩効果が得られ、暗い所では防眩効果が抑えられることになる。
しかしながら、非特許文献1の自動調光メガネでは、自動での調光が一様に行われるため、視界中において比較的暗い箇所についても防眩効果が発揮されてしまい、見づらくなってしまうという問題がある。
Therefore, automatic dimming glasses are known that can change the transmittance of the entire lens according to the light sensor (see Non-Patent Document 1). According to the automatic dimming glasses of Non-Patent Document 1, an anti-glare effect is obtained in a bright place, and the anti-glare effect is suppressed in a dark place.
However, with the auto-dimming glasses of Non-Patent Document 1, since the auto-dimming is performed uniformly, the anti-glare effect is exhibited even in relatively dark places in the field of vision, making it difficult to see. There is

調光を一様に行うのではなく、部分的に行うものとして、透光率の調整が可能な液晶パネルと撮影装置と透光率制御回路とを備え、撮影装置で撮影された情景内に出現する高輝度部分を抽出し、透光率制御回路により液晶パネル上で高輝度部分の光路と交叉する箇所の透光率を局所的に減少させる部分減光装置が知られている(特許文献1を参照)。特許文献1の部分減光装置によれば、夜間やトンネル内で、車両運転者などの利用者の眩惑を防止できるとする。
しかしながら、特許文献1の部分減光装置は、車両運転者などの利用者を想定した構造であるため、対向車のヘッドライトによる眩惑などを防止すべく、液晶パネル上の高輝度部分の透光率を局所的に減少させることはできるが、高輝度部分とそれ以外の部分との輝度のバランスを保つことができず、本来であれば高輝度である部分が、低輝度部分よりも低輝度となってしまい、輝度の逆転現象が起きてしまうという問題がある。
自閉症スペクトラム障害などにより、視覚過敏の症状を持つ人にとっては、明るい部分を暗くすればよいのではなく、明所と暗所のバランスが正常に維持される必要がある。
It is equipped with a liquid crystal panel that can adjust the light transmittance, a photographing device, and a light transmittance control circuit, so that the light can be adjusted not uniformly, but in the scene photographed by the photographing device. There is known a partial dimming device that extracts an appearing high-brightness portion and locally reduces the light transmittance at the location where the light path of the high-brightness portion intersects on the liquid crystal panel by a light transmittance control circuit (Patent Document 1). According to the partial dimming device of Patent Literature 1, it is possible to prevent users such as vehicle drivers from being dazzled at night or in tunnels.
However, since the partial dimming device of Patent Document 1 assumes a user such as a vehicle driver, in order to prevent dazzle from the headlights of oncoming vehicles, the light transmission of the high luminance portion on the liquid crystal panel Although the ratio can be locally reduced, it is not possible to maintain the brightness balance between high-brightness areas and other areas, and areas that are originally high-brightness appear to be lower in brightness than low-brightness areas. As a result, there is a problem that a luminance reversal phenomenon occurs.
For people with symptoms of visual hypersensitivity due to autism spectrum disorders, etc., it is necessary to maintain a normal balance between bright and dark areas, rather than simply darkening bright areas.

また、眼球又は光学機器の視野の中の光線強度を減少させる装置が知られている(特許文献2を参照)。特許文献2の光線強度減少装置は、電源、光センサ、透光性のレンズ、ユーザ制御装置及び処理回路を備え、処理回路が、発生された強度信号を処理し、その処理結果に応じて、シャッタ要素の中の特定のシャッタ要素を暗くするものであり、これによれば複数の光源から出る光線の強度を減少させることができるとする。
しかしながら、特許文献2の光線強度減少装置についても、明るい部分と暗い部分のバランスが正常に維持されて表示されるものではないため、視覚過敏の症状を持つ人が日常生活において使用する装置としては使いづらいという問題がある。
Also known is a device for reducing the light intensity in the field of view of the eye or optical instrument (see US Pat. The beam intensity reduction device of Patent Document 2 includes a power supply, a light sensor, a translucent lens, a user control device and a processing circuit, the processing circuit processes the generated intensity signal and, depending on the processing result, Suppose that a particular shutter element among the shutter elements is darkened so that the intensity of the rays emitted by the multiple light sources can be reduced.
However, even the light intensity reduction device of Patent Document 2 does not maintain a normal balance between bright and dark parts, so it is not suitable as a device for people with visual hypersensitivity to use in their daily lives. The problem is that it is difficult to use.

特開平8-122736号公報JP-A-8-122736 特表平11-507444号公報Japanese Patent Publication No. 11-507444

Ctrl One smart glasses auto tint to suit lighting conditions Dario Borghino July 02, 2015(https://newatlas.com/e-tint-ctrl-one-glasses/38259/)Ctrl One smart glasses auto tint to suit lighting conditions Dario Borghino July 02, 2015 (https://newatlas.com/e-tint-ctrl-one-glasses/38259/)

上述のように、視界中の高輝度部分について液晶パネルの透光率を調整するといった技術は従来から存在した。しかしながら、視覚過敏症のユーザは、高い輝度のものを視覚認知することが難しく、従来技術はこれらを克服して外出機会を増やすという課題を解決するものではない。
視覚過敏症のユーザにとって使いやすい装置、すなわち見やすい装置とするためには、高輝度部分は暗くして快適に見られるようにし、低輝度部分は暗くならず、ほぼそのままの状態で維持され、かつ、部分毎の輝度の高低関係が逆転しないことが重要である。
かかる状況に鑑みて、本発明は、高輝度部分を暗く調整しながらも、低輝度部分は暗くなり難く、かつ、部分毎の明暗関係が逆転しない調光装置を提供することを目的とする。
As described above, there has been a conventional technology for adjusting the light transmittance of a liquid crystal panel for a high-brightness portion in the field of view. However, users with visual hypersensitivity have difficulty in visually recognizing objects with high brightness, and the conventional technology does not solve the problem of overcoming these problems and increasing opportunities to go out.
In order to make the device easy to use for users with visual hypersensitivity, that is, to make the device easy to see, the high luminance portions are darkened so that they can be viewed comfortably, and the low luminance portions are not darkened and are maintained almost as they are, and , it is important that the high-low relationship of the brightness for each part is not reversed.
SUMMARY OF THE INVENTION In view of such circumstances, it is an object of the present invention to provide a light control device that darkens a high-luminance part while making it difficult for a low-luminance part to darken, and does not reverse the brightness-darkness relationship of each part.

上記課題を解決すべく、本発明の調光装置は、外界からユーザの眼球に入射する光量を調節する装置であって、ユーザの眼球の前方に配置される透過型の第1液晶ディスプレイと、ユーザの眼球の前方に位置する外界を撮影するイメージセンサと、イメージセンサの画素毎の入射光量に基づいて、第1液晶ディスプレイの画素毎の明暗関係が逆転せず、入射光量に応じて光量が減少するように、画素毎の透過率を制御する透過率制御手段を備える。 In order to solve the above problems, a light control device of the present invention is a device for adjusting the amount of light incident on a user's eyeball from the outside world, and is a transmissive first liquid crystal display arranged in front of the user's eyeball, Based on the image sensor that captures the external world located in front of the user's eyeball and the amount of incident light for each pixel of the image sensor, the light-dark relationship for each pixel of the first liquid crystal display is not reversed, and the amount of light varies according to the amount of incident light. Transmittance control means are provided for controlling the transmittance of each pixel so as to decrease.

透過率制御手段を備えることにより、イメージセンサの画素毎の入射光量に基づいて、第1液晶ディスプレイの画素毎の透過率を制御することが可能である。画素毎の明暗関係が逆転しないとは、透過率の制御によって明所と暗所の関係性が逆転しないことを意味している。画素毎の明暗関係が逆転しないことにより、より自然な表示が可能となり、視覚過敏症などを持つユーザが日常的に使用しても疲れにくく、快適に利用できる。
入射光量に応じて光量が減少するとは、必ずしも入射光量に比例して光量を減少するものに限定されず、例えば、最も明るい箇所については最も高い割合で光量を減少させ、やや明るい箇所についてはやや光量を減少させ、やや暗い箇所と暗い箇所については光量を減少しないといった制御が可能である。
By providing the transmittance control means, it is possible to control the transmittance of each pixel of the first liquid crystal display based on the amount of incident light of each pixel of the image sensor. The fact that the brightness/darkness relationship for each pixel is not reversed means that the relationship between bright and dark places is not reversed by controlling the transmittance. Since the light-dark relationship of each pixel is not reversed, a more natural display becomes possible, and users with visual hypersensitivity or the like can use it comfortably without getting tired even if they use it on a daily basis.
Decreasing the amount of light according to the amount of incident light is not necessarily limited to reducing the amount of light in proportion to the amount of incident light. It is possible to control the amount of light to be reduced, and not to reduce the amount of light for slightly dark areas and dark areas.

本発明の調光装置において、透過率制御手段は、イメージセンサの画素毎の入射光量の内、最低光量もしくは所定閾値以下の光量の画素に対応する第1液晶ディスプレイの画素の透過率は不変または高くし、最大光量もしくは所定閾値以上の光量の画素に対応する第1液晶ディスプレイの画素の透過率は低くすることが好ましい。
イメージセンサの画素毎の入射光量の内、最低光量もしくは所定閾値以下の光量の画素に対応する第1液晶ディスプレイの画素の透過率について、不変または高くすることにより、暗い箇所についてより暗くなってしまうことを防止でき、視認性が向上する。また、最大光量もしくは所定閾値以上の光量の画素に対応する第1液晶ディスプレイの画素の透過率について、低くすることにより、明るい箇所について効果的に遮光でき視認性が向上する。
In the light control device of the present invention, the transmittance control means maintains the transmittance of the pixels of the first liquid crystal display corresponding to the minimum amount of light or the amount of light equal to or less than a predetermined threshold among the amount of light incident on each pixel of the image sensor. It is preferable to increase the transmittance of the pixels of the first liquid crystal display corresponding to the pixels having the maximum light amount or the light amount equal to or higher than the predetermined threshold and to decrease the transmittance.
By making the transmittance of the pixels of the first liquid crystal display corresponding to the pixels with the minimum light intensity or the light intensity equal to or less than the predetermined threshold among the incident light intensity of each pixel of the image sensor unchanged or increased, dark places become darker. can be prevented and visibility is improved. In addition, by lowering the transmittance of the pixels of the first liquid crystal display corresponding to the pixels with the maximum light amount or the light amount equal to or greater than the predetermined threshold value, light can be effectively blocked in bright areas, thereby improving visibility.

本発明の調光装置において、透過率制御手段は、下記関係式を満足する関数を用いて透過率を算出することが好ましい。下記関係式を満足する関数を用いて透過率を算出することにより、明るい部分を暗く調整しながらも、暗い部分は暗くなり難く、かつ、画素毎の明暗関係が逆転しない表示がバランスよく実現する。下記関係式において、E,Eは、第1液晶ディスプレイを最大透過率に制御した状態におけるディスプレイ越しに実環境を撮影した画像の画素値であり、E>Eを満たすもの。また、E´,E´は、第1液晶ディスプレイを算出された透過率に制御した状態におけるディスプレイ越しに実環境を撮影した画像の画素値である。また、(E´/E)=(E´/E)は、一部にのみ成立するものとする。一部にのみ成立するとは、例えば、画素値が0~10000の範囲とした場合に、全ての画素値が等しい透過率に制御されるのではなく、一部に画素値、例えば、100~1000の連続する画素値のみが等しい透過率であり、他の画素値は、(E´/E)<(E´/E)を満たすというものである。なお、(E´/E)=(E´/E)になる連続する画素値が複数部位存在してもよい。 In the light control device of the present invention, it is preferable that the transmittance control means calculate the transmittance using a function that satisfies the following relational expression. By calculating the transmittance using a function that satisfies the following relational expression, it is possible to adjust the brightness of the bright areas to be dark, while making it difficult for the dark areas to become dark, and to realize a well-balanced display in which the light-dark relationship of each pixel is not reversed. . In the following relational expression, E 1 and E 2 are pixel values of an image of the actual environment photographed through the display in a state where the first liquid crystal display is controlled to have the maximum transmittance, and satisfy E 2 >E 1 . E 1 ' and E 2 ' are pixel values of an image of the actual environment photographed through the display in a state where the first liquid crystal display is controlled to the calculated transmittance. Also, (E 2 '/E 2 )=(E 1 '/E 1 ) shall be satisfied only partially. For example, when the pixel values are in the range of 0 to 10000, all the pixel values are not controlled to have the same transmittance. consecutive pixel values are of equal transmittance, the other pixel values satisfy (E 2 ′/E 2 )<(E 1 ′/E 1 ). Note that there may be a plurality of continuous pixel values satisfying (E 2 ′/E 2 )=(E 1 ′/E 1 ).

(数1)
(E´/E) ≦ (E´/E
(Number 1)
(E 2 '/E 2 ) ≤ (E 1 '/E 1 )

本発明の調光装置において、第1液晶ディスプレイの前方にビームスプリッターが設けられ、ユーザの眼球の前方に位置する外界からの光をビームスプリッターで分割し、分割した一方の光が第1液晶ディスプレイを介してユーザの眼球に入射し、分割した他方の光が前記イメージセンサに到達する光学系、を更に備えることでもよい。ビームスプリッターとして、ハーフミラーを用いることができる。
第1液晶ディスプレイの前方・外側にハーフミラーなどのビームスプリッターを設け、外界からの光の光路を分岐し、分岐後の光路上にイメージセンサを設けることにより、イメージセンサと眼球の位置のズレに起因する、イメージセンサで捉えるイメージと、ユーザの眼球で捉えるイメージとの間のズレが小さくでき、視差を無視することができる。
In the light modulation device of the present invention, a beam splitter is provided in front of the first liquid crystal display, and light from the outside world located in front of the user's eyeball is split by the beam splitter, and one of the split lights is sent to the first liquid crystal display. and an optical system in which the other split light reaches the image sensor. A half mirror can be used as the beam splitter.
A beam splitter such as a half mirror is installed in front and outside of the first liquid crystal display to split the optical path of light from the outside world. The difference between the image captured by the image sensor and the image captured by the user's eye can be reduced, and the parallax can be ignored.

また、本発明の調光装置は、ユーザの眼球とイメージセンサの視差を算出し、算出した視差に基づきイメージセンサの各画素と第1液晶ディスプレイの各画素との対応関係を較正する視差較正手段を更に備えることでもよい。
例えば、第1液晶ディスプレイの前方にビームスプリッターが設けられない場合で、かつイメージセンサがユーザの眼球の位置の上に配置されている場合には、縦視差が生じることになる。視差較正手段を備えることにより、イメージセンサと第1液晶ディスプレイを視認するユーザの眼球との間に視差が生じる場合でも、イメージセンサの各画素と第1液晶ディスプレイの各画素との対応関係を較正でき、精度良く、外界からユーザの眼球に入射する光量を調節することが可能になる。視差較正手段としては、調光装置の使用時にリアルタイムで較正を行うものでもよいし、予め凡その視差を算出して決定しておくものでもよい。なお、視差較正手段は、上下だけでなく、左右や斜め方向、前後方向についても較正可能である。
Further, the light control device of the present invention includes parallax calibrating means for calculating the parallax between the user's eyeball and the image sensor, and calibrating the corresponding relationship between each pixel of the image sensor and each pixel of the first liquid crystal display based on the calculated parallax. may be further provided.
For example, if no beam splitter is provided in front of the first liquid crystal display and the image sensor is placed above the user's eyeball position, vertical parallax will occur. By providing the parallax calibrating means, even if parallax occurs between the image sensor and the eyeball of the user viewing the first liquid crystal display, the corresponding relationship between each pixel of the image sensor and each pixel of the first liquid crystal display can be calibrated. It is possible to adjust the amount of light incident on the user's eyeball from the outside world with high precision. The parallax calibrating means may perform real-time calibration when the light control device is used, or may calculate and determine an approximate parallax in advance. The parallax calibrating means can calibrate not only up and down, but also left and right, oblique directions, and front and back directions.

本発明の調光装置において、視差較正手段は、ユーザの眼球の瞳孔位置を検出する瞳孔センサを更に備えることが好ましい。瞳孔センサを備えることにより、ユーザの眼球の瞳孔位置を検出でき、検出した情報に基づき、高精度で視差を較正することが可能となる。
本発明の調光装置において、視差較正手段は、外界の物体と第1液晶ディスプレイとの距離を算出できる距離センサを更に備えることが好ましい。距離センサを備えることにより、外界の物体と第1液晶ディスプレイとの距離を検出でき、検出した情報に基づき、高精度で視差を較正することが可能となる。
In the light control device of the present invention, it is preferable that the parallax calibrating means further includes a pupil sensor for detecting the position of the pupil of the user's eyeball. By providing the pupil sensor, the position of the pupil of the user's eyeball can be detected, and the parallax can be calibrated with high accuracy based on the detected information.
In the light control device of the present invention, it is preferable that the parallax calibrating means further includes a distance sensor capable of calculating the distance between an external object and the first liquid crystal display. By providing the distance sensor, the distance between an external object and the first liquid crystal display can be detected, and based on the detected information, parallax can be calibrated with high accuracy.

本発明の調光装置は、イメージセンサの前方に配置される透過型の第2液晶ディスプレイと、第2液晶ディスプレイの画素毎の透過率を制御する第2透過率制御手段を更に備えることが好ましい。
第2液晶ディスプレイを備えることにより、イメージセンサの各画素と第1液晶ディスプレイの各画素との対応関係の把握が容易となる。また、第2透過率制御手段を備えることにより、第2液晶ディスプレイの透過率を変更することで、イメージセンサがハイダイナミックレンジ映像を撮影することが可能となる。
Preferably, the light control device of the present invention further comprises a transmissive second liquid crystal display arranged in front of the image sensor, and second transmittance control means for controlling the transmittance of each pixel of the second liquid crystal display. .
By providing the second liquid crystal display, it becomes easy to grasp the correspondence relationship between each pixel of the image sensor and each pixel of the first liquid crystal display. Also, by providing the second transmittance control means, the image sensor can capture a high dynamic range image by changing the transmittance of the second liquid crystal display.

本発明の調光装置は、第1液晶ディスプレイの透過率が調整された箇所の周囲に生じるボケを補正する画像補正手段を備えることが好ましい。
第1液晶ディスプレイにより遮蔽マスクが生成され透過率が調整された場合、ユーザが第1液晶ディスプレイを通して見た外界よりも手前に遮蔽マスクが生成されるため、必然的にボケが発生する。画像補正手段を備えることにより、かかる状態を改善することができる。画像補正手段は、ボケの生じる箇所を逆演算(逆畳み込み)することにより行う。具体的には、ボケを生じさせる点拡がり関数PSFを推定し、目的の透過率制御画像に対してPSFの逆畳み込みを行った事前補正画像を算出する。この事前補正画像を第2液晶ディスプレイに表示することで、PSFの畳み込みの影響を受けた結果、目的の透過率制御画像に近いパターンがイメージセンサに撮影される。逆畳み込みには、ウィーナーフィルターを用いる手法や機械学習による手法が用いられる。なお、PSFは厳密には画素あるいはエリアごとに異なるので、エリアごとに事前補正してそれらを補間・合成して事前補正画像を得る。
It is preferable that the light control device of the present invention includes an image correction means for correcting blur occurring around the portion where the transmittance of the first liquid crystal display is adjusted.
When the shielding mask is generated by the first liquid crystal display and the transmittance is adjusted, the shielding mask is generated in front of the external world seen by the user through the first liquid crystal display, and therefore blurring occurs inevitably. Such a situation can be improved by providing the image correcting means. The image correcting means performs inverse calculation (inverse convolution) of the blurred portion. Specifically, a point spread function PSF that causes blurring is estimated, and a pre-corrected image is calculated by deconvolving the PSF with respect to the target transmittance-controlled image. By displaying this pre-correction image on the second liquid crystal display, a pattern close to the desired transmittance control image is captured by the image sensor as a result of the influence of the convolution of the PSF. A method using a Wiener filter or a method based on machine learning is used for deconvolution. Strictly speaking, the PSF differs for each pixel or area, so pre-correction is performed for each area and interpolated/synthesized to obtain a pre-corrected image.

本発明のスマートサングラスは、サングラス本体に、上記の何れかの調光装置が設けられ、第1液晶ディスプレイが、サングラス本体の眼前の位置に配置される。
サングラス本体は、耳掛け部や鼻掛け部を備える公知のサングラスと同様の構造であることが好ましい。公知のサングラスのレンズ部に相当する位置に第1液晶ディスプレイが配置されるように、調光装置が設けられる構造である。かかる構造とされることにより、視覚過敏症などを持つユーザが日常的に着用し、視覚に受ける刺激を効果的に低減することが可能となる。
In the smart sunglasses of the present invention, any one of the light control devices described above is provided in the sunglasses body, and the first liquid crystal display is arranged in front of the sunglasses body.
The sunglass body preferably has a structure similar to that of known sunglasses having ear hooks and nose hooks. It is a structure in which a light control device is provided so that the first liquid crystal display is arranged at a position corresponding to the lens portion of known sunglasses. With such a structure, it is possible for a user who has visual hypersensitivity or the like to wear it on a daily basis and effectively reduce visual stimulation.

本発明の調光装置によれば、高輝度部分を暗く調整しながらも、低輝度部分は暗くなり難く、かつ、部分毎の明暗関係が逆転しないといった効果がある。 According to the light control device of the present invention, it is possible to adjust the brightness of the high-luminance portion to be dark, while making it difficult for the low-luminance portion to become dark, and to prevent the brightness-darkness relationship of each portion from being reversed.

実施例1の調光装置の機能ブロック図Functional block diagram of the light control device of Example 1 実施例1の調光装置の構成イメージ図Configuration image diagram of the light control device of Example 1 視差イメージ図Parallax image diagram 遮蔽マスクの生成説明図Illustration of shielding mask generation 遮蔽マスクの生成イメージ図Generation image diagram of shielding mask 調光前後の光量の関係を示すグラフGraph showing the relationship between the amount of light before and after dimming 画像補正の説明図Illustration of image correction 実施例1の調光装置の使用イメージ図Usage image diagram of the light control device of Example 1 実施例2の調光装置の機能ブロック図Functional block diagram of the light control device of Example 2 透過率制御フロー図Transmittance control flow chart 実施例3の調光装置の機能ブロック図Functional block diagram of the light control device of Example 3 実施例3の調光装置の構成イメージ図Configuration image diagram of the light control device of Example 3

以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。 An example of an embodiment of the present invention will be described in detail below with reference to the drawings. The scope of the present invention is not limited to the following examples and illustrated examples, and many modifications and variations are possible.

図1は、実施例1の調光装置の機能ブロック図を示している。図1に示すように、調光装置1は、イメージセンサ20、画像補正手段21、透過型の液晶ディスプレイ(31,32)、視差較正手段40、及び透過率制御手段(70,71)を備える。また、視差較正手段40は、距離センサ50及び瞳孔センサ60を備える。
イメージセンサ20は、液晶ディスプレイ32を通して撮影することにより、視差はあるものの、ユーザの眼球11が液晶ディスプレイ31を通して観察する外界と同様の映像を撮影することができる。透過率制御手段71は、イメージセンサ20が取得した画像に基づき、液晶ディスプレイ32の透過率を変化させることができる。これにより、ハイダイナミックレンジ映像を撮影することもできる。
視差較正手段40は、ユーザの眼球11とイメージセンサ20の視差を算出し、算出した視差に基づき液晶ディスプレイ31に表示する画像の較正を行うものである。距離センサ50は、外界の物体8と液晶ディスプレイ31との距離を検出するものであり、瞳孔センサ60は、ユーザの眼球11の瞳孔位置を検出するものである。
FIG. 1 shows a functional block diagram of a light control device of Example 1. FIG. As shown in FIG. 1, the light control device 1 includes an image sensor 20, image correction means 21, transmissive liquid crystal displays (31, 32), parallax calibration means 40, and transmittance control means (70, 71). . The parallax calibrating means 40 also includes a distance sensor 50 and a pupil sensor 60 .
By capturing images through the liquid crystal display 32, the image sensor 20 can capture an image similar to the external world observed by the user's eyeball 11 through the liquid crystal display 31, although there is a parallax. The transmittance control means 71 can change the transmittance of the liquid crystal display 32 based on the image acquired by the image sensor 20 . This makes it possible to capture high dynamic range images.
The parallax calibrating means 40 calculates the parallax between the user's eyeball 11 and the image sensor 20, and calibrates the image displayed on the liquid crystal display 31 based on the calculated parallax. The distance sensor 50 detects the distance between the external object 8 and the liquid crystal display 31 , and the pupil sensor 60 detects the position of the pupil of the user's eyeball 11 .

透過率制御手段70は、画像中の輝度情報に基づき、液晶ディスプレイ31を制御することで、液晶ディスプレイ31の透過率を画素毎に調整するものであり、例えば暗い部分はそのままで、明るい部分のみを暗くするといった調整が可能である。あるいは、視界の中でより重要な部分を明るくし、重要でない部分を暗くすることもできる。
このように、イメージセンサ20により撮像された画像は、視差較正手段40により、ユーザの眼球11とイメージセンサ20の視差が較正された後、透過率制御手段70により透過率が画素毎に調整され、液晶ディスプレイ31に反映される。
画像補正手段21は、液晶ディスプレイ31の透過率が調整された箇所の周囲に生じるボケを補正するものである。
The transmittance control means 70 adjusts the transmittance of the liquid crystal display 31 for each pixel by controlling the liquid crystal display 31 based on the luminance information in the image. can be adjusted to darken the Alternatively, you can brighten the more important parts of your vision and darken the less important parts.
After the parallax between the user's eyeball 11 and the image sensor 20 is calibrated by the parallax calibrating means 40, the transmittance of the image captured by the image sensor 20 is adjusted for each pixel by the transmittance control means 70. , is reflected on the liquid crystal display 31 .
The image correcting means 21 corrects the blur that occurs around the portion where the transmittance of the liquid crystal display 31 is adjusted.

図2は、実施例1の調光装置の構成イメージ図を示している。図2に示すように、調光装置1の筐体12には、シーンカメラ2a、デプスカメラ5、瞳孔検出カメラ6及び液晶ディスプレイ(31,32)が設けられている。なおここでは図示していないが、筐体12には、画像補正手段21、視差較正手段40及び透過率制御手段(70,71)として機能するコンピュータが更に設けられ、シーンカメラ2a、デプスカメラ5、瞳孔検出カメラ6及び液晶ディスプレイ(31,32)と接続されている。
シーンカメラ2aはイメージセンサ20として機能するものである。シーンカメラ2a及び液晶ディスプレイ32は、ユーザの眼球11との視差を最小限に止めるため、ユーザの前額部など眼球11に近い場所に設けられる。
FIG. 2 shows an image diagram of the configuration of the light control device of Example 1. As shown in FIG. As shown in FIG. 2, the housing 12 of the light control device 1 is provided with a scene camera 2a, a depth camera 5, a pupil detection camera 6, and liquid crystal displays (31, 32). Although not shown here, the housing 12 is further provided with a computer functioning as an image correction means 21, a parallax calibration means 40, and a transmittance control means (70, 71). , pupil detection camera 6 and liquid crystal displays (31, 32).
The scene camera 2 a functions as an image sensor 20 . The scene camera 2a and the liquid crystal display 32 are provided near the user's eyeball 11, such as the user's forehead, in order to minimize parallax with the user's eyeball 11. FIG.

デプスカメラ5は、奥行き情報を取得する深度センサを内蔵したカメラであり、距離センサ50として機能するものである。デプスカメラ5には、公知のデプスカメラを利用可能である。
瞳孔検出カメラ6は瞳孔センサ60として機能するものである。瞳孔検出カメラ6は、ユーザの眼球11の瞳孔位置を検出することで、シーンカメラ2aとユーザの眼球11との縦視差の算出に利用するものである。
The depth camera 5 is a camera with a built-in depth sensor that acquires depth information, and functions as a distance sensor 50 . A known depth camera can be used as the depth camera 5 .
The pupil detection camera 6 functions as a pupil sensor 60 . The pupil detection camera 6 detects the position of the pupil of the user's eyeball 11 and is used to calculate the vertical parallax between the scene camera 2a and the user's eyeball 11 .

図3は、視差イメージ図であり、(1)はシーンカメラにより撮像された画像、(2)はユーザから見えるディスプレイ表示イメージを示している。画像中における物体8aは「クリスマスツリー」、物体8bは「雪だるま」である。
図3(2)に示すユーザの眼球から見えるディスプレイ表示イメージ9bでは、物体8aの位置12aと物体8bの位置12bが略同じ高さとなっている。しかしながら、調光装置1ではシーンカメラ2aはユーザの眼球11よりも高い位置に設けられているため、図3(1)に示すシーンカメラ2aにより撮像された画像9aでは、物体8aの位置12aよりも、手前に存在する物体8bの位置12bの方がやや低い位置に撮像されている。
このような視差を、視差較正手段40を用いて較正するものである。
3A and 3B are parallax image diagrams, where (1) shows an image captured by a scene camera and (2) shows a display image seen by a user. The object 8a in the image is a "Christmas tree" and the object 8b is a "snowman".
In the display image 9b seen from the user's eye shown in FIG. 3(2), the position 12a of the object 8a and the position 12b of the object 8b are at substantially the same height. However, since the scene camera 2a is provided at a position higher than the eyeball 11 of the user in the light adjustment device 1, the image 9a captured by the scene camera 2a shown in FIG. Also, the position 12b of the object 8b present in front is imaged at a slightly lower position.
Such parallax is calibrated using parallax calibrating means 40 .

図4は、遮蔽マスクの生成説明図を示している。図4に示す調光装置10は、ユーザの眼球11の代わりに、アイカメラ2bを用いた構成となっている。シーンカメラ2aには、レンズ22a及び画像検出器23aが設けられ、アイカメラ2bには、レンズ22b及び画像検出器23bが設けられている。
まず、矢印14aに示すように、シーンカメラ2aとアイカメラ2bのビューを確実に重ね合わせ、正確なオクルージョンパターンを生成する。次に、矢印14bに示すように、入射光線が液晶ディスプレイ31の画素u(u,v)で遮られてx(x,y)点が暗くなるようにする。
FIG. 4 shows an explanatory diagram for generating a shielding mask. The light adjustment device 10 shown in FIG. 4 has a configuration using an eye camera 2b instead of the eyeball 11 of the user. The scene camera 2a is provided with a lens 22a and an image detector 23a, and the eye camera 2b is provided with a lens 22b and an image detector 23b.
First, as indicated by arrow 14a, the views of scene camera 2a and eye camera 2b are reliably superimposed to generate an accurate occlusion pattern. Next, as indicated by the arrow 14b, the incident light is blocked by the pixel u(u, v) of the liquid crystal display 31 so that the x(x, y) point becomes dark.

図5は、遮蔽マスクの生成イメージ図であり、(1)はシーンカメラにより撮像された画像、(2)はユーザから見た透過率調整前のディスプレイ表示イメージ、(3)は遮蔽マスクイメージ、(4)はユーザから見た透過率調整後のディスプレイ表示イメージを示している。なお、遮蔽マスクとは、透過率制御された状態の液晶ディスプレイを指し、ディスプレイ表示イメージとは、液晶ディスプレイと背景が重ね合わせて表示された状態のことを指している。
図5(1)に示すように、シーンカメラ2aにより撮像された画像9a中には、物体(8a,8b)が撮像されている。また、図5(2)に示すように、ユーザから見た透過率調整前のディスプレイ表示イメージには、物体(8a,8b)が表示されている。図5(1)及び(2)の何れにおいても、物体8aは鮮明に表示されているが、物体8bについては明るさが強く、見えづらい表示となっている。ここではこれら2つの物体(8a,8b)に着目して遮蔽マスクの生成の説明を行う。
FIG. 5 is an image diagram of generation of a shielding mask, (1) is an image captured by a scene camera, (2) is a display display image before transmittance adjustment as seen by a user, (3) is a shielding mask image, ( 4) shows a display image after the transmittance adjustment as seen by the user. The shielding mask refers to a liquid crystal display whose transmittance is controlled, and the display image refers to a state in which the liquid crystal display and the background are superimposed and displayed.
As shown in FIG. 5(1), objects (8a, 8b) are captured in an image 9a captured by the scene camera 2a. Further, as shown in FIG. 5(2), objects (8a, 8b) are displayed in the display image seen by the user before the transmittance adjustment. In both FIGS. 5(1) and 5(2), the object 8a is clearly displayed, but the object 8b is too bright and difficult to see. Here, attention is focused on these two objects (8a, 8b) to explain the generation of the shielding mask.

シーンカメラ2aは、液晶ディスプレイ32を通して撮影することにより、ユーザの眼球11が液晶ディスプレイ31を通して観察する外界と同様の画像9aを撮影することができる。しかしながら、前述のように、シーンカメラ2aとユーザの眼球11とでは縦視差が存在するため、デプスカメラ5を用いて液晶ディスプレイ31と物体(8a,8b)の距離を検出し、瞳孔検出カメラ6を用いてユーザの眼球11の瞳孔位置を検出し、物体との距離及び瞳孔位置から、視差較正手段40を用いてリアルタイムで視差を較正する。
次に、透過率制御手段70は、較正された画像9a中の物体(8a,8b)の明るさを算出し、それぞれの明るさに応じて、透過率を調整するための遮蔽マスクを生成する。図5(3)に示す遮蔽マスクイメージ9cでは、物体8bと略同形状に遮蔽されている。これに対して、物体8aについては遮蔽されていない。これは、透過率制御手段70において、画像9a中の物体8aの明るさが所定の閾値を下回ると判断されたことに基づく。また仮に、物体8aよりも明るく、かつ物体8bよりも暗い物体が画像中に存在し、当該物体の明るさが所定の閾値を下回ると判断されない場合には、当該物体の位置についても遮蔽がなされるが、物体8bに該当する位置よりも、透過率が高く調整されることになる。
By shooting through the liquid crystal display 32 , the scene camera 2 a can shoot an image 9 a similar to the external world observed through the liquid crystal display 31 by the user's eyeball 11 . However, as described above, since vertical parallax exists between the scene camera 2a and the user's eyeball 11, the depth camera 5 is used to detect the distance between the liquid crystal display 31 and the object (8a, 8b), and the pupil detection camera 6 is used to detect the pupil position of the user's eyeball 11, and the parallax is calibrated in real time using the parallax calibrating means 40 from the distance to the object and the pupil position.
Next, the transmittance control means 70 calculates the brightness of the objects (8a, 8b) in the calibrated image 9a and generates a shielding mask for adjusting the transmittance according to each brightness. . In the shielding mask image 9c shown in FIG. 5(3), the object 8b is shielded in substantially the same shape. On the other hand, the object 8a is not shielded. This is because the transmittance control means 70 has determined that the brightness of the object 8a in the image 9a is below a predetermined threshold. Further, if an object brighter than the object 8a and darker than the object 8b exists in the image and the brightness of the object is not determined to be below a predetermined threshold, the position of the object is also shielded. However, the transmittance is adjusted to be higher than the position corresponding to the object 8b.

遮蔽マスクイメージ9cに示す遮蔽マスクを、液晶ディスプレイ31の背景の実世界と重ね合わせて表示したものが、図5(4)に示すユーザから見た透過率調整後のディスプレイ表示イメージ9dである。図5(4)に示すように、ディスプレイ表示イメージ9dでは、物体8aについては、元画像と同じく鮮明な表示がなされ、かつ物体8bについても遮蔽マスクが施されたことにより、鮮明に表示されている。 A display image 9d after transmittance adjustment as seen from the user shown in FIG. As shown in FIG. 5(4), in the display image 9d, the object 8a is clearly displayed in the same way as the original image, and the object 8b is also clearly displayed by applying the shielding mask. there is

ここで、遮蔽アルゴリズムについて説明する。図6は、調光前後の光量の関係を示すグラフであり、縦軸は目標光量、横軸はオリジナルの光量を示している。応答曲線の勾配は、液晶の透過率を表している。
図6に示すように、元画像では、勾配1の直線であり、オリジナルの光量と目標光量は同じである。オリジナルの光量が増加すると、目標光量についても同様に増加する。また、線形調光は、勾配0.5の直線であり、オリジナルの光量に対して、目標光量は1/2(半分)である。オリジナルの光量が増加すると、目標光量については、元画像よりも緩やかに増加する。
これに対して、実施例の遮蔽アルゴリズムでは、オリジナルの光量が増加すると、目標光量については放物線状に増加する。すなわち、最も低い強度で無変調関数に接線し、最も高い強度で線形変調関数と交差する。図6に示す実施例の関数は、光量が最小値(0)のときに曲線の傾きが1であり、透過率が1となり、一方、光量が最大値(4000)のときに曲線の傾きが0であり、透過率が1/2となる放物線を描く。
The occlusion algorithm will now be described. FIG. 6 is a graph showing the relationship between the amounts of light before and after dimming, where the vertical axis represents the target amount of light and the horizontal axis represents the original amount of light. The slope of the response curve represents the transmittance of the liquid crystal.
As shown in FIG. 6, the original image has a straight line with a gradient of 1, and the original light amount and the target light amount are the same. As the original amount of light increases, so does the target amount of light. The linear dimming is a straight line with a gradient of 0.5, and the target light amount is 1/2 (half) of the original light amount. When the original light amount increases, the target light amount increases more slowly than the original image.
In contrast, in the shading algorithm of the embodiment, as the original light amount increases, the target light amount increases parabolically. That is, it is tangent to the unmodulated function at the lowest intensity and intersects the linearly modulated function at the highest intensity. The function of the embodiment shown in FIG. 6 has a slope of 1 when the amount of light is the minimum value (0) and a transmittance of 1, and a slope of the curve when the amount of light is the maximum value (4000). 0 and a parabola with a transmittance of 1/2 is drawn.

透過率制御の手順について説明する。図10は透過率制御フロー図を示している。図10に示すように、まず、イメージセンサ20で変調前の画像を撮影する(ステップS01)。次に、視差を考慮して、撮影した画像をユーザからの視点に変換した変換後画像(=E)を生成する(ステップS02)。上述の数1の条件を満たすように、変換後画像の輝度を変調して目標画像(=E´)を生成する(ステップS03)。目標画像を変換後画像で除して画素ごとに透過率を算出する(ステップS04)。算出した透過率を満たすための液晶ディスプレイ31への入力画像を算出する(ステップS05)。算出した入力画像を液晶ディスプレイ31に入力する(ステップS06)。
なお、ステップS05において、液晶ディスプレイ31の画素値と透過率の関係は予め求めておく。本実施例では離散的に計測してシグモイド関数で近似している。
A procedure for transmittance control will be described. FIG. 10 shows a transmittance control flow diagram. As shown in FIG. 10, first, an image before modulation is captured by the image sensor 20 (step S01). Next, in consideration of parallax, a post-transformation image (=E) is generated by transforming the photographed image into the viewpoint of the user (step S02). A target image (=E') is generated by modulating the luminance of the post-conversion image so as to satisfy the condition of the above-mentioned formula 1 (step S03). The target image is divided by the converted image to calculate the transmittance for each pixel (step S04). An input image to the liquid crystal display 31 is calculated to satisfy the calculated transmittance (step S05). The calculated input image is input to the liquid crystal display 31 (step S06).
In step S05, the relationship between the pixel value of the liquid crystal display 31 and the transmittance is obtained in advance. In this embodiment, it is measured discretely and approximated by a sigmoid function.

次に、画像補正手段について説明する。図7は、画像補正の説明図であり、(1)は補正前の遮蔽マスク、(2)は補正後の遮蔽マスクを示している。
ユーザが液晶ディスプレイ31を通して、外界を見た場合、液晶ディスプレイ31は外界よりも手前に存在するため、液晶ディスプレイ31により生成される遮蔽マスクは、そのままでは遮蔽部位の輪郭がボケてしまうという問題がある。すなわち、図7(1)に示すように、補正前の遮蔽マスクイメージ91では、矩形状の遮蔽部位15aと円形状の遮蔽部位15bが生成されているが、ユーザから見ると遮蔽部位15aの輪郭16aと遮蔽部位15bの輪郭16bは、ボケてしまうのである。
Next, the image correcting means will be explained. FIG. 7 is an explanatory diagram of image correction, where (1) shows a shielding mask before correction and (2) shows a shielding mask after correction.
When the user sees the outside world through the liquid crystal display 31, the liquid crystal display 31 exists in front of the outside world, so the shielding mask generated by the liquid crystal display 31 as it is has the problem that the outline of the shielding part is blurred. be. That is, as shown in FIG. 7(1), in the shielding mask image 91 before correction, a rectangular shielding portion 15a and a circular shielding portion 15b are generated. 16a and the outline 16b of the shielding portion 15b are blurred.

そこで、画像補正手段21を用いて、ユーザから見た場合に、遮蔽部位の輪郭がボケないように補正を行う。具体的には、画像補正手段21は、ボケを生じさせる点拡がり関数PSFを推定し、目的の透過率制御画像に対してPSFの逆畳み込みを行った事前補正画像を算出する。この事前補正画像を液晶ディスプレイ32に表示することで、PSFの畳み込みの影響を受けた結果、目的の透過率制御画像に近いパターンがイメージセンサ20に撮影される。本実施例では、逆畳み込みにはウィーナーフィルターを用いる手法が用いられている。なお、PSFは厳密には画素あるいはエリアごとに異なるので、エリアごとに事前補正してそれらを補間・合成して事前補正画像を得る。
画像補正手段21による補正が行われた結果、図7(2)に示すように、遮蔽マスクイメージ92では、遮蔽部位15aの輪郭16aと遮蔽部位15bの輪郭16bは、何れも鮮明に表示されている。
Therefore, the image correction means 21 is used to perform correction so that the contour of the shielded portion does not blur when viewed from the user. Specifically, the image correction means 21 estimates a point spread function PSF that causes blurring, and calculates a pre-corrected image by deconvolving the PSF with respect to the target transmittance control image. By displaying this pre-corrected image on the liquid crystal display 32, a pattern close to the desired transmittance control image is captured by the image sensor 20 as a result of the influence of the convolution of the PSF. In this embodiment, a technique using a Wiener filter is used for deconvolution. Strictly speaking, the PSF differs for each pixel or area, so pre-correction is performed for each area and interpolated/synthesized to obtain a pre-corrected image.
As a result of the correction by the image correction means 21, both the outline 16a of the shielding portion 15a and the outline 16b of the shielding portion 15b are clearly displayed in the shielding mask image 92 as shown in FIG. 7(2). there is

図8は、実施例1の調光装置の使用イメージ図であり、(1)はシーンカメラにより撮像された画像、(2)は遮蔽マスクイメージ、(3)はユーザから見た透過率調整後のディスプレイ表示イメージ、(4)は線形調光による透過率調整後のディスプレイ表示イメージを示している。何れも物体8cは「土偶」、物体8dは「雪だるま」である。
図8(1)に示すように、画像90aでは、物体8cが「土偶」であることは視認できるが、物体8dについては、明るさが強く「雪だるま」であることが判別できない状態となっている。図8(2)に示すように、遮蔽マスクイメージ90cは、画像90a中の各部の明るさに応じて遮蔽マスクを生成したものである。ここでは、物体8cと物体8dの何れの箇所にも遮蔽マスクが生成されているが、物体8cの箇所よりも物体8dの箇所の方がより透過率を低下させるように遮蔽マスクが生成されている。
8A and 8B are image diagrams of the use of the light control device of Example 1, where (1) is an image captured by the scene camera, (2) is a shielding mask image, and (3) is the transmittance after adjustment as seen from the user. Display image, (4) shows a display image after transmittance adjustment by linear dimming. In both cases, the object 8c is a "dogu" and the object 8d is a "snowman".
As shown in FIG. 8(1), in the image 90a, the object 8c can be visually identified as a "dogu", but the object 8d is too bright to be identified as a "snowman". there is As shown in FIG. 8B, the shielding mask image 90c is a shielding mask generated according to the brightness of each part in the image 90a. Here, the shielding mask is generated for both the object 8c and the object 8d, but the shielding mask is generated so as to reduce the transmittance more for the object 8d than for the object 8c. there is

図8(4)に示す線形調光による透過率調整後のディスプレイ表示イメージ90eでは、ディスプレイ全体につき、一様に調光されているため、物体8dについては「雪だるま」であることが判別できる状態となっているが、その反面、物体8cについては、暗くなり過ぎ、「土偶」であることが判別できない状態となっている。
これに対して、図8(3)に示す透過率調整後のディスプレイ表示イメージ90dでは、物体8cが「土偶」であることが視認でき、かつ物体8dについても「雪だるま」であることが視認できる状態となっている。また、物体(8c,8d)以外の箇所についても、高輝度部分は暗く調整され、低輝度部分は暗くなり難く、かつ、部分毎の明暗関係が逆転しない表示が実現されている。
In the display image 90e after the transmittance is adjusted by linear dimming shown in FIG. 8(4), since the entire display is uniformly dimmed, the object 8d can be identified as a "snowman". However, on the other hand, the object 8c is too dark and cannot be identified as a "dogu".
On the other hand, in the display image 90d after the transmittance adjustment shown in FIG. 8(3), it is possible to visually recognize that the object 8c is a "dogu" and that the object 8d is also a "snowman". state. In addition, in areas other than the objects (8c, 8d), high-luminance portions are adjusted to be dark, low-luminance portions are less likely to be darkened, and a display is realized in which the light-dark relationship for each portion is not reversed.

このように、オクルージョン無効な液晶ディスプレイ32を介してシーンカメラ2aにて撮影した画像から、明るい部分を抽出し、この明るい部分をより暗くする処理を行った上で、オクルージョン有効な液晶ディスプレイ31に映し出し、ユーザは、このオクルージョン有効な液晶ディスプレイ31を通して、シーンを見ることで、暗い部分はそのまま、明るい部分は暗くする処理がなされた画像を重ねてみることができる。 In this way, a bright portion is extracted from an image captured by the scene camera 2a through the occlusion-ineffective liquid crystal display 32, and the light portion is darkened. By viewing the scene through this occlusion-effective liquid crystal display 31, the user can superimpose the images processed to darken the bright portions while the dark portions remain as they are.

図9は、実施例2の調光装置の機能ブロック図を示している。図9に示すように、調光装置1aは、イメージセンサ20、透過型の液晶ディスプレイ31、視差較正手段41、及び透過率制御手段70を備える。
実施例1の調光装置1と異なり、画像補正手段21、液晶ディスプレイ32及び透過率制御手段71は設けられない構成である。また、視差較正手段41は、実施例1の視差較正手段40のように、距離センサ50及び瞳孔センサ60を用いて使用時にリアルタイムで較正を行うものではなく、イメージセンサ20とユーザの眼球11の位置から凡その視差を算出し、かかる視差から予め所定の較正処理が施されたものである。
このような構成とすることにより、比較的シンプルな構成で、視覚に受ける刺激を低減する調光装置を実現することができる。
FIG. 9 shows a functional block diagram of the light control device of the second embodiment. As shown in FIG. 9, the light control device 1a includes an image sensor 20, a transmissive liquid crystal display 31, parallax calibrating means 41, and transmittance control means .
Unlike the light modulation device 1 of the first embodiment, the image correction means 21, the liquid crystal display 32 and the transmittance control means 71 are not provided. Further, the parallax calibrating means 41 does not calibrate in real time using the distance sensor 50 and the pupil sensor 60 like the parallax calibrating means 40 of the first embodiment. Approximate parallax is calculated from the position, and predetermined calibration processing is performed in advance from the parallax.
With such a configuration, it is possible to realize a light control device that reduces visual stimulation with a relatively simple configuration.

図11は、実施例3の調光装置の機能ブロック図を示している。図11に示すように、調光装置1bは、ハーフミラー4、イメージセンサ20、透過型の液晶ディスプレイ31及び透過率制御手段70を備える。実施例2の調光装置1aと異なり、ハーフミラー4が設けられ、また、視差較正手段41は設けられない構成である。 FIG. 11 shows a functional block diagram of a light control device of Example 3. As shown in FIG. As shown in FIG. 11, the light control device 1b includes a half mirror 4, an image sensor 20, a transmissive liquid crystal display 31, and transmittance control means . Unlike the light control device 1a of the second embodiment, the half mirror 4 is provided and the parallax calibrating means 41 is not provided.

図12は、実施例3の調光装置の構成イメージ図を示している。図12に示すシーンカメラ2aはイメージセンサ20として機能するものである。シーンカメラ2aは、ここではユーザの眼球11の上方に設けられているが、ハーフミラー4の位置や向きによっては、上方以外に設けることも可能であり、例えば、下方に設けることもできる。なお、図示しないが、調光装置1bの筐体12aには、透過率制御手段70として機能するコンピュータが設けられ、シーンカメラ2a及び液晶ディスプレイ31と接続されている。
物体8からの入射光の内、ハーフミラー4を反射した光はシーンカメラ2aに届き、ハーフミラー4を透過した光はユーザの眼球11に届くことになる。したがって、物体8をシーンカメラ2aにより撮像した後、視差較正を行うことなく、透過率制御手段70による透過率制御を行うことが可能である。
このような構成とすることにより、実施例2の調光装置1aよりも更にシンプルな構成で、視覚に受ける刺激を低減する調光装置を実現することができる。
FIG. 12 shows an image diagram of the configuration of the light control device of Example 3. As shown in FIG. A scene camera 2 a shown in FIG. 12 functions as an image sensor 20 . Although the scene camera 2a is provided above the eyeball 11 of the user here, it can be provided other than above depending on the position and orientation of the half mirror 4, for example, below. Although not shown, the housing 12a of the light control device 1b is provided with a computer functioning as the transmittance control means 70, which is connected to the scene camera 2a and the liquid crystal display 31. FIG.
Of the incident light from the object 8, the light reflected by the half mirror 4 reaches the scene camera 2a, and the light transmitted through the half mirror 4 reaches the eyeball 11 of the user. Therefore, after the object 8 is imaged by the scene camera 2a, it is possible to perform transmittance control by the transmittance control means 70 without performing parallax calibration.
By adopting such a configuration, it is possible to realize a light control device that reduces visual stimulation with a simpler configuration than the light control device 1a of the second embodiment.

(その他の実施例)
実施例1~3の何れかの調光装置(1,1a,1b)を用いて、スマートサングラスを作製してもよい。スマートサングラスの作製例としては、耳掛け部や鼻掛け部を備える公知のサングラスにおいて、左右のレンズ部に相当する位置に液晶ディスプレイ31が配置されるように、一対の調光装置(1,1a,1b)が設けられる構成が挙げられる。また、調光装置(1,1a,1b)の内、異なる調光装置を一つずつ左右に配置する構成でもよい。調光装置(1,1a,1b)を用いたスマートサングラスとすることにより、視覚過敏症などを持つユーザが、外出時などにおいて、日常的に着用でき、視覚に受ける刺激を効果的に低減することが可能となる。
(Other examples)
Smart sunglasses may be produced using any one of the light control devices (1, 1a, 1b) of Examples 1 to 3. As an example of manufacturing smart sunglasses, a pair of dimming devices (1, 1a , 1b) are provided. Moreover, the structure which arrange|positions a different light control apparatus one by one on right and left among light control apparatuses (1, 1a, 1b) may be sufficient. By making smart sunglasses using the dimming device (1, 1a, 1b), a user with visual hypersensitivity can wear them on a daily basis, such as when going out, and effectively reduces visual stimulation. becomes possible.

本発明は、視覚過敏症などを持つユーザが着用し、視覚に受ける刺激を低減するスマートサングラスに有用である。 INDUSTRIAL APPLICABILITY The present invention is useful for smart sunglasses that are worn by users with visual hypersensitivity or the like to reduce visual stimulation.

1,1a,1b,10 調光装置
2a シーンカメラ
2b アイカメラ
4 ハーフミラー
5 デプスカメラ
6 瞳孔検出カメラ
8,8a~8d 物体
9a,90a 画像
9b,9d,90d,90e ディスプレイ表示イメージ
9c,90c,91,92 遮蔽マスクイメージ
11 眼球
12,12a 筐体
13a,13b 位置
14a,14b 矢印
15a,15b 遮蔽部位
16a,16b 輪郭
20 イメージセンサ
21 画像補正手段
22a,22b レンズ
23a,23b 画像検出器
31,32 液晶ディスプレイ
40,41 視差較正手段
50 距離センサ
60 瞳孔センサ
70,71 透過率制御手段
1, 1a, 1b, 10 light control device 2a scene camera 2b eye camera 4 half mirror 5 depth camera 6 pupil detection camera 8, 8a-8d object 9a, 90a image 9b, 9d, 90d, 90e display image 9c, 90c, 91, 92 shielding mask image 11 eyeball 12, 12a housing 13a, 13b position 14a, 14b arrow 15a, 15b shielding part 16a, 16b contour 20 image sensor 21 image correction means 22a, 22b lens 23a, 23b image detector 31, 32 Liquid Crystal Display 40, 41 Parallax Calibration Means 50 Distance Sensor 60 Pupil Sensor 70, 71 Transmittance Control Means

Claims (10)

外界からユーザの眼球に入射する光量を調節する装置であって、
ユーザの眼球の前方に配置される透過型の第1液晶ディスプレイと、
ユーザの眼球の前方に位置する外界を撮影するイメージセンサと、
前記イメージセンサの画素毎の入射光量に基づいて、第1液晶ディスプレイの画素毎の明暗関係が逆転せず、前記入射光量に応じて光量が減少するように、画素毎の透過率を制御する透過率制御手段、
を備えることを特徴とする調光装置。
A device for adjusting the amount of light incident on a user's eyeball from the outside world,
a transmissive first liquid crystal display arranged in front of the user's eyeball;
an image sensor that captures the external world positioned in front of the user's eyeball;
Based on the amount of light incident on each pixel of the image sensor, the transmittance of each pixel is controlled so that the light intensity of each pixel of the first liquid crystal display does not reverse and the amount of light decreases according to the amount of incident light. transmittance control means;
A light control device comprising:
前記透過率制御手段は、前記イメージセンサの画素毎の入射光量の内、最低光量もしくは所定閾値以下の光量の画素に対応する第1液晶ディスプレイの画素の前記透過率は不変または高くし、最大光量もしくは所定閾値以上の光量の画素に対応する第1液晶ディスプレイの画素の前記透過率は低くすることを特徴とする請求項1に記載の調光装置。 The transmittance control means maintains or increases the transmittance of the pixels of the first liquid crystal display corresponding to the pixels having the minimum light amount or the light amount equal to or less than a predetermined threshold among the incident light amount of each pixel of the image sensor, and the maximum light amount. 2. The light control device according to claim 1, wherein the transmittance of pixels of the first liquid crystal display corresponding to pixels having a light quantity equal to or greater than a predetermined threshold is reduced. 前記透過率制御手段は、下記関係式を満足する関数を用いて透過率を算出することを特徴とする請求項1又は2に記載の調光装置:
(数1)
(E´/E) ≦ (E´/E
(但し、E,Eは、第1液晶ディスプレイを最大透過率に制御した状態におけるディスプレイ越しに実環境を撮影した画像の画素値であり、E>Eを満たすもの。また、E´,E´は、第1液晶ディスプレイを算出された透過率に制御した状態におけるディスプレイ越しに実環境を撮影した画像の画素値であり、(E´/E)=(E´/E)は、一部にのみ成立するものとする。)。
The light control device according to claim 1 or 2, wherein the transmittance control means calculates the transmittance using a function that satisfies the following relational expression:
(Number 1)
(E 2 '/E 2 ) ≤ (E 1 '/E 1 )
(However, E 1 and E 2 are pixel values of an image of the actual environment photographed through the display in a state where the first liquid crystal display is controlled to have the maximum transmittance, and satisfy E 2 >E 1 . 1 ', E 2 ' are pixel values of an image of the actual environment photographed through the display in a state where the first liquid crystal display is controlled to the calculated transmittance, and (E 2 '/E 2 ) = (E 1 '/E 1 ) shall be satisfied only partially).
第1液晶ディスプレイの前方にビームスプリッターが設けられ、
ユーザの眼球の前方に位置する外界からの光を前記ビームスプリッターで分割し、分割した一方の光が第1液晶ディスプレイを介してユーザの眼球に入射し、
分割した他方の光が前記イメージセンサに到達する光学系、
を更に備えることを特徴とする請求項1~3の何れかに記載の調光装置。
A beam splitter is provided in front of the first liquid crystal display,
Light from the outside world positioned in front of the user's eyeball is split by the beam splitter, and one of the split lights enters the user's eyeball through the first liquid crystal display,
an optical system in which the other split light reaches the image sensor;
The light control device according to any one of claims 1 to 3, further comprising:
ユーザの眼球と前記イメージセンサの視差を算出し、算出した視差に基づき前記イメージセンサの各画素と第1液晶ディスプレイの各画素との対応関係を較正する視差較正手段を更に備えることを特徴とする請求項1~4の何れかに記載の調光装置。 Further comprising parallax calibrating means for calculating a parallax between a user's eyeball and the image sensor and calibrating a corresponding relationship between each pixel of the image sensor and each pixel of the first liquid crystal display based on the calculated parallax. The light control device according to any one of claims 1 to 4. 前記視差較正手段は、ユーザの眼球の瞳孔位置を検出する瞳孔センサを更に備えることを特徴とする請求項5に記載の調光装置。 6. The light control device according to claim 5, wherein said parallax calibrating means further comprises a pupil sensor for detecting the pupil position of the user's eyeball. 前記視差較正手段は、外界の物体と第1液晶ディスプレイとの距離を算出できる距離センサを更に備えることを特徴とする請求項5又は6に記載の調光装置。 7. The light control device according to claim 5, wherein said parallax calibrating means further comprises a distance sensor capable of calculating a distance between an external object and the first liquid crystal display. 前記イメージセンサの前方に配置される透過型の第2液晶ディスプレイと、
第2液晶ディスプレイの画素毎の透過率を制御する第2透過率制御手段、
を更に備えることを特徴とする請求項1~7の何れかに記載の調光装置。
a transmissive second liquid crystal display arranged in front of the image sensor;
second transmittance control means for controlling the transmittance of each pixel of the second liquid crystal display;
The light control device according to any one of claims 1 to 7, further comprising:
前記調光装置は、第1液晶ディスプレイの透過率が調整された箇所の周囲に生じるボケを補正する画像補正手段を備えることを特徴とする請求項8に記載の調光装置。 9. The light control device according to claim 8, further comprising image correcting means for correcting blur that occurs around a portion where the transmittance of the first liquid crystal display is adjusted. サングラス本体に、請求項1~9の何れかの調光装置が設けられ、
前記第1液晶ディスプレイが、前記サングラス本体の眼前の位置に配置されたことを特徴とするスマートサングラス。
The light control device according to any one of claims 1 to 9 is provided on the body of sunglasses,
Smart sunglasses, wherein the first liquid crystal display is arranged in front of the eye of the sunglasses body.
JP2021054025A 2021-03-26 2021-03-26 Dimming device Pending JP2022151109A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021054025A JP2022151109A (en) 2021-03-26 2021-03-26 Dimming device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021054025A JP2022151109A (en) 2021-03-26 2021-03-26 Dimming device

Publications (1)

Publication Number Publication Date
JP2022151109A true JP2022151109A (en) 2022-10-07

Family

ID=83465237

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021054025A Pending JP2022151109A (en) 2021-03-26 2021-03-26 Dimming device

Country Status (1)

Country Link
JP (1) JP2022151109A (en)

Similar Documents

Publication Publication Date Title
US10129520B2 (en) Apparatus and method for a dynamic “region of interest” in a display system
US8570634B2 (en) Image processing of an incoming light field using a spatial light modulator
US9069163B2 (en) Head-up display with brightness control
CA2916780C (en) An apparatus and method for augmenting sight
JP2017523481A (en) Electronic glasses
WO2018100239A1 (en) Imaging system and method of producing images for display apparatus
Hiroi et al. AdaptiVisor: Assisting eye adaptation via occlusive optical see-through head-mounted displays
US20240176121A1 (en) Image compensation device for image for augmented reality
JP4779780B2 (en) Image display device
US9762870B2 (en) Image processing device and image display apparatus
Hu et al. Design and prototyping of computational sunglasses for autism spectrum disorders
JP2022151109A (en) Dimming device
Hu et al. Smart dimming sunglasses for photophobia using spatial light modulator
JP7182368B2 (en) VEHICLE DISPLAY DEVICE, METHOD AND COMPUTER PROGRAM FOR CONTROLLING VEHICLE DISPLAY DEVICE
AU2019411520A1 (en) Method and system for adjusting luminance profiles in head-mounted displays
JP7199562B2 (en) Image display device, display control device, display control method, program and recording medium
US11948483B2 (en) Image generation apparatus and image generation method
US11874469B2 (en) Holographic imaging system
CN108668110B (en) Method for reducing duration of driver eye adaptation and vehicle device
RU2820802C1 (en) Method and device for reducing blur of occlusive mask image for virtual image in augmented reality glasses
US12106734B1 (en) Hiding lens distortions using black pixels
JP2020003704A (en) Information processing device
WO2006049270A1 (en) Head-mounted display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240219