JPH10116052A - Picture display device - Google Patents
Picture display deviceInfo
- Publication number
- JPH10116052A JPH10116052A JP8287593A JP28759396A JPH10116052A JP H10116052 A JPH10116052 A JP H10116052A JP 8287593 A JP8287593 A JP 8287593A JP 28759396 A JP28759396 A JP 28759396A JP H10116052 A JPH10116052 A JP H10116052A
- Authority
- JP
- Japan
- Prior art keywords
- image
- adaptation
- display device
- degree
- observer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Video Image Reproduction Devices For Color Tv Systems (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、観測者の視覚の順
応度に応じて、表示装置の画像の表示状態を最も見易い
ように補正する画像表示装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image display device which corrects the display state of an image on a display device so that it is most visible according to the degree of visual adaptation of an observer.
【０００２】[0002]
【従来の技術】最近、自動車の情報化に伴い、ナビゲー
ションシステムをはじめとする車載情報機器が急速に増
加しつつある。さらに、ＶＩＣＳ(Vehicle Information
and Communication System)のように、渋滞情報や規制
情報、駐車場情報などを提供するシステムも、一部では
運用が開始され、今後、普及が予測される。このシステ
ムでは、ドライバに提供される情報は多様化し、一層、
増加する傾向にある。一方、安全性の観点から、高齢者
や女性などのドライバの多様化や走行環境を考慮した見
易い車載表示器の開発が望まれている。2. Description of the Related Art Recently, with the advance of computerization of automobiles, on-board information devices such as navigation systems are rapidly increasing. Furthermore, VICS (Vehicle Information
Some systems that provide traffic jam information, regulation information, parking lot information, and the like, such as Communication and Communication System), have begun operating in part and are expected to become widely used in the future. In this system, the information provided to the driver is diversified,
It tends to increase. On the other hand, from the viewpoint of safety, it is desired to develop an in-vehicle display which is easy to read in consideration of diversification of drivers such as elderly people and women and a traveling environment.
【０００３】車載表示器の画像を見易くするためには、
人間の視覚の明るさに対する順応度を考慮する必要があ
る。積雪した路面を運転している場合には、人間の視覚
は高い明度に順応しており、車両内部の情報機器を認識
する場合には、非常に暗く感じ色も薄く見えるため、視
認性が悪くなる。逆に夜間走行の場合には、人間の視覚
は低い明度に順応しており、車両内部の情報機器を認識
する場合には、非常に明るく感じ、幻惑され、視認性が
悪くなる。[0003] In order to make the image of the vehicle-mounted display easy to see,
It is necessary to consider the adaptability to the brightness of human vision. When driving on a snowy road surface, human vision adapts to high brightness, and when recognizing information equipment inside the vehicle, it looks very dark and the color looks pale, so visibility is poor. Become. Conversely, in night driving, human vision adapts to low lightness, and when recognizing information devices inside the vehicle, the person feels very bright, is dazzled, and has poor visibility.
【０００４】[0004]
【発明が解決しようとする課題】特開平２−１４１３４
８号公報には、路面の輝度を測定し、運転者の見ている
視野の等価光幕輝度を測定することで、車両内部の情報
機器の照明装置の照度を変化させる技術が開示されてい
る。又、特開平２−１９３７３８号公報は、運転者の視
線の方向を追尾し運転者の目の中心窩順応度を測定し、
その値と等価光幕輝度とから照明装置の照度を変化させ
ることを開示している。Problems to be Solved by the Invention
No. 8 discloses a technique of measuring the luminance of a road surface and measuring the equivalent light curtain luminance of a field of view seen by a driver to change the illuminance of a lighting device of an information device inside a vehicle. . Also, Japanese Patent Application Laid-Open No. Hei 2-193538 discloses tracking the direction of the driver's line of sight and measuring the degree of foveal adaptation of the driver's eyes.
It discloses that the illuminance of the lighting device is changed from the value and the equivalent light curtain luminance.
【０００５】しかし、上記の従来技術では、等価光幕輝
度で順応度を推測する方法であるが、この方法では注視
点以外の視野環境の輝度が考慮されていないために、正
確な順応度が得られない。However, in the above-mentioned prior art, the adaptation is estimated by the equivalent light curtain luminance. However, since this method does not take into account the luminance of the visual field environment other than the gazing point, an accurate adaptation cannot be obtained. I can't get it.
【０００６】本発明は、視野環境の全画像の輝度からそ
の視野環境を見ている観測者の視覚の順応度を正確に求
めることで、どのような環境であっても、表示装置の画
像を見易くすることを目的とする。According to the present invention, an image of a display device can be obtained in any environment by accurately obtaining the degree of adaptation of the visual sense of an observer watching the visual environment from the luminance of all images in the visual environment. The purpose is to make it easier to see.
【０００７】[0007]
【課題を解決するための手段】請求項１の発明は、視野
環境画像を作成する環境画像作成手段と、視野環境画像
における注視点を指定する注視点指定手段と、注視点を
中心とした所定関数により視野環境画像の輝度を加重積
分することで、観測者が視野環境の注視点を注視した時
の観測者の視覚の順応度を演算する順応度演算手段と、
観測者が順応度で表示装置の画像を見るとき、その画像
の最も見易い表示状態を決定する変数と順応度との関係
を補正特性として記憶した補正特性記憶手段と、順応度
演算手段により求められた順応度に対応する変数値を補
正特性から決定し、その変数値に基づいて画像の表示状
態を補正する補正手段とから成ることを特徴とする。According to a first aspect of the present invention, there is provided an environment image creating means for creating a visual environment image, a gazing point designating means for designating a gazing point in the visual environment image, and a predetermined gazing point centered on the gazing point. Adaptability calculating means for calculating the adaptability of the observer's vision when the observer gazes at the fixation point of the visual environment by weight-integrating the brightness of the view environment image by the function,
When an observer views an image on a display device with a degree of adaptation, it is obtained by a correction characteristic storage unit storing a relationship between a variable that determines the most visible display state of the image and the degree of adaptation as a correction characteristic, and an adaptation degree calculating unit. And correcting means for determining a variable value corresponding to the adaptation degree from the correction characteristic and correcting the display state of the image based on the variable value.
【０００８】請求項２の発明は、画像の表示状態は、画
像の少なくとも輝度、コントラスト、彩度のうちの１種
であることを特徴とし、請求項３の発明は、補正手段
を、順応度に応じて画像の輝度を制御し、その輝度の制
御可能範囲を越える場合に、さらに、コントラスト又は
彩度の少なくとも一方を制御することを特徴とする。According to a second aspect of the present invention, the display state of the image is at least one of luminance, contrast, and saturation of the image. , And if the luminance exceeds a controllable range of the image, at least one of contrast and saturation is further controlled.
【０００９】請求項４の発明は、環境画像作成手段を、
観測者の見る視野環境をリアルタイムで撮像してその画
像を得る撮像手段とし、請求項５の発明は、環境画像作
成手段は、視野環境の代表点における照度を検出する照
度検出手段と、代表的な視野環境を表したモデル画像を
記憶したモデル画像記憶手段と、照度検出手段により検
出された照度に応じてモデル画像の輝度値を補正して環
境画像を得る加工手段とを有することを特徴とする。According to a fourth aspect of the present invention, an environmental image creating means is provided.
An image capturing means for capturing an image of a visual field environment viewed by an observer in real time to obtain the image, wherein the environmental image creating means includes an illuminance detecting means for detecting illuminance at a representative point of the visual field environment; A model image storage unit that stores a model image representing a natural visual field environment, and a processing unit that corrects the luminance value of the model image according to the illuminance detected by the illuminance detection unit to obtain an environment image. I do.
【００１０】請求項６の発明は、注視点指定手段に、観
測者の視点の動きを検出して、注視点を検出する検出手
段を設けたことを特徴とする。又、請求項７の発明は、
観測者の視覚の順応度の時間応答特性を記憶した応答特
性記憶手段と、注視点を表示装置の画面に瞬時移動させ
た時に、時間応答特性から瞬時移動後の時間の経過に伴
う順応度を過渡順応度として求める過渡順応度演算手段
とを設け、補正手段を、時間経過に伴って変化する過渡
順応度に対応する変数値を補正特性から決定し、その変
数値に基づいて画像の表示状態を補正するように構成し
たことを特徴とする。請求項８の発明は、視野環境画像
の輝度が任意の２つの値で急変した時に、時間応答特性
から急変後の時間の経過に伴う前記実順応度を過渡順応
度として求める過渡順応度演算手段を設け、補正手段
を、時間経過に伴って変化する過渡順応度を用いて、最
適変数で画像の表示状態を時間経過に伴って補正するよ
うにしたことを特徴とする。さらに、請求項９の発明
は、所定関数は注視点を中心とするガウス分布であるこ
とを特徴とする。The invention of claim 6 is characterized in that the gazing point designating means is provided with detecting means for detecting the movement of the observer's viewpoint and detecting the gazing point. The invention of claim 7 is
Response characteristic storage means for storing the time response characteristics of the degree of adaptation of the observer's vision, and when the gazing point is instantaneously moved to the screen of the display device, the degree of adaptation with the passage of time after the instantaneous movement is calculated from the time response characteristics. A transient adaptation calculating means for obtaining the transient adaptability, a correction means for determining a variable value corresponding to the transient adaptability that changes with time from the correction characteristic, and displaying the image on the basis of the variable value. Is corrected. The invention according to claim 8, wherein when the brightness of the visual field environment image changes abruptly at any two values, the transient adaptability calculating means for obtaining the actual adaptability as time elapses after the sudden change from the time response characteristic as the transient adaptability. And the correction means corrects the display state of the image with the lapse of time using an optimal variable using the transient adaptability that changes with the lapse of time. Further, the ninth aspect of the present invention is characterized in that the predetermined function is a Gaussian distribution centered on the gazing point.
【００１１】又、請求項１０の発明は、視野環境の所定
の注視点を観測者が見る時の順応度を検出する順応度検
出手段と、観測者が順応度で表示装置の画像を見ると
き、その画像の最も見易い彩度と順応度との関係を補正
特性として記憶した補正特性記憶手段と、順応度検出手
段により検出された前記順応度に対応する変数値を補正
特性から決定し、その変数値に基づいて前記画像の彩度
を補正する補正手段とから成ることを特徴とする。そし
て、請求項１１の発明は、順応度検出手段を、視野環境
の照度を検出してその照度に基づいて順応度を決定する
手段としたことである。According to a tenth aspect of the present invention, there is provided an adaptation detecting means for detecting a degree of adaptation when the observer looks at a predetermined gazing point of the visual field environment, and when the observer views an image on the display device with the degree of adaptation. A correction characteristic storage unit that stores the relationship between the most visible chroma and the adaptation of the image as a correction characteristic, and a variable value corresponding to the adaptation detected by the adaptation detection unit is determined from the correction characteristic. Correction means for correcting the saturation of the image based on the variable value. An eleventh aspect of the present invention is that the adaptation detecting means is means for detecting the illuminance of the visual field environment and determining the adaptation based on the illuminance.
【００１２】請求項１２の発明は、観測者の視覚の順応
度の時間応答特性を記憶した応答特性記憶手段と、注視
点を前記表示装置の画面に瞬時移動させた時に、時間応
答特性から瞬時移動後の時間の経過に伴う順応度を過渡
順応度として求める過渡順応度演算手段とを設け、補正
手段を、時間経過に伴って変化する過渡順応度に対応す
る変数値を補正特性から決定し、その変数値に基づいて
画像の彩度を補正することを特徴とする。According to a twelfth aspect of the present invention, there is provided a response characteristic storing means for storing a time response characteristic of the degree of adaptation of the observer's visual sense, and an instantaneous movement of the point of interest to the screen of the display device. Transient adaptation calculating means for obtaining the adaptability with the passage of time after the movement as the transient adaptation is provided, and the correcting means determines a variable value corresponding to the transient adaptability changing with time from the correction characteristic. And correcting the saturation of the image based on the variable value.
【００１３】請求項１３の発明は、観測者の視覚の順応
度の時間応答特性を記憶した応答特性記憶手段と、視野
環境画像の輝度が任意の２つの値で急変した時に、時間
応答特性から急変後の時間の経過に伴う順応度を過渡順
応度として求める過渡順応度演算手段とを設け、補正手
段を、時間経過に伴って変化する過渡順応度に対応する
変数値を前記補正特性から決定し、その変数値に基づい
て前記画像の彩度を補正することを特徴とする。According to a thirteenth aspect of the present invention, there is provided a response characteristic storing means for storing a time response characteristic of the degree of adaptation of the observer's visual sense, and a response characteristic storage means for storing the time response characteristic when the luminance of the visual field environment image suddenly changes between two arbitrary values. A transient adaptation calculating means for obtaining the adaptability with the passage of time after the sudden change as the transient adaptation; and a correcting means for determining a variable value corresponding to the transient adaptability changing with time from the correction characteristic. Then, the saturation of the image is corrected based on the variable value.
【００１４】請求項１４の発明は、補正手段を、順応度
に応じて画像の輝度を制御し、その輝度の制御可能範囲
を越える場合に、さらに、彩度、又は、彩度とコントラ
ストの両方を制御することを特徴とする。According to a fourteenth aspect of the present invention, the correction means controls the luminance of the image in accordance with the degree of adaptation, and furthermore, when the luminance exceeds the controllable range of the luminance, further increases the saturation or both the saturation and the contrast. Is controlled.
【００１５】[0015]
【作用及び発明の効果】環境画像作成手段により視野環
境画像が作成される。この視野環境画像の各画素の輝度
値は各画素に対応する視野環境の部分の輝度を表してい
る。注視点指定手段により、視野環境画像における注視
点が指定される。観測者が実際の視野環境を見る時、視
野環境上の注視点の位置により観測者の視覚の順応度が
変化する。順応度演算手段はこの順応度を予測演算す
る。即ち、注視点を中心とした所定関数により視野環境
画像の輝度を加重積分することで、観測者が視野環境の
注視点を注視した時の観測者の視覚の順応度が演算され
る。The viewing environment image is created by the environment image creating means. The luminance value of each pixel of this visual field environment image represents the luminance of the part of the visual field environment corresponding to each pixel. A gazing point in the visual field environment image is specified by the gazing point designating means. When the observer views the actual visual environment, the degree of adaptation of the observer's vision changes according to the position of the gazing point on the visual environment. The adaptation calculating means predictively calculates the adaptation. That is, the adaptability of the observer's visual sense when the observer gazes at the fixation point of the visual field environment is calculated by weight-integrating the brightness of the visual field environment image using a predetermined function centered on the fixation point.
【００１６】一方、補正特性記憶手段には、観測者が順
応度で表示装置の画像を見るとき、その画像の最も見易
い表示状態を決定する変数と順応度との関係が補正特性
として記憶されている。そして、補正手段により、順応
度演算手段により求められた順応度に対応する変数値を
補正特性から決定し、その変数値に基づいて画像の表示
状態が補正される。この画像の表示状態は、例えば、全
体の輝度、コントラスト、彩度等である。On the other hand, when the observer views the image on the display device with the adaptation degree, the relationship between the variable that determines the most visible display state of the image and the adaptation degree is stored in the correction characteristic storage means as the correction characteristic. I have. Then, the correction means determines a variable value corresponding to the adaptation calculated by the adaptation calculation means from the correction characteristic, and corrects the display state of the image based on the variable value. The display state of this image is, for example, overall luminance, contrast, saturation, and the like.
【００１７】このように、視野環境全体の画像の輝度か
ら観測者の順応度が求められるので、順応度が正確に得
られ、画像表示装置の画像をより見易く制御することが
可能となる。As described above, the degree of adaptation of the observer is obtained from the brightness of the image in the entire visual field environment, so that the degree of adaptation can be accurately obtained, and the image on the image display device can be controlled so as to be more easily seen.
【００１８】例えば、自動車の運転者が見る前方の風景
及び表示機器を含む車室内の設備を撮像して視野環境画
像として、前方の風景を注視点にすることで、前方を見
ながら運転している運転者にとって、画像表示装置の画
像を最も見易い状態にすることが可能となる。For example, a driver of an automobile can drive while looking forward by taking an image of the scenery in front of the vehicle and equipment in the vehicle interior including display devices and viewing the scenery in front as a gazing point. It is possible to make the image on the image display device most visible to the driver who is present.
【００１９】又、請求項２の発明のように、画像の表示
状態を制御するのに最大輝度を制御することの他、順応
度が高い程（明るい輝度に順応している程）、画像のコ
ントラストを拡大したり、彩度を向上させたりする補正
により、画像をより見易くすることが可能となる。又、
請求項３の発明のように、画像の輝度で調整可能な範囲
では輝度で調整し、その可能範囲を越えて表示状態を補
正する必要がある場合に、さらに、画像のコントラスト
や彩度を強調するように補正することで、より見易い画
像とすることができる。In addition to controlling the maximum luminance to control the display state of the image as in the second aspect of the present invention, the higher the adaptation degree (the higher the adaptation to a higher luminance), the more the image Correction for increasing the contrast or improving the saturation makes it easier to view the image. or,
As in the third aspect of the present invention, the image is adjusted by the luminance in a range that can be adjusted by the luminance of the image, and when the display state needs to be corrected beyond the allowable range, the contrast and the saturation of the image are further enhanced. By performing the correction so as to make the image more visible, it is possible to obtain an image that is more easily viewable.
【００２０】請求項４の発明では、観測者の見る視野環
境をリアルタイムで撮像しているので、視野環境がどの
様に変化しても、又、どれだけ高速で変化しても、観測
者の順応度を正確に求めることができる。請求項５の発
明は、視野環境をリアルタイムで撮像する代わりに、代
表的な視野環境のモデル画像を作成しておき、視野環境
の代表点における照度を検出して、その照度によりモデ
ル画像の輝度値を補正することで、現実の視野環境に近
似した画像を得るようにしている。よって、視野環境画
像を得る方法が簡単となるため、装置構成が簡略化され
る。According to the fourth aspect of the present invention, since the visual field environment viewed by the observer is imaged in real time, no matter how the visual field environment changes or how fast it changes, the observer's visual field environment changes. Accuracy can be determined accurately. According to a fifth aspect of the present invention, instead of capturing the visual field environment in real time, a model image of a representative visual field environment is created, the illuminance at a representative point of the visual field environment is detected, and the luminance of the model image is calculated based on the illuminance. By correcting the value, an image similar to the actual visual field environment is obtained. Therefore, the method for obtaining the visual field environment image is simplified, and the device configuration is simplified.
【００２１】請求項６の発明では、視野環境における観
測者の視点の動きを検出して、注視点を検出しているの
で、その時の順応度をより正確に求めることができる。
又、請求項７の発明は、注視点を表示装置の画面に瞬時
移動させた時、時間的な過渡特性を考慮して順応度を決
定しているので、画像表示装置の画像をより見易くする
ことができる。例えば、雪道走行時に車室内の画像表示
装置の画像を見る時、視野環境画像から求められる順応
度は、高い順応度から低い順応度へと瞬間的に変化する
が、実際の人間の視覚の順応度に過渡特性があるため、
徐々に順応度が低下する。この場合には、最初、画像は
見難いが、徐々に、見易くなる傾向にある。従って、従
って、画像表示装置に注視点が移動した時には、最初、
画像の輝度、コントラスト、彩度を高くして、当初から
見易くし、順応度の低下に伴って、それらの表示状態を
徐々に低下させることで、眩しさを与えることなく、観
測者の感じる感覚的な見易さを常に一定にすることがで
きる。同様に、請求項８の発明によれば、視野環境画像
の輝度が任意の２つの値で急変した時に、時間応答特性
から急変後の時間の経過に伴う順応度を過渡順応度とし
て求めている。従って、請求項７の発明と同様に、この
過渡的に変化する順応度に応じて画像の表示状態が補正
されるので、視野環境の明るさが急変した時の観測者に
よって認識される視野環境の変化を模擬画像として表示
することができる。このため、例えば、晴天時に自動車
を運転している時、トンネルに入ったり、トンネルから
出たり、夜間走行時に対向車のヘッドライトを受けた時
のように、視野環境の明るさが急変した場合にも、運転
者は表示装置の画像を最も見易い状態で見ることができ
る。According to the sixth aspect of the present invention, the movement of the observer's viewpoint in the visual field environment is detected to detect the gazing point, so that the adaptability at that time can be obtained more accurately.
According to the seventh aspect of the present invention, when the gazing point is instantaneously moved to the screen of the display device, the adaptability is determined in consideration of a temporal transient characteristic, so that the image on the image display device is more easily seen. be able to. For example, when viewing an image on an image display device in a vehicle cabin when traveling on a snowy road, the adaptation obtained from the visual field environment image changes instantaneously from a high adaptation to a low adaptation. Because the adaptability has transient characteristics,
The adaptability gradually decreases. In this case, the image is initially difficult to see, but tends to be gradually easier to see. Therefore, when the point of interest moves to the image display device, first,
By increasing the brightness, contrast, and saturation of the image to make it easier to see from the beginning, and by gradually lowering the display state as the adaptation decreases, the sense of perception felt by the observer without giving glare Can always be constant. Similarly, according to the invention of claim 8, when the luminance of the visual field environment image suddenly changes at any two values, the adaptability with the passage of time after the sudden change is obtained from the time response characteristic as the transient adaptability. . Therefore, the display state of the image is corrected in accordance with the transiently changing adaptability, similarly to the invention of claim 7, so that the visual environment recognized by the observer when the brightness of the visual environment suddenly changes. Can be displayed as a simulation image. For this reason, for example, when the brightness of the visual field environment suddenly changes, such as when driving a car in fine weather, entering or exiting a tunnel, receiving the headlights of oncoming vehicles during night driving In addition, the driver can view the image on the display device in the most easily viewable state.
【００２２】請求項９の発明は、人間の網膜の細胞密度
分布がガウス分布であることから、所定関数を注視点を
中心とするガウス分布としたために、極めて正確に順応
度を求めることができる。According to the ninth aspect of the present invention, since the cell density distribution of the human retina is a Gaussian distribution, since the predetermined function is a Gaussian distribution centered on the gazing point, the adaptability can be determined very accurately. .
【００２３】請求項１０の発明は、視野環境の所定の注
視点を観測者が見る時の順応度を検出し、その順応度で
表示装置の画像を見るとき、その画像が最も見易い彩度
となるように補正される。明るい状態に順応している場
合には、彩度が強調される結果、画面が鮮明となる。According to a tenth aspect of the present invention, the degree of adaptation when the observer looks at a predetermined gazing point in the visual field environment is detected, and when the image on the display device is viewed with the degree of adaptation, the saturation and the most easily visible image are obtained. It is corrected so that In the case of adaptation to a bright state, the screen becomes clear as a result of enhancing the saturation.
【００２４】請求項１１の発明は、視野環境の照度を検
出してその照度に基づいて順応度を決定しているので、
簡便な手段で順応度を予測することができる。According to the eleventh aspect of the present invention, since the illuminance of the visual field environment is detected and the adaptation is determined based on the illuminance,
The adaptability can be predicted by simple means.
【００２５】請求項１２の発明は、請求項７と同様に、
注視点を表示装置の画面に瞬時移動させた時の過渡順応
度を求め、その過渡順応度に対応する変数値を補正特性
から決定し、その変数値に基づいて画像の彩度を補正し
ているので、順応度が動的に過渡的に変化している場合
でも、彩度の強調により表示装置の画像は最も見易くな
る。According to a twelfth aspect of the present invention, similar to the seventh aspect,
The transient adaptation when the point of gaze is instantaneously moved to the screen of the display device is determined, the variable value corresponding to the transient adaptation is determined from the correction characteristic, and the saturation of the image is corrected based on the variable value. Therefore, even when the adaptation degree is dynamically and transiently changed, the image on the display device is most easily viewed by emphasizing the saturation.
【００２６】請求項１３の発明は、請求項８と同様に、
視野環境画像の輝度が任意の２つの値で急変した時の過
渡順応度を求め、その過渡順応度に対応する変数値を補
正特性から決定し、その変数値に基づいて画像の彩度を
補正しているので、視野環境の輝度の急変により順応度
が動的に過渡的に変化している場合でも、表示装置の画
像は彩度の強調により最も見易くなる。The invention of claim 13 is the same as claim 8,
The transient adaptation when the luminance of the visual environment image suddenly changes at any two values is determined, the variable value corresponding to the transient adaptation is determined from the correction characteristics, and the saturation of the image is corrected based on the variable value. Therefore, even when the adaptability dynamically and transiently changes due to a sudden change in the luminance of the visual field environment, the image on the display device is most easily viewed due to the enhancement of the saturation.
【００２７】請求項１４の発明は、請求項３の発明と同
様に、輝度補正を行った後に、彩度補正又は彩度補正と
コントラスト補正とを行っているので、広い範囲の順応
度の変化に対して、より見易い画像を得ることができ
る。According to a fourteenth aspect of the present invention, similar to the third aspect of the present invention, after performing the luminance correction, the saturation correction or the saturation correction and the contrast correction are performed. , An image that is easier to see can be obtained.
【００２８】[0028]
【発明の実施の形態】本発明の具体的な実施例を図１に
示す。図１は本実施例にかかる車載用画像表示装置の構
成を示したブロック図である。ＣＣＤカメラ２０は自動
車の運転者（観測者）から見た視野環境を自動車の走行
と共にリアルタイムで撮像するためのものである。この
視野環境には、自動車が現在走行している前方の各種の
風景、例えば、雪道走行時、晴天時、曇天時、雨天時、
夜間、トンネル走行時等の輝度の異なる各種の風景や、
車室内の様子、表示器の画面等の視野環境である。ＣＣ
Ｄカメラ２０には画像入力装置２１が接続されており、
その画像入力装置２１は、ＣＣＤカメラ２０から出力さ
れる映像信号を処理して、リアルタイムで視野環境画像
をＲＡＭ１３に生成する装置である。ＲＡＭ１３は、図
２に示すように、車外画像、車室内画像、表示器画像の
３種類毎に各画像記憶部１３１、１３２、１３３に記憶
される。FIG. 1 shows a specific embodiment of the present invention. FIG. 1 is a block diagram illustrating the configuration of the vehicle-mounted image display device according to the present embodiment. The CCD camera 20 is for real-time imaging of the visual field environment viewed from the driver (observer) of the vehicle as the vehicle travels. This view environment includes various scenes ahead of the vehicle where the car is currently traveling, for example, when traveling on snowy roads, fine weather, cloudy weather, rainy weather,
Various scenery with different brightness at night, when driving in a tunnel, etc.,
This is the view environment such as the state of the vehicle interior and the screen of the display. CC
An image input device 21 is connected to the D camera 20.
The image input device 21 is a device that processes a video signal output from the CCD camera 20 and generates a visual field environment image in the RAM 13 in real time. As shown in FIG. 2, the RAM 13 is stored in each of the image storage units 131, 132, and 133 for each of the three types of the image outside the vehicle, the image inside the vehicle, and the display device image.
【００２９】ＣＰＵ１１は、運転者の順応度を求め画像
表示装置に画像を表示するための各種の演算を実行する
装置であり、そのＣＰＵ１１にはＲＯＭ１２が接続され
ている。ＲＯＭ１２には、順応度の演算、画像の表示状
態の補正演算をするためのプログラムを記憶したプログ
ラム領域１２１、図３に示す順応度とその順応度におけ
る表示画面の最適な輝度、コントラスト、彩度との関係
を示す補正特性を記憶する補正特性領域１２２、視野環
境の注視点を瞬時移動させた時や視野環境の輝度が瞬時
変動した時に、その運転者の順応度が時間的に徐々に変
化する順応度の過渡特性を記憶した過渡特性領域１２３
と、表示画像の画像データを記憶する画像データ領域１
２４とが形成されている。この特性から従属変数の値を
求めるには、特性を、関数を規定したパラメータで記憶
して、関数演算により行えば良い。又、特性を、２つの
変数の関係をデータマップで記憶して、補間演算により
独立変数の任意の値に対応して従属変数の値を決定して
も良い。The CPU 11 is a device for obtaining various degrees of adaptation of the driver and executing various calculations for displaying images on the image display device. The ROM 11 is connected to the CPU 11. The ROM 12 stores a program area 121 for storing a program for calculating a degree of adaptation and correcting the display state of an image. The degree of adaptation shown in FIG. 3 and the optimal brightness, contrast, and saturation of the display screen at the degree of adaptation are shown in FIG. The correction characteristic area 122 stores the correction characteristic indicating the relationship with the driver. When the gazing point of the visual field environment is instantaneously moved or the luminance of the visual field environment fluctuates instantaneously, the adaptability of the driver gradually changes with time. Transient region 123 storing the transient characteristics of the adaptability
And an image data area 1 for storing image data of a display image
24 are formed. In order to obtain the value of the dependent variable from this characteristic, the characteristic may be stored as a parameter defining the function, and may be performed by a function operation. Alternatively, the characteristics may be stored in a data map in which the relationship between the two variables is stored, and the value of the dependent variable may be determined according to an arbitrary value of the independent variable by interpolation.
【００３０】さらに、ＣＰＵ１１には、運転者の注視点
を決定するために、運転者の顔を撮像するＣＣＤカメラ
１５と、そのＣＣＤカメラ１５の出力する映像信号を処
理して画像処理により運転者の瞳の位置及び瞳の姿勢か
ら視線方向を検出する画像処理装置１４が接続されてい
る。さらに、カーナビゲーションシステムのように道路
地図を表示する表示装置１６がＣＰＵ１１に接続されて
いる。Further, the CPU 11 has a CCD camera 15 for taking an image of the driver's face and a video signal output from the CCD camera 15 for determining the gazing point of the driver. An image processing apparatus 14 for detecting the direction of the line of sight from the position of the pupil and the posture of the pupil is connected. Further, a display device 16 for displaying a road map like a car navigation system is connected to the CPU 11.
【００３１】次に、本装置のＣＰＵ１１の処理手順を図
５のフローチャートに基づいて説明する。ステップ１０
０において、ＲＡＭ１３の各画像記憶部１３１、１３
２、１３３にリアルタイムで記憶される車外画像、車室
内画像、表示器画像を入力して、それぞれの画像を所定
の輝度に設定し、その３つの画像を合成した画像を視野
環境画像として、ＲＡＭ１３の視野環境画像記憶部１３
４に記憶する。この視野環境画像は、運転者から見た車
室内の表示器、ダッシュボード、自動車の前方の風景で
構成される。Next, the processing procedure of the CPU 11 of the present apparatus will be described with reference to the flowchart of FIG. Step 10
0, each image storage unit 131, 13 of the RAM 13
2, 133, a vehicle exterior image, a vehicle interior image, and a display image stored in real time are input, each image is set to a predetermined luminance, and an image obtained by synthesizing the three images is used as a view environment image as a RAM 13 image. View environment image storage unit 13
4 is stored. The visual field environment image includes a display, a dashboard, and a scene in front of the vehicle as viewed from the driver.
【００３２】次に、ステップ１０２において、画像処理
装置１４から運転者の瞳の位置と視線方向とを入力し
て、上記で求めた視野環境画像上での注視点の位置が演
算される。視野環境に座標系を設定すれば、視野環境に
おけるＣＣＤカメラ１５の設置位置は既知であるので、
ＣＣＤカメラ１５の撮像する画像から、その視野環境座
標系における運転者の瞳の位置と視線方向は容易に求め
られる。又、視野環境座標系におけるＣＣＤカメラ２０
の設置位置は既知であるので、ＣＣＤカメラ２０により
撮像された視野環境画像上に視野環境座標系を投影する
ことができる。よって、視野環境画像上における注視点
を上記の運転者の瞳の位置と視線方向とから決定するこ
とができる。Next, in step 102, the position of the driver's pupil and the line of sight are input from the image processing device 14, and the position of the gazing point on the visual field environment image obtained above is calculated. If a coordinate system is set in the visual field environment, the installation position of the CCD camera 15 in the visual field environment is known.
From the image captured by the CCD camera 15, the position of the driver's pupil and the line of sight in the visual field environment coordinate system can be easily obtained. Also, the CCD camera 20 in the visual field environment coordinate system is used.
Since the installation position is known, the visual field environment coordinate system can be projected onto the visual field environment image captured by the CCD camera 20. Therefore, the gazing point on the visual field environment image can be determined from the position of the driver's pupil and the gaze direction.
【００３３】次に、ステップ１０４において、視野環境
画像に対応した実際の視野環境において、その注視点を
注視している時の運転者の順応度が演算される。Next, in step 104, in the actual visual environment corresponding to the visual environment image, the degree of adaptation of the driver while gazing at the gazing point is calculated.
【００３４】この順応度の計算は、図６に示す手順に従
って実行される。ステップ２００で、重み付け係数の分
布が演算される。この重み付け係数の分布は、次のガウ
ス分布に従って決定される。The calculation of the adaptability is executed according to the procedure shown in FIG. In step 200, the distribution of the weighting factors is calculated. The distribution of the weighting coefficients is determined according to the following Gaussian distribution.
【００３５】[0035]
【数１】 G(θ)=exp((-θ/ θ0 )2) …(1) 但し、図７に示すように、θは注視点を見る視線方向と
成す角、θ0 はガウス分布の大きさを決定する値であ
る。このガウス分布を離散的な画素アドレスに変換する
ために、次の重み付け係数を導入する。G (θ) = exp ((− θ / θ 0 ) 2 ) (1) However, as shown in FIG. 7, θ is an angle formed with the line of sight of the gazing point, and θ 0 is a Gaussian distribution. Is a value that determines the size of. To convert this Gaussian distribution into discrete pixel addresses, the following weighting factors are introduced.
【数２】 W(i,j)=exp(-((i-i0)2+(j-j0)2)/k) …(2) 但し、i,j は視野環境画像における画素アドレス、i0,j
0 は視野環境画像上における注視点の画素アドレス、k
はガウス分布の大きさを決定する値である。即ち、係数
W(i,j)は任意画素(i,j) の注視点(i0,j0) からの距離に
比例して、減衰定数1/k で減衰する指数関数で決定され
る。W (i, j) = exp (− ((ii 0 ) 2 + (jj 0 ) 2 ) / k) (2) where i, j is a pixel address in the visual field environment image, i 0 , j
0 is the pixel address of the gazing point on the visual field environment image, k
Is a value that determines the magnitude of the Gaussian distribution. That is, the coefficient
W (i, j) is determined by an exponential function that attenuates with an attenuation constant 1 / k in proportion to the distance of the arbitrary pixel (i, j) from the gazing point (i 0 , j 0 ).
【００３６】次に、ステップ２０２において、視野環境
画像の輝度値が上記の重み係数W(i,j)で重み付けられ
る。即ち、Next, in step 202, the luminance value of the visual field environment image is weighted by the above-mentioned weight coefficient W (i, j). That is,
【数３】 …(3) IW(i,j)=I(i,j)W(i,j) 但し、I(i,j)は視野環境画像の画素(i,j) の輝度値、IW
(i,j) はその重み付けられた輝度値である。(3) I W (i, j) = I (i, j) W (i, j) where I (i, j) is the luminance value of the pixel (i, j) in the visual field environment image. , I W
(i, j) is the weighted luminance value.
【００３７】次に、ステップ２０４において、重み付け
られた輝度値の平均値が演算される。Next, in step 204, the average value of the weighted luminance values is calculated.
【数４】 La= ( Σi=1 n Σj=1 m IW(i,j))/nm …(4) 但し、Laは重み付けられた輝度値の平均値であり、現実
の視野環境の注視点を見る時の運転者の順応度を表して
いる。又、n,m は視野環境画像のx 方向y 方向の画素数
である。Equation 4] La = (Σ i = 1 n Σ j = 1 m I W (i, j)) / nm ... (4) where, La is the mean value of luminance values weighted, real field environment Represents the degree of adaptation of the driver when looking at the point of regard. Also, n and m are the number of pixels in the x and y directions of the visual field environment image.
【００３８】次に、図５のステップ１０６へ移行して、
ＲＡＭ１２の補正特性領域１２２にに記憶されている図
３の補正特性から、上記で求めた順応度Laに対応する変
数値が求められる。例えば、順応度がLa1 であると、変
数値は(Ba1,0,0) となる。又、順応度がLa2 であると、
変数値は(Bmax,Ca2,Da2)である。但し、変数値は( 輝
度、コントラスト係数、彩度係数) である。Next, the process proceeds to step 106 in FIG.
From the correction characteristics of FIG. 3 stored in the correction characteristic area 122 of the RAM 12, a variable value corresponding to the adaptability La obtained above is obtained. For example, when the adaptation degree is La1, the variable value is (Ba1,0,0). Also, if the adaptation degree is La2,
The variable value is (Bmax, Ca2, Da2). However, the variable values are (luminance, contrast coefficient, saturation coefficient).
【００３９】ステップ１０８において、表示画像の表示
状態の補正演算が行われる。例えば、順応度La1 に対し
て変数値(Ba1,0,0) が得られた場合には、表示装置１６
の輝度のみをBa1 とすることを意味する。表示装置１６
が液晶表示器である場合には、バックライト光の照度を
Ba1 とする。これにより、表示装置１６の画面の最大輝
度（最も明るい画素の輝度）がBa1 となり、注視点が自
動車の前方にある運転者の順応度La1 において最も見易
い明るさの画像が得られる。In step 108, a calculation for correcting the display state of the display image is performed. For example, when the variable value (Ba1,0,0) is obtained for the adaptation degree La1, the display device 16
Means that only the luminance of is set to Ba1. Display device 16
Is a liquid crystal display, the illuminance of the backlight light
Ba1. As a result, the maximum luminance (luminance of the brightest pixel) of the screen of the display device 16 becomes Ba1, and an image with the most visible brightness can be obtained in the adaptation La1 of the driver whose gazing point is ahead of the automobile.
【００４０】又、順応度La2 に対して、変数値(Bmax,Ca
2,Da2)が得られた場合には、表示装置１６のバックライ
ト光の照度を最大のBmaxとする。バックライト光の照度
をBmaxとしても、未だ、順応度La2 において、最も見易
い画像が得られていないので、次のようにコントラスト
と彩度の補正が行われる。ＲＯＭ１２の画像データ領域
１２４に記憶されている画像データのＲＧＢ値から彩度
Z を求める。そして、Z・Da2 により彩度を向上させ
る。補正された彩度 Z・Da2 を逆変換により一次補正Ｒ
ＧＢ値を求める。次に、この一次補正ＲＧＢ値から輝度
Y を求める。そして、 Y・Ca2 により画像の輝度をCa2
倍だけ増幅し、画像のコントラストをCa2倍に拡大す
る。そして、補正された輝度 Y・Ca2 から逆変換により
２次補正ＲＧＢ値を求める。そして、ステップ１１０
で、この２次補正ＲＧＢ値に基づいて表示装置１６を駆
動する。Further, for the adaptation degree La2, a variable value (Bmax, Ca
(2, Da2), the illuminance of the backlight of the display device 16 is set to the maximum Bmax. Even when the illuminance of the backlight light is Bmax, the most legible image has not yet been obtained in the adaptation La2, so that the contrast and the saturation are corrected as follows. From the RGB values of the image data stored in the image data area 124 of the ROM 12,
Find Z. And the saturation is improved by Z-Da2. Primary correction R by inverse transformation of corrected saturation Z ・ Da2
Determine the GB value. Next, the luminance is calculated from the primary corrected RGB values.
Ask for Y. Then, the brightness of the image is calculated as Ca2
Amplify by a factor of 2 and expand the image contrast by a factor of Ca2. Then, a secondary corrected RGB value is obtained from the corrected luminance Y · Ca2 by inverse conversion. And step 110
Then, the display device 16 is driven based on the secondary corrected RGB values.
【００４１】この処理により、運転者の順応度が高い場
合に、表示画面の輝度、コントラスト、彩度が増大する
ことで、より見易い画像を提供することができる。尚、
上記の実施例では、画面の輝度を最大値に調整しても、
なお、画像の表示状態を補正しきれない場合に、コント
ラストと彩度とを共に増加させるように補正している
が、コントラスト又は彩度のいずれか一方を増加させる
だけでも良い。さらに、順応度の低い状態からこれらの
３つの補正を同時に行っても良い。逆に、順応度の低い
状態からコントラスト又は彩度だけを補正するようにし
ても良い。By this processing, when the adaptability of the driver is high, the brightness, contrast, and saturation of the display screen are increased, so that an image that is more easily viewable can be provided. still,
In the above embodiment, even if the screen brightness is adjusted to the maximum value,
When the display state of the image cannot be completely corrected, the correction is performed so as to increase both the contrast and the saturation. However, only one of the contrast and the saturation may be increased. Further, these three corrections may be performed simultaneously from a state of low adaptability. Conversely, only the contrast or saturation may be corrected from the state of low adaptation.
【００４２】次に、注視点が瞬時移動した時の順応度の
過渡特性を考慮して画像の表示状態を補正するようにし
た実施例について、ＣＰＵ１１の処理手順を示した図８
のフローチャートを参照して説明する。Next, FIG. 8 shows a processing procedure of the CPU 11 in the embodiment in which the display state of the image is corrected in consideration of the transient characteristic of the adaptability when the point of gaze moves instantaneously.
This will be described with reference to the flowchart of FIG.
【００４３】図８のプログラムは、注視点が瞬時移動し
た場合に起動されるように構成されている。ステップ３
００では、図５のステップ１００と同様に、ＲＡＭ１３
の各画像記憶部１３１、１３２、１３３に記憶されてい
る車外画像、車室内画像、表示器画像を入力して、それ
ぞれの画像を所定の輝度に設定し、その３つの画像を合
成した画像を視野環境画像として、ＲＡＭ１３の視野環
境画像記憶部１３４に記憶する。The program shown in FIG. 8 is configured to be activated when the point of interest moves instantaneously. Step 3
00, as in step 100 of FIG.
, The vehicle exterior image, the vehicle interior image, and the display image stored in each of the image storage units 131, 132, and 133 are input, each image is set to a predetermined luminance, and an image obtained by combining the three images is input. It is stored in the viewing environment image storage unit 134 of the RAM 13 as the viewing environment image.
【００４４】次に、ステップ３０２において、図５のス
テップ１０２と同様に画面上の移動前と移動後の注視点
を２点決定する。即ち、視野環境画像における２つの注
視点を決定することになる。例えば、自動車の運転時に
車室内の表示器を見る場合を想定する。通常の運転状態
においては、運転者は前方を注視しているので、前方の
明るい風景が移動前の第１注視点として決定され、車室
内の表示器の表示を移動後の第２注視点として決定され
る。次に、ステップ３０４、３０６において、図５のス
テップ１０４と同様に、即ち、図６の処理手順により、
視野環境画像に対応した実際の視野環境において、第１
注視点を注視している時の運転者の視覚の第１順応度L1
と、第２注視点を注視している時の運転者の視覚の第２
順応度L2とが演算される。Next, in step 302, two gazing points before and after movement on the screen are determined in the same manner as in step 102 in FIG. That is, two gazing points in the visual field environment image are determined. For example, it is assumed that a driver looks at a display in the passenger compartment when driving a car. In a normal driving state, since the driver is gazing ahead, a bright scenery ahead is determined as the first gazing point before the movement, and the display on the display in the vehicle cabin is set as the second gazing point after the movement. It is determined. Next, in steps 304 and 306, as in step 104 of FIG. 5, that is, by the processing procedure of FIG.
In the actual viewing environment corresponding to the viewing environment image, the first
The first adaptability L 1 of the driver's vision while gazing at the fixation point
And the second of the driver's vision while gazing at the second gaze point
And adaptability L 2 is calculated.
【００４５】次に、ステップ３０８において、タイマを
起動して経過時間ｔを発生させる。次に、ステップ３１
０において、現在の経過時間ｔ、第１順応度L1、第２順
応度L2と図４に示す順応度の過渡特性とから次式により
経過時間ｔにおける順応度Ltを演算する。Next, in step 308, a timer is started to generate an elapsed time t. Next, step 31
At 0, the current elapsed time t, the first degree of adaptation L 1, calculates the degree of adaptation Lt at the elapsed time t from the transient characteristics of adaptability shown in the second degree of adaptation L 2 and 4 by the following equation.
【数７】 Lt=L2+(L1-L2)exp(-t/T) …(7) 但し、Lt,L1,L2はdB値、T は時定数である。Lt = L 2 + (L 1 −L 2 ) exp (−t / T) (7) where Lt, L 1 and L 2 are dB values, and T is a time constant.
【００４６】次に、ステップ３１２において、図５のス
テップ１０８と同様な処理により、画像の表示状態の補
正が実行される。即ち、過渡的に変化する順応度Ltに対
して、時間的に変化する変数値(Bt,Ct,Dt)を求め、その
変数値により画像の補正演算を実行して、ステップ３１
４でその補正画像が表示装置１６に表示される。そし
て、ステップ３１６で、｜Lt-L2 ｜≦Δか否かを判定す
ることで、経過時間t における順応度Ltが第２順応度L2
に十分に接近したか否かが判定される。順応度Ltが第２
順応度L2に十分に接近していない場合には、ステップ３
１０に戻り、次の経過時間ｔにおける順応度Ltが演算さ
れ、上述した処理により経過時間ｔにおける補正画像が
生成され、その補正画像が画像表示装置１６に表示され
る。Next, in step 312, the display state of the image is corrected by the same processing as step 108 in FIG. That is, a variable value (Bt, Ct, Dt) that changes over time is obtained for the adaptation degree Lt that changes transiently, and an image correction operation is performed using the variable value, and step 31 is performed.
In step 4, the corrected image is displayed on the display device 16. Then, at step 316, it is determined whether or not | Lt−L 2 | ≦ Δ, so that the adaptability Lt at the elapsed time t 2 is equal to the second adaptability L 2
It is determined whether the vehicle has sufficiently approached or not. Adaptability Lt is 2nd
If the adaptation level L 2 is not sufficiently close, step 3
Returning to 10, the adaptation Lt at the next elapsed time t is calculated, a corrected image at the elapsed time t is generated by the above-described processing, and the corrected image is displayed on the image display device 16.
【００４７】又、ステップ３１６で、順応度Ltが第２順
応度L2に十分に接近したと判定された場合には、注視点
が瞬時移動した場合の本プログラムが終了する。[0047] In step 316, if the adaptability Lt is determined to be sufficiently close to the second degree of adaptation L 2, the present program is terminated when the gazing point is instantaneously moved.
【００４８】次に視野環境の照度が時間的に急変した場
合の表示画像の補正方法について、図９のフローチャー
トを参照して説明する。図９のプログラムは視野環境画
像において注視点を含む領域の輝度が急変した場合に起
動される。ステップ４００では、図５のステップ１００
と同様に視野環境画像が合成される。ステップ４０２で
図５のステップ１０２と同様に視野環境画像上で注視点
が決定される。次に、ステップ４０４で、輝度が急変す
る前の視野環境画像の注視点を注視した時の視覚の第１
順応度L1が演算され、ステップ４０６で、輝度が急変し
た後の視野環境画像の注視点を注視した時の視覚の第２
順応度L2が演算される。Next, a method of correcting a display image when the illuminance of the visual field environment changes rapidly with time will be described with reference to the flowchart of FIG. The program in FIG. 9 is started when the luminance of a region including the point of regard in the visual field environment image changes suddenly. In step 400, step 100 in FIG.
Is combined with the visual field environment image. In step 402, a gazing point is determined on the visual field environment image similarly to step 102 in FIG. Next, in step 404, the first visual point when the gazing point of the visual field environment image before the luminance is suddenly changed is observed.
Adaptability L 1 is calculated, in step 406, the visual when gazing at the fixation point of the field of view environment image after brightness changes suddenly 2
Adaptability L 2 is calculated.
【００４９】以下、ステップ４０８〜４１４は、図８の
ステップ３０８〜３１４に同一である。このようにし
て、視野環境の輝度が急変した時、例えば、自動車で明
るい昼間に走行中にトンネルに入ったり、出たりした
時、夜間走行中に対向車のヘッドライトを受けた時に、
運転者の視覚の順応度が時間的に変化した場合にでも、
表示装置１６の画像を最も見易い状態に動的に制御する
ことができる。Hereinafter, steps 408 to 414 are the same as steps 308 to 314 in FIG. In this way, when the brightness of the visual field environment changes suddenly, for example, when entering or exiting a tunnel while driving in a bright day in a car, when receiving the headlight of an oncoming vehicle during night driving,
Even if the driver's visual adaptation changes over time,
It is possible to dynamically control the image on the display device 16 so that it can be most easily viewed.
【００５０】尚、上記実施例では、視野環境画像を実際
の視野環境を自動車の走行に伴いＣＣＤカメラで撮像し
て得ているが、基本となるモデル画像を撮影又はコンピ
ュータグラフィクス等によりＲＯＭ１２（モデル画像記
憶手段）に作成しておき、自動車外部の照度と自動車内
部の照度をリアルタイムで照度検出手段により検出し
て、その照度に応じてモデル画像の輝度を補正する（加
工手段）ことで、視野環境画像を近似的に得るようにし
ても良い。又、視野環境画像を車外、車室内、表示器と
３分割して入力しているが、分割しないで、一度に取り
込むようにしても良い。In the above-described embodiment, the visual field environment image is obtained by capturing the actual visual field environment with a CCD camera as the vehicle travels. Image storage means), the illuminance outside the vehicle and the illuminance inside the vehicle are detected by the illuminance detection means in real time, and the luminance of the model image is corrected in accordance with the illuminance (processing means). An environment image may be obtained approximately. In addition, although the visual field environment image is input by dividing the image into the outside of the vehicle, the inside of the vehicle, and the display, the image may be taken at once without dividing the image.
【００５１】又、注視点の決定は、運転者の顔を撮影し
て画像処理により求めているが、自動車の前方に注視点
を固定しておいても良い。又、上記の処理を行うプログ
ラムは、ＦＤ、ＲＯＭ、ＲＡＭ、メモリＩＣ、光磁気デ
ィスク、ＣＤ等の記憶媒体に記憶して供給することがで
きる。Although the point of gaze is determined by photographing the driver's face and performing image processing, the point of gaze may be fixed in front of the vehicle. Further, the program for performing the above processing can be stored in a storage medium such as an FD, a ROM, a RAM, a memory IC, a magneto-optical disk, and a CD and supplied.
【００５２】上記実施例では、視野環境のある注視点を
見ている観測者の視覚の順応度を求めるのに、視野環境
画像を作成して、その視野環境画像上の注視点を中心と
して所定関数で輝度を重み付け加算して順応度を演算し
ているが、順応度検出手段として、視野環境の照度を検
出する照度センサと、この照度から順応度を予測演算す
るＣＰＵ及び演算プログラムを設けて、照度に比例して
順応度を求めるようにしても良い。例えば、車載用画像
表示装置の場合には車外の照度を検出することで、前方
を見ながら運転している時の運転者の視覚の順応度を、
照度に比例して求めることができる。又、表示装置の画
面上に上に注視点が移行した時の順応度は、車内の照度
を検出して、その照度に比例させて求めることができ
る。さらに、等価光幕輝度を測定する光学系を用いて、
車両前方に注視点がある場合の順応度と、表示装置の画
面上に注視点がある場合の順応度とを求めるようにして
も良い。In the above embodiment, in order to determine the degree of visual adaptation of an observer who is looking at a gazing point with a visual field environment, a visual field environment image is created and a predetermined value is set centered on the gazing point on the visual field environment image. The adaptability is calculated by weighting and adding the luminance with a function. As the adaptation detecting means, an illuminance sensor for detecting the illuminance of the visual field environment, a CPU for predicting and calculating the adaptation from the illuminance, and an arithmetic program are provided. Alternatively, the adaptation may be obtained in proportion to the illuminance. For example, in the case of an in-vehicle image display device, by detecting the illuminance outside the vehicle, the degree of visual adaptation of the driver when driving while looking forward,
It can be obtained in proportion to the illuminance. In addition, the adaptability when the point of gaze moves upward on the screen of the display device can be obtained by detecting the illuminance in the vehicle and in proportion to the illuminance. Furthermore, using an optical system that measures the equivalent light curtain luminance,
The adaptation degree when there is a gazing point ahead of the vehicle and the adaptation degree when there is a gazing point on the screen of the display device may be obtained.
【００５３】請求項における各手段と上記実施例との関
係を説明する。環境画像作成手段は、ＣＣＤカメラ２
０、画像入力装置２１、ＲＡＭ１３、ＣＰＵ１１、ステ
ップ１００、３００、４００で構成され、注視点指定手
段は、ＣＣＤカメラ１５、画像処理装置１４、ＣＰＵ１
１、ステップ１０２、３０２、４０２で構成され、補正
特性記憶手段はＲＯＭ１２で構成され、順応度演算手段
はＣＰＵ１１、ステップ１０４、２００〜２０４、３０
４、３０６、４０４、４０６とで構成され、補正手段
は、ＣＰＵ１１、ステップ１０８、３１２、４１２で構
成される。応答特性記憶手段はＲＯＭ１２で構成され、
過渡順応度演算手段はＣＰＵ１１と、ステップ３１０、
４１０とで構成されている。The relationship between each means in the claims and the above embodiment will be described. The environmental image creation means is a CCD camera 2
0, an image input device 21, a RAM 13, a CPU 11, steps 100, 300 and 400, and a gazing point designating means is a CCD camera 15, an image processing device 14, a CPU 1
1, steps 102, 302, and 402, the correction characteristic storage means is composed of the ROM 12, and the adaptability calculation means is the CPU 11, steps 104, 200 to 204, and 30.
4, 306, 404, and 406, and the correction unit includes the CPU 11, steps 108, 312, and 412. The response characteristic storage means is constituted by the ROM 12,
The transient adaptability calculating means includes a CPU 11 and step 310,
410.
【図１】本発明の具体的な実施例にかかる画像表示装置
の構成を示したブロック図。FIG. 1 is a block diagram showing a configuration of an image display device according to a specific embodiment of the present invention.
【図２】同実施例装置の機能を示したブロック図。FIG. 2 is a block diagram showing functions of the apparatus of the embodiment.
【図３】運転者の順応度と表示装置の画像を最適表示と
するための表示輝度、彩度補正係数、コントラスト補正
係数との関係である補正特性を示した特性図。FIG. 3 is a characteristic diagram showing a correction characteristic which is a relation between a display luminance, a saturation correction coefficient, and a contrast correction coefficient for optimally displaying an image on a display device with a driver's adaptability.
【図４】順応度の過渡特性を示した特性図。FIG. 4 is a characteristic diagram showing a transient characteristic of adaptation.
【図５】同実施例装置のＣＰＵにより表示装置の画像の
表示状態を補正するための処理手順を示したフローチャ
ート。FIG. 5 is an exemplary flowchart showing a processing procedure for correcting a display state of an image on a display device by a CPU of the apparatus of the embodiment.
【図６】順応度を求めるための処理手順を示したフロー
チャート。FIG. 6 is a flowchart showing a processing procedure for obtaining a degree of adaptation.
【図７】順応度を求めるためのガウス分布を示した特性
図。FIG. 7 is a characteristic diagram showing a Gaussian distribution for obtaining adaptation.
【図８】注視点が瞬時移動する時の表示装置の画像の表
示状態を補正するための処理手順を示したフローチャー
ト。FIG. 8 is a flowchart showing a processing procedure for correcting the display state of the image on the display device when the point of gaze moves instantaneously.
【図９】視野環境の輝度が急変する時の表示装置の画像
の表示状態を補正するための処理手順を示したフローチ
ャート。FIG. 9 is a flowchart showing a processing procedure for correcting the display state of an image on the display device when the luminance of the viewing environment changes suddenly.
１１…ＣＰＵ １２…ＲＯＭ １３…ＲＡＭ 11 CPU 12 ROM 13 RAM
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｈ０４Ｎ 9/12 Ｈ０４Ｎ 9/12 Ａ (72)発明者 中野 倫明 愛知県愛知郡長久手町大字長湫字横道41番 地の１ 株式会社豊田中央研究所内 (72)発明者 山本 新 愛知県愛知郡長久手町大字長湫字横道41番 地の１ 株式会社豊田中央研究所内──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 6 Identification symbol FI H04N 9/12 H04N 9/12 A (72) Inventor Tomoaki Nakano 41 shares at Chukuji Yokomichi, Oku-cho, Nagakute-cho, Aichi-gun, Aichi (72) Inventor Yamamoto Shin 1 Yamato, Aichi-gun, Nagakute-cho
Claims (14)
の明るさに関する順応度に応じて、表示装置の画像の表
示状態を制御するようにした画像表示装置において、 視野環境画像を作成する環境画像作成手段と、 前記視野環境画像における注視点を指定する注視点指定
手段と、 前記注視点を中心とした所定関数により前記視野環境画
像の輝度を加重積分することで、前記観測者が前記視野
環境の前記注視点を注視した時の観測者の視覚の順応度
を演算する順応度演算手段と、 前記観測者が前記順応度で前記表示装置の画像を見ると
き、その画像の最も見易い表示状態を決定する変数と前
記順応度との関係を補正特性として記憶した補正特性記
憶手段と、 前記順応度演算手段により求められた前記順応度に対応
する変数値を前記補正特性から決定し、その変数値に基
づいて前記画像の表示状態を補正する補正手段とから成
ることを特徴とする画像表示装置。When an observer views a visual field environment, an image display device that controls a display state of an image on a display device in accordance with a degree of adaptation of the visual perception of the observer is provided. Environment image creating means to be created; fixation point designating means for designating a fixation point in the view environment image; and a weighted integration of the brightness of the view environment image by a predetermined function centered on the fixation point, whereby the observer Is a degree of adaptation calculating means for calculating the degree of adaptation of the observer's vision when gazing at the gazing point of the visual field environment, when the observer looks at the image of the display device with the degree of adaptation, most of the image A correction characteristic storage unit that stores a relationship between a variable that determines a display state that is easy to see and the degree of adaptation as a correction characteristic, and a variable value corresponding to the degree of adaptation obtained by the degree of adaptation calculation unit being the correction characteristic. Determined, an image display device characterized by comprising a correction means for correcting a display state of the image based on the variable value.
輝度、コントラスト、彩度のうちの１種であることを特
徴とする請求項１に記載の画像表示装置。2. The image display apparatus according to claim 1, wherein the display state of the image is at least one of luminance, contrast, and saturation of the image.
画像の輝度を制御し、その輝度の制御可能範囲を越える
場合に、さらに、コントラスト又は彩度の少なくとも一
方を制御することを特徴とする請求項１に記載の画像表
示装置。3. The image processing apparatus according to claim 1, wherein the correction unit controls the luminance of the image in accordance with the adaptation degree, and further controls at least one of the contrast and the saturation when the luminance exceeds a controllable range of the luminance. The image display device according to claim 1.
る前記視野環境をリアルタイムで撮像してその画像を得
る撮像手段であることを特徴とする請求項１に記載の画
像表示装置。4. The image display apparatus according to claim 1, wherein said environmental image creating means is an image capturing means for capturing an image of the visual field environment viewed by the observer in real time to obtain the image.
代表点における照度を検出する照度検出手段と、代表的
な視野環境を表したモデル画像を記憶したモデル画像記
憶手段と、前記照度検出手段により検出された前記照度
に応じて前記モデル画像の輝度値を補正して前記環境画
像を得る加工手段とを有することを特徴とする請求項１
乃至請求項４のいずれか１項に記載の画像表示装置。5. An illuminance detecting means for detecting illuminance at a representative point of the visual field environment, a model image storing means for storing a model image representing a representative visual environment, and the illuminance detecting means. And processing means for correcting the luminance value of the model image in accordance with the illuminance detected by the means to obtain the environment image.
The image display device according to claim 1.
の動きを検出して、注視点を検出する検出手段を有する
ことを特徴とする請求項１に記載の画像表示装置。6. The image display apparatus according to claim 1, wherein said gazing point designating means has detecting means for detecting a movement of the observer's viewpoint and detecting a gazing point.
憶した応答特性記憶手段と、 前記注視点を前記表示装置の画面に瞬時移動させた時
に、前記時間応答特性から瞬時移動後の時間の経過に伴
う前記順応度を過渡順応度として求める過渡順応度演算
手段とを設け、 前記補正手段は、時間経過に伴って変化する前記過渡順
応度に対応する変数値を前記補正特性から決定し、その
変数値に基づいて前記画像の表示状態を補正することを
特徴とする請求項１乃至請求項６のいずれか１項に記載
の画像表示装置。7. A response characteristic storing means for storing a time response characteristic of a degree of visual adaptation of an observer; and when the gazing point is instantaneously moved to a screen of the display device, the response characteristic after the instantaneous movement is obtained from the time response characteristic. A transient adaptation calculating means for obtaining the adaptation with time as a transient adaptation, wherein the correction means determines a variable value corresponding to the transient adaptation that changes with time from the correction characteristic. 7. The image display device according to claim 1, wherein a display state of the image is corrected based on the variable value.
憶した応答特性記憶手段と、 前記視野環境画像の輝度が任意の２つの値で急変した時
に、前記時間応答特性から急変後の時間の経過に伴う前
記順応度を過渡順応度として求める過渡順応度演算手段
とを設け、 前記補正手段は、時間経過に伴って変化する前記過渡順
応度に対応する変数値を前記補正特性から決定し、その
変数値に基づいて前記画像の表示状態を補正することを
特徴とする請求項１乃至請求項６のいずれか１項に記載
の画像表示装置。8. A response characteristic storing means for storing a time response characteristic of a degree of adaptation of a visual sense of an observer, and when the luminance of the visual field environment image suddenly changes at any two values, the response after the sudden change from the time response characteristic is obtained. A transient adaptation calculating means for obtaining the adaptation with time as a transient adaptation, wherein the correction means determines a variable value corresponding to the transient adaptation that changes with time from the correction characteristic. 7. The image display device according to claim 1, wherein a display state of the image is corrected based on the variable value.
ウス分布であることを特徴とする請求項１に記載の画像
表示装置。9. The image display apparatus according to claim 1, wherein said predetermined function is a Gaussian distribution centered on said point of regard.
覚の明るさに関する順応度に応じて、表示装置の画像の
表示状態を制御するようにした画像表示装置において、 前記視野環境の所定の注視点を前記観測者が見る時の前
記順応度を検出する順応度検出手段と、 前記観測者が前記順応度で前記表示装置の画像を見ると
き、その画像の最も見易い彩度と前記順応度との関係を
補正特性として記憶した補正特性記憶手段と、 前記順応度検出手段により検出された前記順応度に対応
する変数値を前記補正特性から決定し、その変数値に基
づいて前記画像の彩度を補正する補正手段とから成るこ
とを特徴とする画像表示装置。10. An image display device according to claim 1, wherein when the observer views the visual environment, the display state of the image on the display device is controlled in accordance with the degree of adaptation of the observer's visual perception. An adaptation detecting means for detecting the adaptation when the observer looks at a predetermined gazing point; and when the observer looks at the image of the display device with the adaptation, the most easily viewable saturation of the image and the A correction characteristic storage unit that stores a relationship with the adaptation degree as a correction characteristic; and a variable value corresponding to the adaptation degree detected by the adaptation degree detection unit is determined from the correction characteristic, and the image is determined based on the variable value. And a correcting means for correcting the saturation of the image.
照度を検出し、その照度に基づいて順応度を決定する手
段であることを特徴とする請求項１０に記載の画像表示
装置。11. The image display apparatus according to claim 10, wherein said adaptation detecting means is means for detecting the illuminance of the visual field environment and determining the adaptation based on the illuminance.
記憶した応答特性記憶手段と、 前記注視点を前記表示装置の画面に瞬時移動させた時
に、前記時間応答特性から瞬時移動後の時間の経過に伴
う前記順応度を過渡順応度として求める過渡順応度演算
手段とを設け、 前記補正手段は、時間経過に伴って変化する前記過渡順
応度に対応する変数値を前記補正特性から決定し、その
変数値に基づいて前記画像の彩度を補正することを特徴
とする請求項１０又は請求項１１に記載の画像表示装
置。12. A response characteristic storage means for storing a time response characteristic of a degree of visual adaptation of an observer; and when the point of gaze is instantaneously moved to a screen of the display device, the response after the instantaneous movement is determined from the time response characteristic. A transient adaptation calculating means for obtaining the adaptation with time as a transient adaptation, wherein the correction means determines a variable value corresponding to the transient adaptation that changes with time from the correction characteristic. 12. The image display device according to claim 10, wherein the saturation of the image is corrected based on the variable value.
記憶した応答特性記憶手段と、 前記視野環境画像の輝度が任意の２つの値で急変した時
に、前記時間応答特性から急変後の時間の経過に伴う前
記順応度を過渡順応度として求める過渡順応度演算手段
とを設け、 前記補正手段は、時間経過に伴って変化する前記過渡順
応度に対応する変数値を前記補正特性から決定し、その
変数値に基づいて前記画像の彩度を補正することを特徴
とする請求項１０又は請求項１１に記載の画像表示装
置。13. A response characteristic storage means for storing a time response characteristic of a degree of adaptation of a visual sense of an observer; and when the luminance of the visual field environment image suddenly changes at any two values, the response after the sudden change from the time response characteristic is obtained. A transient adaptation calculating means for obtaining the adaptation with time as a transient adaptation, wherein the correction means determines a variable value corresponding to the transient adaptation that changes with time from the correction characteristic. 12. The image display device according to claim 10, wherein the saturation of the image is corrected based on the variable value.
記画像の輝度を制御し、その輝度の制御可能範囲を越え
る場合に、さらに、彩度、又は、彩度とコントラストの
両方を制御することを特徴とする請求項１０乃至請求項
１３のいずれかに１項に記載の画像表示装置。14. The correction means controls the luminance of the image according to the adaptation degree, and further controls the saturation or both the saturation and the contrast when the luminance exceeds the controllable range of the luminance. The image display device according to any one of claims 10 to 13, wherein:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28759396A JP3484899B2 (en) | 1996-10-09 | 1996-10-09 | In-vehicle image display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28759396A JP3484899B2 (en) | 1996-10-09 | 1996-10-09 | In-vehicle image display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10116052A true JPH10116052A (en) | 1998-05-06 |
| JP3484899B2 JP3484899B2 (en) | 2004-01-06 |
Family
ID=17719309
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28759396A Expired - Fee Related JP3484899B2 (en) | 1996-10-09 | 1996-10-09 | In-vehicle image display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3484899B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002047694A (en) * | 2000-07-31 | 2002-02-15 | Komatsu Ltd | Display device for construction machine |
| JP2002092655A (en) * | 2000-09-20 | 2002-03-29 | Minolta Co Ltd | System and method for displaying three-dimensional virtual reality |
| US6556134B2 (en) | 2000-12-05 | 2003-04-29 | Nissan Motor Co., Ltd. | Display apparatus and method for automotive vehicle |
| JP2006044420A (en) * | 2004-08-03 | 2006-02-16 | Denso Corp | Vehicular equipment control device |
| JP2007174567A (en) * | 2005-12-26 | 2007-07-05 | Samsung Techwin Co Ltd | Electronic apparatus with display function, display method, and program |
| JP2008005017A (en) * | 2006-06-20 | 2008-01-10 | Honda Motor Co Ltd | Observation apparatus in vehicle interior for measuring illuminance on the basis of imaged image |
| JP2011203342A (en) * | 2010-03-24 | 2011-10-13 | Mitsubishi Electric Corp | On-board display device |
| JP4900628B1 (en) * | 2011-04-13 | 2012-03-21 | 独立行政法人交通安全環境研究所 | Headlamp system effect evaluation simulator |
| JP2020052643A (en) * | 2018-09-26 | 2020-04-02 | 日本電気株式会社 | Driving assistance device, driving assistance method, and program |
| JPWO2020012546A1 (en) * | 2018-07-10 | 2020-12-17 | 三菱電機株式会社 | In-vehicle display control device and in-vehicle display control program |
| JP2021105497A (en) * | 2019-12-27 | 2021-07-26 | パナソニックＩｐマネジメント株式会社 | Range hood |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111179880A (en) * | 2019-12-26 | 2020-05-19 | 恒大新能源汽车科技(广东)有限公司 | Brightness adjusting method and device of display screen, electronic equipment and system |
-
1996
- 1996-10-09 JP JP28759396A patent/JP3484899B2/en not_active Expired - Fee Related
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002047694A (en) * | 2000-07-31 | 2002-02-15 | Komatsu Ltd | Display device for construction machine |
| JP2002092655A (en) * | 2000-09-20 | 2002-03-29 | Minolta Co Ltd | System and method for displaying three-dimensional virtual reality |
| US6556134B2 (en) | 2000-12-05 | 2003-04-29 | Nissan Motor Co., Ltd. | Display apparatus and method for automotive vehicle |
| JP2006044420A (en) * | 2004-08-03 | 2006-02-16 | Denso Corp | Vehicular equipment control device |
| JP2007174567A (en) * | 2005-12-26 | 2007-07-05 | Samsung Techwin Co Ltd | Electronic apparatus with display function, display method, and program |
| JP2008005017A (en) * | 2006-06-20 | 2008-01-10 | Honda Motor Co Ltd | Observation apparatus in vehicle interior for measuring illuminance on the basis of imaged image |
| JP2011203342A (en) * | 2010-03-24 | 2011-10-13 | Mitsubishi Electric Corp | On-board display device |
| JP4900628B1 (en) * | 2011-04-13 | 2012-03-21 | 独立行政法人交通安全環境研究所 | Headlamp system effect evaluation simulator |
| JP2012221414A (en) * | 2011-04-13 | 2012-11-12 | National Traffic Safety & Environment Laboratory | Head lamp system effect evaluation simulator |
| JPWO2020012546A1 (en) * | 2018-07-10 | 2020-12-17 | 三菱電機株式会社 | In-vehicle display control device and in-vehicle display control program |
| JP2020052643A (en) * | 2018-09-26 | 2020-04-02 | 日本電気株式会社 | Driving assistance device, driving assistance method, and program |
| WO2020066568A1 (en) * | 2018-09-26 | 2020-04-02 | 日本電気株式会社 | Driving assistance device, driving assistance method, and recording medium |
| JP2021105497A (en) * | 2019-12-27 | 2021-07-26 | パナソニックＩｐマネジメント株式会社 | Range hood |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3484899B2 (en) | 2004-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108515909B (en) | Automobile head-up display system and obstacle prompting method thereof | |
| US8249303B2 (en) | Restoration apparatus for weather-degraded image and driver assistance system | |
| US6327522B1 (en) | Display apparatus for vehicle | |
| JP4512595B2 (en) | Method and apparatus for visualizing the periphery of a vehicle | |
| JP6811106B2 (en) | Head-up display device and display control method | |
| JP5802926B2 (en) | Luminance control device for in-vehicle display device, luminance control program, and luminance control method | |
| JP2018058544A (en) | On-vehicle display control device | |
| US7078692B2 (en) | On-vehicle night vision camera system, display device and display method | |
| JP2008001182A (en) | Vehicular visual information presenting device and method | |
| DE112017007019T5 (en) | Vehicle display control device | |
| US11238834B2 (en) | Method, device and system for adjusting image, and computer readable storage medium | |
| JPH10116052A (en) | Picture display device | |
| TWI749030B (en) | Driving assistance system and driving assistance method | |
| KR20130030667A (en) | Assistance system for car navigation using augmented reality | |
| JP4779780B2 (en) | Image display device | |
| US20180053058A1 (en) | Display apparatus | |
| JP2017056909A (en) | Vehicular image display device | |
| CN113928224A (en) | Auxiliary driving system based on HUD and pixel headlamp | |
| CN214775848U (en) | A-column display screen-based obstacle detection device and automobile | |
| JPH0948282A (en) | Indirect visual confirmation device for vehicle | |
| JP7073237B2 (en) | Image display device, image display method | |
| JP6565795B2 (en) | Display device | |
| CN107161083B (en) | Automobile rearview display system, image display method and automobile | |
| JP3572432B2 (en) | Image simulator | |
| JP2004172828A (en) | Night vision device for vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |