[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5645190B2 - Flicker perception threshold measurement device, measurement method, and measurement program - Google Patents

Flicker perception threshold measurement device, measurement method, and measurement program Download PDF

Info

Publication number
JP5645190B2
JP5645190B2 JP2011097965A JP2011097965A JP5645190B2 JP 5645190 B2 JP5645190 B2 JP 5645190B2 JP 2011097965 A JP2011097965 A JP 2011097965A JP 2011097965 A JP2011097965 A JP 2011097965A JP 5645190 B2 JP5645190 B2 JP 5645190B2
Authority
JP
Japan
Prior art keywords
subject
flicker
region
perception threshold
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011097965A
Other languages
Japanese (ja)
Other versions
JP2012228342A (en
Inventor
直 岩木
直 岩木
暢善 原田
暢善 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2011097965A priority Critical patent/JP5645190B2/en
Publication of JP2012228342A publication Critical patent/JP2012228342A/en
Application granted granted Critical
Publication of JP5645190B2 publication Critical patent/JP5645190B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、点滅する刺激に対して人がちらつきを知覚し始める又は知覚しなくなる閾値(以下、ちらつき知覚閾値ともいう)の測定に関し、特に適正距離で、短時間に閾値を測定することができるちらつき知覚閾値の測定装置、測定方法及び測定プログラムに関する。   The present invention relates to measurement of a threshold value (hereinafter also referred to as flicker perception threshold value) in which a person starts to perceive flickering with respect to a blinking stimulus, and can measure the threshold value in a short time at an appropriate distance. The present invention relates to a flicker perception threshold measurement device, a measurement method, and a measurement program.

現代はストレス社会と言われており、日常生活の中で使える疲労の客観的計測及び評価方法が強く要求されている。従来、人が点滅する光源を見る際の「ちらつき」(フリッカー)の知覚が疲労度により変化する現象、とくに「ちらつき」を知覚することができる境界の点滅周波数(Critical Flicker Frequency:CFF)が疲労度の増大とともに低下する現象を用いて、疲れの定量的な評価(フリッカー検査)が行なわれている。フリッカー検査では、図1に示すように、点滅する光の点滅周波数を時間的に変化(単調に増大又は減少)させて被験者に提示し、点滅が見えない状態から見える状態に変化したとき、又は、点滅が見る状態から見えない状態に変化したときに、被験者にボタン押し等の反応をさせることにより周波数を測定する。図1は5回の測定状況を示している。即ち、周波数を、一定の開始値fsから減少させて被験者に提示し、各回の測定において被験者がちらつきを知覚したときにボタンが押され(時刻t1〜t5)、CFFとしてそれぞれ周波数f1〜f5が得られる状況を示している。ちらつき知覚閾値(以下、フリッカー値ともいう)は、例えば、得られた測定値f1〜f5の平均値として求められる。   The present day is said to be a stress society, and there is a strong demand for objective measurement and evaluation methods for fatigue that can be used in daily life. Conventionally, a phenomenon in which the perception of “flicker” (flicker) when a person looks at a blinking light source changes depending on the degree of fatigue, in particular, the flicker frequency at the boundary (Critical Flicker Frequency: CFF) at which “flicker” can be perceived is fatigued. Quantitative evaluation of fatigue (flicker inspection) is performed using a phenomenon that decreases with increasing degree of fatigue. In the flicker test, as shown in FIG. 1, when the blinking frequency of the blinking light is temporally changed (monotonically increased or decreased) and presented to the subject, and the blinking is changed from an invisible state to a visible state, or When the blinking changes from the visible state to the invisible state, the frequency is measured by causing the subject to react such as pressing a button. FIG. 1 shows a measurement situation of five times. In other words, the frequency is presented to the subject by decreasing from a certain starting value fs, and the button is pressed when the subject perceives flicker in each measurement (time t1 to t5), and the frequencies f1 to f5 are respectively represented as CFFs. It shows the resulting situation. The flicker perception threshold (hereinafter also referred to as flicker value) is obtained, for example, as an average value of the obtained measurement values f1 to f5.

フリッカー検査を用いた疲労度の定量的評価は、特に産業衛生分野で幅広く用いられている。しかし、LED等を装備した専用のフリッカー値計測装置が必要であり、誰もが日常的に手軽に実施することはできなかった。   The quantitative evaluation of the degree of fatigue using the flicker test is widely used particularly in the industrial hygiene field. However, a dedicated flicker value measuring device equipped with an LED or the like is necessary, and no one can easily carry out it on a daily basis.

これに対して本願発明者は、フリッカー検査と同じちらつき知覚原理に基づく精神的疲労度検査を、液晶ディスプレイ及びCRT等のリフレッシュレートが固定された画像表示装置を用いて行なうことを可能にする技術を開発した(下記特許文献1、2参照)。この技術では、従来のフリッカー検査で用いられている点滅光の点滅周波数を変化させる代わりに、点滅光のコントラストを変化させることにより、フリッカー知覚を生じさせる。これにより、携帯電話等の携帯端末装置、パーソナルコンピュータ等を用いて、日常的に簡易に精神的疲労の計測が可能になる。   In contrast, the inventor of the present application enables a mental fatigue test based on the same flicker perception principle as the flicker test using an image display device having a fixed refresh rate such as a liquid crystal display and a CRT. (See Patent Documents 1 and 2 below). In this technique, instead of changing the blinking frequency of the blinking light used in the conventional flicker inspection, the flicker perception is generated by changing the contrast of the blinking light. This makes it possible to easily measure mental fatigue on a daily basis using a mobile terminal device such as a mobile phone, a personal computer, or the like.

例えば、図2に示したように、画像表示装置に表示する画像の輝度を、最大輝度Lon(=Lon)から0まで、Loff、・・・、Loff、・・・、Loff=0と、一定の比率で減少させながら、画像を表示する。図2は、t=0〜T1の期間で、線形にn階調(例えば、n=256)変化させる場合を示す。図2において、時間軸に沿って交互に付した数字“1”及び“2”は、それぞれ輝度が最大の第1画像及び輝度を変化させた第2画像が表示されている期間を表す。第1画像の輝度値と第2画像の輝度値との比(Loff/Lon)であるコントラストが、ある値以下になるとちらつきが知覚されるようになる。ちらつきが知覚されるときのコントラストは、被験者及び疲労度によって変化する。 For example, as shown in FIG. 2, the luminance of the image displayed on the image display device, to 0 from a maximum luminance Lon 0 (= Lon), Loff 1, ···, Loff i, ···, Loff n = The image is displayed while decreasing at a constant ratio of 0. FIG. 2 shows a case where n gradations (for example, n = 256) are linearly changed in a period from t = 0 to T1. In FIG. 2, numbers “1” and “2” alternately attached along the time axis represent periods in which the first image with the maximum luminance and the second image with the luminance changed are displayed. Flickering is perceived when the contrast, which is the ratio (Loff / Lon) between the luminance value of the first image and the luminance value of the second image, is below a certain value. The contrast when flicker is perceived varies depending on the subject and the degree of fatigue.

また、特許文献2は、図3に示したような2枚の画像を用いて、被験者の恣意性を排除して客観的な測定ができること、及び、測定時間を短縮できることが開示されている。図3の2枚の画像は、右側の扇型領域の輝度値が異なる。右側の扇型領域が、コントラスがある領域である。これらの画像を交互に表示すると、右側の扇型領域のコントラストが、ある値以下になるとちらつきが知覚されるようになる。コントラストを設ける領域を4つの扇型領域の中からランダムに決定して、コントラストを変化させながら、被験者に、ちらつきを知覚した領域(コントラストを変化させた領域)を回答させる。正答か誤答かを判定することができるので、これにより、被験者の恣意性を排除して客観的な測定ができる。さらに、正答か誤答かに応じて、コントラストの変化量を調整しながら測定することで、測定時間を短くできる。   Further, Patent Document 2 discloses that objective measurement can be performed using two images as shown in FIG. 3 without subject's arbitraryness and measurement time can be shortened. The two images in FIG. 3 have different brightness values in the right sector. The fan-shaped region on the right side is a region where there is a contrast. When these images are displayed alternately, flickering can be perceived when the contrast of the right fan-shaped region falls below a certain value. A region in which contrast is to be provided is randomly determined from the four fan-shaped regions, and the subject is made to answer a region in which flicker is perceived (region in which the contrast is changed) while changing the contrast. Since it is possible to determine whether the answer is a correct answer or an incorrect answer, this makes it possible to objectively measure by eliminating the subject's arbitraryness. Furthermore, the measurement time can be shortened by measuring while adjusting the amount of change in contrast according to whether the answer is correct or incorrect.

特開2010−088862号公報JP 2010-088862 A 国際公開第2011/030622号パンフレットInternational Publication No. 2011/030622 Pamphlet

図1に示したような従来のフリッカー測定装置では、点滅が見えない状態から見える状態に移行する点を閾値として測定する場合、通常、どのような被験者にも対応できるように、固定した同じ開始点から測定を開始する。したがって、複数回(通常5回)計測を行なう場合、計測に長時間を要する問題がる。この点はコントラスを用いる方法においても同じである。上記特許文献2に開示された方法によれば、従来のフリッカー測定装置よりも、測定時間を短縮することができる。しかし、より短時間に測定できることが望ましい。   In the conventional flicker measuring apparatus as shown in FIG. 1, when measuring the point of transition from the state where the blinking is not visible to the state where it can be seen as a threshold value, it is usually the same fixed start so that any subject can be handled. Start the measurement from the point. Therefore, when measuring a plurality of times (usually 5 times), there is a problem that the measurement takes a long time. This also applies to the method using a contrast. According to the method disclosed in Patent Document 2, the measurement time can be shortened as compared with the conventional flicker measuring apparatus. However, it is desirable to be able to measure in a shorter time.

また、フリッカー検査では、被験者と測定装置との距離(被験者の目と点滅刺激との距離)が適正に保たれた状態で測定されることが必要である。距離が適正でなければ、正確なちらつき知覚閾値を測定することができない問題がある。また、異なる距離で測定されたデータを同等に扱うことはできない。例えば、測定データを相互比較して、被験者の疲労度を判定する場合に十分な精度が得られない問題がある。   Further, in the flicker test, it is necessary to perform measurement in a state where the distance between the subject and the measuring device (distance between the subject's eyes and the blinking stimulus) is properly maintained. If the distance is not appropriate, there is a problem that an accurate flicker perception threshold cannot be measured. Also, data measured at different distances cannot be handled equally. For example, there is a problem that sufficient accuracy cannot be obtained when the measurement data is compared with each other to determine the degree of fatigue of the subject.

したがって、本発明は、ちらつき知覚閾値を従来よりも短時間に測定できる測定装置、測定方法及び測定プログラムを提供することを目的とする。また、本発明は、適正距離でちらつき知覚閾値を測定できる測定装置、測定方法及び測定プログラムを提供することをも目的とする。   Therefore, an object of the present invention is to provide a measuring apparatus, a measuring method, and a measuring program that can measure the flicker perception threshold in a shorter time than before. It is another object of the present invention to provide a measuring apparatus, a measuring method, and a measuring program that can measure a flicker perception threshold at an appropriate distance.

上記の目的は、下記によって達成することができる。   The above object can be achieved by the following.

即ち、本発明に係るちらつき知覚閾値の第1の測定方法は、被験者に点滅刺激を提示してこの被験者のちらつき知覚閾値を測定する方法であって、2枚の画像を、画像表示面の同じ位置に、一定の周波数で交互に表示することにより、点滅刺激を提示するステップと、点滅刺激を提示した状態で、被験者が、点滅刺激によるちらつきを知覚する領域とちらつきを知覚しない領域との境界を指定するステップと、指定された境界に対応する、2枚の画像上の位置の輝度差をちらつき知覚閾値として決定するステップとを含み、2枚の画像のうちの一方の画像は、所定領域内において輝度が変化し、2枚の画像のうちの他方の画像は、所定領域に対応する領域内の輝度が一定である。   That is, the first method for measuring the flicker perception threshold according to the present invention is a method for measuring the flicker perception threshold of the subject by presenting the blinking stimulus to the subject, and the two images are displayed on the same image display surface. The step of presenting the blinking stimulus by alternately displaying the blinking stimulus at a certain frequency, and the boundary between the area where the subject perceives the flickering caused by the blinking stimulus and the area where the subject does not perceive the flickering while presenting the blinking stimulus. And a step of determining, as a flicker perception threshold, a luminance difference between positions on the two images corresponding to the specified boundary, one image of the two images is a predetermined region The brightness changes in the inside, and the brightness of the other image of the two images is constant in the area corresponding to the predetermined area.

好ましくは、ちらつき知覚閾値の第1の測定方法は、点滅刺激を提示するステップの前に、被験者の顔を、点滅刺激を提示してちらつき知覚閾値の測定を行なう測定装置の適正距離で、測定装置に装備された撮像装置により撮像するステップと、適正距離で撮像された画像から顔領域を抽出するステップと、境界を指定するステップの直後に、被験者の顔を撮像装置で撮像するステップと、境界を指定するステップの直後に撮像された画像から顔領域を抽出するステップと、境界を指定するステップの直後に撮像された画像から抽出された顔領域の大きさと、適正距離で撮像された画像から抽出された顔領域の大きさとを比較して、境界を指定したときの、被験者の目と点滅刺激との距離が適正か否かを判定するステップとを、さらに含む。   Preferably, the first method for measuring the flicker perception threshold is to measure the face of the subject at an appropriate distance of a measuring device that presents the flicker stimulus and measures the flicker perception threshold before the step of presenting the flicker stimulus. Imaging with the imaging device mounted on the device; extracting a face region from an image captured at an appropriate distance; and imaging a subject's face with the imaging device immediately after specifying the boundary; A step of extracting a face region from an image captured immediately after the step of specifying the boundary, a size of the face region extracted from an image captured immediately after the step of specifying the boundary, and an image captured at an appropriate distance And comparing the size of the face area extracted from the above and determining whether the distance between the eye of the subject and the blinking stimulus is appropriate when the boundary is designated.

より好ましくは、所定領域は帯状領域であり、所定領域の輝度は、帯状領域の延伸方向に沿って変化し、延伸方向と交差する方向に沿って一定の値である。   More preferably, the predetermined area is a band-shaped area, and the luminance of the predetermined area varies along the extending direction of the band-shaped area and is a constant value along the direction intersecting the extending direction.

さらに好ましくは、所定領域は1つの閉曲線によって画定され、所定領域の輝度は、所定領域内の所定の点と所定領域の外周上の任意の1点とを結ぶ直線上で一定の値であり、所定の点を中心とする円周に沿って変化する。   More preferably, the predetermined area is defined by one closed curve, and the luminance of the predetermined area is a constant value on a straight line connecting a predetermined point in the predetermined area and an arbitrary point on the outer periphery of the predetermined area, It changes along a circumference centered on a predetermined point.

好ましくは、所定領域は1つの閉曲線によって画定され、所定領域の輝度は、所定領域内の所定の点と所定領域の外周上の任意の1点とを結ぶ直線に沿って変化し、所定の点を中心とする円周に沿って一定の値である。   Preferably, the predetermined area is defined by one closed curve, and the luminance of the predetermined area changes along a straight line connecting a predetermined point in the predetermined area and an arbitrary point on the outer periphery of the predetermined area. It is a constant value along the circumference centered on.

より好ましくは、所定領域の輝度の変化は、単調増加又は単調減少であることを特徴とする。   More preferably, the change in the luminance of the predetermined area is monotonously increasing or monotonically decreasing.

本発明に係るちらつき知覚閾値の第2の測定方法は、被験者に点滅刺激を提示してこの被験者のちらつき知覚閾値を測定する方法であって、被験者の顔を、ちらつき知覚閾値の測定に使用する測定装置の適正距離で撮像するステップと、適正距離で撮像された画像から顔領域を抽出するステップと、被験者に点滅刺激を提示してこの被験者のちらつき知覚閾値を測定するステップと、ちらつき知覚閾値を測定した直後に、被験者の顔を撮像するステップと、ちらつき知覚閾値を測定した直後に撮像された画像から顔領域を抽出するステップと、ちらつき知覚閾値を測定した直後に撮像された画像から抽出された顔領域の大きさと、適正距離で撮像された画像から抽出された顔領域の大きさとを比較して、ちらつき知覚閾値を測定したときの、被験者の目と点滅刺激との距離が適正か否かを判定するステップとを含む。   The second method for measuring the flicker perception threshold according to the present invention is a method for measuring the flicker perception threshold of the subject by presenting a blinking stimulus to the subject, and using the face of the subject for the flicker perception threshold measurement. A step of imaging at an appropriate distance of the measuring device; a step of extracting a face region from an image captured at an appropriate distance; a step of presenting a blinking stimulus to the subject to measure the flicker perception threshold of the subject; and a flicker perception threshold Immediately after measuring the step, image the subject's face, extract the face region from the image captured immediately after measuring the flicker perception threshold, and extract from the image captured immediately after measuring the flicker perception threshold When the flicker perception threshold is measured by comparing the size of the face region obtained and the size of the face region extracted from the image captured at an appropriate distance, The distance between the flash stimulation with ocular examiner includes determining whether proper or not.

本発明に係るちらつき知覚閾値の第3の測定方法は、被験者に点滅刺激を提示してこの被験者のちらつき知覚閾値を測定する方法であって、測定装置により被験者に点滅刺激を提示してこの被験者のちらつき知覚閾値を測定するステップと、ちらつき知覚閾値を測定した直後に、被験者の顔を測定装置に装備された撮像装置で撮像するステップと、ちらつき知覚閾値を測定した直後に撮像された画像から顔領域を抽出するステップと、ちらつき知覚閾値を測定した直後に撮像された画像から抽出された顔領域の大きさと、被験者の顔の大きさとから、撮像装置の光学特性を考慮して測定距離を求めるステップと、求められた測定距離が、ちらつき知覚閾値の測定における適正距離であるか否かを判定するステップとを含む。   The third method for measuring the flicker perception threshold according to the present invention is a method for measuring the flicker perception threshold of the subject by presenting the blinking stimulus to the subject, and presenting the flashing stimulus to the subject by the measuring device. Measuring the flicker perception threshold, immediately after measuring the flicker perception threshold, imaging the subject's face with the imaging device equipped in the measurement device, and from the image captured immediately after measuring the flicker perception threshold From the step of extracting the face area, the size of the face area extracted from the image captured immediately after measuring the flicker perception threshold, and the size of the face of the subject, the measurement distance is determined in consideration of the optical characteristics of the imaging device. Determining and determining whether the determined measurement distance is an appropriate distance in the measurement of the flicker perception threshold.

本発明に係るちらつき知覚閾値の第1の測定装置は、2枚の画像を同じ位置に一定の周波数で交互に表示することにより、点滅刺激を被験者に提示する表示部と、点滅刺激を提示した状態で、被験者に、点滅刺激によるちらつきを知覚する領域とちらつきを知覚しない領域との境界を指定させるための操作部とを備え、指定された境界に対応する、2枚の画像上の位置の輝度差をちらつき知覚閾値として決定し、2枚の画像のうちの一方の画像は、所定領域内において輝度が変化し、2枚の画像のうちの他方の画像は、所定領域に対応する領域内の輝度が一定である。   The first measurement apparatus for flicker perception threshold according to the present invention presents a blinking stimulus and a display unit for presenting a blinking stimulus to a subject by alternately displaying two images at the same position at a constant frequency. And an operation unit for allowing the subject to designate a boundary between a region that perceives flickering caused by blinking stimulation and a region that does not perceive flickering, and the position of the position on the two images corresponding to the designated boundary is provided. The luminance difference is determined as a flicker perception threshold, and one of the two images changes in luminance within a predetermined area, and the other of the two images is within an area corresponding to the predetermined area. The brightness of is constant.

本発明に係るちらつき知覚閾値の第2の測定装置は、被験者に点滅刺激を提示してこの被験者のちらつき知覚閾値を測定する測定装置であって、被験者の顔を撮像する撮像部と、撮像された画像から顔領域を抽出する抽出部とを備え、ちらつき知覚閾値を測定したときの、被験者の目と点滅刺激との距離が適正か否かを、抽出された顔領域を用いて判定する判定部とを備え、判定部は、ちらつき知覚閾値を測定した直後に、撮像部により撮像された画像から、抽出部により抽出された顔領域の大きさと、撮像部により、被験者の顔を測定装置の適正距離で撮像した画像から、抽出部により抽出された顔領域の大きさとを比較して、ちらつき知覚閾値を測定したときの距離が適正か否かを判定する。   A second flicker perception threshold measurement apparatus according to the present invention is a measurement apparatus that presents a blinking stimulus to a subject and measures the flicker perception threshold of the subject, and includes an imaging unit that images the face of the subject. A determination unit that uses the extracted face area to determine whether the distance between the subject's eyes and the blinking stimulus is appropriate when the flicker perception threshold is measured. And the determination unit immediately after measuring the flicker perception threshold, the size of the face region extracted by the extraction unit from the image captured by the imaging unit and the face of the subject by the imaging unit The size of the face area extracted by the extraction unit is compared with the image captured at the appropriate distance to determine whether the distance when the flicker perception threshold is measured is appropriate.

本発明に係るちらつき知覚閾値の第1の測定プログラムは、操作部及び表示部を備えたコンピュータ又は携帯端末装置に、2枚の画像を、表示部の同じ位置に、一定の周波数で交互に表示することにより、点滅刺激を提示する機能と、点滅刺激を提示した状態で、被験者による、点滅刺激によるちらつきを知覚する領域とちらつきを知覚しない領域との境界を指定するための操作部の操作を受付ける機能と、指定された境界に対応する、2枚の画像上の位置の輝度差をちらつき知覚閾値として決定する機能とを実現させ、2枚の画像のうちの一方の画像は、所定領域内において輝度が変化し、2枚の画像のうちの他方の画像は、所定領域に対応する領域内の輝度が一定であることを特徴とするちらつき知覚閾値の測定プログラム。   A first flicker perception threshold measurement program according to the present invention displays two images alternately at a fixed frequency at the same position on a display unit on a computer or portable terminal device having an operation unit and a display unit. The function of presenting the blinking stimulus and the operation of the operation unit for designating the boundary between the area perceiving the flickering by the blinking stimulus and the area not perceiving the flickering by the subject in the state where the blinking stimulus is presented. An accepting function and a function of determining a luminance difference between positions on two images corresponding to a specified boundary as a flicker perception threshold, and one of the two images is within a predetermined area. The program for measuring a flicker perception threshold is characterized in that the luminance changes in the image and the luminance of the other image of the two images is constant in the region corresponding to the predetermined region.

本発明に係るちらつき知覚閾値の第2の測定プログラムは、表示部及び撮像部を備えたコンピュータ又は携帯端末装置に、撮像部により、ちらつき知覚閾値を測定する場合の適正距離で被験者の顔を撮像する機能と、適正距離で撮像された画像から顔領域を抽出する機能と、表示部により被験者に点滅刺激を提示してこの被験者のちらつき知覚閾値を測定する機能と、ちらつき知覚閾値を測定した直後に、撮像部により被験者の顔を撮像する機能と、ちらつき知覚閾値を測定した直後に撮像された画像から顔領域を抽出する機能と、ちらつき知覚閾値を測定した直後に撮像された画像から抽出された顔領域の大きさと、適正距離で撮像された画像から抽出された顔領域の大きさとを比較して、ちらつき知覚閾値を測定したときの、被験者の目と点滅刺激との距離が適正か否かを判定する機能とを実現させる。   The second flicker perception threshold measurement program according to the present invention images a subject's face at an appropriate distance when the flicker perception threshold is measured by the imaging unit on a computer or portable terminal device including a display unit and an imaging unit. A function to extract a face region from an image captured at an appropriate distance, a function to measure a flicker perception threshold of the subject by presenting a blinking stimulus to the subject by a display unit, and immediately after measuring a flicker perception threshold In addition, the imaging unit captures the face of the subject, the function of extracting the face area from the image captured immediately after measuring the flicker perception threshold, and the image captured immediately after measuring the flicker perception threshold. The eye of the subject when the flicker perception threshold was measured by comparing the size of the detected face region with the size of the face region extracted from the image captured at an appropriate distance. The distance between the flashing stimulus to realize a function to determine whether proper or not.

本発明によれば、輝度が2次元分布する画像を用いて点滅刺激を提示することにより、種々のコントラスト差を一度に被験者に提示するので、ちらつきを知覚する領域とちらつきを知覚しない領域との境界から、ちらつき知覚閾値を決定することができる。被験者は、点滅刺激の提示後、直ちに境界を知覚できるので、極めて短時間でちらつき知覚閾値を測定することができる。点滅刺激の表示装置としてタッチ操作が可能な装置を用いれば、1秒以内での測定も可能である。   According to the present invention, various contrast differences are presented to the subject at a time by presenting the blinking stimulus using an image in which the luminance is two-dimensionally distributed, so that the area where the flicker is perceived and the area where the flicker is not perceived From the boundary, a flicker perception threshold can be determined. Since the subject can perceive the boundary immediately after the flashing stimulus is presented, the flicker perception threshold can be measured in a very short time. If a device capable of touch operation is used as a blinking stimulus display device, measurement within one second is possible.

また、ちらつき閾値の測定装置の適正距離で撮像した画像から抽出した顔領域と、ちらつき閾値の測定時に撮像した画像から抽出した顔領域とを比較することによって、ちらつき閾値の測定時の測定距離が適正であるか否かを判定することができる。したがって、適正距離で測定されなかったデータを捨てることができ、得られるデータは全て適正距離で測定されたデータであるので、測定データの相互比較が可能になる。   Also, by comparing the face area extracted from the image captured at the appropriate distance of the flicker threshold measurement device with the face area extracted from the image captured at the time of flicker threshold measurement, the measurement distance at the time of flicker threshold measurement is It can be determined whether or not it is appropriate. Therefore, data that has not been measured at an appropriate distance can be discarded, and all the data obtained is data that has been measured at an appropriate distance, so that the measured data can be compared with each other.

従来のちらつき知覚閾値の測定における点滅周波数の変化を示すグラフである。It is a graph which shows the change of the blink frequency in the measurement of the conventional flicker perception threshold. 従来のちらつき知覚閾値の測定における点滅コントラストの変化を示すグラフである。It is a graph which shows the change of the blink contrast in the measurement of the conventional flicker perception threshold. 従来のちらつき知覚閾値としてコントラストを測定する場合に被験者に提示する画像を示す図である。It is a figure which shows the image shown to a test subject, when contrast is measured as the conventional flicker perception threshold. 本発明の第1の実施の形態に係るちらつき知覚閾値の測定装置の構成の概要を示すブロック図である。It is a block diagram which shows the outline | summary of a structure of the measuring apparatus of the flicker perception threshold which concerns on the 1st Embodiment of this invention. 本発明の第1の実施の形態に係るちらつき知覚閾値の測定方法を実現するためのプログラムの制御構造を示すフローチャートである。It is a flowchart which shows the control structure of the program for implement | achieving the measuring method of the flicker perception threshold which concerns on the 1st Embodiment of this invention. 被験者に提示する2枚の画像を示す図である。It is a figure which shows two images shown to a test subject. 被験者に提示する2枚の画像を示す図である。It is a figure which shows two images shown to a test subject. 被験者に提示する画像を示す図である。It is a figure which shows the image shown to a test subject. 被験者に提示する画像を示す図である。It is a figure which shows the image shown to a test subject. 被験者に提示する画像の輝度変化を示すグラフである。It is a graph which shows the brightness | luminance change of the image shown to a test subject. 本発明の第2の実施の形態に係るちらつき知覚閾値の測定装置の構成の概要を示すブロック図である。It is a block diagram which shows the outline | summary of a structure of the measuring apparatus of the flicker perception threshold which concerns on the 2nd Embodiment of this invention. 本発明の第2の実施の形態に係るちらつき知覚閾値の測定において適正距離での測定を実現するためのプログラムの制御構造を示すフローチャートである。It is a flowchart which shows the control structure of the program for implement | achieving the measurement in an appropriate distance in the measurement of the flicker perception threshold which concerns on the 2nd Embodiment of this invention. キャリブレーションを説明する図である。It is a figure explaining a calibration. 測定距離の判定方法を説明する図である。It is a figure explaining the determination method of measurement distance.

以下の実施の形態では、同一の部品には同一の参照番号を付してある。それらの名称及び機能も同一である。したがって、それらについての詳細な説明は繰返さない。   In the following embodiments, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.

(第1の実施の形態)
図4を参照して、本発明の第1の実施の形態に係るちらつき知覚閾値の測定装置100は、演算処理部(以下、CPUと記す)102、読出専用メモリ(以下、ROMと記す)104、書換可能メモリ(以下、RAMと記す)106、記録部108、タイマ110、インターフェイス部(以下、IF部と記す)112、バス114、表示部116、及び操作部118を備えている。CPU102は、測定装置100全体を制御する。ROM104は不揮発性の記憶装置であり、測定装置100の動作を制御するためのプログラム及びデータが記憶されている。RAM106は、揮発性の記憶装置である。記録部108は、通電が遮断された場合にもデータを保持する不揮発性記憶装置であり、例えば、ハードディスクドライブ、フラッシュメモリ等である。CPU102は、バス114を介してROM104からプログラムをRAM106上に読出して、RAM106の一部を作業領域としてプログラムを実行する。CPU102は、プログラムにしたがって測定装置100を構成する各部の制御を行なう。
(First embodiment)
Referring to FIG. 4, flicker perception threshold measurement apparatus 100 according to the first exemplary embodiment of the present invention includes an arithmetic processing unit (hereinafter referred to as CPU) 102 and a read-only memory (hereinafter referred to as ROM) 104. A rewritable memory (hereinafter referred to as RAM) 106, a recording unit 108, a timer 110, an interface unit (hereinafter referred to as IF unit) 112, a bus 114, a display unit 116, and an operation unit 118. The CPU 102 controls the entire measuring apparatus 100. The ROM 104 is a nonvolatile storage device, and stores a program and data for controlling the operation of the measurement device 100. The RAM 106 is a volatile storage device. The recording unit 108 is a non-volatile storage device that retains data even when power is cut off, and is, for example, a hard disk drive, a flash memory, or the like. The CPU 102 reads a program from the ROM 104 onto the RAM 106 via the bus 114, and executes the program using a part of the RAM 106 as a work area. CPU102 controls each part which comprises the measuring apparatus 100 according to a program.

タイマ110は、内部クロックを用いて時刻情報を出力する。IF部112は、CPU102と表示部116及び操作部118とのインターフェイスである。バス114には、CPU102、ROM104、RAM106、記録部108、タイマ110、及びIF部112が接続されている。各部間のデータ(制御情報を含む)交換は、バス114を介して行なわれる。   The timer 110 outputs time information using an internal clock. The IF unit 112 is an interface between the CPU 102, the display unit 116, and the operation unit 118. A CPU 102, ROM 104, RAM 106, recording unit 108, timer 110, and IF unit 112 are connected to the bus 114. Data (including control information) is exchanged between the units via the bus 114.

表示部116は、画像を表示するための表示パネル(液晶パネル等)及びそれを駆動するための駆動部を備えている。表示部116は、IF部112を介して伝送される画像データを、所定のリフレッシュレートで表示する。IF部112と表示部116との間で伝送される画像信号の様式(仕様)に応じてIF部112及び駆動部が設計されていれば、画像信号はデジタルであってもアナログであってもよい。操作部118は、キー、パッド等を備えており、被験者は操作部118を操作して測定装置100に対し指示を行なう。   The display unit 116 includes a display panel (liquid crystal panel or the like) for displaying an image and a drive unit for driving the display panel. The display unit 116 displays the image data transmitted via the IF unit 112 at a predetermined refresh rate. If the IF unit 112 and the drive unit are designed according to the format (specification) of the image signal transmitted between the IF unit 112 and the display unit 116, the image signal may be digital or analog. Good. The operation unit 118 includes keys, pads, and the like, and the subject operates the operation unit 118 to give an instruction to the measurement apparatus 100.

測定装置100として、例えば公知のコンピュータや携帯端末装置(携帯電話、PHS、PDA等)を使用することができる。   As the measuring device 100, for example, a known computer or a mobile terminal device (a mobile phone, a PHS, a PDA, etc.) can be used.

図5を参照して、測定装置100を用いたちらつき知覚閾値の測定について説明する。   With reference to FIG. 5, the measurement of the flickering perception threshold using the measurement apparatus 100 will be described.

ステップ300において、CPU102は、記録部108から2つの画像データをRAM106に読出す。読出される2枚の画像のうち1枚の画像は、輝度が変化する所定の2次元領域(以下、輝度変化領域ともいう)を含む画像であり、もう1枚は、輝度変化領域に対応する領域の輝度が一様である画像である。例えば、図6に示すような2枚の画像である。第1画像200は、横長の帯状領域210とその背景領域212とから構成されている。帯状領域210内の輝度値は、左端領域202の輝度値が最も大きく、右に行くにしたがって輝度値が線形に減少し、右端領域204で輝度値が最も小さくなるように分布している。例えば、8ビットの256階調の画像である場合、左端領域202の輝度値は255、右端領域204の輝度値は0である。一方、第2画像220の帯状領域210に対応する領域222の輝度値は一定であり、例えば255である。第1画像200の背景領域212、及び第2画像220の背景領域224の輝度は何れも一定であり、例えば255である。なお、階調幅(最大輝度値と最小輝度値との差)は、8ビット(256階調)に限定されず、任意である。例えば、3〜7、9〜11ビット(8、16、32、64、128、512、1024、2048階調)等であってもよいし、これら以外の値であってもよい。また、隣接する領域の輝度値の差も、一定でなくてもよい。   In step 300, the CPU 102 reads two pieces of image data from the recording unit 108 into the RAM 106. Of the two images to be read, one image is an image including a predetermined two-dimensional region (hereinafter also referred to as a luminance change region) in which the luminance changes, and the other image corresponds to the luminance change region. It is an image in which the brightness of the region is uniform. For example, there are two images as shown in FIG. The first image 200 is composed of a horizontally long belt-like region 210 and a background region 212 thereof. The luminance values in the belt-like region 210 are distributed such that the luminance value of the left end region 202 is the largest, the luminance value decreases linearly as going to the right, and the luminance value becomes the smallest in the right end region 204. For example, in the case of an 8-bit 256 gradation image, the luminance value of the left end region 202 is 255, and the luminance value of the right end region 204 is 0. On the other hand, the luminance value of the region 222 corresponding to the belt-like region 210 of the second image 220 is constant, for example, 255. The luminance of the background region 212 of the first image 200 and the background region 224 of the second image 220 are both constant, for example, 255. Note that the gradation width (difference between the maximum luminance value and the minimum luminance value) is not limited to 8 bits (256 gradations) and is arbitrary. For example, it may be 3 to 7 or 9 to 11 bits (8, 16, 32, 64, 128, 512, 1024, 2048 gradations), or other values. Further, the difference in luminance value between adjacent regions may not be constant.

ステップ302において、CPU102は、現在時刻をタイマ110から取得して、RAM106に記憶した後、2つの画像データを所定の周期で交互に、IF部112を介して表示部116に伝送する。表示部116は、受信した画像データを、所定のリフレッシュレート(例えば60Hz)で表示し、被験者に提示する。   In step 302, the CPU 102 acquires the current time from the timer 110 and stores it in the RAM 106, and then transmits the two image data alternately to the display unit 116 via the IF unit 112 at a predetermined cycle. The display unit 116 displays the received image data at a predetermined refresh rate (for example, 60 Hz) and presents it to the subject.

図6に示した2枚の画像を表示部116に交互に表示することは、従来の時間的なコントラスト変化(図2参照)を、2次元的なコントラスト分布(輝度値の2次元分布)として一度に提示することになる。したがって、被験者は、輝度変化領域(帯状領域210)の一部の領域でちらつきを知覚し、その他の領域ではちらつきを知覚しない。ちらつきを知覚できる領域と知覚できない領域との境界を、コントラスト変化知覚の閾値、即ちフリッカー値として規定できる。例えば、背景領域212の輝度が、左端領域202と同じである場合、被験者は、帯状領域210の範囲P1の領域でちらつきを知覚できず、範囲P2の領域(領域206から右端領域204まで)でちらつきを知覚する。この場合、境界208が知覚される。また、例えば、背景領域212の輝度が、右端領域204と同じである場合、被験者は、帯状領域210の範囲P1の領域でちらつきを知覚し、範囲P2の領域(領域206から右端領域204まで)でちらつきを知覚できない。この場合にも、被験者は、境界208を知覚する。   The two images shown in FIG. 6 are alternately displayed on the display unit 116 by converting a conventional temporal contrast change (see FIG. 2) as a two-dimensional contrast distribution (two-dimensional distribution of luminance values). It will be presented at once. Therefore, the subject perceives flicker in a part of the luminance change region (band-like region 210) and does not perceive flicker in other regions. A boundary between a region where flicker can be perceived and a region where flicker cannot be perceived can be defined as a threshold for contrast change perception, that is, a flicker value. For example, when the luminance of the background area 212 is the same as that of the left end area 202, the subject cannot perceive flickering in the area P1 of the belt-like area 210, and in the area P2 (from the area 206 to the right end area 204). Perceive flicker. In this case, the boundary 208 is perceived. For example, when the luminance of the background area 212 is the same as that of the right end area 204, the subject perceives flickering in the area P1 of the belt-like area 210, and the area P2 (from the area 206 to the right end area 204). I can't perceive flicker. In this case as well, the subject perceives the boundary 208.

ステップ304において、CPU102は、被験者によって操作部118が操作され、輝度変化領域内の点が指定されたか否かを判定する。輝度変化領域内の点が指定されたと判定された場合、指定された点を特定する情報をRAM106に記憶し、ステップ310に移行する。操作されない場合、又は操作されても輝度変化領域内の点が指定されていない場合、ステップ306に移行する。   In step 304, the CPU 102 determines whether or not the operation unit 118 has been operated by the subject and a point in the luminance change region has been designated. If it is determined that a point in the luminance change area is designated, information for identifying the designated point is stored in the RAM 106, and the process proceeds to step 310. If not operated, or if a point in the luminance change area is not designated even if operated, the process proceeds to step 306.

ちらつきを知覚できる領域と知覚できない領域の境界を、被験者が指定する方法は、表示部116に矢印等のカーソルを表示して、そのカーソルを操作部118の矢印キーで移動させた後、操作部118の確定キーを押せばよい。表示部116にタッチパネルディスプレイが採用されていれば、被験者がタッチパネルディスプレイにタッチして境界を指定できるようにすればよい。   The method for the subject to specify the boundary between the area where the flicker can be perceived and the area where the flicker cannot be perceived is as follows. The cursor such as an arrow is displayed on the display unit 116, the cursor is moved with the arrow key of the operation unit 118, and then the operation unit It is only necessary to press the 118 confirmation key. If a touch panel display is adopted as the display unit 116, the subject may touch the touch panel display and specify the boundary.

ステップ306において、CPU102は、タイマ110から現在時刻を取得し、ステップ302でRAM106に記憶した時刻から所定時間Tが経過したか否かを判定する。所定時間Tが経過したと判定された場合ステップ310に移行する。所定時間Tが経過していないと判定された場合、ステップ304に戻る。これによって、所定時間Tの間、2枚の画像を交互に表示して、操作部118が操作されるのを待つ。   In step 306, the CPU 102 acquires the current time from the timer 110 and determines whether or not a predetermined time T has elapsed from the time stored in the RAM 106 in step 302. When it is determined that the predetermined time T has elapsed, the process proceeds to step 310. If it is determined that the predetermined time T has not elapsed, the process returns to step 304. Accordingly, two images are alternately displayed for a predetermined time T, and the operation unit 118 is waited for being operated.

所定時間Tが経過した場合、ステップ310においてCPU102は、画像の表示を停止し、所定のメッセージを表示部116に表示して、ステップ312に移行する。所定のメッセージは、例えば、「測定に失敗しました。」等の正しく測定できなかったことを表すメッセージである。   When the predetermined time T has elapsed, in step 310, the CPU 102 stops displaying images, displays a predetermined message on the display unit 116, and proceeds to step 312. The predetermined message is, for example, a message indicating that the measurement could not be performed correctly, such as “Measurement failed”.

ステップ310において、CPU102は、ステップ304でRAM106に記憶した指定された点を特定する情報を読出し、表示した第1画像データ上の対応する点の輝度値を決定し、記録部108に被験者のフリッカー値として保存する。   In step 310, the CPU 102 reads the information specifying the designated point stored in the RAM 106 in step 304, determines the luminance value of the corresponding point on the displayed first image data, and stores the subject's flicker in the recording unit 108. Save as value.

ステップ312において、CPU102は終了するか否かを判定する。終了しないと判定された場合、ステップ300に戻る。例えば、CPU102は、表示部116に「もう一度測定しますか?」等のメッセージと、「はい」及び「いいえ」の選択肢とを表示し、ユーザの選択操作によって、終了するか否かを判定する。ユーザが再測定を選択した場合、ステップ300以降の処理を繰返す。   In step 312, the CPU 102 determines whether or not to end. If it is determined not to end, the process returns to step 300. For example, the CPU 102 displays a message such as “Do you want to measure again?” And the choices “Yes” and “No” on the display unit 116, and determines whether or not to end by the selection operation of the user. . When the user selects re-measurement, the processing after step 300 is repeated.

以上によって、1回だけ(所定の時間T以内)、輝度値が2次元的に分布する第1画像と、輝度値が一様な第2画像とを用いて点滅表示することにより、被験者のフリッカー値を極めて短時間に測定することができる。被験者は、点滅している領域と点滅していない領域とを、ほぼ一瞬に知覚することができるので、被験者が操作部118を操作して境界を指定するのに要する時間で測定が完了する。被験者の操作時間を短縮するには、表示部116にタッチパネルディスプレイを採用して、被験者が点滅の境界にタッチして、境界を直接指定できるようにすることが好ましい。   As described above, the subject's flicker is displayed only once (within a predetermined time T) by blinking using the first image in which the luminance value is two-dimensionally distributed and the second image having a uniform luminance value. The value can be measured in a very short time. Since the subject can perceive the blinking region and the non-flashing region almost instantaneously, the measurement is completed in the time required for the subject to operate the operation unit 118 and specify the boundary. In order to shorten the operation time of the subject, it is preferable to employ a touch panel display as the display unit 116 so that the subject can directly specify the boundary by touching the blinking boundary.

点滅刺激として提示する画像は、図6に示した画像に限定されない。図7に示すような、画像を用いてもよい。即ち、第1画像及び第2画像として、それぞれ画像240、260を使用することができる。画像240は、輝度変化領域が円形領域であり中心の周りに(円周に沿って)、輝度値が変化している。輝度変化領域内の輝度値は、扇型領域242の輝度値が最も大きく、右回りに移動するにしたがって輝度値が線形に減少し、扇型領域244で輝度値が最も小さくなるように分布している。なお、扇型領域246は、輝度値が最大の領域と最小の領域の境界になるので、任意の輝度値であればよい。例えば、扇型領域242と同じ輝度値、扇型領域244と同じ輝度値、背景と同じ輝度値等である。この場合に、被験者は、ちらつきを知覚できる領域と知覚できない領域との境界として、例えば矢印250で示した半径方向の線を指定する。なお、扇型領域を三角形領域として、輝度変化領域を多角形領域としてもよい。   The image presented as the blinking stimulus is not limited to the image shown in FIG. An image as shown in FIG. 7 may be used. That is, the images 240 and 260 can be used as the first image and the second image, respectively. In the image 240, the luminance change region is a circular region, and the luminance value changes around the center (along the circumference). The brightness values in the brightness change area are distributed so that the brightness value of the fan-shaped area 242 is the largest, the brightness value decreases linearly as it moves clockwise, and the brightness value is the smallest in the fan-shaped area 244. ing. Note that the fan-shaped region 246 may be an arbitrary luminance value because it is a boundary between the region with the largest luminance value and the region with the smallest luminance value. For example, the same brightness value as that of the sector area 242, the same brightness value as that of the sector area 244, and the same brightness value as that of the background. In this case, the subject designates, for example, a radial line indicated by an arrow 250 as a boundary between a region where flicker can be perceived and a region where flicker cannot be perceived. The fan-shaped area may be a triangular area, and the luminance change area may be a polygonal area.

また、輝度変化領域は、図5のような直線状の帯状領域に限定されず、任意の幅のある曲線であってもよい。例えば、両端部が開放された渦巻状の帯状領域であっても、図8に示したような開放端が無い環状の帯状領域(図8は円環)であってもよい。また、輝度変化領域は、図9に示したように、中心から半径方向に輝度値が変化する円形領域であってもよい。これらの何れの画像であっても、ちらつきを知覚できる領域と知覚できない領域との境界を、被験者が指定することができる。   Further, the luminance change region is not limited to the linear belt-like region as shown in FIG. 5 and may be a curve having an arbitrary width. For example, it may be a spiral belt-like region having both ends opened or an annular belt-like region having no open end as shown in FIG. 8 (FIG. 8 is a ring). Further, as shown in FIG. 9, the luminance change area may be a circular area whose luminance value changes in the radial direction from the center. In any of these images, the subject can specify the boundary between the area where flicker can be perceived and the area where flicker cannot be perceived.

また、背景領域は無くてもよい。例えば、輝度変化領域が図6のような矩形であれば、表示画面全体が輝度変化領域となる画像を使用してもよい。   Further, the background area may be omitted. For example, if the luminance change area is a rectangle as shown in FIG. 6, an image in which the entire display screen is the luminance change area may be used.

また、上記では、輝度値の変化は、2次元面上の所定方向に沿って線形に増加又は減少する場合を説明したが、これに限定されない。例えば、図10に示したように、輝度値の変化パターンは任意である。例えば、輝度値は、線500のように一定の傾きで変化しても、線502のように複数の傾きの線分のように変化しても、線504、506のように曲線状に変化してもよい。なお、実際の輝度値は階調値として表わされるので、離散的な値、例えば0以上の整数値である。また、輝度値の変化は、単調減少又は単調増加でなくてもよい。図10の線510、512、514のように、輝度変化領域の両端以外に、最大値、最小値、極大値又は極小値を含む線であってもよい。例えば、線500のように輝度値が変化する画像を第1画像として使用した場合、点Aが、ちらつきを知覚できる領域と知覚できない領域との境界として指定される。これに対して、中央付近で輝度値が最大となる折れ線510のように輝度値が変化する画像を第1画像として使用した場合、点B及び点Cが、ちらつきを知覚できる領域と知覚できない領域との境界として指定され得る。この場合、被験者が、点B及び点Cの少なくとも一方を指定すれば、対応する輝度値をフリッカー値として決定することができる。したがって、狭い範囲で輝度値が急激に変化しないようなパターン(被験者が境界を指定することができるパターン)であれば、輝度変化領域は任意の図形(画像)であってよい。仮に、被験者が、ちらつきを知覚できる領域と知覚できない領域との境界を複数知覚したとしても、何れか1箇所を指定すれば、対応する輝度値をフリッカー値として決定することができる。   In the above description, the case where the change in the luminance value linearly increases or decreases along a predetermined direction on the two-dimensional surface has been described. However, the present invention is not limited to this. For example, as shown in FIG. 10, the change pattern of the luminance value is arbitrary. For example, even if the luminance value changes with a constant inclination like a line 500 or changes like a line segment with a plurality of inclinations like a line 502, the luminance value changes like a curve like lines 504 and 506. May be. Since the actual luminance value is expressed as a gradation value, it is a discrete value, for example, an integer value of 0 or more. Further, the change in the luminance value may not be monotonously decreased or monotonously increased. Lines including maximum values, minimum values, maximum values, or minimum values other than both ends of the luminance change region may be used, as indicated by lines 510, 512, and 514 in FIG. For example, when an image whose luminance value changes like the line 500 is used as the first image, the point A is designated as a boundary between a region where the flicker can be perceived and a region where the flicker cannot be perceived. On the other hand, when an image whose luminance value changes like the polygonal line 510 having the maximum luminance value near the center is used as the first image, the regions where the points B and C can perceive flicker and the region where the flicker cannot be perceived. Can be specified as a boundary. In this case, if the subject specifies at least one of point B and point C, the corresponding luminance value can be determined as the flicker value. Therefore, the luminance change region may be an arbitrary graphic (image) as long as the luminance value does not change rapidly in a narrow range (a pattern in which the subject can specify the boundary). Even if the subject perceives a plurality of boundaries between a region where flicker can be perceived and a region where flicker cannot be perceived, the corresponding luminance value can be determined as the flicker value by designating any one of the boundaries.

(第2の実施の形態)
次に本発明の第2の実施の形態について説明する。
(Second Embodiment)
Next, a second embodiment of the present invention will be described.

図11を参照して、本発明の第2の実施の形態に係るちらつき知覚閾値の測定装置120は、CPU102、ROM104、RAM106、記録部108、タイマ110、IF部122、バス114、表示部116、操作部118、及び撮像部124を備えている。測定装置120は、図1に示した測定装置100に撮像部124が追加された構成である。IF部122は、撮像部124とのインターフェイスを行なう点でIF部112と異なるので、異なる符号を付している。ここでは、撮像部124に関する説明を行ない、重複する説明は繰返さない。   Referring to FIG. 11, flicker perception threshold measuring device 120 according to the second exemplary embodiment of the present invention includes CPU 102, ROM 104, RAM 106, recording unit 108, timer 110, IF unit 122, bus 114, and display unit 116. , An operation unit 118 and an imaging unit 124 are provided. The measuring apparatus 120 has a configuration in which an imaging unit 124 is added to the measuring apparatus 100 illustrated in FIG. The IF unit 122 is different from the IF unit 112 in that it performs an interface with the imaging unit 124, and thus is given a different reference. Here, description regarding the imaging unit 124 will be made, and redundant description will not be repeated.

撮像部124は、例えばイメージセンサ(CCD、CMOSイメージセンサ等)であり、CPU102の制御を受けて、撮像を行なう。撮像部124から出力されるデータは、IF部122を介してRAM106に伝送され、必要に応じて記録部108に画像データとして保存される。撮像の指示は、ユーザが操作部118を操作することによって行なわれる。   The imaging unit 124 is an image sensor (CCD, CMOS image sensor, etc.), for example, and performs imaging under the control of the CPU 102. Data output from the imaging unit 124 is transmitted to the RAM 106 via the IF unit 122 and stored as image data in the recording unit 108 as necessary. The imaging instruction is performed by the user operating the operation unit 118.

図12を参照して、測定装置120を用いたちらつき知覚閾値(フリッカー値)の測定について説明する。なお、ここでは、ちらつき知覚閾値の測定は、図5と同じ方法で行なうこととする。図12において、図5のフローチャートと同じステップには、同じ符号を付しているので、重複説明は繰返さない。   With reference to FIG. 12, the measurement of the flickering perception threshold (flicker value) using the measuring device 120 will be described. Here, the flicker perception threshold is measured by the same method as in FIG. In FIG. 12, the same steps as those in the flowchart of FIG.

ステップ400において、実際の測定を行なう前に、CPU102はキャリブレーションを行なう。具体的には、図13に示したように、被験者が、測定装置120を用いて、自分の目から表示部116を適正距離(例えば50cm)だけ離した状態で、自分の顔の撮影を行なう。CPU102は、被験者による操作部118の操作に応じて撮像部124を制御して、撮像を行ない、画像データを記録部108に保存する。CPU102は、保存した画像データに対して画像処理を実行して顔領域を抽出し、顔領域の大きさの情報(例えば、抽出された領域に外接する長方形の長辺及び短辺の長さ(画素値))を記録部108に保存する。なお、画像データから顔を抽出する処理は公知の方法を用いればよい。   In step 400, the CPU 102 performs calibration before performing actual measurement. Specifically, as shown in FIG. 13, the subject uses his / her measuring device 120 to photograph his / her face with the display unit 116 separated from his / her eyes by an appropriate distance (for example, 50 cm). . The CPU 102 controls the imaging unit 124 according to the operation of the operation unit 118 by the subject, performs imaging, and stores the image data in the recording unit 108. The CPU 102 performs image processing on the stored image data to extract a face area, and information on the size of the face area (for example, the length of the long side and the short side of the rectangle circumscribing the extracted area ( Pixel value)) is stored in the recording unit 108. Note that a known method may be used to extract a face from image data.

ステップ300〜308において、所定の点滅画像を表示してフリッカー値を測定する。   In steps 300 to 308, a flicker value is measured by displaying a predetermined blinking image.

被験者による操作部118の操作によって、輝度変化領域内の点が指定されたと判定された場合、ステップ402において、CPU102は、撮像部124を制御して撮像を行ない、撮像した画像データを記録部108に記録する。   When it is determined that a point in the luminance change region is designated by the operation of the operation unit 118 by the subject, in step 402, the CPU 102 controls the imaging unit 124 to perform imaging, and the captured image data is recorded in the recording unit 108. To record.

ステップ404において、CPU102は、ステップ402で記録部108に保存した画像データ対して画像処理を実行して顔領域を抽出し、顔領域の大きさを求める。さらに、CPU102は、ステップ400で求めた顔領域の大きさの情報を記録部108から読出し、求めた顔領域の大きさと比較して、被験者の目と測定装置120の表示部116との距離(測定距離)が適正であるか否かを判定する。適正距離であると判定された場合、ステップ310に移行し、ステップ304で指定された点を特定する情報からフリッカー値を求めて、記録部108に保存する。適正距離であると判定されなかった場合、ステップ308に移行する。   In step 404, the CPU 102 performs image processing on the image data stored in the recording unit 108 in step 402 to extract a face area, and obtains the size of the face area. Further, the CPU 102 reads out the information on the size of the face area obtained in step 400 from the recording unit 108 and compares it with the obtained size of the face area, and compares the distance between the eye of the subject and the display unit 116 of the measuring device 120 ( It is determined whether or not (measurement distance) is appropriate. If it is determined that the distance is appropriate, the process proceeds to step 310, where a flicker value is obtained from the information for specifying the point specified in step 304 and stored in the recording unit 108. If it is not determined that the distance is appropriate, the process proceeds to step 308.

1つの撮像装置で同じ大きさの物を撮像する場合、その物と撮像装置との距離、及び撮像に用いた光学系の倍率に応じて、得られる画像中のその物の大きさは(画素値)決まる。したがって、ステップ402において、ステップ400における適正距離での撮像時から、測定装置120の倍率を変更せずに撮像した場合、ステップ400において適正距離で撮像した画像中の顔領域の大きさが、ステップ402で撮像した画像中の顔領域の大きさとほぼ等しければ、適正距離(50cm)で測定されたことになる。例えば、図14に示すように、ステップ400において中央の画像が撮像されていた場合、ステップ402で撮像した画像が左端の画像であれば、被験者の目と表示部116との距離(例えば100cm)は適正距離よりも大きい。また、右端の画像であれば、被験者の目と表示部116との距離(例えば20cm)は適正距離よりも小さい。なお、ステップ402において、ステップ400における適正距離での撮像時から、測定装置120の倍率を変更して撮像した場合、ステップ402で撮像された画像をそのまま使用することは適切ではない。その場合には、ステップ402で撮像した画像を、ステップ400における適正距離での撮像時の倍率と等価な倍率の画像に変換した画像を用いて、上記の比較を行なう。   When an object of the same size is imaged with one imaging device, the size of the object in the obtained image is (pixel) according to the distance between the object and the imaging device and the magnification of the optical system used for imaging. Value). Therefore, in step 402, when imaging is performed without changing the magnification of the measurement device 120 from the time of imaging at the appropriate distance in step 400, the size of the face region in the image captured at the appropriate distance in step 400 is If it is substantially equal to the size of the face area in the image captured at 402, it is measured at an appropriate distance (50 cm). For example, as illustrated in FIG. 14, when the center image is captured in step 400, if the image captured in step 402 is the leftmost image, the distance (for example, 100 cm) between the subject's eyes and the display unit 116. Is greater than the proper distance. In the case of the rightmost image, the distance (for example, 20 cm) between the subject's eyes and the display unit 116 is smaller than the appropriate distance. In Step 402, when the image is captured at the appropriate distance in Step 400 and the magnification of the measuring device 120 is changed, it is not appropriate to use the image captured in Step 402 as it is. In that case, the above comparison is performed using an image obtained by converting the image captured in step 402 into an image having a magnification equivalent to the magnification at the time of imaging at the appropriate distance in step 400.

以上によって、適正距離で測定されたフリッカー値のみを保存することができる。   As described above, only the flicker value measured at an appropriate distance can be stored.

上記では、被験者が操作部118を操作したときに、撮像を行なう場合を説明したが、これに限定されない。例えば、点滅刺激を提示してから、被験者が操作部118を操作するまでの間、所定の時間間隔で撮像してもよい。その場合、撮像した画像から顔を抽出して、基準の大きさと比較して、適正な大きさでなければ、表示部116に適正距離を維持させるメッセージ(例えば、「顔を近づけてください。」、「顔を遠ざけてください。」等)を表示することができる。   In the above description, the case where imaging is performed when the subject operates the operation unit 118 has been described, but the present invention is not limited to this. For example, imaging may be performed at predetermined time intervals after the blinking stimulus is presented until the subject operates the operation unit 118. In that case, a face is extracted from the captured image, and if it is not an appropriate size compared to the reference size, a message that causes the display unit 116 to maintain an appropriate distance (for example, “Please bring your face closer”). , “Please keep your face away”).

また、同じ被験者に対して測定を行なう場合、毎回キャリブレーション(ステップ400)を行なわなくてもよい。少なくとも1回キャリブレーションを行ない、その結果(撮像した画像データそのものでも、抽出した顔領域の大きさのデータでもよい)と撮像倍率の情報とを記録部108に保存しておけば、それらを用いて、上記のように適正距離でフリッカー値が測定されたか否かを判定することができる。その場合、撮像倍率が異なっているときには、上記したように等価な倍率の画像に変換することが必要である。なお、髪型を変えた場合等、顔領域の抽出処理に影響する変化がある場合には、その都度キャリブレーションを行なうことが好ましい。   Moreover, when measuring with respect to the same test subject, it is not necessary to perform calibration (step 400) every time. If calibration is performed at least once and the result (which may be the captured image data itself or the size of the extracted face area) and the imaging magnification information are stored in the recording unit 108, they are used. Thus, it can be determined whether or not the flicker value is measured at an appropriate distance as described above. In this case, when the imaging magnification is different, it is necessary to convert the image to an equivalent magnification as described above. When there is a change that affects the face area extraction process, such as when the hairstyle is changed, it is preferable to perform calibration each time.

また、キャリブレーション(ステップ400)を全く行なわないようにすることもできる。例えば、人体寸法データベースなどから得られる顔の標準サイズ(平均値等)を用いる。日本人の場合、頭頂から顎までの距離は、男性に関して約24cm、女性に関して約23cm、頭幅は、男性に関して約16cm、女性に関して約15cmである。このようなデータを用いれば、被験者の性別を指定すれば、被験者の顔の大きさを、近似値ではあるが決定することができる。したがって、決定された値と撮像装置の光学特性とを用いて、フリッカー値の測定時に撮像した被験者の画像中の顔領域の大きさから、測定距離を概算することができ、適正距離で測定されたか否かを判定することができる。撮像装置の光学特性とは、撮像装置の焦点距離、イメージセンサ(CCD等)の大きさ及び解像度(縦横の画素数)、並びに、イメージセンサの画素と撮像される画像データの画素との対応関係(必ずしも1対1ではない)である。なお、被験者が自分の顔の大きさを知っていれば、その値を用いて、上記と同様に測定距離を計算することができる。   It is also possible not to perform the calibration (step 400) at all. For example, a standard face size (average value or the like) obtained from a human body dimension database or the like is used. In the case of the Japanese, the distance from the top of the head to the jaw is about 24 cm for men, about 23 cm for women, and the head width is about 16 cm for men and about 15 cm for women. By using such data, if the subject's gender is specified, the size of the subject's face can be determined although it is an approximate value. Therefore, using the determined value and the optical characteristics of the imaging device, the measurement distance can be estimated from the size of the face area in the image of the subject imaged when measuring the flicker value, and measured at an appropriate distance. It can be determined whether or not. The optical characteristics of the imaging device include the focal length of the imaging device, the size and resolution of the image sensor (CCD, etc.), and the correspondence between the pixels of the image sensor and the pixels of the image data to be captured. (Not necessarily one to one). If the subject knows the size of his / her face, the value can be used to calculate the measurement distance in the same manner as described above.

なお、フリッカー値の測定方法は、図5に示した方法に限定されず、従来の周波数を測定する方法(図1参照)、コントラストを時間的に変化させて測定する方法(図2、図3参照)であってもよい。   Note that the flicker value measurement method is not limited to the method shown in FIG. 5, but a conventional method of measuring a frequency (see FIG. 1) and a method of measuring a contrast with time (FIGS. 2 and 3). Reference).

以上、実施の形態を説明することにより本発明を説明したが、上記した実施の形態は例示であって、本発明は上記した実施の形態に限定されるものではなく、種々変更して実施することができる。   The present invention has been described above by describing the embodiment. However, the above-described embodiment is an exemplification, and the present invention is not limited to the above-described embodiment, and is implemented with various modifications. be able to.

100、120 ちらつき知覚閾値の測定装置
102 演算処理部(CPU)
104 読出専用メモリ(ROM)
106 書換可能メモリ(RAM)
108 記録部
110 タイマ
112、122 インターフェイス部(IF部)
114 バス
116 表示部
118 操作部
124 撮像部
210、240 第1画像
220、260 第2画像
100, 120 Flicker perception threshold measuring device 102 Arithmetic processing unit (CPU)
104 Read-only memory (ROM)
106 Rewritable memory (RAM)
108 Recording unit 110 Timer 112, 122 Interface unit (IF unit)
114 Bus 116 Display unit 118 Operation unit 124 Imaging unit 210, 240 First image 220, 260 Second image

Claims (8)

被験者に点滅刺激を提示して該被験者のちらつき知覚閾値を測定する方法であって、
2枚の画像を、画像表示面の同じ位置に、一定の周波数で交互に表示することにより、前記点滅刺激を提示するステップと、
前記点滅刺激を提示した状態で、前記被験者が、前記点滅刺激によるちらつきを知覚する領域とちらつきを知覚しない領域との境界上の点を指定するステップと、
指定された前記に対応する、2枚の前記画像上の位置の輝度差をちらつき知覚閾値として決定するステップとを含み、
2枚の前記画像のうちの一方の画像は、所定領域内において輝度が変化し、
2枚の前記画像のうちの他方の画像は、前記所定領域に対応する領域内の輝度が一定であることを特徴とするちらつき知覚閾値の測定方法。
A method of measuring a flicker perception threshold of a subject by presenting a blinking stimulus to the subject,
Presenting the blinking stimulus by alternately displaying two images at the same position on the image display surface at a constant frequency;
Designating a point on the boundary between a region where the subject perceives flickering due to the flashing stimulus and a region where perceptual flickering is not perceived in the state where the flashing stimulus is presented;
Determining a luminance difference between positions on the two images corresponding to the designated point as a flicker perception threshold,
One of the two images changes in luminance within a predetermined area,
The flicker perception threshold value measuring method, wherein the other of the two images has a constant luminance in an area corresponding to the predetermined area.
点滅刺激を提示する前記ステップの前に、前記被験者の顔を、前記点滅刺激を提示してちらつき知覚閾値の測定を行なう測定装置の適正距離で、前記測定装置に装備された撮像装置により撮像するステップと、
適正距離で撮像された画像から顔領域を抽出するステップと、
前記点を指定する前記ステップの直後に、前記被験者の顔を前記撮像装置で撮像するステップと、
前記点を指定する前記ステップの直後に撮像された前記画像から顔領域を抽出するステップと、
前記点を指定する前記ステップの直後に撮像された前記画像から抽出された顔領域の大きさと、前記適正距離で撮像された前記画像から抽出された顔領域の大きさとを比較して、前記を指定したときの、前記被験者の目と前記点滅刺激との距離が適正か否かを判定するステップとを、さらに含むことを特徴とする請求項1に記載のちらつき知覚閾値の測定方法。
Prior to the step of presenting the flashing stimulus, the subject's face is imaged by an imaging device included in the measurement device at an appropriate distance of a measurement device that presents the flashing stimulus and measures the flicker perception threshold. Steps,
Extracting a face region from an image captured at an appropriate distance;
Immediately after the step of specifying the point , imaging the subject's face with the imaging device;
Extracting a face region from the image taken immediately after the step of specifying the point ;
Compared with the size of the face region extracted from the captured the image immediately after the step of specifying the point, the magnitude of the proper distances extracted from the captured the image in the face area, the point The method for measuring a flicker perception threshold according to claim 1, further comprising the step of determining whether or not a distance between the eye of the subject and the blinking stimulus is appropriate when designating the subject.
前記所定領域は帯状領域であり、
前記所定領域の輝度は、前記帯状領域の延伸方向に沿って変化し、前記延伸方向と交差する方向に沿って一定の値であることを特徴とする請求項1又は2に記載のちらつき知覚閾値の測定方法。
The predetermined area is a belt-like area;
3. The flicker perception threshold according to claim 1, wherein the luminance of the predetermined region changes along the extending direction of the belt-like region and has a constant value along a direction intersecting the extending direction. Measuring method.
前記所定領域は1つの閉曲線によって画定され、
前記所定領域の輝度は、前記所定領域内の所定の点と前記所定領域の外周上の任意の1点とを結ぶ直線上で一定の値であり、前記所定の点を中心とする円周に沿って変化することを特徴とする請求項1又は2に記載のちらつき知覚閾値の測定方法。
The predetermined region is defined by a closed curve;
The luminance of the predetermined area is a constant value on a straight line connecting a predetermined point in the predetermined area and an arbitrary point on the outer periphery of the predetermined area, and the luminance around the predetermined point is a circle. The method for measuring a flicker perception threshold according to claim 1, wherein the flicker perception threshold is varied along the line.
前記所定領域は1つの閉曲線によって画定され、
前記所定領域の輝度は、前記所定領域内の所定の点と前記所定領域の外周上の任意の1点とを結ぶ直線に沿って変化し、前記所定の点を中心とする円周に沿って一定の値であることを特徴とする請求項1又は2に記載のちらつき知覚閾値の測定方法。
The predetermined region is defined by a closed curve;
The luminance of the predetermined area changes along a straight line connecting a predetermined point in the predetermined area and an arbitrary point on the outer periphery of the predetermined area, and along a circumference centered on the predetermined point. The method for measuring a flicker perception threshold according to claim 1 or 2, wherein the flicker perception threshold is a constant value.
前記所定領域の輝度の変化は、単調増加又は単調減少であることを特徴とする請求項1から5の何れか1項に記載のちらつき知覚閾値の測定方法。   The method for measuring a flicker perception threshold according to any one of claims 1 to 5, wherein the change in luminance of the predetermined region is monotonously increasing or monotonically decreasing. 2枚の画像を同じ位置に一定の周波数で交互に表示することにより、点滅刺激を被験者に提示する表示部と、
前記点滅刺激を提示した状態で、前記被験者に、前記点滅刺激によるちらつきを知覚する領域とちらつきを知覚しない領域との境界上の点を指定させるための操作部とを備え、
指定された前記に対応する、2枚の前記画像上の位置の輝度差をちらつき知覚閾値として決定し、
2枚の前記画像のうちの一方の画像は、所定領域内において輝度が変化し、
2枚の前記画像のうちの他方の画像は、前記所定領域に対応する領域内の輝度が一定であることを特徴とするちらつき知覚閾値の測定装置。
A display unit that presents a flashing stimulus to the subject by alternately displaying two images at a constant frequency at the same position;
In the state of presenting the blinking stimulus, the subject comprises an operation unit for causing the subject to specify a point on a boundary between a region that perceives flickering due to the blinking stimulus and a region that does not perceive flickering,
A luminance difference between positions on the two images corresponding to the designated point is determined as a flicker perception threshold;
One of the two images changes in luminance within a predetermined area,
An apparatus for measuring a flicker perception threshold, characterized in that the other of the two images has a constant luminance in an area corresponding to the predetermined area.
操作部及び表示部を備えたコンピュータ又は携帯端末装置に、
2枚の画像を、前記表示部の同じ位置に、一定の周波数で交互に表示することにより、点滅刺激を提示する機能と、
前記点滅刺激を提示した状態で、前記被験者による、前記点滅刺激によるちらつきを知覚する領域とちらつきを知覚しない領域との境界上の点を指定するための前記操作部の操作を受付ける機能と、
指定された前記に対応する、2枚の前記画像上の位置の輝度差をちらつき知覚閾値として決定する機能とを実現させ、
2枚の前記画像のうちの一方の画像は、所定領域内において輝度が変化し、
2枚の前記画像のうちの他方の画像は、前記所定領域に対応する領域内の輝度が一定であることを特徴とするちらつき知覚閾値の測定プログラム。
To a computer or portable terminal device having an operation unit and a display unit,
A function of presenting a blinking stimulus by alternately displaying two images at a constant frequency at the same position on the display unit;
A function of accepting an operation of the operation unit for designating a point on a boundary between a region perceiving flicker due to the flashing stimulus and a region not perceiving flicker by the subject in a state where the flashing stimulus is presented;
A function of determining a luminance difference between positions on the two images corresponding to the designated point as a flicker perception threshold;
One of the two images changes in luminance within a predetermined area,
The flicker perception threshold value measurement program characterized in that the other of the two images has a constant luminance in an area corresponding to the predetermined area.
JP2011097965A 2011-04-26 2011-04-26 Flicker perception threshold measurement device, measurement method, and measurement program Active JP5645190B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011097965A JP5645190B2 (en) 2011-04-26 2011-04-26 Flicker perception threshold measurement device, measurement method, and measurement program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011097965A JP5645190B2 (en) 2011-04-26 2011-04-26 Flicker perception threshold measurement device, measurement method, and measurement program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014211460A Division JP5975492B2 (en) 2014-10-16 2014-10-16 Flicker perception threshold measurement device, measurement method, and measurement program

Publications (2)

Publication Number Publication Date
JP2012228342A JP2012228342A (en) 2012-11-22
JP5645190B2 true JP5645190B2 (en) 2014-12-24

Family

ID=47430441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011097965A Active JP5645190B2 (en) 2011-04-26 2011-04-26 Flicker perception threshold measurement device, measurement method, and measurement program

Country Status (1)

Country Link
JP (1) JP5645190B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6534531B2 (en) * 2015-02-04 2019-06-26 学校法人常翔学園 Perceptual threshold measurement device, perceptual threshold measurement method and perceptual threshold measurement program

Also Published As

Publication number Publication date
JP2012228342A (en) 2012-11-22

Similar Documents

Publication Publication Date Title
JP6120762B2 (en) Image processing device
JP6612959B2 (en) System and method for measurement of refractive error of the eye based on subjective distance measurement
EP3288487B1 (en) System and method for training dentists in endodontic treatment techniques
JP5413860B2 (en) Apparatus and method for measuring flicker perception threshold
JP2018500957A (en) System and method for assessing visual acuity and hearing
JP4798455B2 (en) Portable terminal device having mental fatigue measurement function and program thereof
EP2979635B1 (en) Diagnosis supporting device, diagnosis supporting method, and computer-readable recording medium
US10448822B2 (en) Method and system for visual field perimetry testing using a head-mounted display assembly
JP4406705B1 (en) Portable terminal device having a function of measuring mental fatigue, its program, and server computer
JP6269377B2 (en) Diagnosis support apparatus and diagnosis support method
JPWO2014203438A1 (en) Image display control apparatus, image display system, image display control method, and program
JP5645190B2 (en) Flicker perception threshold measurement device, measurement method, and measurement program
JP2015103991A (en) Image processing apparatus, method and computer program
JP5975492B2 (en) Flicker perception threshold measurement device, measurement method, and measurement program
JP6198530B2 (en) Image processing device
JPWO2015037316A1 (en) Organ image photographing apparatus and organ image photographing method
JP2005095326A (en) Method for calculating skin age from skin measured value and display method for the skin age
WO2020149068A1 (en) Flicker measurement device, flicker measurement method, and flicker measurement program
US20190365243A1 (en) Blood-pressure-related information display apparatus and method
JP6233776B2 (en) Psychosomatic state determination apparatus and psychosomatic state determination program
JP6330638B2 (en) Training support apparatus and program
EP4159157A1 (en) Transparent braces design method for creating treatment plan, and apparatus therefor
JP2005034424A (en) Method and apparatus for evaluating the state of skin surface
JP5578681B2 (en) Standard flicker value calculation method determination method, standard flicker value calculation method and program, and flicker value measuring apparatus
TWI533238B (en) A Movement detection and judgment device and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140930

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141027

R150 Certificate of patent or registration of utility model

Ref document number: 5645190

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250