KR102064755B1 - Method and apparatus for processing image data - Google Patents
Method and apparatus for processing image data Download PDFInfo
- Publication number
- KR102064755B1 KR102064755B1 KR1020190085072A KR20190085072A KR102064755B1 KR 102064755 B1 KR102064755 B1 KR 102064755B1 KR 1020190085072 A KR1020190085072 A KR 1020190085072A KR 20190085072 A KR20190085072 A KR 20190085072A KR 102064755 B1 KR102064755 B1 KR 102064755B1
- Authority
- KR
- South Korea
- Prior art keywords
- output
- display
- reference wavelength
- pass filter
- band pass
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000012545 processing Methods 0.000 title abstract description 70
- 238000001914 filtration Methods 0.000 claims abstract description 12
- 238000005259 measurement Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 24
- 238000012937 correction Methods 0.000 description 22
- 238000005070 sampling Methods 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 7
- 239000003086 colorant Substances 0.000 description 7
- 230000007547 defect Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000001444 catalytic combustion detection Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
Description
본 개시에서는 이미지 데이터를 처리하는 방법 및 장치에 관해 개시된다.In the present disclosure, a method and apparatus for processing image data are disclosed.
디스플레이는 화면을 통해 정보를 디스플레이하는 것으로써, 가전제품, 스마트폰, 모니터 등 각종 기기에서 널리 사용되고 있다. 디스플레이는 이미지를 통해 정보를 제공한다는 점에서 이용 범위가 매우 넓고, 실제 제품으로 구현되는 해상도도 계속 높아지고 있다.The display displays information through a screen and is widely used in various devices such as home appliances, smart phones, and monitors. Displays offer a wide range of applications in that they provide information through images, and the resolution of actual products continues to increase.
특히, 근래에는 휴대폰이나 PDA와 같은 이동통신단말기의 수요가 지속적으로 확산됨에 따라, 그 이동통신단말기에 탑재되는 디스플레이 시장이 기하급수적으로 팽창하고 있다.In particular, as the demand for mobile communication terminals such as mobile phones and PDAs continues to spread in recent years, the display market mounted on the mobile communication terminals is exponentially expanding.
그러나 디스플레이의 제조 과정에서 물리적인 결함의 발생확률이 높기 때문에, 소프트웨어적으로 물리적인 결함을 완화 또는 제거하기 위하여 디스플레이의 휘도(brightness), 색도(chroma), 명도(lightness) 등과 같은 다양한 출력 특성을 확인하기 위한 각종 기술이 개발되고 있다.However, due to the high probability of physical defects in the manufacturing process of the display, various output characteristics such as brightness, chroma, and brightness of the display may be modified to mitigate or eliminate physical defects in software. Various techniques for identification are being developed.
본 개시는 이미지 데이터를 처리하는 방법 및 장치를 제공할 수 있다. 구체적으로 레퍼런스 데이터를 이용하여 디스플레이로부터 획득되는 출력의 색도좌표를 결정하는 방법 및 장치가 개시된다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제들이 더 포함될 수 있다.The present disclosure can provide a method and apparatus for processing image data. Specifically, a method and apparatus for determining chromaticity coordinates of an output obtained from a display using reference data is disclosed. The technical problem to be solved is not limited to the technical problems as described above, and various technical problems may be further included within the scope apparent to those skilled in the art.
본 개시의 제 1 측면에 따른 이미지 데이터 처리 장치는 디스플레이가 이미지를 출력하기 위해 이용하는 하나 이상의 기준 파장을 나타내는 레퍼런스 데이터를 수신하는 리시버; 및 상기 디스플레이로부터 획득되는 출력을 밴드 패스 필터를 이용하여 필터링하고, 상기 밴드 패스 필터를 통해 필터링된 출력의 세기를 결정하고, 상기 필터링된 출력의 세기와 상기 기준 파장을 이용해서 상기 출력의 색도좌표를 결정하는 프로세서;를 포함할 수 있다.An image data processing apparatus according to a first aspect of the present disclosure includes a receiver for receiving reference data indicative of one or more reference wavelengths that a display uses to output an image; And filtering the output obtained from the display using a band pass filter, determining the intensity of the output filtered through the band pass filter, and using the intensity of the filtered output and the reference wavelength, a chromaticity coordinate of the output. A processor for determining the; may include.
또한, 상기 밴드 패스 필터의 통과 대역은 상기 기준 파장을 포함할 수 있다.In addition, the pass band of the band pass filter may include the reference wavelength.
또한, 상기 기준 파장은 레드 기준 파장, 그린 기준 파장 및 블루 기준 파장을 포함하고, 상기 밴드 패스 필터는 레드 밴드 패스 필터, 그린 밴드 패스 필터 및 블루 밴드 패스 필터를 포함하고, 상기 레드 밴드 패스 필터의 통과 대역은 상기 레드 기준 파장을 포함하고, 상기 그린 밴드 패스 필터의 통과 대역은 상기 그린 기준 파장을 포함하고, 상기 블루 밴드 패스 필터의 통과 대역은 상기 블루 기준 파장을 포함할 수 있다.The reference wavelength may include a red reference wavelength, a green reference wavelength, and a blue reference wavelength, and the band pass filter may include a red band pass filter, a green band pass filter, and a blue band pass filter. The pass band may include the red reference wavelength, the pass band of the green band pass filter may include the green reference wavelength, and the pass band of the blue band pass filter may include the blue reference wavelength.
또한, 상기 출력은 상기 디스플레이에 포함된 픽셀의 출력일 수 있다.In addition, the output may be an output of a pixel included in the display.
또한, 상기 기준 파장은 상기 디스플레이의 하드웨어 특성에 따라 결정될 수 있다.In addition, the reference wavelength may be determined according to hardware characteristics of the display.
상기 기준 파장은 상기 디스플레이로부터 획득되는 상기 출력에 대한 색도 측정계의 측정 결과에 따라 결정될 수 있다.The reference wavelength may be determined according to a measurement result of a chromaticity meter for the output obtained from the display.
본 개시의 제 2 측면에 따른 이미지 데이터 처리 방법은 디스플레이가 이미지를 출력하기 위해 이용하는 하나 이상의 기준 파장을 나타내는 레퍼런스 데이터를 수신하는 단계; 상기 디스플레이로부터 획득되는 출력을 밴드 패스 필터를 이용하여 필터링하는 단계; 상기 밴드 패스 필터를 통해 필터링된 출력의 세기를 결정하는 단계; 및 상기 필터링된 출력의 세기와 상기 기준 파장을 이용해서 상기 출력의 색도좌표를 결정하는 단계;를 포함할 수 있다.An image data processing method according to a second aspect of the present disclosure includes receiving reference data indicative of one or more reference wavelengths that a display uses to output an image; Filtering the output obtained from the display using a band pass filter; Determining an intensity of the output filtered through the band pass filter; And determining the chromaticity coordinates of the output using the intensity of the filtered output and the reference wavelength.
본 개시의 제 3 측면은 제 2 측면에 따른 방법을 구현하기 위하여 기록매체에 저장된 컴퓨터 프로그램을 제공할 수 있다. 또는, 본 개시의 제 4 측면은 제 2 측면에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.A third aspect of the present disclosure may provide a computer program stored on a recording medium for implementing the method according to the second aspect. Alternatively, a fourth aspect of the present disclosure may provide a computer readable recording medium having recorded thereon a program for executing a method according to the second aspect on a computer.
도 1은 일 실시 예에 따른 이미지 데이터 처리 장치의 동작을 설명하는 개념도이다.
도 2는 일 실시 예에 따른 이미지 데이터 처리 장치의 구성의 일 예를 나타내는 블록도이다.
도 3은 일 실시 예에 따른 이미지 데이터 처리 장치의 구성의 다른 일 예를 나타내는 블록도이다.
도 4는 일 실시 예에 따른 이미지 데이터 처리 장치가 필터링된 출력의 세기와 해당 기준 파장을 이용해서 획득한 등에너지 스펙트럼의 일 예를 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 이미지 데이터 처리 장치가 디스플레이의 출력의 색도좌표를 결정하기 위해 이용하는 표준 색도도의 일 예를 나타내는 도면이다.
도 6은 일 실시 예에 따른 이미지 데이터 처리 장치가 디스플레이가 이미지를 출력하기 위해 이용하는 적어도 하나의 기준 파장을 이용하여 색도좌표를 결정하는 일 예를 설명하기 위한 흐름도이다.
도 7은 일 실시 예에 따른 이미지 데이터 처리 장치가 결정된 색도좌표를 이용하여 픽셀 보정에 관한 보정 상태를 결정하는 방법의 일 예를 설명하기 위한 도면이다.1 is a conceptual diagram illustrating an operation of an image data processing apparatus according to an exemplary embodiment.
2 is a block diagram illustrating an example of a configuration of an image data processing apparatus according to an exemplary embodiment.
3 is a block diagram illustrating another example of a configuration of an image data processing apparatus according to an exemplary embodiment.
4 is a diagram illustrating an example of an isoenergy spectrum acquired by the image data processing apparatus according to an exemplary embodiment using the intensity of a filtered output and a corresponding reference wavelength.
5 is a diagram illustrating an example of a standard chromaticity diagram used by an image data processing apparatus to determine chromaticity coordinates of an output of a display.
FIG. 6 is a flowchart illustrating an example in which a chromaticity coordinate is determined by using at least one reference wavelength that a display uses to output an image, according to an exemplary embodiment.
FIG. 7 is a diagram for describing an example of a method of determining, by an image data processing apparatus, a correction state regarding pixel correction using a determined chromaticity coordinate. FIG.
실시 예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terminology used in the embodiments is a general term that has been widely used as much as possible in consideration of the functions of the present invention, but may vary according to the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. In addition, in certain cases, there is also a term arbitrarily selected by the applicant, in which case the meaning will be described in detail in the description of the invention. Therefore, the terms used in the present invention should be defined based on the meanings of the terms and the contents throughout the present invention, rather than the names of the simple terms.
명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “…부”, “…모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When a part of the specification is said to "include" any component, this means that it may further include other components, except to exclude other components unless otherwise stated. In addition, as described in the specification Wealth ”,“… Module ”means a unit for processing at least one function or operation, which may be implemented in hardware or software, or a combination of hardware and software.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention.
이하에서는 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다.Hereinafter, with reference to the drawings will be described embodiments of the present invention;
도 1은 일 실시 예에 따른 이미지 데이터 처리 장치(100)의 동작을 설명하는 개념도이다.1 is a conceptual diagram illustrating an operation of an image
디스플레이(110)의 휘도(brightness), 색도(chroma), 명도(lightness) 등과 같은 다양한 출력 특성을 확인하는 기술로서 색 수치 계측 기술은 주로 XYZ 필터를 이용하여 디스플레이(110)에서 나오는 빛의 에너지 특성을 측정하고, 국제 조명 위원회 CIE(Commission International de I'Eclairage)에서 규정한 XYZ 색도계의 색도좌표 x, y, z를 계측하는 방식으로 디스플레이(110)의 출력 특성을 수치로서 산출할 수 있다.A technique for identifying various output characteristics such as brightness, chroma, and lightness of the
XYZ 색도계에서 XYZ는 빛의 삼원색을 나타내는 RGB 3자극값(tristimulus values)을 모두 양의 부호를 가지도록 구성한 다른 3자극값의 세트로서, 즉, 삼원색의 혼합량을 각기 X, Y 및 Z로 하고, 아래와 같이 x, y 및 z를 구할 수 있다.In the XYZ colorimeter, XYZ is a set of other tristimulus values consisting of all positive RGB signs of tristimulus values representing the three primary colors of light, i.e., the mixing amounts of the three primary colors are X, Y, and Z, respectively. We can get x, y and z as follows.
x = X / (X+Y+Z)x = X / (X + Y + Z)
y = Y / (X+Y+Z)y = Y / (X + Y + Z)
z = Z / (X+Y+Z) = 1-x-yz = Z / (X + Y + Z) = 1-x-y
이러한 x, y 및 z의 값을 XYZ 색도계의 색도좌표라고 할 수 있다. 이러한 XYZ는 색도 다이어그램을 이용한 모델을 통해 정의될 수 있다. 예를 들어, XYZ 필터를 이용하여 디스플레이(110)에서 출력되는 삼원색의 혼합량을 측정하여 RGB 색도 좌표값을 계측할 수 있고, RGB 색도 좌표값을 색도 다이어그램(예를 들어, CIE 1931 색 공간 다이어그램) 상에서 2차원의 XY 색도 좌표값으로 변환하는 방식으로 x, y 및 z를 구하여 해당 디스플레이(110)가 출력하는 색 수치를 구할 수 있다.Such values of x, y and z can be referred to as chromaticity coordinates of the XYZ colorimeter. This XYZ can be defined through a model using a chromaticity diagram. For example, an RGB chromaticity coordinate value may be measured by measuring a mixed amount of three primary colors output from the
색 수치 계측을 위해 XYZ 필터가 이용될 수 있으며, 구체적으로는, X 필터, Y 필터 및 Z 필터 각각을 한번씩 이용하여 넓은 범위의 가시광선 파장에 대한 RGB 각각의 시감도 값과 에너지 세기(Intensity)를 측정하고, 이로부터 X, Y 및 Z의 값을 산출하며, 이렇게 변환된 X, Y 및 Z의 값을 통해 디스플레이(110)에서 출력되는 모든 색을 표현할 수 있다. 이렇게 산출된 색 수치는 해당 디스플레이(110)가 출력해야 할 기준 수치와의 비교를 통해 해당 디스플레이(110)의 물리적인 결함을 완화 또는 제거하는 과정에 이용될 수 있다. 그러나 일 실시 예에 따른 이미지 데이터 처리 장치(100)는 외부로부터 수신한 기준 파장(예: 레드(R)를 출력하기 위한 기준 파장(레드 기준 파장), 그린(G)을 출력하기 위한 기준 파장(그린 기준 파장), 블루(B)를 출력하기 위한 기준 파장(블루 기준 파장))에 대한 정보를 이용하여, X 필터, Y 필터 또는 Z 필터 없이 디스플레이(110)의 출력에 대한 색 수치(예: 색도 좌표값)를 결정할 수 있다.The XYZ filter may be used for color numerical measurement. Specifically, each of the X filter, the Y filter, and the Z filter may be used once to obtain the visibility values and energy intensities of RGB for a wide range of visible light wavelengths. Measure, calculate the values of X, Y and Z therefrom, and can represent all colors output from the
여기에서, XYZ 필터는 디스플레이(110)에서 출력되는 빛의 에너지의 절대적인 세기를 측정하기 위한 필터에 해당하고, 예를 들어, 많은 개수의 전하 결합 소자(Charge Coupled Device, CCD)들로 구성되어 입사되는 빛의 기초 자극에 대한 전기적 신호를 가시광선 파장 영역 전체에 걸쳐서 측정할 수 있다. 이와 같이, XYZ 필터는 넓은 파장 영역에 대한 에너지 세기를 계측할 수 있도록 하므로, 일부 구간만을 통과시키는 RGB 필터에 비해 상대적으로 정확성이 높을 수 있다. 그러나, 이러한 XYZ 필터는 넓은 파장 영역을 커버하기 위한 많은 적층 구조를 필요로 하므로 제조 공정이 용이하지 않고, 면휘도 계측 방식에 있어서 제조 공정에 따라 면 전체의 균일성(uniformity) 저하가 발생하면 오히려 성능이 크게 저하될 수 있으며, 삼원색 각각에 대해 별도의 구성 및 처리 과정이 요구되어 이를 위한 비용과 시간의 소모가 크다는 단점이 있을 수 있다. 그러나 일 실시 예에 따른 이미지 데이터 처리 장치(100)는 디스플레이(110)의 하드웨어적 특성에 따라 결정되는 디스플레이(110)의 기준 파장에 대한 정보를 외부로부터 수신함으로써, XYZ 필터 없이도 용이하게 디스플레이의 출력에 대한 색 수치(예: 색도 좌표값)를 결정할 수 있다. 또한, 기준 파장은 디스플레이(110)의 하드웨어적 특성에 따라 결정되므로, 해당 디스플레이(110)의 기종에 따라 한번 정해지면 계속 동일한 값이 이용될 수 있다. 따라서 기준 파장을 정하는 과정은 하나의 기종에 대해서 한번만 수행되어도 되기 때문에, 이미지 데이터 처리 장치(100)는 색 수치를 결정하기 위해 XYZ 필터가 이용되는 과정에서 발생하는 손실을 감소시킬 수 있다.Here, the XYZ filter corresponds to a filter for measuring the absolute intensity of the energy of the light output from the
일 실시 예에 따른 디스플레이(110)는 적어도 하나의 기준 파장에 따라 이미지를 출력할 수 있고, 이러한 기준 파장은 해당 하드웨어 특성에 따라 결정될 수 있다. 일 실시 예에서, 하드웨어 특성은 해당 제품의 기종, 제품번호 및 제조번호 중 적어도 하나를 포함할 수 있다. 예를 들어, 디스플레이(110)의 기종이 A-전자에서 제조한 휴대폰으로서 모델명 A-1에 해당하는 경우, 디스플레이(110)는 해당 기종에 따라 RGB 각각에 대해 특정한 값이나 범위로 정해진 기준 파장이 출력되도록 구성될 수 있다. 실제로, 대부분의 디스플레이 제조 공정에 있어서 특정 파장이 나오도록 RGB 소스를 정하여 디스플레이 제품들을 제조하고 있고, 파장 오차는 크지 않은 것으로 알려져 있다.The
일 실시 예에 따른 이미지 데이터 처리 장치(100)는 디스플레이(110)에 관한 레퍼런스 데이터를 획득할 수 있다. 여기에서, 레퍼런스 데이터는 전술한 하나 이상의 기준 파장을 포함할 수 있고, 보다 구체적으로, 디스플레이(110)에 포함된 적어도 하나의 픽셀들 또는 블록들의 출력(예: 색도, 휘도 등)에 관한 특성 데이터를 나타낸다. 일 실시 예에 따른 레퍼런스 데이터는 디스플레이(110)가 이미지를 출력하기 위해 이용하는 하나 이상의 기준 파장을 포함할 수 있고, 예를 들어, 삼원색 각각에 해당하는 레드(R)를 출력하기 위한 기준 파장 680nm, 그린(G)을 출력하기 위한 기준 파장 540nm 및 블루(B)를 출력하기 위한 기준 파장 420nm을 포함할 수 있다.The image
일 실시 예에 따른 이미지 데이터 처리 장치(100)는 색도 측정계(120)로부터 레퍼런스 데이터를 획득할 수 있다. 예를 들어, 이미지 데이터 처리 장치(100)는 디스플레이(110)로부터 출력을 획득하기 이전에 색도 측정계(120)에 레퍼런스 데이터를 미리 요청하여 색도 측정계(120)가 디스플레이(110)에서 출력되는 하나 이상의 기준 파장을 측정하도록 할 수 있고, 색도 측정계(120)로부터 수신된 해당 하나 이상의 기준 파장을 레퍼런스 데이터로서 획득할 수 있다.The image
일 실시 예에 따른 색도 측정계(120)는 디스플레이(110)에 포함된 픽셀들 또는 블록들의 출력값(예: 색도값, 휘도값 등)들을 측정하여 이를 기초로 레퍼런스 데이터를 결정할 수 있고, 예를 들어, 디스플레이(110)에 포함된 모든 픽셀들의 RGB 색도값에 대한 평균 연산을 통하거나 블록 단위의 구간 평균 연산을 통하여 RGB 각각에 대하여 디스플레이(110)에서 출력하는 하나 이상의 기준 파장을 결정할 수 있다.The
일 실시 예에 따른 색도 측정계(120)는 디스플레이(110)로부터 입사되는 빛을 집광하여 에너지 세기(Intensity)를 계측하는 과정을 통해 디스플레이(110)에 포함된 픽셀들 또는 블록들의 출력값(예: 색도값, 휘도값 등)을 계측할 수 있도록 구성될 수 있고, 예를 들어, 컬러 카메라 모듈로 구현될 수 있으나, 이에 제한되지 않는다.The
일 실시 예에 따른 색도 측정계(120)는 디스플레이(110)를 촬상하여 디스플레이(110)에 포함된 픽셀들 또는 블록들의 출력값을 획득하기 때문에, 디스플레이(110)에서 이미지 출력을 위해 설정된 하나 이상의 초기 기준 파장과, 색도 측정계(120)가 디스플레이(110)에 포함된 픽셀들에 대한 촬상을 통해 획득하는 하나 이상의 측정 기준 파장은 동일하지 않을 수 있다. Since the
예를 들면, 디스플레이(110)가 해당 디스플레이 기종에 따라 0~n(예: 0~255)까지의 색상값 중 n(예: 255) 값을 출력하기 위한 (R, G, B)의 초기 기준 파장이 (680nm, 540nm, 420nm)로 정해진 경우, 디스플레이(110)에 포함된 인접한 제 1 픽셀, 제 2 픽셀 및 제 3 픽셀은 물리적인 결함과 빛의 간섭 현상으로 인한 오류 때문에 차이가 발생하여 색도 측정계(120)는 제 1 픽셀, 제 2 픽셀 및 제 3 픽셀에 대해서 (253, 249, 254)의 색상값을 촬상으로 획득하여 이에 대응되는 측정 기준 파장을 (683nm, 545nm, 421nm)으로 결정할 수 있고, 이를 이미지 데이터 처리 장치(100)에 적어도 하나의 기준 파장으로서 제공할 수 있다. 즉, 여러가지 물리적인 한계 때문에, 색도 측정계(120)는 디스플레이(110)에 포함된 픽셀들 또는 블록들의 출력값을 완벽하게 획득할 수 없으며, 이에 따라 디스플레이(110)에서 출력을 위해 정해진 초기 기준 파장과 색도 측정계(120)가 촬상으로 획득한 측정 기준 파장은 동일하지 않을 수 있다.For example, the initial reference of (R, G, B) for the
일 실시 예에 따른 이미지 데이터 처리 장치(100)는 색도 측정계(120)로부터 레퍼런스 데이터를 획득할 수 있다. 해당 실시 예에서, 레퍼런스 데이터는 전술한 적어도 하나의 측정 기준 파장을 적어도 하나의 기준 파장으로서 포함할 수 있고, 색도 측정계(120)를 통해 측정된 디스플레이(110)에 포함된 픽셀들 또는 블록들의 출력값(예: 휘도값, 레드 컴포넌트값, 그린 컴포넌트값, 블루 컴포넌트값 등 픽셀 또는 블록으로부터 측정되거나 수신될 수 있는 각종 수치)을 포함할 수 있다. 또한, 블록은 픽셀들로 구성되기 때문에, 블록들의 출력값을 획득 하는 실시 예는 픽셀들의 출력값을 획득한다는 실시 예의 일 예일 수 있다. 따라서, 블록에 대해서 별도의 설명이 없는 경우에도, 픽셀에서 수행되는 동작이 블록에 대해서도 동일한 방식으로 적용될 수 있다.The image
다른 일 실시 예에 따른 이미지 데이터 처리 장치(100)는 내장된 I/O 인터페이스를 통해 사용자에 의해 입력된 적어도 하나의 기준 파장에 관한 데이터를 레퍼런스 데이터로서 수신할 수도 있다. 또 다른 일 실시 예에 따른 이미지 데이터 처리 장치(100)는 전기적으로 연결되거나 네트워크를 통해 연결된 컴퓨팅 장치(미도시됨)로부터 레퍼런스 데이터를 획득할 수도 있으며, 예를 들어, 사용자 단말이나 레퍼런스 관리 서버로부터 레퍼런스 데이터를 획득할 수도 있다.The image
도 1에서 개시하고 있는 디스플레이(110)는 이미지를 디스플레이하는 이미지 데이터 처리 장치를 포괄적으로 의미할 수 있다. 예를 들면, 디스플레이(110)는 스마트폰, PDA(personal digital assistant), 노트북, 태블릿 PC, 전자책, PMP(portable multimedia player), 넷북, 모니터 등에 포함될 수 있다. 다른 예로, 디스플레이(110)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 등일 수 있다.The
도 2는 일 실시 예에 따른 이미지 데이터 처리 장치(100)의 구성의 일 예를 나타내는 블록도이다.2 is a block diagram illustrating an example of a configuration of an image
도 2에 도시된 바와 같이, 이미지 데이터 처리 장치(100)는 리시버(210) 및 프로세서(220)를 포함할 수 있다.As illustrated in FIG. 2, the image
그러나, 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 이미지 데이터 처리 장치(100)에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들면, 이미지 데이터 처리 장치(100)는 색도 측정계(120)를 더 포함할 수 있다. 또는 다른 실시 예에 따를 경우, 도 2에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.However, it will be understood by those skilled in the art that other general-purpose components other than the components shown in FIG. 2 may be further included in the image
일 실시 예에 따른 리시버(210)는 외부로부터 신호를 수신할 수 있도록 구성되고, 하나 이상의 기준 파장을 나타내는 레퍼런스 데이터를 수신할 수 있다. 여기에서, 하나 이상의 기준 파장은 전술한 바와 같이, 디스플레이(110)가 이미지를 출력하기 위해 이용하는 기준 파장을 의미한다. 일 실시 예에서, 이러한 출력은 디스플레이(110)에 포함된 픽셀의 출력을 의미하고, 예를 들어, 하나의 픽셀, 인접한 특정 개수의 픽셀들 또는 복수의 픽셀들로 구획된 블록의 출력에 해당한다. The
일 실시 예에 따른 기준 파장은 레드 기준 파장(식별번호 411 참조), 그린 기준 파장(식별번호 412 참조) 및 블루 기준 파장(식별번호 413 참조)을 포함할 수 있다. 예를 들어, 기준 파장은 레드(R)를 출력하기 위한 레드 기준 파장(식별번호 411 참조)으로 680nm의 파장 값을, 그린(G)를 출력하기 위한 그린 기준 파장(식별번호 412 참조)으로 540nm의 파장 값을, 블루(B)를 출력하기 위한 블루 기준 파장(식별번호 413 참조)으로 420nm의 파장 값을 포함할 수 있다. 또한, 각각의 기준 파장은 전술한 예시처럼 특정 파장 값을 포함할 수 있고, 특정 파장 영역(예: 670 ~ 690nm)을 포함할 수도 있으며, 특정 파장 값을 중심으로 수학적으로 정의되는 파장 영역(예: 680nm를 중심으로 -10% ~ +10%의 범위)을 포함할 수도 있다.The reference wavelength according to an embodiment may include a red reference wavelength (see identification number 411), a green reference wavelength (see identification number 412), and a blue reference wavelength (see identification number 413). For example, the reference wavelength is a wavelength of 680 nm as a red reference wavelength (see identification number 411) for outputting red (R), and 540 nm as a green reference wavelength (see identification number 412) for outputting green (G). The wavelength value of may include a wavelength value of 420 nm as a blue reference wavelength (see identification number 413) for outputting blue (B). In addition, each reference wavelength may include a specific wavelength value as described above, may include a specific wavelength region (for example, 670 to 690 nm), and a wavelength region (eg, mathematically defined around a specific wavelength value). : -10% to + 10% with respect to 680nm).
일 실시 예에 따른 프로세서(220)는 디스플레이(110)로부터 획득되는 출력을 밴드 패스 필터(예: 식별번호 310)를 이용하여 필터링할 수 있다. 일 실시 예에서, 프로세서(220)는 이미지 데이터 처리 장치(100)에 포함된 밴드 패스 필터(310)와 전기적으로 연결되어 밴드 패스 필터(310)의 필터링 프로세스 전반을 관리할 수 있으나, 이에 제한되지 않는다. 예를 들어, 프로세서(220)는 색도 측정계(120)에 구성된 밴드 패스 필터 또는 별도의 카메라 모듈에 포함된 밴드 패스 필터와 연결될 수 있고, 색도 측정계(120) 또는 해당 카메라 모듈과 연동하여 해당 밴드 패스 필터가 디스플레이(110)로부터 획득되는 출력을 필터링하도록 하여 해당 필터링된 신호를 수신하는 방식으로 필터링을 수행할 수도 있다.The
전술한 것처럼, 일 실시 예에 따른 이미지 데이터 처리 장치(100)는 밴드 패스 필터(310)를 더 포함할 수 있고, 이하에서는 도 3을 더 참조하여 서술하도록 한다.As described above, the image
도 3은 일 실시 예에 따른 이미지 데이터 처리 장치(100)의 구성의 다른 일 예를 나타내는 블록도이다.3 is a block diagram illustrating another example of a configuration of an image
도 3을 참조하면, 일 실시 예에 따른 이미지 데이터 처리 장치(100)는 밴드 패스 필터(310)를 더 포함할 수 있다.Referring to FIG. 3, the image
일 실시 예에 따른 밴드 패스 필터(310)는 프로세서(220)로부터 수신된 레퍼런스 데이터를 기초로 필터링을 수행할 수 있다. 여기에서, 밴드 패스 필터(310)는 입력 신호에 대해 특정한 주파수 영역의 성분을 출력 신호로서 통과시킬 수 있는 대역 필터로서, 예를 들어, 프로세서(220)로부터 수신된 기준 파장을 포함하는 특정 파장 영역을 통과 대역으로 하여 입력 신호에 대해 필터링을 수행할 수 있다.The
일 실시 예에 따른 밴드 패스 필터(310)는 하나 이상의 색 필터로 구성될 수 있고, 예를 들어, 레드 색 필터에 해당하는 레드 밴드 패스 필터(311), 그린 색 필터에 해당하는 그린 밴드 패스 필터(312) 및 블루 색 필터에 해당하는 블루 밴드 패스 필터(313)를 포함할 수 있다. 일 실시 예에 따른 레드, 그린 및 블루 밴드 패스 필터들(311-313) 각각은 프로세서(220)로부터 획득된 서로 다른 기준 파장을 기초로 통과 대역을 결정할 수 있다. 여기에서, 통과 대역은 가시광선 파장 영역의 적어도 일부를 포함할 수 있다.The
일 실시 예에 따른 레드 밴드 패스 필터(311)의 통과 대역(식별번호 421 참조)은 레드 기준 파장(식별번호 411 참조)을 포함하고, 그린 밴드 패스 필터(312)의 통과 대역(식별번호 422 참조)은 그린 기준 파장(식별번호 412 참조)을 포함하고, 블루 밴드 패스 필터(313)의 통과 대역(식별번호 423 참조)은 블루 기준 파장(식별번호 413 참조)을 포함할 수 있다. 예를 들어, 레드, 그린 및 블루 밴드 패스 필터들(311-313) 각각의 통과 대역에 해당하는 (레드 통과 대역, 그린 통과 대역, 블루 통과 대역)은 레드, 그린 및 블루 기준 파장(식별번호 411-413 참조)에 해당하는 (680nm, 540nm, 420nm)을 포함하는 (650~710nm, 520~560nm, 410~430nm)으로 설정될 수 있다.The pass band (see identification number 421) of the red
일 실시 예에서, 레드, 그린 및 블루 밴드 패스 필터들(311-313) 각각은 프로세서(220)로부터 제공된 해당 기준 파장을 기초로 기설정된 특정 범위의 파장 영역이 통과 대역이 되도록 구성될 수 있고, 예를 들어, 레드 밴드 패스 필터(311)는 레드 기준 파장(식별번호 411 참조)을 중심으로 -10%~+10% 범위에 있는 파장 영역을 통과 대역으로 결정하고 해당 통과 대역에서 필터링을 수행할 수 있다.In one embodiment, each of the red, green and blue band pass filters 311-313 may be configured such that a predetermined range of wavelength ranges is a pass band based on the corresponding reference wavelength provided from the
일 실시 예에 따른 밴드 패스 필터(310)는 전술한 하나 이상의 색 필터 이외에도, 하나 이상의 렌즈(미도시)와 하나 이상의 CCD(미도시)를 포함하여 구성될 수 있고, 예를 들어, 복수 개의 CCD와 각각에 있는 개별 마이크로렌즈 및 해당 렌즈에 입혀진 레드 필터, 그린 필터 또는 블루 필터를 포함하도록 구성되어 디스플레이(110)의 출력에 대해 필터링된 레드 신호, 그린 신호 또는 블루 신호를 프로세서(220)에 제공할 수 있다.The
다른 일 실시 예에서, 밴드 패스 필터(310)는 하나 이상의 베이어 필터(bayer filter)(미도시), 하나 이상의 렌즈 및 하나 이상의 CCD를 포함하여 구성될 수 있다. 예를 들어, 복수개의 CCD 각각에 있는 개별 마이크로렌즈에 일정 패턴에 따라 입혀진 레드, 그린 및 블루 필터를 포함하여 각각의 CCD에 의한 센싱 동작 과정에서 동일한 필터가 사용된 픽셀들의 신호들을 레드, 그린 및 블루 채널 각각으로 수신 및 처리하는 방식으로 디스플레이(110)의 출력에 대해 필터링된 레드 신호, 그린 신호 또는 블루 신호를 프로세서(220)에 제공할 수 있다.In another embodiment, the
이와 같이, 밴드 패스 필터(310)는 대역 필터로서 기능하는 다양한 소자들 또는 이들의 조합을 통해 구현될 수 있으며, 특정한 필터에 한정되지 않는다.As such, the
전술한 것처럼, 일 실시 예에 따른 프로세서(220)는 수신된 레퍼런스 데이터를 기초로 밴드 패스 필터(310)의 필터링을 제어할 수 있다. 일 실시 예에서, 프로세서(220)는 레퍼런스 데이터에 포함된 레드, 그린 및 블루 기준 파장(식별번호 411-413 참조) 각각을 기초로 기설정된 특정 범위의 파장 영역을 결정할 수 있고, 예를 들어, 레드 기준 파장(식별번호 411 참조) 680nm를 중심으로 -30nm~+50nm 범위에 있는 파장 영역에 관한 데이터를 레드, 그린 및 블루 밴드 패스 필터들(311-313) 각각에 제공하여 각각의 필터가 해당 파장 영역을 통과 대역으로 하여 필터링을 수행하도록 할 수 있다.As described above, the
일 실시 예에 따른 프로세서(220)는 레퍼런스 데이터에 포함된 디스플레이(110)의 기종에 따른 특성을 고려하여 레드, 그린 및 블루 기준 파장(식별번호 411-413 참조) 각각을 기초로 결정된 통과 대역을 조정할 수도 있다. 예를 들어, 프로세서(220)는 레퍼런스 데이터로부터 획득된 디스플레이(110)의 기종을 기초로 메모리(미도시)에 기저장된 데이터베이스를 검색하여 해당 기종과 연관된 제조 평가점수를 검출할 수 있고, 검출된 제조 평가점수를 기초로 각각의 통과 대역을 상향 이동, 하향 이동, 확대 또는 축소시킬 수 있다.According to an embodiment, the
일 실시 예에 따른 프로세서(220)는 밴드 패스 필터(310)를 통해 필터링된 출력의 세기(Intensity)를 결정할 수 있다. 예를 들어, 프로세서(220)는 레드, 그린 및 블루 밴드 패스 필터들(311-313) 각각으로부터 디스플레이(110)의 출력(예: 휘도, 색상)을 해당 레드, 그린 및 블루 기준 파장(식별번호 411-413 참조) 각각에 따라 결정된 통과 대역(식별번호 421-423 참조)으로 통과시켜 필터링된 출력 신호(예: 전압, 전류)에 해당하는 레드 전압, 그린 전압 및 블루 전압 각각을 제공 받을 수 있고, 이들의 전압값의 크기를 검출하여 해당 출력의 에너지 세기를 산출할 수 있다. 일 실시 예에서, 이러한 신호 처리를 위해 증폭기와 ADC(Analog-Digital Converter) 등이 이미지 데이터 처리 장치(100)에 더 포함될 수 있으며, 이처럼, 전술한 구성요소들 외에 다른 범용적인 구성요소들이 이미지 데이터 처리 장치(100)에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.The
일 실시 예에 따른 프로세서(220)는 필터링된 출력의 세기와 해당 기준 파장을 이용해서 디스플레이(110)의 출력의 색도좌표를 결정할 수 있다. 이러한 내용은 도 4와 도 5를 더 참조하여 보다 구체적으로 설명하도록 한다.The
도 4는 일 실시 예에 따른 이미지 데이터 처리 장치(100)가 필터링된 출력의 세기와 해당 기준 파장을 이용해서 획득한 등에너지 스펙트럼의 일 예를 설명하기 위한 도면이고, 도 5는 일 실시 예에 따른 이미지 데이터 처리 장치(100)가 디스플레이(110)의 출력의 색도좌표를 결정하기 위해 이용하는 표준 색도도의 일 예를 나타내는 도면이다.4 is a diagram illustrating an example of an isoenergy spectrum acquired by the image
도 4(a)를 참조하면, 일반적으로 가시광선 영역에서 관측되는 빛에 대한 삼원색 레드, 그린 및 블루의 파장은 넓은 범위의 영역에 걸쳐서 관측되는 경향이 있으므로, 종래의 색 수치 계측 기술은 주로 XYZ 필터를 이용하여 가시광선의 파장 영역 전반에 걸쳐 레드, 블루 및 그린의 에너지 세기(w)를 측정하고, 이를 가시광선의 파장 영역 전반에 걸쳐 통합하는 방식으로 레드, 블루 및 그린과 유사한 XYZ 3자극값을 산출하여 이로부터 (x, y, z) 색도좌표를 도출한다.Referring to FIG. 4 (a), since the wavelengths of the three primary colors red, green, and blue for light observed in the visible light region generally tend to be observed over a wide range of regions, the conventional color numerical measurement technique mainly uses XYZ. A filter is used to measure the energy intensities (w) of red, blue, and green across the wavelength range of visible light and integrate them across the wavelength range of visible light to produce XYZ tristimulus values similar to those of red, blue, and green. From this, the (x, y, z) chromaticity coordinates are derived.
반면, 도 4(b)를 참조하면, 본 발명의 일 실시 예에 따른 디스플레이(110)는 제조 과정에서 레드, 그린 및 블루를 출력하기 위해 각각에서 특정 파장이 나오도록 각각의 RGB 소스가 결정되고, 프로세서(220)는 레퍼런스 데이터를 디스플레이 기종을 기초로 데이터베이스로부터 획득하거나 색도 측정계(120)를 통해 측정하는 방식으로 레드 기준 파장(411), 그린 기준 파장(412) 및 블루 기준 파장(413)을 결정하여 레드 밴드 패스 필터(311), 그린 밴드 패스 필터(312) 및 블루 밴드 패스 필터(313)의 통과 대역을 식별번호 421, 422 및 423과 같이 설정하여 해당 통과 대역에 대해 필터링된 레드, 블루 및 그린의 에너지 세기(예를 들어, 식별번호 431, 432 및 433)를 획득할 수 있으며, 해당 등에너지 스펙트럼은 해당 레드, 블루 및 그린 기준 파장(411-413)에 대해 상대적으로 이산적인 형태에 가까운 에너지 분포를 가지는 것을 볼 수 있다.On the other hand, referring to Figure 4 (b), in the
일 실시 예에 따른 프로세서(220)는 필터링된 출력의 세기(w)와 해당 기준 파장에 표준 색도도를 적용하여 디스플레이(110)의 출력의 색도좌표를 결정할 수 있다. 보다 구체적으로, 프로세서(220)는 이렇게 필터링된 출력의 에너지 세기(w)를 해당 기준 파장에 따라 분석하여 레드, 그린 및 블루 각각에 대해 필터링된 출력의 세기(w)와 각각의 시감도(spectral luminous efficiency)를 산출할 수 있고, 해당 필터링된 출력의 세기(w), 해당 기준 파장 및 해당 시감도를 표준 색도도에 관한 표준 색도 모델(예: CIE 1931 색 공간 모델, 도 5 참조)에 대입하여 XYZ 3자극값을 산출할 수 있으며, 이로부터 (x, y, z) 색도좌표를 산출할 수 있다.The
일 실시 예에 따른 프로세서(220)는 이러한 색도좌표의 결정 과정에서 해당 기준 파장에서의 에너지 세기를 선택적으로 고려할 수 있고, 예를 들어, 레드 기준 파장(411)에서 관측된 에너지 세기(식별번호 431 참조)를 표준 색도도에 적용할 수 있다. 다른 일 실시 예에 따른 프로세서(220)는 이러한 색도좌표의 결정 과정에서 해당 기준 파장을 포함하는 해당 통과 대역에서의 에너지 세기를 고려할 수 있고, 예를 들어, 레드 기준 파장(411)에 따른 통과 대역(421)에서 관측된 에너지 세기들을 해당 구간에서 적분하거나, 이산적인 관측을 가정하여 해당 기준 파장에 대한 에너지 세기(예를 들어, 식별번호 431의 값으로 측정된 경우)와 해당 통과 대역(421)에 대한 파장 구간 간격을 곱하는 방식으로 획득된 에너지 세기의 합을 해당 에너지 표준 색도도에 적용할 수도 있다.The
일 실시 예에 따른 프로세서(220)는 결정된 색도좌표에 기초하여 디스플레이(110)의 출력(예: 색도)의 하나 이상의 출력값(예: 색도값)을 산출할 수 있다. 예를 들어, 프로세서(220)는 산출된 (x, y)의 2차원 색도좌표로부터 표준 색도도(예: CIE 1931 색 공간)에서 가장 근접한 값을 선택하여 출력값(예: 색도값, 휘도값 등)을 구할 수 있다. 이상에서, 편의상, 색도좌표라는 용어를 사용하였으나, 이는 특정한 속성(예: 색도, 휘도 등)을 나타내기 위한 좌표에 한정되지 않고, 다양한 속성을 수치화하기 위한 좌표로서 다양하게 적용될 수 있다.The
일 실시 예에 따른 프로세서(220)는 전술한 과정을 통해 색도좌표로부터 결정된 출력값(예: 색도값)과 레퍼런스 데이터의 기준 출력값(기준 색도값)을 이용하여 디스플레이(110)에 포함된 픽셀의 보정에 이용되는 보정 데이터를 생성할 수 있다. 예를 들어, 프로세서(220)는 색도좌표로부터 결정된 픽셀들의 휘도값들, 해당 인가 전압(예: 그레이값) 및 해당 인가 전압에 따른 기준 휘도값들을 기초로 보정 인가 전압을 결정하고, 이들을 포함하는 보정 데이터를 해당 픽셀의 픽셀 주소와 연관하여 LUT(Look Up Table)의 형태로 메모리에 저장, 갱신 및 관리할 수 있다. The
일 실시 예에 따른 프로세서(220)는 전술한 일련의 과정들을 픽셀 단위로 수행하거나, 인접한 특정 개수의 픽셀 단위로 수행하거나, 복수의 픽셀들을 통해 구획된 블록 단위로 수행할 수 있다. 일 실시 예에 따른 프로세서(220)는 픽셀 단위로 수행하는 경우에는 픽셀 단위로 해당 픽셀 주소와 연관된 보정 데이터를 생성할 수 있고, 블록 단위로 수행하는 경우에는 블록 단위로 해당 블록 주소와 연관된 보정 데이터를 생성할 수 있다.The
도 3을 참조하면, 일 실시 예에 따른 이미지 데이터 처리 장치(100)는 색도 측정계(320)를 더 포함할 수 있다. 전술한 것처럼, 도 1에 도시된 바와 같이 이미지 데이터 처리 장치(100)가 색도 측정계(120)와 별개의 구성으로 동작할 수도 있으나, 도 3에 도시된 바와 같이 이미지 데이터 처리 장치(100)가 색도 측정계(320)를 하나의 구성으로 포함할 수도 있다.Referring to FIG. 3, the image
일 실시 예에 따른 색도 측정계(320)는 전술하였듯이, 디스플레이(110)로부터 획득되는 출력에 대한 측정 결과에 따라 하나 이상의 기준 파장을 결정하여 프로세서(220)에 레퍼런스 데이터로서 제공할 수 있다. 일 실시 예에 따른 색도 측정계(320)는 디스플레이(110)의 특정 픽셀의 출력으로부터 해당 픽셀에 대한 하나 이상의 기준 파장을 측정하고 픽셀 단위로 프로세서(220)에 제공하여 픽셀 단위의 색도좌표 결정을 지원할 수 있고, 디스플레이(110)의 특정 블록의 출력들로부터 해당 블록에 대한 하나 이상의 기준 파장을 통계적으로 연산하여 측정하고 블록 단위로 프로세서(220)에 제공하여 블록 단위의 색도좌표 결정을 지원할 수도 있다.As described above, the
일 실시 예에 따른 색도 측정계(320)는 유니버셜 색차계를 이용한 면휘도계(예: 컬러 카메라)를 통해 구현될 수 있으며, 레퍼런스 데이터를 측정하고 각각의 색에 따른 강도(Intensity)를 고정된 휘도와 색으로 변환할 수 있고, 이때, 색에 따른 강도의 스펙트럼은 측정된 레퍼런스 데이터와 동일한 것으로 가정할 수 있다. 또한, 일 실시 예에 따른 색도 측정계(320)는 유니버셜 색차계를 통해 측정된 강도 레퍼런스 데이터를 컬러 카메라로 재측정하고, 이를 캘리브레이션 레퍼런스 데이터로 활용할 수 있다. 예를 들어, 색도 측정계(320)는 유니버셜 색차계를 이용하여 기본적인 레퍼런스 데이터를 생성하고, 컬러 카메라를 이용하여 재측정하는 과정을 통해 캘리브레이션을 위한 레퍼런스 데이터를 생성할 수 있다.The
일 실시 예에 따른 색도 측정계(320)는 밴드 패스 필터(310)가 통합된 형태로 구현될 수도 있다.The
도 6은 일 실시 예에 따른 이미지 데이터 처리 장치(100)가 디스플레이(110)가 이미지를 출력하기 위해 이용하는 적어도 하나의 기준 파장을 이용하여 색도좌표를 결정하는 일 예를 설명하기 위한 흐름도이다.6 is a flowchart illustrating an example in which the image
도 6은 도 1 내지 도 5에 개시된 이미지 데이터 처리 장치(100)가 동작하는 모든 실시 예를 참조하여 이해될 수 있다.6 may be understood with reference to all embodiments in which the image
단계 S610에서 일 실시 예에 따른 이미지 데이터 처리 장치(100)는 디스플레이가 이미지를 출력하기 위해 이용하는 하나 이상의 기준 파장을 나타내는 레퍼런스 데이터를 수신할 수 있다. 예를 들어, 이미지 데이터 처리 장치(100)는 해당 디스플레이 기종에 따라 결정되거나 색도 측정계(120)에 의해 측정된 레드, 그린 및 블루 기준 파장(411-413)에 해당하는 (680nm, 540nm, 420nm)을 레퍼런스 데이터로서 획득할 수 있다.In operation S610, the image
단계 S620에서 일 실시 예에 따른 이미지 데이터 처리 장치(100)는 디스플레이(110)로부터 획득되는 출력을 밴드 패스 필터(310)를 이용하여 필터링할 수 있다. 예를 들어, 이미지 데이터 처리 장치(100)는 수신된 레드, 그린 및 블루 기준 파장(411-413)에 해당하는 (680nm, 540nm, 420nm)을 포함하는 통과 대역에서 레드, 그린 및 블루 밴드 패스 필터(311-313)를 구동시켜 해당 통과 대역에서 필터링이 수행되도록 할 수 있다In operation S620, the image
단계 S630에서 일 실시 예에 따른 이미지 데이터 처리 장치(100)는 밴드 패스 필터(310)를 통해 필터링된 출력의 세기를 결정할 수 있다. 예를 들어, 이미지 데이터 처리 장치(100)는 단계 S620에 따라 레드, 그린 및 블루 통과 대역(식별번호 421-423 참조)에서 필터링된 신호의 전류값의 크기를 기초로 레드, 그린 및 블루 기준 파장(411-413)에서의 에너지 세기(예: 식별번호 431-433 참조)를 결정할 수 있다.In operation S630, the image
단계 S640에서 일 실시 예에 따른 이미지 데이터 처리 장치(100)는 필터링된 출력의 세기와 기준 파장을 이용해서 해당 출력의 색도좌표를 결정할 수 있다. 예를 들어, 이미지 데이터 처리 장치(100)는 레드, 그린 및 블루 기준 파장(411)과 해당 파장에서의 에너지 세기(예: 식별번호 431-433 참조)를 표준 색도도(예: CIE 1931 색 공간 모델, 도 5 참조)에 대입하여 XYZ 3자극값을 산출할 수 있고, 이로부터 (x, y, z) 색도좌표를 산출할 수 있다.In operation S640, the image
일 실시 예에 따른 이미지 데이터 처리 장치(100)는 높은 비용이 요구되는 XYZ 필터를 이용하지 않고, 낮은 비용으로 구현할 수 있는 RGB 필터를 이용하여 XYZ 좌표계의 색도좌표를 산출할 수 있어 비용 절감의 현저한 효과가 있다.The image
일 실시 예에 따른 이미지 데이터 처리 장치(100)는 디스플레이(110)의 RGB 이미지 출력을 위한 기준 파장을 획득하여 이를 통해 XYZ 좌표계의 색도좌표를 산출함으로써 간단하고도 효율적으로 휘도와 색 수치를 산출할 수 있다.The image
도 7은 일 실시 예에 따른 이미지 데이터 처리 장치(100)가 결정된 색도좌표를 이용하여 픽셀 보정에 관한 보정 상태를 결정하는 방법의 일 예를 설명하기 위한 도면이다.FIG. 7 is a diagram for describing an example of a method of determining, by the image
도 7에 개시된 실시 예에 따른 이미지 데이터 처리 장치(100)는 디스플레이(110)에 포함된 픽셀을 통해 정의되는 두 개 이상의 샘플링 영역을 결정하고, 해당 샘플링 영역에서 산출된 3-자극값 중 하나 이상을 이용하여 해당 픽셀에 관한 보정 상태를 결정할 수 있다.The image
일 실시 예에 따른 이미지 데이터 처리 장치(100)는 Y 자극값을 이용하여 신호 인가 지점으로부터의 거리에 따라 인가된 신호(예: 휘도값을 출력하기 위한 입력 그레이값)의 전압 차이를 검출할 수 있고, 픽셀들 간의 전압 차이에 따라 보정 상태를 결정할 수 있다.The image
일반적으로 디스플레이에서 IR 드롭 현상에 따라 전원 인가 지점으로부터의 거리에 따른 저항 차이에 기인하여 전원 인가 지점으로부터 멀어지는 방향에 따라 출력값(예: 휘도값)이 감소할 수 있고, 소모하는 전류 소비량의 차이에 기인하여 디스플레이하고자 하는 색상의 출력값이 높을수록 상대적으로 거리에 따라 출력값(예: 휘도값)이 감소되는 정도가 더 커지는 경향이 있다. 즉, 이러한 전압 강하는 디스플레이(110)에 전원을 인가하는 전원 인가 지점으로부터 멀어짐에 따라 전압이 낮아지는 정도를 나타낼 수 있다.In general, due to the difference in the resistance of the distance from the power supply point due to the IR drop phenomenon in the display, the output value (for example, the luminance value) may decrease in the direction away from the power supply point, and the difference in current consumption As a result, the higher the output value of the color to be displayed, the greater the degree that the output value (eg, luminance value) decreases with distance. That is, such a voltage drop may indicate the degree to which the voltage decreases as it moves away from a power application point for applying power to the
반면, 디스플레이에서 물리적인 결함, 설정 오류, 오동작 등의 이유로 전원 인가 지점으로부터 멀어지는 방향에 따라 출력값(예: 휘도값)이 증가하거나 감소할 수 있다.On the other hand, the output value (eg, luminance value) may increase or decrease according to the direction away from the power supply point due to physical defects, setting errors, malfunctions, etc. in the display.
전술한 내용에 따라, 일 실시 예에 따른 이미지 데이터 처리 장치(100)는 디스플레이(110)에 있는 두 개 이상의 샘플링 영역에서의 전압 차이를 검출하여 이로부터 보정 여부나 알람이 필요한 이상 상태에 해당하는지 여부를 결정할 수 있다. According to the above description, the image
일 실시 예에 따른 이미지 데이터 처리 장치(100)는 샘플링 영역으로서 결정된 제 1 영역(711)에 있는 특정 픽셀을 나타내는 제 1 픽셀(721), 제 2 영역(712)에 있는 특정 픽셀을 나타내는 제 2 픽셀(722) 및 제 3 영역(713)에 있는 특정 픽셀을 나타내는 제 1 픽셀(723)을 보정 상태의 결정을 위한 샘플링 대상으로 설정할 수 있다. 일 실시 예에서, 제 1 내지 제 3 샘플링 영역(711-713)은 디스플레이(110)의 신호 인가 지점으로부터 해당 픽셀까지의 거리를 기준으로 설정될 수 있다.The image
일 실시 예에 따른 이미지 데이터 처리 장치(100)는 해당 샘플링 영역에서 산출된 Y 자극값을 이용하여 보정 상태를 결정할 수 있고, 예를 들어, 하기의 [제 1 수식]에 따라 제 1 내지 제 3 픽셀(721-723)에서 결정된 Y 자극값들간의 차이를 연산하여 산출된 제 1 차이값 A와 제 2 차이값 B로부터 보정 필요 여부를 결정하거나 보정 프로세스의 진행을 결정할 수 있다.The image
[제 1 수식][First Formula]
A = Y2 - Y1 A = Y 2 -Y 1
B = Y3 - Y2 B = Y 3 -Y 2
(여기에서, Y1은 제 1 픽셀(721)에서 결정된 Y 자극값에 해당하고, Y2은 제 2 픽셀(722)에서 결정된 Y 자극값에 해당하며, Y3은 제 3 픽셀(723)에서 결정된 Y 자극값에 해당함)(Wherein Y 1 corresponds to the Y stimulus value determined at the
일 실시 예에서, 산출된 A와 B가 양의 값을 가지면 주된 요인으로서 IR 드롭에 따른 전압 강하를 고려해볼 수 있고, 음의 값을 가지면 물리적인 결함, 설정 오류, 오동작 등에 따라 전압 상승을 고려해볼 수 있다.In one embodiment, if the calculated A and B have a positive value, the main factor may be a voltage drop due to the IR drop, and if the negative value has a negative value, the voltage rise may be considered due to physical defects, setting errors, and malfunctions. You can try
일 실시 예에 따른 이미지 데이터 처리 장치(100)는 산출된 A와 B를 합산한 값이 기지정된 특정 차이값 C보다 크면 해당 디스플레이(110)의 보정 상태를 보정이 필요한 보정 필요 상태로 결정할 수 있다. 일 실시 예에 따른 이미지 데이터 처리 장치(100)는 산출된 A가 B보다 크거나 A가 B보다 작으면 해당 디스플레이(110)의 보정 상태를 보정이 필요한 보정 필요 상태로 결정할 수 있다. 일 실시 예에 따른 이미지 데이터 처리 장치(100)는 산출된 A와 B의 부호가 양(+)이거나 음(-)이면 해당 디스플레이(110)의 보정 상태를 보정이 필요한 보정 필요 상태로 결정할 수 있다.The image
일 실시 예에 따른 이미지 데이터 처리 장치(100)는 산출된 A와 B를 합산한 값이 기지정된 특정 차이값 D(여기에서, D > C)보다 크면 해당 디스플레이(110)의 보정 상태를 긴급 알림이 필요한 이상 상태로 결정할 수 있다. 일 실시 예에 따른 이미지 데이터 처리 장치(100)는 산출된 A가 B보다 작으면 해당 디스플레이(110)의 보정 상태를 긴급 알림이 필요한 이상 상태로 결정할 수 있다. 일 실시 예에 따른 이미지 데이터 처리 장치(100)는 산출된 A와 B의 부호가 음(-)이면 해당 디스플레이(110)의 보정 상태를 긴급 알림이 필요한 이상 상태로 결정할 수 있다.The image
일 실시 예에 따른 이미지 데이터 처리 장치(100)는 해당 디스플레이(110)의 보정 상태가 이상 상태로 결정된 경우에는 알람 메시지를 출력할 수 있고, 예를 들어, 해당 이상 상태에 관한 로그 기록을 포함하는 알람 메시지와 경고음을 출력할 수 있다. 일 실시 예에 따른 이미지 데이터 처리 장치(100)는 각각의 이상 상태 별로 기지정된 상이한 알람 메시지를 출력할 수 있다.The image
일 실시 예에 따른 이미지 데이터 처리 장치(100)는 전술한 방식에 따라 효율적으로 획득된 XYZ 좌표계의 3자극값을 이용하여 픽셀 보정 여부를 결정할 수 있고, 휘도값으로 이용되거나 휘도값의 수치 산출에 적용되는 Y 자극값을 이용함으로써 디스플레이(110)에 있는 픽셀들의 보정 필요성을 효율적으로 확인할 수 있다.The image
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.On the other hand, the above-described method can be written as a program that can be executed in a computer, it can be implemented in a general-purpose digital computer to operate the program using a computer-readable recording medium. In addition, the structure of the data used in the above-described method can be recorded on the computer-readable recording medium through various means. The computer-readable recording medium may include a storage medium such as a magnetic storage medium (eg, ROM, RAM, USB, floppy disk, hard disk, etc.), an optical reading medium (eg, CD-ROM, DVD, etc.). do.
본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Those skilled in the art will appreciate that the present invention may be embodied in a modified form without departing from the essential characteristics of the above-described substrate. Therefore, the disclosed methods should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.
100: 이미지 데이터 처리 장치
110: 디스플레이 120: 색도 측정계
210: 리시버 220: 프로세서
310: 밴드 패스 필터
311: 레드 밴드 패스 필터 312: 그린 밴드 패스 필터
313: 블루 밴드 패스 필터
320: 색도 측정계
411: 레드 기준 파장 412: 그린 기준 파장
413: 블루 기준 파장
421: 레드 통과 대역 422: 그린 통과 대역
423: 블루 통과 대역
711: 제 1 샘플링 영역 712: 제 2 샘플링 영역
713: 제 3 샘플링 영역
721: 제 1 픽셀 722: 제 2 픽셀
723: 제 2 픽셀
731: 제 1 픽셀에서 결정된 Y 자극값
732: 제 2 픽셀에서 결정된 Y 자극값
733: 제 3 픽셀에서 결정된 Y 자극값100: image data processing unit
110: display 120: colorimeter
210: receiver 220: processor
310: band pass filter
311: red band pass filter 312: green band pass filter
313: blue band pass filter
320: colorimeter
411: red reference wavelength 412: green reference wavelength
413: blue reference wavelength
421: Red pass band 422: Green pass band
423: blue passband
711: first sampling area 712: second sampling area
713: third sampling area
721: first pixel 722: second pixel
723: second pixel
731: Y stimulus value determined at first pixel
732: Y stimulus value determined at second pixel
733: Y stimulus value determined at third pixel
Claims (8)
상기 디스플레이로부터 획득되는 상기 이미지에 대한 출력을 밴드 패스 필터를 이용하여 필터링하고,
상기 밴드 패스 필터를 통해 필터링된 출력의 세기를 결정하고,
상기 필터링된 출력의 세기와 상기 기준 파장을 이용해서 상기 출력의 색도좌표를 결정하는 프로세서;를 포함하고,
상기 기준 파장은 상기 디스플레이의 하드웨어 특성에 따라 결정되는, 이미지 데이터 처리 장치.
A receiver for receiving reference data indicative of one or more reference wavelengths that the display uses to output an image; And
Filter the output for the image obtained from the display using a band pass filter,
Determine the strength of the output filtered through the band pass filter,
And a processor configured to determine a chromaticity coordinate of the output using the intensity of the filtered output and the reference wavelength.
And the reference wavelength is determined in accordance with a hardware characteristic of the display.
상기 밴드 패스 필터의 통과 대역은 상기 적어도 하나의 기준 파장을 포함하는, 이미지 데이터 처리 장치.
The method of claim 1,
And a pass band of the band pass filter comprises the at least one reference wavelength.
상기 기준 파장은 레드 기준 파장, 그린 기준 파장 및 블루 기준 파장을 포함하고,
상기 밴드 패스 필터는 레드 밴드 패스 필터, 그린 밴드 패스 필터 및 블루 밴드 패스 필터를 포함하고,
상기 레드 밴드 패스 필터의 통과 대역은 상기 레드 기준 파장을 포함하고,
상기 그린 밴드 패스 필터의 통과 대역은 상기 그린 기준 파장을 포함하고,
상기 블루 밴드 패스 필터의 통과 대역은 상기 블루 기준 파장을 포함하는, 이미지 데이터 처리 장치.
The method of claim 1,
The reference wavelength includes a red reference wavelength, a green reference wavelength, and a blue reference wavelength,
The band pass filter includes a red band pass filter, a green band pass filter, and a blue band pass filter,
The pass band of the red band pass filter includes the red reference wavelength,
The pass band of the green band pass filter includes the green reference wavelength,
And a pass band of the blue band pass filter comprises the blue reference wavelength.
상기 출력은 상기 디스플레이에 포함된 픽셀의 출력인, 이미지 데이터 처리 장치.
The method of claim 1,
And the output is an output of a pixel included in the display.
상기 기준 파장은 초기 기준 파장 및 측정 기준 파장 중 적어도 하나를 포함하는, 이미지 데이터 처리 장치.
The method of claim 1,
And the reference wavelength comprises at least one of an initial reference wavelength and a measurement reference wavelength.
상기 디스플레이로부터 획득되는 상기 이미지에 대한 출력을 밴드 패스 필터를 이용하여 필터링하는 단계;
상기 밴드 패스 필터를 통해 필터링된 출력의 세기를 결정하는 단계; 및
상기 필터링된 출력의 세기와 상기 기준 파장을 이용해서 상기 출력의 색도좌표를 결정하는 단계;를 포함하고,
상기 기준 파장은 상기 디스플레이의 하드웨어 특성에 따라 결정되는, 이미지 데이터 처리 방법.
Receiving reference data indicative of one or more reference wavelengths the display uses to output the image;
Filtering an output for the image obtained from the display using a band pass filter;
Determining an intensity of the output filtered through the band pass filter; And
Determining a chromaticity coordinate of the output using the intensity of the filtered output and the reference wavelength;
And the reference wavelength is determined in accordance with a hardware characteristic of the display.
A computer program stored on a record carrier for implementing the method of claim 7.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190085072A KR102064755B1 (en) | 2019-07-15 | 2019-07-15 | Method and apparatus for processing image data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190085072A KR102064755B1 (en) | 2019-07-15 | 2019-07-15 | Method and apparatus for processing image data |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200000918A Division KR20210008807A (en) | 2020-01-03 | 2020-01-03 | Method and apparatus for processing image data |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102064755B1 true KR102064755B1 (en) | 2020-01-13 |
Family
ID=69153420
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190085072A KR102064755B1 (en) | 2019-07-15 | 2019-07-15 | Method and apparatus for processing image data |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102064755B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060045354A (en) * | 2004-03-31 | 2006-05-17 | 도요 잉키 세이조 가부시끼가이샤 | Color filter liquid crystal display device provided with the same |
KR20140008396A (en) * | 2011-02-22 | 2014-01-21 | 글로벌 오엘이디 테크놀러지 엘엘씨 | Oled display with reduced power consumption |
KR101472298B1 (en) * | 2013-07-05 | 2014-12-15 | (주)미래컴퍼니 | Method for acquiring color data measured from display device |
-
2019
- 2019-07-15 KR KR1020190085072A patent/KR102064755B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060045354A (en) * | 2004-03-31 | 2006-05-17 | 도요 잉키 세이조 가부시끼가이샤 | Color filter liquid crystal display device provided with the same |
KR20140008396A (en) * | 2011-02-22 | 2014-01-21 | 글로벌 오엘이디 테크놀러지 엘엘씨 | Oled display with reduced power consumption |
KR101472298B1 (en) * | 2013-07-05 | 2014-12-15 | (주)미래컴퍼니 | Method for acquiring color data measured from display device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5786254B2 (en) | Method and apparatus for controlling light emitting devices in a terminal device, and terminal device | |
CN103080999B (en) | For having the self-adaptation color correction of the indicating meter of backlight modulation | |
JP6352185B2 (en) | Fast display calibration using a multicolor camera calibrated colorimetrically based on spectrum | |
CN110139088B (en) | Color temperature compensation method, electronic device, and computer-readable storage medium | |
CN111953955B (en) | White balance compensation method and device and electronic equipment | |
KR20190014275A (en) | Mura detection device and detection method of mura detection device | |
CN102025901A (en) | Camera module and detection method thereof | |
JPWO2014041866A1 (en) | Sensor, display device, control program, and recording medium | |
KR20170023715A (en) | Image processing apparatus | |
US20130342557A1 (en) | Color Correction of Images | |
CN104021746A (en) | Image detection method and device | |
CN107247384B (en) | Brightness compensation data acquisition system and method, and image brightness adjustment method and device | |
JP2010139324A (en) | Color irregularity measuring method and color irregularity measuring device | |
CN116296277A (en) | Micro LED light source color detection method, device, equipment and medium | |
KR102064755B1 (en) | Method and apparatus for processing image data | |
US20130155254A1 (en) | Imaging apparatus, image processing apparatus, and image processing method | |
Boher et al. | Color display evaluation vs. viewing angle using L* a* b* color space and Fourier-optics measurements | |
CN115979419B (en) | Ambient light detection method, device, equipment and storage medium | |
KR20210008807A (en) | Method and apparatus for processing image data | |
CN114930381A (en) | Image processing method, image processing device, electronic equipment and storage medium | |
US20150304618A1 (en) | Image processing device and image processing method | |
CN114566118B (en) | Display color cast correction method, device and system | |
CN114299858B (en) | Method for compensating brightness and chromaticity of display device and related equipment | |
CN115278186A (en) | Controllable uniform projection method, device, equipment and medium based on Internet of things | |
KR102044785B1 (en) | Method and apparatus for processing image data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
A107 | Divisional application of patent | ||
GRNT | Written decision to grant |