JP2013115679A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2013115679A JP2013115679A JP2011261271A JP2011261271A JP2013115679A JP 2013115679 A JP2013115679 A JP 2013115679A JP 2011261271 A JP2011261271 A JP 2011261271A JP 2011261271 A JP2011261271 A JP 2011261271A JP 2013115679 A JP2013115679 A JP 2013115679A
- Authority
- JP
- Japan
- Prior art keywords
- infrared light
- data
- image
- color
- signal data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 41
- 238000000926 separation method Methods 0.000 claims description 27
- 230000014509 gene expression Effects 0.000 claims description 23
- 230000000295 complement effect Effects 0.000 claims description 19
- 239000003086 colorant Substances 0.000 abstract description 8
- 238000000034 method Methods 0.000 description 15
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 235000021384 green leafy vegetables Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Images
Landscapes
- Optical Filters (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
本発明は、シアン(C)、マゼンタ(M)、黄(Y)、緑(G)の4色のカラーフィルタを有する撮像素子により被写体からの反射光を受光して撮像する、撮像装置に関する。 The present invention relates to an imaging apparatus that captures an image by receiving reflected light from a subject using an imaging element having four color filters of cyan (C), magenta (M), yellow (Y), and green (G).
イメージセンサは、赤外光にも感度があるため、これをそのまま撮影してしまうと、可視光と赤外光とを同時に受光してしまい、画像の色再現性が悪化することが知られている。このため、レンズとイメージセンサとの間に赤外光カットフィルタを挿入し、赤外光を除去して色再現性を向上させるのが一般的である。 Image sensors are also sensitive to infrared light, so if you take it as it is, it is known that visible light and infrared light are received simultaneously, and the color reproducibility of the image deteriorates. Yes. For this reason, it is common to insert an infrared light cut filter between the lens and the image sensor to remove infrared light and improve color reproducibility.
ところで、赤外光カットフィルタはプラスチックやガラスで構成されているため可視光成分も1%程度失われる。また、赤外光カットフィルタを使用しない場合に比べて赤外光成分が失われるため、20〜30%程度の光量減になる。このため、特許文献1では、赤外光カットフィルタの使用/不使用を切り替えることができ、明るいときには赤外光カットフィルタを使用して色再現性を向上させ、撮像範囲が暗いときには赤外光カットフィルタを使用しないことで光量を増加させる技術が提案されている。特に、人間の目では見ることのできない赤外光照明を併用すれば、可視光では全く捕らえることができないほど撮像範囲が暗い場合でも鮮明な画像を得ることができる。しかしながら、赤外光カットフィルタの不使用時には、色再現性が悪化するため、色を薄く表現し、あるいは色を完全に削除してモノクロの画像を出力することが行なわれる。 By the way, since the infrared light cut filter is made of plastic or glass, the visible light component is also lost by about 1%. Further, since the infrared light component is lost as compared with the case where the infrared light cut filter is not used, the light amount is reduced by about 20 to 30%. For this reason, in Patent Document 1, it is possible to switch use / non-use of the infrared light cut filter. When the image is bright, the infrared light cut filter is used to improve color reproducibility. A technique for increasing the amount of light by not using a cut filter has been proposed. In particular, when infrared light illumination that cannot be seen by human eyes is used in combination, a clear image can be obtained even when the imaging range is so dark that it cannot be captured at all by visible light. However, when the infrared light cut filter is not used, the color reproducibility deteriorates, so that a monochrome image is output by expressing the color lightly or by completely deleting the color.
しかしながら、特許文献1に開示された技術によれば、赤外光カットフィルタの使用/不使用を切り替えるための機構がコスト高になり、また、そのための駆動機構は故障の原因になる。このため、特許文献2では、駆動機構を用いることなく赤外光を分離する技術が提案されている。また、特許文献2に開示された技術によれば、撮像範囲が暗いときには可視光画像と赤外光画像とを合成することも可能である。具体的に、図4に、カラーフィルタの構造が示されるように、イメージセンサに配置するカラーフィルタに、あらかじめ赤外光をカットする、赤、緑、青のカラーフィルタと、赤外光だけを透過するカラーフィルタの4つを使用することにより、可視光画像と赤外光画像の同時撮影を可能にしている。これによって、明るいときには色再現性の高い可視光画像を出力し、撮像範囲が暗いときには赤外光画像または可視光画像と赤外光画像とを合成した画像を出力する。 However, according to the technique disclosed in Patent Document 1, a mechanism for switching use / non-use of the infrared light cut filter is expensive, and the drive mechanism for that purpose causes a failure. For this reason, Patent Document 2 proposes a technique for separating infrared light without using a drive mechanism. Further, according to the technique disclosed in Patent Document 2, it is possible to synthesize a visible light image and an infrared light image when the imaging range is dark. Specifically, as shown in FIG. 4, the color filter arranged in the image sensor is preliminarily cut with red, green, and blue color filters and only infrared light. By using four color filters that transmit, simultaneous imaging of a visible light image and an infrared light image is possible. Accordingly, a visible light image with high color reproducibility is output when it is bright, and an infrared light image or an image obtained by combining a visible light image and an infrared light image is output when the imaging range is dark.
しかしながら、特許文献2に開示された技術によれば、特殊なカラーフィルタを持つイメージセンサの開発を必要とする。数マイクロメートルの径を持つ画素毎に異なる色のフィルタを必要とするため、既存のイメージセンサのカラーフィルタを交換することでの対応は困難である。また、赤外光を透過するフィルタは4個の画素につき1個の画素にしか配置されていないため、赤外光画像の解像度は4分の1になる。 However, according to the technique disclosed in Patent Document 2, it is necessary to develop an image sensor having a special color filter. Since a different color filter is required for each pixel having a diameter of several micrometers, it is difficult to cope with the problem by replacing the color filter of the existing image sensor. In addition, since the filter that transmits infrared light is arranged in only one pixel per four pixels, the resolution of the infrared light image is ¼.
本発明は上記した課題を解決するためになされたものであり、広く普及した従来のカラーフィルタを有するイメージセンサを用いることによって安価に可視光画像と赤外光画像を分離し、あるいは合成するとともに、赤外光画像の解像度の向上をはかった撮像装置を提供することを目的とする。 The present invention has been made to solve the above-described problems, and separates or synthesizes a visible light image and an infrared light image at low cost by using an image sensor having a widely used conventional color filter. An object of the present invention is to provide an imaging device that improves the resolution of an infrared light image.
上記した課題を解決するために本発明の撮像装置は、CMYG補色カラーフィルタと、撮像素子と、前記CMYG補色カラーフィルタを介して前記撮像素子で撮像した赤外光を含む色信号データC’、M’、Y’、G’を入力し、予め記憶された下記の演算式(A)を用いて可視光の色信号データR、G、Bおよび赤外光データIを演算し出力する赤外光分離部と、これらを制御する制御部とを備えたことを特徴とする。
演算式(A)
R=Y’−G’
G=C’+Y’−M’−G’
B=C’ −G’
I=2×G’−C’−Y’+M’
In order to solve the above-described problem, the imaging apparatus of the present invention includes a CMYG complementary color filter, an imaging element, and color signal data C ′ including infrared light imaged by the imaging element via the CMYG complementary color filter, M ', Y', G 'are input, infrared color signal data R, G, B and infrared light data I are calculated and output using the following stored formula (A). It is characterized by comprising a light separation unit and a control unit for controlling them.
Formula (A)
R = Y'-G '
G = C ′ + Y′−M′−G ′
B = C'-G '
I = 2 × G′−C′−Y ′ + M ′
本発明によれば、赤外光分離部は、一般的なCMYG補色イメージセンサにより取得された信号から、演算式(A)に基づく演算により、R、G、Bの色信号データとともに赤外光データを算出することができる。 According to the present invention, the infrared light separation unit performs infrared light together with R, G, and B color signal data from a signal acquired by a general CMYG complementary color image sensor by calculation based on the calculation formula (A). Data can be calculated.
本発明の撮像装置において、前記可視光の色信号データR、G、Bを入力し可視光画像を生成して出力する第1の画像出力部を備えたことを特徴とする。 The imaging apparatus according to the present invention includes a first image output unit that receives the color signal data R, G, and B of the visible light, generates a visible light image, and outputs the generated image.
本発明の撮像装置において、前記赤外光分離部から出力された可視光の色信号データR、G、Bを入力し、輝度信号野データLと色差信号データCb、Crに変換し、予め記憶された以下の演算式(B)を用いて前記輝度信号データLと赤外光信号データIとゼロを含む任意の正の数tとから新たな輝度信号データL’を演算して出力する赤外線合成部と、
前記新たな輝度信号データL’と前記色差データCb、Crから画像を生成して出力する第2の画像出力部を備えたことを特徴とする。
演算式(B)
L’=L+I×t (tはゼロを含む任意の正の数)
In the imaging apparatus of the present invention, the color signal data R, G, B of visible light output from the infrared light separation unit is input, converted into luminance signal field data L and color difference signal data Cb, Cr, and stored in advance. Infrared rays for calculating and outputting new luminance signal data L ′ from the luminance signal data L, the infrared light signal data I, and an arbitrary positive number t including zero using the following calculation formula (B) A synthesis unit;
And a second image output unit configured to generate and output an image from the new luminance signal data L ′ and the color difference data Cb and Cr.
Formula (B)
L ′ = L + I × t (t is any positive number including zero)
本発明によれば、赤外光合成部は、赤外光分離部により出力される可視光画像を演算式(B)にしたがい輝度信号データに赤外光データを含めることができる。 According to the present invention, the infrared light combining unit can include the infrared light data in the luminance signal data according to the arithmetic expression (B) for the visible light image output from the infrared light separating unit.
本発明によれば、広く普及した従来のCMYG補色カラーフィルタを有するイメージセンサを用い、可視光データと赤外光データを分離する事で、可視光画像を生成して出力することができるため、赤外光カットフィルタが不要となり、安価に撮像装置を構成することが可能となる。また、輝度信号データと赤外光データを合成し、色差データと共に画像を生成して出力することより、色再現性を悪化させることなく撮像範囲が暗いときも鮮明なカラー映像を得ることができる。 According to the present invention, a visible light image can be generated and output by separating visible light data and infrared light data using an image sensor having a widely used conventional CMYG complementary color filter, An infrared light cut filter is not necessary, and an imaging apparatus can be configured at low cost. Also, by combining luminance signal data and infrared light data, and generating and outputting an image together with color difference data, a clear color image can be obtained even when the imaging range is dark without deteriorating color reproducibility. .
以下、添付図面を参照して、本発明を実施するための形態(以下、実施形態)について詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号を付している。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention (hereinafter referred to as embodiments) will be described in detail with reference to the accompanying drawings. Note that the same number is assigned to the same element throughout the description of the embodiment.
(実施形態1の構成)
図1は、本実施形態1に係る撮像装置10Aの構成を示すブロック図である。図1に示されるように、本実施形態1に係る撮像装置10Aは、レンズ11と、イメージセンサ12と、赤外光分離部13と、画像出力部14と、制御部15aと、により構成される。レンズ11等の光学系を介して入射される被写体からの反射光である被写体像はイメージセンサ12で光電変換され、赤外光分離部13を介して画像出力部14に供給されることによって信号処理される。
(Configuration of Embodiment 1)
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus 10A according to the first embodiment. As shown in FIG. 1, the imaging apparatus 10A according to the first embodiment includes a
イメージセンサ12は、被写体からの光を透過する、広く普及した一般的なCMYG補色カラーフィルタ121と、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)で構成される撮像素子122からなる。撮像素子122は、カラーフィルタ121を透過した反射光を受光して被写体を撮像する。
The
赤外光分離部13は、撮像素子122で撮像された赤外光を含む色信号データから、後述する予め記憶されたR、G、Bを変数とする演算式を用いて、R、G、Bの可視光データと赤外光データとを分離する演算部を含む。赤外光分離部13は、撮像素子122が有する画素の全ての色信号データに対して可視光データと赤外光データを分離する演算を実行し第1の画像出力部14はこのデータを基に画像を生成する。制御部15aは、イメージセンサ12、赤外光分離部13、可視光画像出力部14の制御を行う。
The infrared
または、上記構成に赤外線合成部16を更に備え、上記R、G、Bの可視光データを輝度データLと色差データCb、Crに変換し、輝度データLに赤外線分離部13で分離された赤外線データを加算し、新たな輝度データL’とする。この演算を撮像素子122が有する画素全ての色信号データに対して実行し、第2の画像出力部14はこのデータを基に画像を生成する。制御部15bは、イメージセンサ12、赤外光分離部13、可視光画像出力部14の制御を行う。
Alternatively, the
ところで、カラーフィルタには、原色カラーフィルタと補色カラーフィルタの2種がある。一般的に、原色カラーフィルタは色再現に、補色カラーフィルタは解像度に優れる。原色カラーフィルタは赤・緑・青・緑の4つを一組としている。緑が2つ含まれているのは、人間の目が感じる明るさの多くは、緑によるものだからである。補色カラーフィルタは、シアン・マゼンダ・黄・緑の4つを一組としている。補色というのは、シアン・マゼンダ・黄色であるが、そこに緑を加えると、色再現性が高まる。 By the way, there are two types of color filters: primary color filters and complementary color filters. Generally, the primary color filter is excellent in color reproduction, and the complementary color filter is excellent in resolution. The primary color filter consists of four sets of red, green, blue and green. Two greens are included because much of the brightness felt by human eyes is due to green. The complementary color filters are a set of four colors of cyan, magenta, yellow, and green. Complementary colors are cyan, magenta, and yellow, but adding green to them increases the color reproducibility.
図2(a)は、シアン・マゼンダ・黄・緑の4つを一組とする補色カラーフィルタの構造を示している。本実施形態1に係る撮像装置10Aでは、このCMYG補色カラーフィルタ121を使用する。CMYG補色カラーフィルタ121を通したそれぞれの画素では、透過されなかった色の光は認識できないため、補間処理が行われる。例えば、図2(b)において、G11の画素に注目すると、この画素からは緑の光の光量しか出力されない。この画素に対する他の色の光量は、周辺の画素に対するその色の光量と似通っていることが多いため、周辺の画素の他の色の光の光量の平均値をこの画素における緑以外の色の光の光量とする。これが補間である。
FIG. 2A shows the structure of a complementary color filter including a set of four colors of cyan, magenta, yellow, and green. In the imaging apparatus 10A according to the first embodiment, this CMYG
M00をその画素におけるマゼンダ色の光量、C01をその画素におけるシアン色の光量、Y10をその画素における黄色の光量、G11をその画素における緑色の光量とすれば、以下の演算式(1)により、G11の画素における緑以外の光の光量を求めることができる。この演算式は赤外光分離部13に記憶されており、演算自体もまた赤外光分離部13で行われる。
If M00 is the magenta light amount in the pixel, C01 is the cyan light amount in the pixel, Y10 is the yellow light amount in the pixel, and G11 is the green light amount in the pixel, the following equation (1) The amount of light other than green in the G11 pixel can be obtained. This calculation formula is stored in the infrared
演算式(1)
M11=(M00+M02+M20+M22)/4
C11=(C01+C21)/2
Y11=(Y10+Y12)/2
Formula (1)
M11 = (M00 + M02 + M20 + M22) / 4
C11 = (C01 + C21) / 2
Y11 = (Y10 + Y12) / 2
この演算式(1)による色補間は最も簡単なものでありバイニリア法と呼ばれている。このバイリニア法を用いて色補間を行うと解像度が悪くなる等の理由から、さらに周囲の光量を用いて、これを改善した補間方法もあるが、以下に説明する本実施形態1に係る撮像装置10Aでは全ての画素について、C、M、Y、Gの4つの色の光量が算出できれば、いかなる補間方法を用いても良い。この処理を全ての画素について行うものである。なお、端に位置する、例えば、M00の画素には左側に位置する画素がないため、シアン色の光量を求めるために、左側の画素値を用いることができない、このような場合に備えて、あらかじめ出力する画像の範囲よりも周囲に余分な画素を配置し、出力する画像の範囲では全て同じ補間処理が行えるようにするものが多い。もしくは、単に右側のC01の値をコピーするなどの、特別な処理を適用しても良い。 Color interpolation according to the equation (1) is the simplest and is called the binillia method. There is an interpolation method in which this is improved by further using the amount of ambient light for reasons such as poor resolution when performing color interpolation using this bilinear method, but the imaging apparatus according to the first embodiment described below In 10A, any interpolation method may be used as long as the light amounts of four colors C, M, Y, and G can be calculated for all pixels. This process is performed for all pixels. In preparation for such a case, for example, the pixel value on the left side cannot be used to obtain the cyan light amount because there is no pixel located on the left side in the pixel of M00 located at the end, for example. In many cases, extra pixels are arranged around the range of the image to be output in advance so that the same interpolation process can be performed in the entire range of the image to be output. Alternatively, special processing such as simply copying the value of C01 on the right side may be applied.
(実施形態1の動作)
まず、赤外光分離部13の動作から説明する。CMYG補色カラーフィルタ121は、シアン・マゼンダ・黄・緑の全てにおいて、シアン・マゼンダ・黄・緑の色データに赤外光データが加算されている。つまり、上記した演算式(A)により赤外線分離部13で演算された各画素の光量の値には、赤外光カットフィルタを用いていないため、赤外光データも加算され、これをそのまま第1の画像出力部14にて画像を生成すると色再現性が悪化する。よって本実施形態1に係る撮像装置10Aでは、赤外光分離部13にて演算式(A)によって各画素の光量の値から赤外光成分を除き、赤・緑・青の色データを算出し、さらに赤外光データの算出も行う。
(Operation of Embodiment 1)
First, the operation of the infrared
ここで、赤外光データを含む色信号データをC’、M’、Y’、G’、としたときに、それぞれを赤外光データを含まないR、G、Bデータと赤外光データIで表したものを演算式(2)に示す。尚、この演算式は補色系から原色系への色変換を行う演算式として公知である。 Here, when color signal data including infrared light data is C ′, M ′, Y ′, and G ′, R, G, B data and infrared light data not including infrared light data are used. What is represented by I is shown in equation (2). This arithmetic expression is known as an arithmetic expression for performing color conversion from the complementary color system to the primary color system.
演算式(2)
C’= G+B+I
M’=R+ B+I
Y’=R+G +I
G’= G +I
Formula (2)
C '= G + B + I
M ′ = R + B + I
Y '= R + G + I
G '= G + I
上記した演算式(2)において、C’とM’とY’とG’はそれぞれ、ある画素における、その画素の、または補間された、赤外光データを含む、シアンとマゼンダと黄と緑のデータである。また、R、G、Bは、それぞれ、その画素における、赤外光データを含まない、赤と緑と青のデータである。また、Iは、その画素における、赤外光データである。シアンは、緑と青、マゼンダは、赤と青、黄は、赤と緑が含まれているが、ここではそれぞれに、赤外光データが含まれていることを示している。 In the above equation (2), C ′, M ′, Y ′, and G ′ are cyan, magenta, yellow, and green, respectively, including infrared light data of that pixel or interpolated in a certain pixel. It is data of. R, G, and B are red, green, and blue data, respectively, that do not include infrared light data in the pixel. I is infrared light data in the pixel. Cyan includes green and blue, magenta includes red and blue, and yellow includes red and green. Here, each indicates that infrared data is included.
この演算式(2)によって、C’とM’とY’とG’の4つの変数から、RとGとBとIの4つの値を算出する演算式は、以下の演算式(3)、(4)、(5)、(6)によって示される。イメージセンサ12から出力された全データは赤外光分離部13内でこの演算式を用いR、G、Bの色データとして算出され、さらに赤外光データIの算出も行われる。尚、ここでは本発明の説明のために演算式を導き出す過程も記載しているが、赤外光分離部13内に格納され演算式として使われているのは先に記載した演算式(A)、すなわち演算式(3)、(4)、(5)、(6)それぞれの最左辺と最右辺のみである。
The arithmetic expression for calculating four values of R, G, B, and I from the four variables C ′, M ′, Y ′, and G ′ by this arithmetic expression (2) is as follows: , (4), (5), (6). All data output from the
演算式(3)
R=G−G+R+I−I
=(G+R+I)−(G+I)
=Y’−G’
Formula (3)
R = G-G + R + I-I
= (G + R + I)-(G + I)
= Y'-G '
演算式(4)
G=G+G−G+B−B+R−R+I+I−I−I
=(G+B+I)+(R+G+I)−(R+B+I)−(G−I)
=C’+Y’−M’−G’
Formula (4)
G = G + G-G + B-B + R-R + I + I-I-I
= (G + B + I) + (R + G + I)-(R + B + I)-(GI)
= C '+ Y'-M'-G'
演算式(5)
B=G−G+B+I−I
=(G+B+I)−(G+I)
=C’−G’
Formula (5)
B = G-G + B + I-I
= (G + B + I)-(G + I)
= C'-G '
演算式(6)
I=G−G+I
=(G+I)−G
=G’−(C’+Y’−M’−G’)
=2×G’−C’−Y’+M’
Formula (6)
I = G-G + I
= (G + I) -G
= G '-(C' + Y'-M'-G ')
= 2 × G′−C′−Y ′ + M ′
このように、一般的なCMYG補色イメージセンサから出力された信号から、簡単な演算により、赤と緑と青のデータとともに、赤外光のデータを算出することができる。赤外光分離部13は、演算式(3)、(4)、(5)、(6)すなわち演算式(A)に示される演算を全ての画素について行い、赤と緑と青の可視光データを出力する。そして、第1の画像出力部14は、赤外光分離部13で演算されたR、G、Bの各値から可視光画像を生成し出力する。
As described above, infrared light data can be calculated together with red, green, and blue data from a signal output from a general CMYG complementary color image sensor by a simple calculation. The infrared
(実施形態1の効果)
以上説明のように本実施形態1に係る撮像装置10Aによれば、一般的なイメージセンサ12によって取得された信号から、赤外光分離部13は演算式(3)、(4)、(5)、(6)すなわち演算式(A)に基づく演算を実行し、赤と緑と青のデータとともに、赤外光のデータを算出することができ、この演算を全ての画素について行なうことで、画像を構成できる分の赤と緑と青の要素を持つ可視光データを出力することが出来る。このため、特殊なカラーフィルタを持つイメージセンサを必要とすることなく、広く普及した一般的なカラーフィルタを持つイメージセンサを用いて安価に可視光データを得ることができ、このデータを基に第1の画像出力部14では可視光画像を生成し出力することができる。また、赤外光カットフィルタを取り除くこと以外は通常のカメラの部品構成と同じ構成で実現できるため、赤外光カットフィルタとその駆動機構分のコストを削減でき、かつ、赤外光カットフィルタによる可視光の損失も防ぐことが出来る。
(Effect of Embodiment 1)
As described above, according to the imaging apparatus 10A according to the first embodiment, the infrared
なお、本実施形態1に係る撮像装置10Aによれば、赤外光分離部13は、制御部15aとは独立して存在する構成として説明したが、赤外光分離部13が持つ機能をソフトウエアで実現して図示しない記憶部に演算式(A)を格納し、制御部15aの中に組み込んでも同様の効果が得られる。
In the imaging apparatus 10A according to the first embodiment, the infrared
(実施形態2の構成)
図3は、本実施形態2に係る撮像装置10Bの構成を示すブロック図である。図1に示す実施形態1との差異は、赤外光合成部16が付加されたことにある。赤外光合成部16は、赤外光分離部13から出力される可視光データと赤外光データを、赤外光データを含む輝度データと色差データに変換して出力し、第2の画像出力部14にて画像を生成し出力する。なお、制御部15bは、赤外光合成部16が、可視光画像を、赤外光を含む輝度信号と色差信号に変換して出力することができるように、イメージセンサ12と、赤外光分離部13と、画像出力部14の制御を行う。他の構成は、図1に示す実施形態1と同様である。
(Configuration of Embodiment 2)
FIG. 3 is a block diagram illustrating a configuration of the imaging apparatus 10B according to the second embodiment. The difference from Embodiment 1 shown in FIG. 1 is that an infrared
(実施形態2の動作)
以下、赤外光合成方法について説明する。赤外光分離部13から出力された可視光データと赤外光データは、赤外光合成部16に入力される。赤外光合成部16は、予め記憶された以下に示す一般的な輝度・色差演算式(7)にしたがい、まず可視光データについて赤と緑と青の値を、輝度データと色差データに変換する。
(Operation of Embodiment 2)
Hereinafter, the infrared light synthesis method will be described. The visible light data and the infrared light data output from the infrared
演算式(7)
L=0.3×R+0.6×G+0.1×B
Cb=B−L
Cr=R−L
Formula (7)
L = 0.3 × R + 0.6 × G + 0.1 × B
Cb = B−L
Cr = RL
上記した演算式(7)において、Lは輝度を表している。ここで、輝度とは、人間の感じる明るさであり、通常、Yで表現されることが多いが、ここではYを黄色のデータとして扱っているため、輝度(Luminance)の頭文字をとってLで示すこととした。また、CbとCrは色差で、青っぽさ、赤っぽさを表す。色差は、負の値を取ることもあり、Cbが大きければ青っぽく、小さければ黄色っぽくなり、また、Crが大きければ赤っぽく、小さければシアンっぽくなり、また、CbとCrが両方大きければマゼンダっぽく、小さければ緑っぽくなり、また、CbとCrの絶対値が大きければ色が濃く、小さければ色は薄く、0であれば白、黒、または灰色になる。 In the above arithmetic expression (7), L represents luminance. Here, the brightness is the brightness perceived by humans and is usually expressed by Y. However, since Y is treated as yellow data here, the initial of brightness is taken. It was decided to indicate L. Cb and Cr are color differences and represent bluishness and redness. The color difference may take a negative value. If Cb is large, the color difference is bluish. If Cb is small, the color difference is reddish. If Cr is large, the color is reddish. If it is magenta, it is green if it is small, and if the absolute values of Cb and Cr are large, the color is dark, if it is small, the color is light, and if it is 0, it is white, black, or gray.
一方、赤外光は、本来は人間の目に見えないものの、可視光と似た性質を持っている。よって可視光データに赤外光データを合成すれば光量が増えるため撮像範囲が暗くても被写体を捉えることが可能となる。そこで、本実施形態2に係る撮像装置10Bでは、赤外線合成部16で算出された輝度データと赤外線分離部13から出力された赤外光データとを合成するために、先に記述した演算式(B)すなわち以下に示す演算式(8)を用いることとした。本実施形態に係る撮像装置10Bでは、赤外光合成部16で、予め記憶された赤外光を含む輝度データに変換する演算式(8)を用いて赤外光分離部13から入力される全ての画素について演算を実行し、L’を新たな輝度データとして入れ替えて出力する。尚、赤外光データを合成しても色再現性が悪化しない様に、色差データについては演算式(7)で示したCb、Crの式をそのまま使用する。Cb、Crは赤外線合成部16にて算出され、全ての画素のL’、Cb、Crは第2の画像出力部14に出力され、画像が生成されて出力される。
On the other hand, infrared light is essentially invisible to the human eye, but has properties similar to visible light. Therefore, if infrared light data is combined with visible light data, the amount of light increases, so that the subject can be captured even when the imaging range is dark. Therefore, in the imaging apparatus 10B according to the second embodiment, in order to synthesize the luminance data calculated by the
演算式(8)
L’=L+I×t
Formula (8)
L ′ = L + I × t
上記した演算式(8)において、L’は赤外光データを含む輝度データを表している。また、パラメータtは輝度データに赤外光データを合成する程度を表しており、0≦t(tはゼロを含んだ任意の正の数)の範囲とする。なお、パラメータtの値は、制御部15bが撮像範囲の明るさを判断し、その状況に応じて変化させても良い。例えば、tに0〜1の範囲で示される係数を適用すれば、撮像範囲が明るいときはt=0とすることでL’=Lとなり、赤外光データを全く含まない場合と同じになる。また、撮像範囲が暗いときはt=1とすることでL’=L+Iとなり、本来の輝度データと赤外光データが均等に含まれた値になる。
例えば、輝度データとパラメータtの値を対応させた図示しないテーブルを予め赤外光合成部16に記憶させる。撮像範囲の全画素について、赤外光合成部16で演算式(7)に従って得た輝度データLの平均値に対応するパラメータtの値を上記のテーブルから選択し、演算式(8)に従って演算する様にする。
In the arithmetic expression (8), L ′ represents luminance data including infrared light data. The parameter t represents the degree to which the infrared light data is combined with the luminance data, and is in the range of 0 ≦ t (t is an arbitrary positive number including zero). Note that the value of the parameter t may be changed according to the situation where the
For example, a table (not shown) that associates the brightness data with the value of the parameter t is stored in the infrared
(実施形態2の効果)
上記した本実施形態に係る撮像装置10Bによれば、赤外光合成部16が、上記した演算式(8)にしたがい、輝度データを赤外光データを含む輝度データに変換し、これを全ての画素について行い、そのデータを基に第2の画像出力部14にて画像として生成、出力することにより、撮像範囲が暗いときも被写体を捉えることが可能となる。特に、特許文献2に示される方法によれば、赤外光成分Iは、4個につき1個の画素にしか含まれないのに対し、本実施形態2で使用される一般的なCMYG補色カラーフィルタ121では赤外光データIは全ての画素に含まれているため、解像度においては特許文献2に開示された方法よりも優れる。また、赤外光分離部13にて演算式(8)のtの値を変化させることで赤外光データを使用する量を除々に変化させることができるため、特許文献1の様に赤外カットフィルタの出し入れの際に発生する可視光画像から赤外光画像に切り替わるときの突然の画像の変化を避けることができる。
(Effect of Embodiment 2)
According to the imaging device 10B according to the present embodiment described above, the infrared
一方で、L’がどのように変化しても色合いと色の濃さはCbとCrが示しているため、色再現はほとんど悪化しない。したがって、特許文献1に開示された技術とは異なり、色を濃くし、あるいはモノクロにする必要はない。ところで、色合いと色の濃さは変化しないが、可視光と赤外光で明るさが大きく異なる場合もある。例えば、植物の葉は赤外光を多く反射するため、葉の部分のL’の値はLに対して大きくなる場合が多く、緑っぽさは保たれるものの、明るい緑になってしまう。これを軽減するために、赤外光成分Iの値からエッジ成分を取り出してエッジ部分だけをLと合成したり、トーンカーブフィルタ等の加工処理を施したりしてから、Lと合成することが考えられる。 On the other hand, no matter how L 'changes, the color reproduction is hardly deteriorated because Cb and Cr indicate the hue and color density. Therefore, unlike the technique disclosed in Patent Document 1, it is not necessary to make the color darker or monochrome. By the way, although hue and color density do not change, the brightness may be greatly different between visible light and infrared light. For example, since the leaves of plants reflect a large amount of infrared light, the value of L ′ of the leaf portion is often larger than L, and the green color is maintained, but it becomes bright green. . In order to reduce this, it is possible to extract the edge component from the value of the infrared light component I and combine only the edge portion with L or perform processing such as a tone curve filter and then combine with L. Conceivable.
なお、本実施形態2に係る撮像装置10Bによれば、赤外光合成部16は、制御部15bとは独立して存在する構成として説明したが、赤外光合成部16が持つ機能をソフトウエアで実現して制御部15bの中に組み込んでも同様の効果が得られる。
In the imaging device 10B according to the second embodiment, the infrared
以上、本発明の好ましい実施形態について詳述したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although preferred embodiment of this invention was explained in full detail, it cannot be overemphasized that the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiments. Further, it is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
10A、10B・・・撮像装置、12・・・イメージセンサ、13・・・赤外光分離部、14・・・画像出力部、15a、15b・・・制御部、16・・・赤外光合成部 DESCRIPTION OF SYMBOLS 10A, 10B ... Imaging device, 12 ... Image sensor, 13 ... Infrared light separation part, 14 ... Image output part, 15a, 15b ... Control part, 16 ... Infrared light composition Part
Claims (3)
前記CMYG補色カラーフィルタを介して前記撮像素子で撮像した赤外光を含む色信号データC’、M’、Y’、G’を入力し、予め記憶された下記の演算式(A)を用いて可視光の色信号データR、G、Bおよび赤外光データIを演算し出力する赤外光分離部と、
これらを制御する制御部とを備えたことを特徴とする撮像装置。
演算式(A)
R=Y’−G’
G=C’+Y’−M’−G’
B=C’ −G’
I=2×G’−C’−Y’+M’ A CMYG complementary color filter, an image sensor,
Color signal data C ′, M ′, Y ′, and G ′ including infrared light imaged by the image sensor through the CMYG complementary color filter are input, and the following arithmetic expression (A) stored in advance is used. An infrared light separating unit that calculates and outputs color signal data R, G, B and infrared light data I of visible light;
An imaging apparatus comprising: a control unit that controls these.
Formula (A)
R = Y'-G '
G = C ′ + Y′−M′−G ′
B = C'-G '
I = 2 × G′−C′−Y ′ + M ′
前記新たな輝度信号データL’と前記色差データCb、Crから画像を生成して出力する第2の画像出力部を備えたことを特徴とする請求項1記載の撮像装置。
演算式(B)
L’=L+I×t (tはゼロを含む任意の正の数) The visible light color signal data R, G, and B output from the infrared light separation unit are input, converted into luminance signal data L and color difference signal data Cb, Cr, and the following arithmetic expression (B ) To calculate and output new luminance signal data L ′ from the luminance signal data L, infrared light signal data I and an arbitrary positive number t including zero,
The imaging apparatus according to claim 1, further comprising a second image output unit that generates and outputs an image from the new luminance signal data L ′ and the color difference data Cb and Cr.
Formula (B)
L ′ = L + I × t (t is any positive number including zero)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011261271A JP2013115679A (en) | 2011-11-30 | 2011-11-30 | Imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011261271A JP2013115679A (en) | 2011-11-30 | 2011-11-30 | Imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013115679A true JP2013115679A (en) | 2013-06-10 |
Family
ID=48710829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011261271A Pending JP2013115679A (en) | 2011-11-30 | 2011-11-30 | Imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013115679A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016056279A1 (en) * | 2014-10-06 | 2016-04-14 | ソニー株式会社 | Image processing device, image capturing apparatus and image capturing method |
CN114143420A (en) * | 2020-09-04 | 2022-03-04 | 聚晶半导体股份有限公司 | Double-sensor camera system and privacy protection camera method thereof |
US11677918B2 (en) | 2020-12-03 | 2023-06-13 | Samsung Electronics Co., Ltd. | Method and apparatus for color space conversion |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002142228A (en) * | 2000-10-31 | 2002-05-17 | Toyota Central Res & Dev Lab Inc | Image pickup device |
JP2007184805A (en) * | 2006-01-10 | 2007-07-19 | Toyota Central Res & Dev Lab Inc | Color image reproducing device |
JP2008289000A (en) * | 2007-05-18 | 2008-11-27 | Sony Corp | Image input processing device, and method thereof |
-
2011
- 2011-11-30 JP JP2011261271A patent/JP2013115679A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002142228A (en) * | 2000-10-31 | 2002-05-17 | Toyota Central Res & Dev Lab Inc | Image pickup device |
JP2007184805A (en) * | 2006-01-10 | 2007-07-19 | Toyota Central Res & Dev Lab Inc | Color image reproducing device |
JP2008289000A (en) * | 2007-05-18 | 2008-11-27 | Sony Corp | Image input processing device, and method thereof |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016056279A1 (en) * | 2014-10-06 | 2016-04-14 | ソニー株式会社 | Image processing device, image capturing apparatus and image capturing method |
US10951838B2 (en) | 2014-10-06 | 2021-03-16 | Sony Semiconductor Solutions Corporation | Image processing device, imaging device, and imaging method |
CN114143420A (en) * | 2020-09-04 | 2022-03-04 | 聚晶半导体股份有限公司 | Double-sensor camera system and privacy protection camera method thereof |
CN114143420B (en) * | 2020-09-04 | 2024-05-03 | 聚晶半导体股份有限公司 | Dual-sensor camera system and privacy protection camera method thereof |
US11677918B2 (en) | 2020-12-03 | 2023-06-13 | Samsung Electronics Co., Ltd. | Method and apparatus for color space conversion |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5206796B2 (en) | Image input device | |
JP5349790B2 (en) | Image processing apparatus, image processing method, and program | |
JP5171361B2 (en) | Imaging device | |
EP1748656A1 (en) | Image processing apparatus, image processing method, and computer program | |
US8411176B2 (en) | Image input device | |
WO2011099138A1 (en) | Image processing device and image processing method | |
JP5080934B2 (en) | Image processing apparatus and method, and imaging apparatus | |
JP5259381B2 (en) | Imaging apparatus and imaging method | |
WO2006120864A1 (en) | Image processing device, and image processing program | |
JP2004312467A (en) | Imaging systems, image processing program | |
JP7052811B2 (en) | Image processing device, image processing method and image processing system | |
JP2013115679A (en) | Imaging apparatus | |
KR20100082452A (en) | Apparatus for processing image signal and method for the same | |
JP2012095223A (en) | Imaging device, imaging method, and program | |
US8804025B2 (en) | Signal processing device and imaging device | |
JP2010252077A (en) | Imaging apparatus | |
JP2011109411A (en) | Method and device for determining white balance correction coefficient, method and device for correcting white balance, and imaging apparatus | |
JP4687454B2 (en) | Image processing apparatus and imaging apparatus | |
JP2007043312A (en) | Imaging apparatus | |
JP2003070009A (en) | Imaging apparatus | |
KR100999885B1 (en) | Apparatus for Processing Image Siganls, Method for Reducing Chrominamce Noise in the Image Signal Processing Apparatus and Record Medium for Performing Method of Reducing Chrominance Noise | |
TWI543145B (en) | Color processing system and apparatus | |
JP2005278213A (en) | Production method | |
JP5333163B2 (en) | Imaging device | |
JP2002315019A (en) | Printer system, white balance control method therefor, electronic camera and printer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140529 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150310 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150728 |