JP2565168B2 - Imaging device - Google Patents
Imaging deviceInfo
- Publication number
- JP2565168B2 JP2565168B2 JP61167524A JP16752486A JP2565168B2 JP 2565168 B2 JP2565168 B2 JP 2565168B2 JP 61167524 A JP61167524 A JP 61167524A JP 16752486 A JP16752486 A JP 16752486A JP 2565168 B2 JP2565168 B2 JP 2565168B2
- Authority
- JP
- Japan
- Prior art keywords
- output
- infrared light
- light detection
- image pickup
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003384 imaging method Methods 0.000 title claims description 31
- 238000001514 detection method Methods 0.000 claims description 56
- 230000008859 change Effects 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000005070 sampling Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
【発明の詳細な説明】 以下の順序でこの発明を説明する。DETAILED DESCRIPTION OF THE INVENTION The present invention will be described in the following order.
Ａ 産業上の利用分野 Ｂ 発明の概要 Ｃ 従来の技術 Ｄ 発明が解決しようとする問題点 Ｅ 問題点を解決するための手段 Ｆ 作用 Ｇ 実施例 G1モノクロームの撮像装置の実施例（第１図） G2カラー撮像装置の実施例（第６図〜第８図） Ｈ 発明の効果 Ａ 産業上の利用分野 この発明は例えば監視システムに使用する撮像装置と
して好適な撮像装置に関する。A Industrial field of use B Outline of invention C Conventional technology D Problems to be solved by the invention E Means for solving problems F Action G Example G 1 Example of monochrome imaging device (Fig. 1) ) Example of G 2 color image pickup device (Figs. 6 to 8) H Effect of the invention A Industrial field of use The present invention relates to an image pickup device suitable as an image pickup device used in, for example, a surveillance system.
Ｂ 発明の効果 本発明は、赤外光検知出力に基づいて入射光中の赤外
光の変化を検知したときに撮像出力における欠落した赤
外光検知出力の対応部分の補間出力を記録するようにし
たので、単一のCCDイメージャ（21）の一部を赤外光検
出センサとして用いることができ、人材から放射される
赤外光を検知して人の出入りを検知し、しかも赤外光検
知出力による欠落部分を補間して欠落のない撮像出力を
記録することができるものである。B Effect of the Invention According to the present invention, the interpolation output of the corresponding portion of the missing infrared light detection output in the imaging output is recorded when the change of the infrared light in the incident light is detected based on the infrared light detection output. Therefore, part of a single CCD imager (21) can be used as an infrared light detection sensor, and infrared light emitted from human resources can be detected to detect the entrance and exit of people, and It is possible to interpolate the missing portion due to the detection output and record the imaging output without any missing.
Ｃ 従来の技術 従来、例えば金融機関のキャッシュサービスコーナな
どには人の出入を監視するためのビデオカメラとVTRを
組み合わせた監視システムが設置されている。C Conventional Technology Conventionally, for example, a cash service corner of a financial institution has installed a monitoring system that combines a video camera and a VTR for monitoring the movement of people.
このような監視システムの一例として、人材から放射
される赤外線を検知して人の出入を検知し、その人が入
って来たときから一定時間あるいはその人がそこに存在
する間、ビデオカメラの出入をVTRに記録するというも
のが知られている。As an example of such a monitoring system, infrared rays radiated from human resources are detected to detect the entrance / exit of a person, and the video camera is operated for a certain period of time after the person comes in or while the person is present there. It is known to record the entry and exit in a VTR.
第９図はこの種の監視カメラの一例の構成を示すもの
で、（１）はビデオカメラ、（２）はVTR、（３）は赤
外線センサで、被写体としての人体（４）よりの赤外線
放射が赤外線センサ（３）で検知されると、この赤外線
センサ（３）よりのトリガ信号TGによりVTR（２）が記
録状態となり、ビデオカメラ（１）よりの映像信号VI
が、人体検知から一定時間あるいは人体検知している
間、テープに記録されるものである。FIG. 9 shows an example of the configuration of this type of surveillance camera. (1) is a video camera, (2) is a VTR, (3) is an infrared sensor, and infrared radiation from the human body (4) as an object is shown. Is detected by the infrared sensor (3), the trigger signal TG from the infrared sensor (3) causes the VTR (2) to be in a recording state and the video signal VI from the video camera (1).
However, it is recorded on the tape for a certain period of time after the human body is detected or while the human body is being detected.
ところで、第９図例のシステムの場合、赤外線センサ
を用いて簡単な構成で、しかも比較的安価に構成できる
という反面、赤外線センサをビデオカメラとは別個に設
置する必要があるという欠点がある。さらに、ビデオカ
メラの画角とセンサ部のセンス範囲を一致させる必要が
あるが、両者が別個のユニットであるため、その調整は
困難であり、多大の工数を必要とした。その上、上記範
囲は必ずしも一致しないため、「人体検知しているのに
写っていない」「ビデオカメラの画角に入っているはず
なのにセンサが検知しない」等の問題がある。By the way, in the case of the system shown in FIG. 9, it is possible to use an infrared sensor with a simple structure and at a relatively low cost, but on the other hand, there is a drawback in that the infrared sensor must be installed separately from the video camera. Further, it is necessary to match the angle of view of the video camera and the sensing range of the sensor unit, but since both units are separate units, it is difficult to adjust them, and a lot of man-hours are required. In addition, since the above ranges do not always match, there are problems such as "the human body is detected but not captured" and "the sensor does not detect it even though it is within the angle of view of the video camera".
そこで、カメラ出力VIと、VTR（２）の記録トリガ信
号TGとを同一ユニット内から得るようにする。すなわち
撮像装置から得るようにすることが考えられた。Therefore, the camera output VI and the recording trigger signal TG of VTR (2) are obtained from the same unit. That is, it was considered to obtain it from the imaging device.
第10図はこのような撮像装置の一例を用いた監視シス
テムの例で、（５）は撮像装置を全体として示し、この
撮像装置（５）内にはビデオカメラ部（６）の他に画像
メモリ（７）と比較回路（８）と波形整形用シュミット
回路（９）とからなる画像処理部が設けられる。FIG. 10 shows an example of a surveillance system using an example of such an image pickup device. (5) shows the image pickup device as a whole, and the image pickup device (5) includes an image in addition to the video camera section (6). An image processing unit including a memory (7), a comparison circuit (8), and a waveform shaping Schmitt circuit (9) is provided.
メモリ（７）には、撮像装置（５）の設置場所におい
て、人間等が存在しないときのその場所の撮像画像（静
止画像）を書き込んでおく。そして、ビデオカメラ部
（６）よりの映像信号VIとこのメモリ（７）よりの静止
画像信号SVとを比較回路（８）で比較し、その比較出力
を波形整形用のシュミット回路（９）に供給し、このシ
ュミット回路（９）よりVTR（２）の記録トリガ信号TG
を得るものである。In the memory (7), an imaged image (still image) of a place where a human or the like does not exist is written in the place where the image pickup device (5) is installed. The comparison circuit (8) compares the video signal VI from the video camera unit (6) with the still image signal SV from the memory (7), and the comparison output is sent to the Schmitt circuit (9) for waveform shaping. The recording trigger signal TG of the VTR (2) is supplied from this Schmitt circuit (9).
Is what you get.
すなわち、カメラ（１）の画角内に人間が入ると、比
較回路（６）では静止画との差としてその人間の存在が
検知され、その差がトリガ信号としてVTR（２）に供給
されて、カメラ（１）の出力映像信号VIがVTR（２）に
より第９図例と同様にしてテープに記録される。That is, when a human enters the angle of view of the camera (1), the comparison circuit (6) detects the presence of the human as a difference from the still image, and the difference is supplied to the VTR (2) as a trigger signal. The output video signal VI of the camera (1) is recorded on the tape by the VTR (2) in the same manner as in the example of FIG.
この第10図例によれば、撮像出力とVTR（２）の記録
トリガ信号TGとを撮像装置（５）より共に得ることがで
きるので、第９図例のような欠点がない反面、画像処理
部に画像メモリ等を必要とするため回路規模が大きくな
り、高価になるという欠点がある。According to the example of FIG. 10, the imaging output and the recording trigger signal TG of the VTR (2) can both be obtained from the imaging device (5), so there is no drawback as in the example of FIG. Since it requires an image memory or the like in its part, there is a drawback that the circuit scale becomes large and the cost becomes high.
そこで、第９図例のように人体検知センサとして赤外
線センサを用いるとともにこのセンサ部を撮像装置内に
組み込むようにすることが考えられた。この技術は、ビ
デオカメラ部の光学系と赤外線センサの光学系とを共通
にするとともにハーフミラーを用いて赤外光と撮像のた
めの可視光とを分離する技術（特開昭55−23631号公報
参照：なお、この公報は赤外線オートフォーカス機構に
ついての発表に関する。）を用いることが考えられた。
第11図はこの改良した撮像装置を用いた監視システムの
概要を示す図で、（10）はこの撮像装置を全体として示
し、赤外線センサ（13）はこの撮像装置（10）内に設け
られる。（11）は撮像レンズ、（12）はCCDイメージ
ャ、（14）はハーフミラーである。Therefore, it has been considered to use an infrared sensor as a human body detection sensor as shown in FIG. 9 and to incorporate this sensor unit in the image pickup apparatus. This technique uses a common optical system for the video camera section and the optical system for the infrared sensor, and uses a half mirror to separate infrared light and visible light for imaging (Japanese Patent Laid-Open No. 55-23631). Reference: It should be noted that this publication relates to the announcement about the infrared autofocus mechanism.).
FIG. 11 is a diagram showing an outline of a surveillance system using the improved image pickup device, (10) shows the image pickup device as a whole, and an infrared sensor (13) is provided in the image pickup device (10). (11) is an imaging lens, (12) is a CCD imager, and (14) is a half mirror.
この構成の場合、撮像レンズ（11）を通った被写体光
はハーフミラー（14）を通過してCCDイメージャ（12）
に入射し、このCCDイメージャ（12）より撮像信号が得
られる。また、この場合、ハーフミラー（14）はその反
射層の特性が人体放射の赤外線の波長に合わせられ、撮
像レンズ（11）を通った入射光のうち赤外線はこのハー
フミラー（14）によって反射されて赤外線センサ（13）
に入射する。したがって、撮像装置（10）の撮像レンズ
（11）の画角内に人間が入るとこの人間より放射される
赤外線が赤外線センサ（13）で検知され、VTR（２）に
トリガ信号TGが供給されてこのVTR（２）が記録状態に
なり、このときCCDイメージャ（12）に結像された画像
出力VIがテープに記録される。In this configuration, the subject light that has passed through the imaging lens (11) passes through the half mirror (14) and the CCD imager (12).
Then, an image pickup signal is obtained from the CCD imager (12). Further, in this case, the half mirror (14) has its reflective layer property matched to the wavelength of infrared rays emitted from the human body, and the infrared rays of the incident light passing through the imaging lens (11) are reflected by this half mirror (14). Infrared sensor (13)
Incident on. Therefore, when a human enters the angle of view of the imaging lens (11) of the imaging device (10), infrared rays emitted by the human are detected by the infrared sensor (13), and the trigger signal TG is supplied to the VTR (2). The lever VTR (2) is in a recording state, and at this time, the image output VI imaged on the CCD imager (12) is recorded on the tape.
この第11図の改良例によれば、第９図例に比べ、カメ
ラ部と、赤外線検知部との２つのユニットが必要であっ
たが１つにまとめられ、また、カメラ部と赤外線検知部
との赤外系は共通であるから両者の画角もほぼ一致し、
画角調整が不要になるものである。According to the improved example of FIG. 11, compared to the example of FIG. 9, two units, that is, a camera section and an infrared detecting section are required, but they are combined into one, and the camera section and the infrared detecting section are combined. Since the infrared system of and is common, the angle of view of both is almost the same,
The angle of view adjustment is unnecessary.
Ｄ 発明が解決しようとする問題点 しかしながら、この第11図の例の場合には、ハーフミ
ラーを特に設ける必要があるとともにカメラ部と赤外線
検知部との各々にイメージャとセンサ部を格別に設けな
ければならないという欠点がある。D Problems to be Solved by the Invention However, in the case of the example shown in FIG. 11, it is necessary to particularly provide a half mirror and an imager and a sensor unit must be provided separately for each of the camera unit and the infrared detection unit. It has the drawback that it must be done.
この発明はこの欠点を解消するということができるよ
うにした撮像装置を提供しようとするものである。The present invention is intended to provide an image pickup apparatus capable of solving this drawback.
Ｅ 問題点を解決するための手段 この発明は、CCDイメージャ（21）と、このCCDイメー
ジャ（21）の撮像部の前面側に配され一部に赤外光検出
部（IR）が形成された光学フィルタ（22）とを備え、CC
Dイメージャ（21）より撮像出力と、赤外光検出部（I
R）を通った入射光中の赤外光の検知出力とが得られる
ようになされた撮像装置において、CCDイメージャ（2
1）に対する赤外光検出部（IR）の位置情報を記憶した
メモリ（25）と、メモリ（25）からの位置情報に基づい
て赤外光検知出力および撮像出力を出力する赤外光検知
および撮像出力手段（23）（24）と、メモリ（25）から
の位置情報と撮像出力とに基づいて撮像出力における欠
落した赤外光検知出力の対応部分を補間する補間手段
（26）と、赤外光検知出力の変化を検出して、トリガ信
号を形成するトリガ信号形成手段（27）と、トリガ信号
に基づいて補間手段の出力を記録する記録手段（２）と
を備え、赤外光検知出力に基づいて入射光中の赤外光の
変化を検知したときに補間手段（26）による撮像出力に
おける欠落した赤外光検知出力の対応部分の補間出力を
記録手段（２）により記録するようにしたことを特徴と
する撮像装置である。E Means for Solving the Problems In the present invention, a CCD imager (21) and an infrared light detecting section (IR) formed on a part of the front side of the image pickup section of the CCD imager (21) are formed. With optical filter (22), CC
Imaging output from the D imager (21) and infrared light detection unit (I
In the image pickup device configured to obtain the detection output of the infrared light in the incident light that has passed through R), the CCD imager (2
The memory (25) that stores the position information of the infrared light detection unit (IR) with respect to 1) and the infrared light detection and output that outputs the infrared light detection output and the imaging output based on the position information from the memory (25). Imaging output means (23) (24), an interpolation means (26) for interpolating the corresponding portion of the missing infrared light detection output in the imaging output based on the position information from the memory (25) and the imaging output, and Infrared light detection is provided with a trigger signal forming means (27) for forming a trigger signal by detecting a change in the external light detection output, and a recording means (2) for recording the output of the interpolating means based on the trigger signal. When the change in infrared light in the incident light is detected based on the output, the recording means (2) records the interpolation output corresponding to the missing infrared light detection output in the imaging output by the interpolation means (26). The image pickup device is characterized in that
Ｆ 作用 この発明によれば、赤外光検知出力に基づいて入射光
中の赤外光の変化を検知したときに撮像出力における欠
落した赤外光検知出力の対応部分の補間出力を記録する
ようにしたので、単一のCCDイメージャ（21）の一部を
赤外光検出センサとして用いることができ、人体から放
射される赤外光を検知して人の出入りを検知し、しかも
赤外線光検知出力による欠落部分を補間して欠落のない
撮像出力を記録することができる。According to the present invention, when the change of the infrared light in the incident light is detected based on the infrared light detection output, the interpolation output of the corresponding portion of the missing infrared light detection output in the imaging output is recorded. As a result, part of a single CCD imager (21) can be used as an infrared light detection sensor, and infrared light emitted from the human body can be detected to detect the entrance and exit of people, and also infrared light detection. It is possible to interpolate the missing part due to the output and record the imaging output without the missing part.
Ｇ 実施例 G1モノクロームの撮像装置の実施例 第１図はこの発明装置の一例で、この例はモノクロー
ムの映像信号を撮像出力として得る場合である。G Embodiment G 1 Embodiment of Monochrome Imaging Device FIG. 1 is an example of the device of the present invention, and this example is a case where a monochrome video signal is obtained as an imaging output.
第１図において、（21）はCCDイメージャで、このCCD
イメージャ（21）の撮像面の前面には光学フィルタ（2
2）が設けられる。この光学フィルタ（22）はCCDイメー
ジャ（21）の各画素に対し波長選択性を有するフィルタ
素子を配することで構成されるが、この例ではCCDイメ
ージャ（21）の全画素の範囲内において、全体をカバー
するような第２図において斜線を示して示すランダムな
画素部分（あるいは複素画素のかたまり部分）はその波
長選択性が人体放射の赤外光を透過するような赤外光透
過部IRとされる。その他の画素部分に対するフィルタ素
子は可視光を透過するような波長選択性を持たせるよう
にする。この場合、赤外光透過部IRは全画素に対しそれ
ほど設ける必要はない。赤外光検知情報は画像情報ほど
必要としないからである。したがって、赤外光透過部の
量と可視光透過部の量との比は、画像情報として赤外光
透過部での情報の欠落が目立たないような適当な比とす
れば都合がよい。In Fig. 1, (21) is a CCD imager.
The optical filter (2
2) is provided. This optical filter (22) is configured by arranging a filter element having wavelength selectivity for each pixel of the CCD imager (21). In this example, within the range of all pixels of the CCD imager (21), A random pixel portion (or a cluster portion of complex pixels) shown by hatching in FIG. 2 which covers the whole is an infrared light transmitting portion IR whose wavelength selectivity is such that infrared light emitted from a human body is transmitted. It is said that The filter elements for the other pixel portions have wavelength selectivity that allows visible light to pass therethrough. In this case, the infrared light transmitting part IR does not need to be provided so much for all pixels. This is because the infrared light detection information is not necessary as much as the image information. Therefore, it is convenient to set the ratio of the amount of the infrared light transmitting portion and the amount of the visible light transmitting portion to an appropriate ratio such that the lack of information in the infrared light transmitting portion is not noticeable as the image information.
また、人間が画像をモニタするときは、後述するよう
に、映像信号の水平又は垂直方向の相関性を利用して補
間すれば見苦しい画像となるようなことはない。Further, when a person monitors an image, as will be described later, if the interpolation is performed using the correlation of the video signal in the horizontal or vertical direction, the image will not be unsightly.
以上のような特性の光学フィルタ（22）を通してCCD
イメージャ（21）に入射した光は、光電変換されて画像
出力とされプロセス回路（23）に供給される。CCD through the optical filter (22) with the above characteristics
The light incident on the imager (21) is photoelectrically converted into an image output and supplied to the process circuit (23).
このプロセス回路（23）には赤外光透過部IRを通って
赤外光が入射する画素部分よりの信号出力を取り出すサ
ンプリングホイールド回路（231）と、その他の可視光
が入射する画素部分よりの画像情報出力を取り出すサン
プリングホールド回路（232）が設けられ、タイミング
信号発生回路（24）よりサンプリング信号がそれぞれ供
給される。（25）はCCDイメージャ（21）の全画素中の
フィルタ（22）の赤外光透過部IRと対面する画素部分IP
と、可視光部と対面する画素部分VPとの位置情報を記憶
しているメモリである。このメモリ（25）は予め次のよ
うにして位置信号が書き込まれる。すなわち、光学フィ
ルタ（22）の全面にわたって赤外光のみが入射される。
すると赤外光透過部IRをのみを透過して対応する画素の
みに赤外光検出出力が得られる。この赤外光検出出力が
得られた画素位置に対応するメモリ（25）のアドレスに
は「１」が書き込まれ、他の画素位置に対応するメモリ
（25）のアドレスには「０」が書き込まれる。This process circuit (23) has a sampling wheeled circuit (231) that extracts the signal output from the pixel part where infrared light enters through the infrared light transmitting part IR, and other pixel parts where visible light enters. Is provided with a sampling hold circuit (232) for taking out the image information output, and the sampling signal is supplied from the timing signal generating circuit (24). (25) is a pixel part IP facing the infrared light transmitting part IR of the filter (22) in all pixels of the CCD imager (21)
And a position information of the pixel portion VP facing the visible light portion. A position signal is written in advance in the memory (25) as follows. That is, only infrared light is incident on the entire surface of the optical filter (22).
Then, infrared light detection output is obtained only through the corresponding pixel through the infrared light transmitting part IR. "1" is written in the address of the memory (25) corresponding to the pixel position where this infrared light detection output is obtained, and "0" is written in the address of the memory (25) corresponding to another pixel position. Be done.
そして、このメモリ（25）よりはCCDイメージャ（2
1）の画素出力に同期して位置情報が読み出され、タイ
ミング信号形成回路（24）にその位置情報が供給され
る。この場合、メモリ（25）には前述のように位置情報
が書き込まれているから画素部分IPに対しては「１」、
画素部分VPに対しては「０」が位置情報として読み出さ
れ、タイミング信号形成回路（24）からは、位置情報
「１」に対してはサンプリングホールド回路（231）に
サンプリングパルスSP1が出力され、位置情報「０」に
対してはサンプリングホールド回路（232）にサンプリ
ングパルスSP2が出力される。The CCD imager (2
The position information is read in synchronization with the pixel output of 1), and the position information is supplied to the timing signal forming circuit (24). In this case, since the position information is written in the memory (25) as described above, "1" is set for the pixel portion IP,
"0" is read as position information for the pixel portion VP, and the sampling signal SP 1 is output from the timing signal forming circuit (24) to the sampling hold circuit (231) for position information "1". The sampling pulse SP 2 is output to the sampling and holding circuit (232) for the position information “0”.
したがって、サンプリングホールド回路（231）から
は画素部分IPよりの出力すなわち赤外光検出出力SIR
が、サンプリングホールド回路（232）からは画素部分V
Pよりの出力すなわち輝度信号SYが、それぞれ得られ
る。Therefore, the sampling hold circuit (231) outputs from the pixel portion IP, that is, the infrared light detection output SIR.
However, from the sampling and holding circuit (232), the pixel part V
The output from P, that is, the luminance signal SY is obtained.
そして、信号SYは欠落補間回路（26）に供給される。
この補間回路（26）にはタイミング信号形成回路（24）
より補間位置情報SP3が供給され、画像部分IPの部分の
出力SYにおける信号欠落部分が、例えば１水平周期前の
情報で置き替えられて補間される。Then, the signal SY is supplied to the missing interpolation circuit (26).
The interpolation circuit (26) includes a timing signal forming circuit (24).
The interpolation position information SP 3 is supplied from the image portion IP, and the signal missing portion in the output SY of the portion of the image portion IP is replaced with, for example, the information of one horizontal period before and is interpolated.
こうして補間された信号SY′はこの撮像装置の出力と
してVTR（２）に供給される。The signal SY 'thus interpolated is supplied to the VTR (2) as the output of this image pickup device.
また、サンプリングホールド回路（231）の出力SIRは
トリガ信号形成回路（27）に供給される。このトリガ信
号形成回路（27）では赤外光検出出力SIRが微分回路（2
8）で微分され、その微分出力がサンプリングホールド
回路（29）でサンプリングホールドされる。微分回路
（28）ではカメラの画角内に人間がいない状態から人間
がその画角内に入ったときの、赤外光検出出力の変化が
検出される。そして、その検出出力がサンプリングホー
ルド回路（29）で画素部分IPよりの出力位置に同期して
サンプリングホールドされ、トリガ信号が形成される。The output SIR of the sampling and holding circuit (231) is supplied to the trigger signal forming circuit (27). In this trigger signal formation circuit (27), the infrared light detection output SIR is
It is differentiated by 8), and the differentiated output is sampled and held by the sampling and holding circuit (29). The differentiating circuit (28) detects a change in the infrared light detection output when a person enters the angle of view of the camera when there is no person in the angle of view of the camera. Then, the detection output is sampled and held in the sampling and holding circuit (29) in synchronization with the output position from the pixel portion IP, and a trigger signal is formed.
こうして、微分回路（28）とサンプリングホールド回
路（29）とにより、朝と夕方のような環境による赤外光
変化と人間が画角内に入ってきたことによる赤外光変化
とが区別されて、所期のトリガ信号TGが得られ、これに
よりVTR（２）が記録状態にされて信号SY′がテープに
一定時間記録される。In this way, the differentiating circuit (28) and the sampling and holding circuit (29) distinguish the infrared light change due to the environment such as morning and evening from the infrared light change due to the human being entering the angle of view. , A desired trigger signal TG is obtained, which causes the VTR (2) to be in a recording state and the signal SY 'is recorded on the tape for a certain time.
なお、人間がカメラの画角内から消えるときの変化も
微分回路（28）で検知できるから、人間がその画角内に
存在する間、VTR（２）を記録状態にするようなトリガ
信号を得ることもできる。The change when a person disappears from the angle of view of the camera can also be detected by the differentiating circuit (28), so a trigger signal that puts the VTR (2) in the recording state while the person is within the angle of view is recorded. You can also get it.
なお、上記の例はCCDイメージャの全画素のうちの有
効画素内の特定のランダムな画素部分に対応するフィル
タ部分を赤外光透過部IRとした場合であるが、CCDイメ
ージャは第３図において斜線を付して示すように有効画
素より外側の若干の領域部分を無効画素の領域（40）と
して有し、一般にはこの無効領域（40）の画素に対して
は光学的黒マスクをして利用しないようにしているが、
この無効領域（40）を赤外光透過部として利用してもよ
い。The above example is a case where the infrared light transmitting portion IR is the filter portion corresponding to a specific random pixel portion in the effective pixels among all the pixels of the CCD imager, but the CCD imager is shown in FIG. As shown by hatching, a small area outside the effective pixel is provided as an invalid pixel area (40). Generally, an optical black mask is applied to the pixels in the invalid area (40). I try not to use it,
This invalid area (40) may be used as an infrared light transmitting portion.
この場合にはメモリ（25）にはこの無効領域（40）の
画素に対しては位置信号として「１」を、有効領域の画
素に対しては位置信号として「０」を、それぞれ書き込
でおき、無効領域（40）の画素よりの撮像出力として赤
外光検出出力を得るようにする。In this case, write "1" as a position signal for the pixels of the invalid area (40) and "0" as a position signal for the pixels of the effective area in the memory (25). Then, the infrared light detection output is obtained as the imaging output from the pixels in the invalid area (40).
このようにしたときには、輝度信号に対しては画素部
分IPによる欠落はないので、そのための補間は不必要に
ある。もっとも、CCDイメージャ自身の欠陥による信号
欠落の補間は行なわれるのは通常の場合と同様である。
このCCDイメージャ自身の欠陥による信号欠落はその素
子毎に固有のものであるから、その欠陥部分位置をメモ
リに書き込んでおき、その画素位置の出力情報を前述と
同様にして補間して得るものである。In this case, there is no omission due to the pixel portion IP in the luminance signal, so interpolation for that is unnecessary. However, the interpolation of the signal loss due to the defect of the CCD imager itself is performed as in the usual case.
Since the signal loss due to this CCD imager's own defect is unique to each element, it can be obtained by writing the defective portion position in memory and interpolating the output information at that pixel position in the same manner as described above. is there.
なお、人間がカメラの画角内に上下、左右のいずれか
の方向から入るような場合には第３図のように無効領域
（40）のみを赤外光透過部として用いればよいが、例え
ば人間が入出するドアがカメラの画角内の中央にあるよ
うな場合を考慮すると、第４図に示すように第２図のよ
うに有効画素中のランダムな画素位置に対するフィルタ
部分を赤外光透過部とするとともに、第３図のように無
効領域（40）を赤外光透過部として両者を併用する方が
良い。If a person enters the camera from the vertical or horizontal direction within the angle of view of the camera, only the invalid area (40) may be used as the infrared light transmitting portion as shown in FIG. Considering the case where the door through which a person enters and exits is in the center within the angle of view of the camera, as shown in FIG. 4, the filter part for the random pixel position in the effective pixels as shown in FIG. It is better to use both as a transparent portion and an ineffective region (40) as an infrared light transmitting portion as shown in FIG.
また、トリガ信号形成回路（27）は第５図に示すよう
なものを用いてもよい。Further, as the trigger signal forming circuit (27), the one shown in FIG. 5 may be used.
すなわち、プロセッサ（23）よりの赤外光検出出力SI
Rの変化を微分回路（31）で検出し、この微分出力をサ
ンプリングホールド回路（32）にてサンプリングホール
ドし、このホールド出力を比較回路（33）の一方の入力
端子に供給する。また、赤外光検出出力SIRを微分回路
（34）にて積分し、その積分出力をサンプリングホール
ド回路（35）にてサンプリングホールドすることにより
環境の変化に応じた赤外量を得、これを比較回路（33）
に供給して、一方の入力端に供給される微分出力のサン
プリングホールド出力から減算して環境変化の影響を除
くようにする。That is, the infrared light detection output SI from the processor (23)
The change in R is detected by the differentiating circuit (31), the differentiated output is sampled and held by the sampling and holding circuit (32), and the held output is supplied to one input terminal of the comparing circuit (33). Also, the infrared light detection output SIR is integrated by the differentiating circuit (34), and the integrated output is sampled and held by the sampling and holding circuit (35) to obtain the infrared amount according to the change in the environment. Comparison circuit (33)
, And the differential output supplied to one of the input terminals is subtracted from the sampling and holding output to eliminate the influence of environmental changes.
こうして、比較回路（33）からは環境による赤外変化
の影響が除去された状態で、人間が入って来たことによ
る赤外光検出出力の変化が得られる。したがって、これ
を波形整形回路（36）で波形整形すれば人間が画角内に
存在するとき一の状態になるトリガ信号が得られる。Thus, the comparison circuit (33) obtains a change in the infrared light detection output due to the arrival of a person while the influence of the infrared change due to the environment is removed. Therefore, if the waveform is shaped by the waveform shaping circuit (36), a trigger signal that will be in one state when a human is present within the angle of view can be obtained.
G2カラー撮像装置の実施例 次に第６図はこの発明装置の他の例で、この例はカラ
ー撮像装置の場合の例である。Embodiment of G 2 Color Imaging Device Next, FIG. 6 shows another example of the device of the present invention, which is an example of a color imaging device.
このカラー撮像装置の場合においては、CCDイメージ
ャ（41）の有効画素領域の前には例えば第７図に示すよ
うな光学色フィルタ（42）が設けられる。すなわち、こ
の色フィルタ（42）は、１ラインおきの１ライン分の画
素に対しては赤色光をを透過する波長選択性を有するフ
ィルタ素子Ｒと、緑色光を透過する波長選択性を有する
フィルタ素子Ｇとが１画素毎に交互に配列され、残りの
１ラインおきの１ライン分の画素に対しては、青色光を
透過する波長選択性を有するフィルタ素子Ｂと緑色光を
透過する波長選択性を有するフィルタ素子Ｇとが一画素
毎に交互に配列され、さらに緑色光のフィルタ素子Ｇは
垂直方向に一列に並ぶように配列されるものである。In the case of this color image pickup device, an optical color filter (42) as shown in FIG. 7, for example, is provided in front of the effective pixel area of the CCD imager (41). That is, the color filter (42) includes a filter element R having a wavelength selectivity for transmitting red light and a filter having a wavelength selectivity for transmitting green light for every other line of pixels. The elements G are alternately arranged for each pixel, and for the remaining pixels for every other line, a filter element B having a wavelength selectivity that transmits blue light and a wavelength selection that transmits green light. The filter elements G having the property are alternately arranged for each pixel, and the filter elements G for green light are further arranged in a line in the vertical direction.
この場合も無効領域の素子に対向するフィルタ部分を
赤外光透過部として前述例と同様にして赤外光検出出力
を得、VTRの記録トリガ信号を得ることもできるが、有
効領域の画素より赤外光検出出力を得る場合には次のよ
うにする。Also in this case, it is possible to obtain the infrared light detection output and the VTR recording trigger signal in the same manner as the above example by using the filter portion facing the element in the invalid area as the infrared light transmitting portion, To obtain the infrared light detection output, do as follows.
すなわち、この例においては、赤外光に波長的に近い
赤色光のフィルタ素子Ｒのうちのランダムな位置にある
いくつかを赤外光を透過する波長選択性を有する赤外光
透過部IRとしておく。That is, in this example, some of the filter elements R for red light, which are wavelength-wise close to infrared light, at random positions are used as infrared light transmitting portions IR having wavelength selectivity for transmitting infrared light. deep.
そして、CCDイメージャ（41）からの出力はプロセス
回路（43）に供給されて所定の信号処理がなされ、ま
た、前述したようなCCDイメージャ自身の欠陥による信
号の欠落の補間も行なわれる。Then, the output from the CCD imager (41) is supplied to the process circuit (43) to be subjected to predetermined signal processing, and interpolation of signal loss due to the defect of the CCD imager itself as described above is also performed.
このプロセス回路（43）の出力はマトリクス回路（4
4）に供給され、これより赤，緑及び青の原色信号出力S
R,SG及びSBが得られる。このうち赤の原色信号SRはスイ
ッチ回路（45）に供給される。一方、ランダムな位置の
赤外光透過部IRの位置を記憶するメモリ（46）よりの位
置信号に基づいてタイミング信号形成回路（47）からは
スイッチ切換信号が得られ、これによりスイッチ回路
（45）が、赤のフィルタ部Ｒに対向する画素からの出力
のときにはＡ側に、赤外光透過部IRに対向する画素から
の出力のときにはＢ側に、それぞれ切り換えられる。し
たがって、スイッチ回路（45）のＡ側出力端よりは赤の
原色信号が、Ｂ側出力端よりは赤外光検出出力が、それ
ぞれ得られ、これらはサンプリングホールド回路（48）
及び（49）にてサンプリングホールドされる。The output of this process circuit (43) is the matrix circuit (4
4), from which the red, green and blue primary color signal outputs S
R, SG and SB are obtained. Of these, the red primary color signal SR is supplied to the switch circuit (45). On the other hand, a switch switching signal is obtained from the timing signal forming circuit (47) on the basis of the position signal from the memory (46) which stores the position of the infrared light transmitting portion IR at a random position. ) Is switched to the A side when the output is from the pixel facing the red filter section R, and to the B side when the output is from the pixel facing the infrared light transmitting section IR. Therefore, a red primary color signal is obtained from the A side output end of the switch circuit (45), and an infrared light detection output is obtained from the B side output end, respectively, and these are held by the sampling and holding circuit (48).
And (49) are sampled and held.
そして、マトリクス回路（44）よりの緑及び青の原色
信号出力SG及びSBと、サンプリングホールド回路（48）
よりの赤の原色信号出力SRとがエンコーダ（50）に供給
されて例えばNTSCカラー映像信号にされ、これがVTR
（２）に供給される。Then, the green and blue primary color signal outputs SG and SB from the matrix circuit (44) and the sampling and holding circuit (48).
The red primary color signal output SR is supplied to the encoder (50) and converted into, for example, an NTSC color video signal, which is a VTR.
It is supplied to (2).
また、サンプリングホールド回路（49）よりの赤外光
検出出力SIRは前述したような構成のトリガ信号形成回
路（51）に形成されて、これより記録トリガ信号TGが得
られ、VTR（２）に供給されるものである。In addition, the infrared light detection output SIR from the sampling and holding circuit (49) is formed in the trigger signal forming circuit (51) having the above-mentioned configuration, and the recording trigger signal TG is obtained from this, and is output to the VTR (2). What is supplied.
なお、前述もしたように赤色光と赤外光とは波長的に
は近いものであるので、赤の原色信号出力としてはこの
赤外光検出出力をも含めても画面が見苦しくなることは
ないと考えられる。As described above, since the red light and the infrared light are wavelength-wise close to each other, the infrared primary light signal output does not make the screen unsightly even if this infrared light detection output is included. it is conceivable that.
このことを考慮した場合には、第８図の例のようにマ
トリクス回路（44）よりの赤（赤外出力を含む），緑及
び青の原色信号出力SR,SG及びSBをエンコーダ（50）に
供給して、これよりNTSCカラー映像信号を得るようにす
るとともに、赤の原色信号SRのうち、赤外光検出出力の
部分のみをサンプリングホールド回路（52）によりサン
プリングホールドして取り出すようにしてもよい。この
場合には赤外光透過部IRに対応する画素位置を記憶する
メモリ（53）の読み出し出力がタイミング信号形成回路
（54）に供給され、その赤外光を検出する画素位置の時
点でサンプリングパルスがサンプリングホールド回路
（52）に供給されるものである。When this is taken into consideration, the red (including infrared output), green and blue primary color signal outputs SR, SG and SB from the matrix circuit (44) are converted into encoders (50) as in the example of FIG. So that an NTSC color video signal can be obtained from this, and only the infrared light detection output portion of the red primary color signal SR is sampled and held by the sampling and holding circuit (52) and taken out. Good. In this case, the read output of the memory (53) that stores the pixel position corresponding to the infrared light transmitting portion IR is supplied to the timing signal forming circuit (54), and sampling is performed at the pixel position where the infrared light is detected. The pulse is supplied to the sampling and holding circuit (52).
なお、以上はこの発明による撮像装置を監視システム
の監視カメラとして使用する場合を例にとって説明した
が、CCDイメージャより得られる赤外光検出出力は画素
は粗いが赤外感知の画像信号であるからこれを用いて画
像処理を行なうこともでき、例えばカメラのオートフォ
ーカス用として使用することもできる。In the above, the case where the image pickup apparatus according to the present invention is used as a surveillance camera of a surveillance system has been described as an example, but the infrared light detection output obtained from the CCD imager is an image signal of infrared sensing although the pixels are coarse. Image processing can be performed using this, for example, it can also be used for autofocusing of a camera.
なお、赤外光検出用の赤外光透過部IRの配置をランダ
ムでなく、必要に応じて配するようにすれば、赤外光検
出信号の重みずけをすることが可能になる。It should be noted that if the infrared light transmitting portions IR for infrared light detection are not arranged at random but are arranged as needed, it becomes possible to weight the infrared light detection signals.
Ｈ 発明の効果 この発明によれば、赤外光検知出力に基づいて入射光
中の赤外光の変化を検知したときに撮像出力における欠
落した赤外光検知出力の対応部分の補間出力を記録する
ようにしたので、単一のCCDイメージャ（21）の一部を
赤外光検出センサとして用いることができ、人体から放
射される赤外光を検知して人の出入りを検知し、しかも
赤外光検知出力による欠落部分を補間して欠落のない撮
像出力を記録することができる。H According to the present invention, when the change of the infrared light in the incident light is detected based on the infrared light detection output, the interpolation output of the corresponding portion of the missing infrared light detection output in the imaging output is recorded. By doing so, a part of a single CCD imager (21) can be used as an infrared light detection sensor, and the infrared light emitted from the human body can be detected to detect the entrance / exit of a person. It is possible to interpolate the missing part due to the external light detection output and record the imaging output without the missing part.
したがって、この発明を監視システムに用いれば監視
用カメラと人体検知用の赤外線検知部とを別個に設ける
必要はないという利点がある。Therefore, if the present invention is applied to a surveillance system, there is an advantage that it is not necessary to separately provide a surveillance camera and an infrared ray detection section for human body detection.
また、この発明によれば、CCDイメージャは撮像出力
用と赤外検出出力用と共通であるので、両出力用に別個
のセンサを設ける必要はない。Further, according to the present invention, since the CCD imager is common for imaging output and infrared detection output, it is not necessary to provide separate sensors for both outputs.
第１図はこの発明装置の一実施例のブロック図、第２図
〜第４図は光学フィルタの構成例を示す図、第５図は第
１図例の一部回路の他の例のブロック図、第６図はこの
発明装置の他の実施例のブロック図、第７図は光学フィ
ルタの一例を示す図、第８図はこの発明装置のさらに他
の実施例のブロック図、第９図〜第11図はそれぞれ従来
の監視システムの一例のブロック図である。 （21）及び（41）はCCDイメージャ、（22）及び（42）
は光学フィルタである。FIG. 1 is a block diagram of an embodiment of the device of the present invention, FIGS. 2 to 4 are diagrams showing a configuration example of an optical filter, and FIG. 5 is a block diagram of another example of a partial circuit of the example of FIG. FIG. 6 is a block diagram of another embodiment of the device of the present invention, FIG. 7 is a diagram showing an example of an optical filter, FIG. 8 is a block diagram of yet another embodiment of the device of the present invention, and FIG. ~ Fig. 11 is a block diagram of an example of a conventional monitoring system. (21) and (41) are CCD imagers, (22) and (42)
Is an optical filter.
Claims (1)
像部の全面側に配され一部に赤外光検出部が形成された
光学フィルタとを備え、上記CCDイメージャより撮像出
力と、上記赤外光検出部を通った入射光中の赤外光の検
知出力とが得られるようになされた撮像装置において、 上記CCDイメージャに対する上記赤外光検出部の位置情
報を記憶したメモリと、 上記メモリからの上記位置情報に基づいて上記赤外光検
知出力および上記撮像出力を出力する赤外光検知および
撮像出力手段と、 上記メモリからの上記位置情報と上記撮像出力とに基づ
いて上記撮像出力における欠落した上記赤外光検知出力
の対応部分を補間する補間手段と、 上記赤外光検知出力の変化を検出して、トリガ信号を形
成するトリガ信号形成手段と、 上記トリガ信号に基づいて上記補間手段の出力を記録す
る記録手段とを備え、 上記赤外光検知出力に基づいて入射光中の赤外光の変化
を検知したときに上記補間手段による上記撮像出力にお
ける欠落した上記赤外光検知出力の対応部分の補間出力
を上記記録手段により記録するようにしたことを特徴と
する撮像装置。1. A CCD imager, and an optical filter which is arranged on the entire surface of an image pickup section of the CCD imager and has an infrared light detection section formed in a part thereof. In an imaging device configured to obtain a detection output of infrared light in incident light that has passed through the light detection unit, a memory that stores position information of the infrared light detection unit with respect to the CCD imager, and from the memory Infrared light detection and image pickup output means for outputting the infrared light detection output and the image pickup output on the basis of the position information, and a missing in the image pickup output on the basis of the position information and the image pickup output from the memory. Interpolation means for interpolating the corresponding portion of the infrared light detection output, trigger signal forming means for detecting a change in the infrared light detection output, and forming a trigger signal, and based on the trigger signal. Recording means for recording the output of the interpolating means, and when the change in the infrared light in the incident light is detected based on the infrared light detection output, the missing red color in the imaging output by the interpolating means. An image pickup apparatus characterized in that an interpolation output corresponding to an external light detection output is recorded by the recording means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP61167524A JP2565168B2 (en) | 1986-07-16 | 1986-07-16 | Imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP61167524A JP2565168B2 (en) | 1986-07-16 | 1986-07-16 | Imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS6324765A JPS6324765A (en) | 1988-02-02 |
| JP2565168B2 true JP2565168B2 (en) | 1996-12-18 |
Family
ID=15851293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP61167524A Expired - Lifetime JP2565168B2 (en) | 1986-07-16 | 1986-07-16 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2565168B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4133297B2 (en) * | 2002-12-19 | 2008-08-13 | シャープ株式会社 | Camera system |
| JP2006033483A (en) * | 2004-07-16 | 2006-02-02 | Aisin Seiki Co Ltd | Color imaging apparatus |
| JP4556111B2 (en) * | 2004-09-02 | 2010-10-06 | ソニー株式会社 | Information processing device |
| JP4752550B2 (en) * | 2006-03-14 | 2011-08-17 | ソニー株式会社 | Method and apparatus for manufacturing color image sensor |
| KR101048768B1 (en) | 2009-06-10 | 2011-07-15 | (주)실리콘화일 | Image sensor for measuring illuminance, proximity and color temperature |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60177571U (en) * | 1984-05-01 | 1985-11-26 | シャープ株式会社 | solid-state imaging device |
-
1986
- 1986-07-16 JP JP61167524A patent/JP2565168B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPS6324765A (en) | 1988-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6825470B1 (en) | Infrared correction system | |
| JP4431532B2 (en) | Target image position detecting device and method, and program for controlling target image position detecting device | |
| US20040174446A1 (en) | Four-color mosaic pattern for depth and image capture | |
| JP2565168B2 (en) | Imaging device | |
| US20040169748A1 (en) | Sub-sampled infrared sensor for use in a digital image capture device | |
| JP6264029B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND CONTROL PROGRAM | |
| JPS6318874A (en) | Monitoring camera device | |
| JP2540329B2 (en) | Film scanning device for televisions | |
| JPH0436632B2 (en) | ||
| JPS62208784A (en) | Infrared image pickup device | |
| RU2710779C1 (en) | Device for "circular" photodetector of color image for panoramic television-computer surveillance | |
| JP2004094050A (en) | Monitor camera device serving as optical unit | |
| US6661932B2 (en) | Image input apparatus | |
| JPS60224033A (en) | Infrared-ray image display system | |
| JPH03274971A (en) | Infrared ray image pickup device | |
| JP3216096B2 (en) | Imaging device | |
| JPS60194692A (en) | Infrared video display device | |
| JP4674424B2 (en) | Imaging system | |
| JPH01287428A (en) | Infrared image pickup device | |
| JP2002209126A (en) | Image pickup device | |
| JPH0215793A (en) | White balance adjuster | |
| JP2004040162A (en) | Television camera device | |
| JPS5936482A (en) | Solid-state element camera | |
| RU2565064C1 (en) | Television-computer system device for panoramic "day-night" security | |
| JPS5821526A (en) | Detecting device using infrared ray |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| EXPY | Cancellation because of completion of term |