JPH0984033A - 撮像装置及び撮像結果の処理方法 - Google Patents

Abstract

(57)【要約】 【課題】撮像装置及び撮像結果の処理方法に関し、簡易
な構成で色の解像度を向上することができるようにす
る。 【解決手段】撮像素子４の隣接する水平方向の配列又は
垂直方向の配列において、規定の画素が偏るように各色
の画素を配列することにより、偏った画素からの色デー
タの位相を補正して高解像度の色データを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像装置及び撮像
結果の処理方法に関し、例えば静止画用の撮像装置に適
用して、隣接する水平方向の画素の配列又は垂直方向の
画素の配列において、規定の画素が偏るように各色の画
素を配列することにより、偏った画素から色データを生
成して、簡易な構成で色の解像度を向上することができ
るようにする。

【０００２】

【従来の技術】従来、３板式のテレビジョンカメラにお
いては、赤色用、青色用の撮像素子に対して緑色用の撮
像素子を１／２画素ピッチだけ位置ずれして配置するこ
とにより、輝度の解像度を向上して、高速度で撮像結果
を出力できるようになされている。

【０００３】この３板式の撮像装置に対して、単板式の
撮像装置においては、撮像素子の数を低減できることに
より、その分光学系等の構成を簡略化して、全体構成を
簡略化、小型化できるようになされている。

【０００４】

【発明が解決しようとする課題】ところでこの単板式の
撮像装置をパーソナルコンピュータへの画像入力手段等
に適用して、充分な解像度により所望の画像を取り込む
ことができれば、便利であると考えられる。ところがこ
の種の単板式の撮像装置では、光学系等の構成を簡略化
できる反面、各色の解像度が劣る問題がある。

【０００５】すなわち図２５は、この種の単板式の撮像
素子の画素の配列を示す略線図であり、この撮像素子
は、規定の画素ピッチＬにより赤色、緑色、青色の画素
Ｒ、Ｇ、Ｂを市松模様状に配置して形成される。図２６
に示すように、この撮像素子の画素ピッチを基準にした
正規化周波数によりこの撮像素子の撮像結果を表すと、
この撮像素子がフレーム単位で撮像結果を出力する場
合、この撮像素子より得られる赤色Ｒ、青色Ｂの撮像結
果、緑色Ｇの斜め方向の撮像結果は（図２６（Ａ））、
折り返し信号Ｎ１、Ｎ２により充分な帯域を確保できな
い問題がある。これに対して輝度Ｙの撮像結果、緑色Ｇ
の水平及び垂直方向の撮像結果は（図２６（Ｂ））、ほ
ぼ２倍の帯域を確保することができる。

【０００６】本発明は以上の点を考慮してなされたもの
で、いわゆる単板式の撮像装置において、従来に比して
色の解像度を向上することができる撮像装置を提案しよ
うとするものである。

【０００７】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、それぞれ規定帯域の入射光を選択
的に受光するように形成された画素を、規定の配列順序
で水平及び垂直方向にマトリックス状に順次配列して形
成された撮像素子と、この撮像素子の出力信号を処理し
て撮像結果を出力する信号処理手段とを備えるようにす
る。この撮像装置において、先の撮像素子が、水平方向
又は垂直方向における同一帯域の入射光を受光する画素
が規定のサンプリングピッチで順次配列され、この水平
方向又は垂直方向における同一帯域の入射光を受光する
画素の配列が、隣接する水平方向又は垂直方向の同一帯
域の入射光を受光する画素の配列に対して偏って配置さ
れるようにする。

【０００８】またこのとき、先の信号処理手段が、撮像
素子の画素が先の偏って配置された分、該画素より得ら
れる撮像素子の出力信号、又は隣接する水平方向又は垂
直方向の画素の配列の、対応する画素より得られる撮像
素子の出力信号を位相補正した後、他の画素より得られ
る出力信号と合成して先の撮像結果を出力する。

【０００９】またこれに代えて、撮像素子が、先の画素
の配列の偏りを、水平方向又は垂直方向の画素の配列毎
に、交互に切り換えて各画素を配置する。

【００１０】さらにこれに代えて、それぞれ規定帯域の
入射光を選択的に受光するように形成された画素を、規
定の配列順序で水平及び垂直方向にマトリックス状に順
次配列して形成された撮像素子より出力される出力信号
を処理する撮像結果の処理方法に適用する。ここで先の
撮像素子は、水平方向又は垂直方向の画素の配列におい
て、同一帯域の入射光を受光する画素が規定のサンプリ
ングピッチで順次配列され、この水平方向又は垂直方向
における同一帯域の入射光を受光する画素の配列が、隣
接する水平方向又は垂直方向の同一帯域の入射光を受光
する画素の配列に対して偏って配置されるようにする。
この前提条件の許で、この撮像結果の処理方法では、こ
の撮像素子の画素が偏って配置された分、該画素より得
られる撮像素子の出力信号、又は隣接する水平方向又は
垂直方向の画素の配列の、対応する画素より得られる撮
像素子の出力信号を位相補正した後、他の画素より得ら
れる出力信号と合成する。

【００１１】これらの手段により、水平方向又は垂直方
向の画素の配列において、同一帯域の入射光を受光する
画素が規定のサンプリングピッチで順次配列されている
とき、この水平方向又は垂直方向における同一帯域の入
射光を受光する画素の配列が、隣接する水平方向又は垂
直方向の同一帯域の入射光を受光する画素の配列に対し
て偏って配置されるようにすれば、この偏りの分、この
出力信号の位相を補正して合成することにより、先の画
素の配列間に、いわゆる半画素ずらしのサンプリング点
を設定して色データを生成することができる。

【００１２】具体的に、先の信号処理手段が、撮像素子
の画素が先の偏って配置された分、該画素より得られる
撮像素子の出力信号、又は隣接する水平方向又は垂直方
向の画素の配列の、対応する画素より得られる撮像素子
の出力信号を位相補正して、偏っていない配列による色
データを生成することができる。

【００１３】またこれに代えて、先の画素の配列の偏り
を、水平方向又は垂直方向の画素の配列毎に、交互に切
り換えて各画素を配置すれば、斜め方向の情報をより有
効に利用することができる。

【００１４】また撮像結果の処理方法において、撮像素
子の画素が偏って配置された分、該画素より得られる撮
像素子の出力信号、又は隣接する水平方向又は垂直方向
の画素の配列の、対応する画素より得られる撮像素子の
出力信号を位相補正した後、他の画素より得られる出力
信号と合成すれば、例えば撮像装置より得られた撮像結
果を外部機器により処理する場合に、この外部機器によ
り高解像度の撮像結果を得ることができる。

【００１５】

【発明の実施の形態】以下、適宜図面を参照しながら本
発明の実施の形態を詳述する。

【００１６】（１−１）第１の実施の形態の構成 図１は、本発明の第１の実施の形態に係る撮像装置を示
すブロック図である。この撮像装置１は、所望の被写体
を撮像し、その撮像結果をビデオ信号ＳＶによりモニタ
装置に出力し、またこの撮像結果を高解像度の色データ
ＤＲ０、ＤＧ０、ＤＢ０によりパーソナルコンピュータ
等に出力する。

【００１７】ここで撮像装置１は、入射光をレンズ３よ
りＣＣＤ固体撮像素子（撮像素子）４の撮像面に集光す
る。このＣＣＤ固体撮像素子４は、図２に示すように、
緑色Ｇの画素が水平方向に１画素間隔で、斜め方向に連
続するように配置され、この緑色Ｇの画素間に、赤色
Ｒ、青色Ｂの画素が同様に斜め方向に連続するように配
置され、フレーム単位で撮像結果を出力する。これによ
りＣＣＤ固体撮像素子４は、図２において一点鎖線にて
示すように、赤色及び青色の画素については、１の画素
より水平方向に続く同一色の画素を見たとき、この１の
画素と同一色の画素との中間位置より偏った位置で、し
かもこの１の画素の隣接するラインに、同一色の画素が
位置するように、全体の配列が設定されるようになされ
ている。

【００１８】制御回路５は、このＣＣＤ固体撮像素子４
の駆動信号を出力して、ＣＣＤ固体撮像素子４を駆動す
る。色信号生成回路７は、ＣＣＤ固体撮像素子４の出力
信号を相関２重サンプリングすることにより、図２につ
いて上述した画素の配列で順次色信号が連続してなる色
信号を生成する。さらに色信号生成回路７は、この色信
号を順次サンプルホールドして出力することにより、赤
色、緑色、青色の色信号を出力する。

【００１９】エンコーダ８は、簡易な合成手法により、
色信号生成回路７から出力される色信号を合成してビデ
オ信号ＳＶを生成し、このビデオ信号ＳＶを出力する。
これにより撮像装置１では、撮像結果をモニタできるよ
うになされている。さらに色信号生成回路７は、これら
色信号をＣＣＤ固体撮像素子４の動作に同期したタイミ
ングによりアナログディジタル変換処理し、これにより
これら色信号を色データＤＲ、ＤＧ、ＤＢに変換して出
力する。

【００２０】緑色信号処理回路１０は、図３に示すよう
に、緑色の色データＤＧを受け、赤色及び青色の画素の
タイミングで、隣接する緑色画素より得られる色データ
ＤＧについて、次式

【数１】 の補間演算処理し、これにより画素間に色データＧ０を
生成する。さらに緑色信号処理回路１０は、生成した色
データを順次入力される色データＤＧに介挿して出力す
る。これにより緑色信号処理回路１０は、水平及び垂直
方向に画素ピッチＬでサンプリングしてなる緑色の色デ
ータＤＲ０を出力する（すなわち図２の全画素のサンプ
リング点にそれぞれ緑色の画素を配置した場合に相当す
る）。

【００２１】すなわち図４に示すように、この緑色信号
処理回路１０は、色データＤＲ、ＤＧ、ＤＢを格納する
フィールドメモリ１１と、合成処理回路１２においてこ
のフィールドメモリ１１より出力される色データＤＧ、
フィールドメモリ１１に入力される色データＤＧを重み
付け加算する２次元の重み付け加算回路１３とによりこ
れらの処理を実行する。さらにこのとき合成処理回路１
２は、重み付け係数ａ〜ｄを必要に応じて順次切り換え
る。

【００２２】赤色青色信号処理回路１５は、これら赤色
及び青色の色データＤＲ及びＤＢについて規定の演算処
理を実行し、これによりこれら色データＤＲ、ＤＢの解
像度を緑色の色データＤＲと同一程度に向上する。すな
わちこの実施の形態において、水平方向について、ＣＣ
Ｄ固体撮像素子４の赤色及び青色のサンプリングピッチ
は、図２において一点鎖線の枠で囲ったように、距離４
Ｌに設定されている。これに対して隣接するラインにお
いては、中間位置より偏った位置に、同一色の画素が配
置されていることになり、その分ライン間で、サンプリ
ング点が偏った位置に設定されていることになる（以下
このように偏った位置にサンプリング点を設定する画素
の配列を偏画素シフトの配列と呼ぶ）。

【００２３】この場合に、１のラインより得られる赤色
及び青色の色信号ＳＲ、ＳＢの水平方向及び垂直方向成
分においては、図５（Ｂ）に示すように、水平及び垂直
方向のサンプリングピッチ４Ｌに対応する周波数（図５
においては７〔ＭＨｚ〕）まで周波数スペクトラムが分
布し、この周波数７〔ＭＨｚ〕を中心にして１次の折り
返し信号ＳＮ１が重畳されることになる。これに対して
隣接するラインにおいてサンプリング点が偏っていない
場合、すなわち隣接するラインにおいて同一色の画素が
サンプリングピッチ２Ｌだけ水平方向に変位した位置に
配置されている場合、この隣接するラインから同様の分
布による周波数スペクトラムが得られ（図５（Ａ））、
矢印Ａ及びＢで示すように、この場合は隣接するライン
から得られる色信号と合成して折り返し信号を打ち消す
ことができる。

【００２４】すなわちこの場合は、色信号ＳＲ、ＳＢの
周波数帯域を２倍の７〔ＭＨｚ〕に向上することができ
る。従ってこの場合、図５において複素平面でそれぞれ
表すように、元の位置より得られる折り返し信号ＳＮ１
に対して、正しくサンプリングピッチ２Ｌだけシフトし
て得られる折り返し信号ＳＮ２においては、逆位相に保
持されることになる。

【００２５】これに対して偏画素シフトの配列の場合、
隣接するラインでサンプリング点が偏って設定されてい
る分、元の位置より得られる折り返し信号ＳＮ１に対し
て、折り返し信号ＳＮＨの位相が変化し（図５
（Ｃ））、記号Ｃ及びＤで示すように、この場合は隣接
するラインから得られる色信号と合成して、位相差の分
だけ折り返し信号ＳＮが残ることになる。従ってこの場
合は周波数帯域を７〔ＭＨｚ〕まで確保することが困難
になる。

【００２６】これにより記号Ｅ及びＦで示すこの２つの
色信号を合成する際に、この位相差θを補正すると共
に、必要に応じて信号レベルを補正して合成すれば、折
り返し信号を完全に打ち消し得ることがわかる。またこ
のようにすれば、近似的に、偏画素シフトの配列による
色データから、シフト量を正しく中間位置に設定してな
る色データ（いわゆる半画素ずらしの色データでなる）
を生成することができる。

【００２７】この解像度の向上原理に従って、赤色青色
信号処理回路１５は、図６に示すように、順次アナログ
ディジタル変換処理して得られる赤色及び青色の色デー
タＤＲ、ＤＢを、ディジタルシグナルプロセッサで形成
された合成処理回路１６に受け、ここでこの色データを
演算処理する。このとき合成処理回路１６は、これら赤
色及び青色の色データＤＲ、ＤＢについて、ローパスフ
ィルタ（ＬＰＦ）１７を介して入力し、これにより高次
の折り返し信号を予め除去する。

【００２８】さらに合成処理回路１６は、緑色信号処理
回路１０と共通のフィールドメモリ１１から、ローパス
フィルタ１７に入力される赤色及び青色の色データＤ
Ｒ、ＤＢに対して、対応する色データＤＲ、ＤＢを入力
し、ローパスフィルタ１８により高次の折り返し信号を
除去する。さらに合成処理回路１６は、このローパスフ
ィルタ１７及び１８の出力データを減算回路１９により
減算し、これにより図５について上述した合成画像に残
る折り返し信号ＳＮを出力する。

【００２９】位相シフト補正回路２０は、次式

【数２】 で伝達関数Ｈ３が表される逆フーリエ変換回路で形成さ
れ、この減算回路１９の出力データから位相差補正のた
めの補正データを生成する。これにより合成処理回路１
６は、続く加算回路２１において、この補正データを色
データＤＲ、ＤＢに加算して位相差を補正する。

【００３０】このようにして位相差を補正して偏画素シ
フトの配列によるサンプリング点からいわゆる半画素ず
らしの色データを生成するにつき、赤色青色信号処理回
路１５は、ＣＣＤ固体撮像素子４の画素配列を有効に利
用して、赤色、青色の色データを緑色の色データと等し
い解像度に向上する。

【００３１】すなわち図７に赤色の画素Ｒを例にとって
矢印ａで示すように、赤色青色信号処理回路１５は、１
の画素Ｒを基準にして、この画素Ｒの１ライン上の隣接
する画素Ｒから、水平方向の成分について、この位相補
正処理、信号レベルの補正処理を実行し、これにより水
平方向に連続するサンプリングピッチ４Ｌの画素Ｒ間
に、正しくサンプリングピッチ２Ｌだけサンプリング点
を移動してなる色データＲＮを生成する（記号Ａ１に対
して記号ＢＨの関係でなる）。

【００３２】また赤色青色信号処理回路１５は、矢印ｂ
で示すように、垂直方向について、同様に、この位相補
正処理、信号レベルの補正処理を実行し、垂直方向に連
続するサンプリングピッチ４Ｌの画素Ｒ間に、正しくサ
ンプリングピッチ２Ｌだけサンプリング点を移動してな
る色データＲＮを生成する（記号Ａ１に対して記号ＢＶ
の関係でなる）。これにより赤色青色信号処理回路１５
は、この画素ピッチ４Ｌの矩形領域に残る他の画素（記
号ＢＮでなる）についても、水平及び垂直方向について
同様の処理を順次実行した後、記号Ｃ１で示すように、
その結果得られる色データＲＮと元の色データとを合成
して出力する。また、青色の色データＤＢについても、
同様の処理を実行して出力する。

【００３３】これにより赤色青色信号処理回路１５は、
記号Ｃ１で示すように、これら一連の処理により得られ
る色データＲＮを元の色データＲと合成して、サンプリ
ングピッチＬで順次サンプリングしてなる色データＤＲ
０を生成する。また青色の色データについても同様の処
理を実行して色データＤＢ０を生成し、これにより垂直
方向、水平方向、斜め方向について、これらの処理を繰
り返してＣＣＤ固体撮像素子４の赤色、青色の解像度を
それぞれ２倍に向上する。

【００３４】すなわち図２５について上述した市松模様
の配列による赤色の配列パターンと対比して図８及び図
９に示すように、この実施の形態では、市松模様による
場合のライン間に、それぞれ赤色及び青色のサンプリン
グ点を余分に設定することができる。従って図２６に対
応して図１０に示すように、この実施の形態によれば、
赤色及び青色について、解像度を２倍に向上でき（図１
０（Ａ））、緑色、輝度（図１０（Ｂ））と等しい解像
度を確保することができる。

【００３５】（１−２）第１の実施の形態の動作 以上の構成において、レンズ３からの入射光は、ＣＣＤ
固体撮像素子４により光電変換され、このＣＣＤ固体撮
像素子４の出力信号が、色信号生成回路７により色信号
に変換された後、エンコーダ８によりビデオ信号ＳＶに
変換されてモニタ装置に出力される。またこれら色信号
は、色データＤＲ、ＤＧ、ＤＢに変換され、緑色の色デ
ータＤＧが緑色信号処理回路１０に、赤色及び青色の色
データＤＲ、ＤＢが赤色青色信号処理回路１５に出力さ
れる。

【００３６】このときこのＣＣＤ固体撮像素子４におい
て、赤色及び青色の画素が、隣接するライン間で偏って
配列され、これらの画素間に緑色の画素が配列されてい
ることにより（図２）、緑色の色データＤＧは、緑色信
号処理回路１０において、赤色及び青色の画素に対応す
るタイミングで、隣接する緑色の色データＤＧから
（１）式の補間演算処理が実行され、これによりＣＣＤ
固体撮像素子４の全画素のタイミングをサンプリングの
タイミングに設定してなる緑色の色データＤＧ０が生成
される。

【００３７】これに対して赤色及び青色の色データＤ
Ｒ、ＤＢは、赤色青色信号処理回路１５に入力され（図
６）、ローパスフィルタ１７、１８において、高次の折
り返し信号が除去された後、減算回路１９において、１
の画素より得られる色データＤＲ、ＤＢと、この色デー
タに隣接するラインの、偏って配置された画素より得ら
れる色データＤＲ、ＤＢとで減算処理され、これにより
１次の折り返し信号が抽出される。

【００３８】この１次折り返し信号は、偏って配置され
た分、位相シフト補正回路２０により位相が補正され、
加算回路２１において偏よった位置よりサンプリングさ
れた色データＤＲ、ＤＢに加算され、これにより正しく
画素間にサンプリング点を設定してなる色データが生成
される。

【００３９】この一連の処理において、これら色データ
ＤＲ、ＤＢは、水平方向成分、垂直方向成分について、
それぞれこれらの処理が実行された後、元の色データＤ
Ｒ、ＤＢと合成され（図７）、これにより緑色の色デ−
タＤＧ０とサンプリング点を同一にしてなる色データＤ
Ｒ０、ＤＢ０が生成される。

【００４０】（１−３）第１の実施の形態の効果 以上の構成によれば、赤色及び青色の画素において、隣
接するラインとの間で偏って画素を配列し、偏って配列
した分、位相を補正して画像合成することにより、ＣＣ
Ｄ固体撮像素子４の解像度に対して、各色の解像度を２
倍に向上することができ、これにより簡易な構成で高解
像度の撮像結果を出力することができる。

【００４１】（２）第２の実施の形態 図１１は、第２の実施の形態に係る撮像装置を示すブロ
ック図である。この撮像装置３０において、図１につい
て上述した第１の実施の形態と同一の構成は対応する符
号を付して示し、重複した説明を省略する。

【００４２】この撮像装置３０において、ＣＣＤ固体撮
像素子３１は、図１２に示すように、第１の実施の形態
と同様に、水平方向については、１画素おきに緑色の画
素Ｇが配列され、この緑色の画素Ｇ間に順次赤色及び青
色の画素Ｒ及びＢが配列される。これに対して隣接する
ラインについても、第１の実施の形態と同様に、偏って
画素Ｒ及びＢが配列され、第１の実施の形態と異なり、
この偏りが記号Ｗ１で示すように、偶数ラインにおいて
は水平走査方向に偏るのに対し、記号Ｗ２で示すよう
に、奇数ラインにおいてはこれと逆方向に偏るようにな
されている。

【００４３】これにより撮像装置３０において、緑色信
号処理回路１０は、第１の実施の形態と同様に順次緑色
の色データＤＧを入力することができ、（１）式の演算
処理を実行して解像度を２倍に向上してなる色データＤ
Ｇ０を出力する。

【００４４】これに対して赤色青色信号処理回路３３
は、偏って配列された赤色及び青色の画素より得られる
色データＤＲ、ＤＢの位相、信号レベルを補正し、これ
により隣接するラインの画素間に正しくサンプリング点
を設定してなる色データＤＲ０、ＤＢ０を生成する。こ
のとき赤色青色信号処理回路３３は、奇数ライン及び偶
数ラインで切り換わる画素の偏りを有効に利用して、緑
色の色データＤＧ０と解像度の等しい色データＤＲ０、
ＤＢ０を生成する。

【００４５】すなわち赤色青色信号処理回路３３は、図
１３において矢印ａ１で示すように、斜め方向に連続す
る画素Ｒから、位相及び信号レベルを補正して続くサン
プリング点の色データＲａ１を生成する（記号Ａ１に対
して記号Ｂ１の関係でなる）。また矢印ｂ１で示すよう
に、このサンプリング点に対して、水平方向に連続する
画素Ｒから、位相及び信号レベルを補正して、同一サン
プリング点に色データＲｂ１を生成する。さらに矢印ｃ
１で示すように、このサンプリング点に対して、斜め下
方向から連続する画素Ｒから、位相及び信号レベルを補
正して、同一サンプリング点に色データＲｃ１を生成す
る。さらに赤色青色信号処理回路３３は、これら色デー
タＲａ１〜Ｒｃ１を重み付け加算し、これによりこのサ
ンプリング点の色データＲＮを生成する。

【００４６】さらに赤色青色信号処理回路３３は、この
生成した色データＲＮに続く列の色データについては、
矢印ａ２で示すように、水平走査方向とは逆方向に、斜
め方向に連続する画素Ｒから、位相及び信号レベルを補
正して続くサンプリング点の色データＲａ２を生成する
（記号Ａ１に対して記号Ｂ２の関係でなる）。また矢印
ｂ２で示すように、このサンプリング点に対して、水平
走査方向とは逆方向に、水平方向に連続する画素Ｒか
ら、位相及び信号レベルを補正して、同一サンプリング
点に色データＲｂ２を生成する。さらに矢印ｃ２で示す
ように、このサンプリング点に対して、水平走査方向と
は逆方向に、斜め下方向から連続する画素Ｒから、位相
及び信号レベルを補正して、同一サンプリング点に色デ
ータＲｃ２を生成する。さらに赤色青色信号処理回路３
３は、これら色データＲａ２〜Ｒｃ２を重み付け加算
し、これによりこのサンプリング点の色データＲＮを生
成する。

【００４７】これにより記号Ｃ１で示すように、これら
の処理を順次実行して、赤色青色信号処理回路３３は、
緑色の色データＤＧ０と同一の位置にサンプリングを設
定してなる赤色の色データＤＲ０を生成する。また同様
に青色の色データＤＢを処理して、緑色の色データＤＧ
０と同一の位置にサンプリング点に設定してなる青色の
色データＤＢ０を生成する。

【００４８】簡易補間回路３４は、簡易な補間方法によ
り、色データＤＲ、ＤＧ、ＤＢから高解像度の色データ
ＤＲ１、ＤＧ１、ＤＢ１を生成して出力する。すなわち
図１４に示すように、簡易補間回路３４は、直列接続し
た３つのラインメモリ３５、３６、３７の一端に色デー
タＤＲ、ＤＧ、ＤＢを受け、各ラインメモリ３５、３
６、３７の出力データを演算回路３８に入力する。これ
により簡易補間回路３４は、順次ＣＣＤ固体撮像素子３
１より得られる色データＤＲ、ＤＧ、ＤＢについて、連
続する３ラインの色データＤＲ、ＤＧ、ＤＢを同時並列
的に演算回路３８に入力する。

【００４９】演算回路３８は、緑色の色データＤＧにつ
いては、緑色信号処理回路１０と同一の（１）式で表さ
れる演算処理を実行し、これによりこの緑色信号処理回
路１０より出力される色データＤＧ０と同一解像度の色
データＤＧ１を出力する。さらに演算回路３８は、残る
赤色及び青色の色データＤＲ、ＤＢについて、補間演算
処理により色データＤＧ１に対応するサンプリング点を
有してなる色データＤＲ１、ＤＢ１を生成する。

【００５０】すなわち図１５において記号Ｄ１で示すよ
うに、このＣＣＤ固体撮像素子３１の赤色、青色の画素
において、色データＤＧ１に対応するサンプリング点を
設定する場合、水平方向に隣接する同一色の画素Ｒ間
に、３つのサンプリング点を設定すればよいことにな
る。この場合このようにして設定される３つのサンプリ
ング点の１つは（水平方向及び垂直方向のハッチングに
て示す）、上下と右又は左に同一色の画素によるサンプ
リング点が設定されていることになる。これによりこの
第１のサンプリング点について、演算回路３８は、この
上下と右又は左の色データＲより補間処理して、色デー
タを生成する。

【００５１】すなわち図１６に示すように、演算回路３
８は、上下方向と右又は左に隣接する色データＲ１、Ｒ
３、Ｒ４より、次式

【数３】 の演算処理を実行し、これによりこのサンプリング点の
色データＲ０を生成する。

【００５２】これにこれに対してこのサンプリング点に
続く第２のサンプリング点（斜めのハッチングにより示
す）は、先の第１のサンプリング点の上下の画素が最も
近接した画素になり、また続く第３のサンプリング点
（横方向のハッチングで示す）に隣接する画素Ｒが続く
近接した画素になる。これによりこの第２のサンプリン
グ点について、演算回路３８は、図１７に示すように、
これら３つの画素による色データＲ５、Ｒ６、Ｒ７を用
いて、次式

【数４】 の演算処理を実行し、これによりこのサンプリング点の
色データＲ０を生成する。なおｅ、ｆ、ｇは、変数であ
る。

【００５３】これに対して第３のサンプリング点につい
て、演算回路３８は、図１８に示すように、これら隣接
する画素による色データＲ２を用いて、次式

【数５】 の演算処理を実行し、これによりこのサンプリング点の
色データＲ０を生成する。

【００５４】演算回路３８は、これらの処理を順次対応
する赤色及び青色のサンプリング点について実行し、こ
れにより図１５において記号Ｅ１で示すように、緑色の
色データＤＧ１と同一の位置にサンプリング点を設定し
てなる色データＤＲ１、ＤＢ１を出力する。このとき演
算回路３８は、順次入力される色データＤＲ、ＤＧ、Ｄ
Ｂについて、何ら補間処理する必要のない色データにつ
いてはそのまま出力すると共に、必要なタイミングでこ
れらの補間処理を適宜実行し、これによりラスタ走査の
順序で連続してなる色データＤＲ１、ＤＧ１、ＤＢ１を
リアルタイムで生成する。

【００５５】この第２の実施の形態によれば、隣接する
ライン間で偏って画素を配列し、この画素の偏りを交互
に切り換えるようにしても、第１の実施の形態と同一の
効果を得ることができる。特にこの実施の形態の場合、
画素の偏りを交互に切り換えることにより斜め方向の情
報の損失を有効に回避でき、その分第１の実施の形態に
比して高解像度の色データを出力することができる。ま
たこの場合、３ラインの色データを同時並列的に演算処
理して簡易な補間方法により解像度を向上することがで
き、モニタ等にこの簡易な演算処理結果を利用して使い
勝手を向上することができる。

【００５６】（３）第３の実施の形態 この実施の形態においては、図１９に示すように、第２
の実施の形態に比して、各画素の配列を９０度入替えて
ＣＣＤ固体撮像素子を形成し、このＣＣＤ固体撮像素子
に対応してデータ処理手順を切り換える。なおこのＣＣ
Ｄ固体撮像素子とデータ処理とに関する構成以外は、上
述の第２の実施の形態と同一でなることにより、この実
施の形態に特有の構成を図１１において括弧付きの数字
により示し、共通する構成は重複した説明を省略する。

【００５７】すなわちこの実施の形態において、ＣＣＤ
固体撮像素子４１は、垂直方向に、赤色及び青色の画素
Ｒ及びＢがそれぞれ４画素ピッチで配列され、記号Ｗ１
及びＷ２で示すように、この隣接する列間において、赤
色及び青色の画素が偏って配列されるようになされてい
る。さらにＣＣＤ固体撮像素子４１は、この偏った配列
が列単位で交互に切り換わるように各画素Ｒ、Ｇ、Ｂが
配列されるようになされている。

【００５８】このＣＣＤ固体撮像素子４１の画素の配列
に対応して、緑色信号処理回路１０は、上述の第１の実
施の形態と同一の（１）式の演算処理を実行し、これに
より解像度を２倍に向上してなる色データＤＧ０を出力
する。これに対して赤色青色信号処理回路４３は、同様
に位相及び信号レベルを補正し、これにより偏って配置
した赤色、青色の画素間にサンプリング点を正しく設定
してなる色データを生成する。

【００５９】このとき赤色青色信号処理回路４３は、こ
のＣＣＤ固体撮像素子４１の画素の配列に対応して図２
０に記号ａ１、ｂ１、ｃ１で示すように、それぞれ左下
斜め方向、下方向、右下斜め方向より、対応する色デー
タＲの位相及び信号レベルを補正し、これにより同一サ
ンプリング点に３つの色データＲａ１、Ｒｂ１、Ｒｃ１
を生成した後、これら３つの色データＲａ１、Ｒｂ１、
Ｒｃ１を重み付け加算して色データＲＮを生成する（記
号Ａ２に対して記号Ｂ３でなる）。

【００６０】また記号ａ２、ｂ２、ｃ２で示すように、
これとは逆に、左斜め上方向、上方向、右斜め上方向よ
り、対応する色データＲの位相及び信号レベルを補正
し、これにより同一サンプリング点に３つの色データＲ
ａ２、Ｒｂ２、Ｒｃ２を生成した後、これら３つの色デ
ータＲａ２、Ｒｂ２、Ｒｃ２を重み付け加算して色デー
タＲＮを生成する（記号Ａ２に対して記号Ｂ４でな
る）。

【００６１】これにより赤色青色信号処理回路４３は、
赤色及び青色の色データについて、このようにして順次
色データを生成した後、元の色データＤＲ、ＤＢと合成
して出力し、緑色の色データＤＧ０と同一解像度の色デ
ータＤＲ０、ＤＢ０を出力する。

【００６２】これに対して簡易補間回路４４は、上述の
第２の実施の形態における簡易補間回路３４に対して、
ＣＣＤ固体撮像素子４１の画素の配列が変化した分、補
間処理の向きを切り換えて同様の処理を実行し、これに
より簡易な補間処理により色データＤＲ１、ＤＧ１、Ｄ
Ｂ１を出力する。

【００６３】この第３の実施の形態によれば、隣接する
列間において、赤色及び青色の画素を偏って配列し、さ
らにこの偏った配列が列単位で交互に切り換わるように
各画素Ｒ、Ｇ、Ｂを配列しても、第２の実施の形態と同
一の効果を得ることができる。

【００６４】（４）第４の実施の形態 ところで上述の第１〜第３の実施の形態のようにして高
解像度の撮像結果を出力する場合、解像度を向上した
分、一般の静止画撮像装置に比して、消費電力が増大
し、また全体構成が煩雑化する恐れがある。このためこ
の実施の形態では、この種の撮像結果を処理するパーソ
ナルコンピュータ側で、併せて色データの処理を実行す
る。

【００６５】すなわち図２１は、この第４の実施の形態
に係るカメラヘッドユニットを示すブロック図である。
このカメラヘッドユニット５０では、色信号生成回路７
により生成した色信号を色データに変換した後、インタ
ーフェース５１を介して、例えばパラレルインターフェ
ース、シリアルインターフェース等の伝送手法によりパ
ーソナルコンピュータに出力する。なおこの図２１及び
続く図２２に示す構成のうち図１と同一の構成は、対応
する符号を付して重複した説明を省略する。

【００６６】図２２は、カメラヘッドユニット５０より
伝送された色データを処理するパーソナルコンピュータ
を示すブロック図である。このパーソナルコンピュータ
５３は、上述のインターフェース５１に対応するインタ
ーフェース５５を介して、カメラヘッドユニット５０の
出力データＤＯＵＴを受け、この出力データを内蔵の処
理手順に従って例えばハードディスク装置（ＨＤＤ）５
６に一旦格納する。

【００６７】さらにパーソナルコンピュータ５３は、処
理速度に対応してこのハードディスク装置５６に格納し
たデータを順次緑色信号処理回路１０、赤色青色信号処
理回路１５に転送し、第１の実施の形態について上述し
たと同様の処理を実行し、これにより高解像度の色デー
タＤＲ０、ＤＧ０、ＤＢ０を生成する。なおパーソナル
コンピュータ５３において、これら緑色信号処理回路１
０、赤色青色信号処理回路１５は、中央処理ユニットに
よる演算処理によってソフト的に実行して構成される。

【００６８】さらにパーソナルコンピュータ５３は、こ
れら色データＤＲ０、ＤＧ０、ＤＢ０をアクセラレータ
５７に出力し、これによりモニタ５８に高解像度の画像
を表示する。

【００６９】この第４の実施の形態によれば、外部機器
側で画像合成しても、第１の実施の形態と同一の効果を
得ることができる。またさらに外部機器側で画像合成し
たことにより、カメラヘッドユニットの構成を小型化、
簡略化することができ、さらに消費電力も低減すること
ができる。これに加えて外部機器でなるパーソナルコン
ピュータにおいては、必要に応じて、例えばオペレータ
の所望する解像度に対応するように、上述した位相補正
の処理等を一部省略して、また赤色だけについて解像度
を向上して、画像合成することができ、その分使い勝手
を向上することができる。

【００７０】（５）他の実施の形態なお上述の第４の実
施の形態においては、第１の実施の形態に対応してパー
ソナルコンピュータにより色データを処理する場合につ
いて述べたが、本発明はこれに限らず、図２１及び図２
２に括弧付きの符号により第２及び第３の実施の形態に
対応する構成を示すように、第２及び第３の実施の形態
についても、同様にパーソナルコンピュータ５３により
色データを処理してもよい。

【００７１】また上述の実施の形態においては、逆フー
リエ変換により位相を補正する場合について述べたが、
本発明はこれに限らず、ヒルベルト変換等、種々の位相
補正手法を広く適用することができる。また図２３に示
すように、ローパスフィルタ１７、１８、減算回路１
９、位相シフト補正回路２０（図６）の構成を簡略化し
てもよい。なおこの図２３において、演算処理回路６３
及び６４は、ローパスフィルタ１７、１８の伝達関数を
それぞれＨ１及びＨ２とおいて、次式

【数６】

【数７】 の伝達関数Ｈ４、Ｈ５でそれぞれ表される演算処理を実
行し、これにより補正のデータを生成する。

【００７２】さらに上述の実施の形態においては、赤色
及び青色の色データについて、位相を補正して解像度を
向上する場合について述べたが、本発明はこれに限ら
ず、視覚的に影響の大きい赤色の色データについてだけ
位相を補正して解像度を向上してもよい。

【００７３】また上述の実施の形態においては、緑色の
画素を１画素間隔で配置し、この緑色の画素間に赤色及
び青色の画素を偏らせて配置する場合について述べた
が、本発明はこれに限らず、例えば水平走査方向に順次
循環的に赤色、緑色、青色の画素を配列してなる場合
に、隣接するライン間で１画素分配列をシフトさせるこ
とにより、赤色、緑色、青色の画素全てを偏らせて配置
する場合等、隣接する配列の間で何れかの画素を偏らせ
て配置する場合に広く適用することができる。

【００７４】また上述の第２及び第３の実施の形態で
は、例えば図１３において矢印ａ１〜ｃ１で示すよう
に、位相及び信号レベルを補正して得られる色データＲ
ａ１、Ｒｂ１、Ｒｃ１を重み付け加算して色データＲＮ
を生成する場合について述べたが、本発明はこれに限ら
ず、色データＲａ１、Ｒｂ１、Ｒｃ１より例えば信号レ
ベルの大きな色データを選択してこのサンプリング点に
おける色データＲＮに設定する場合等、種々の設定方法
を広く適用することができる。

【００７５】さらに上述の第２の実施の形態において
は、画素間の３つのサンプリング点について、近接する
サンプリング点の画素による色データから順次色データ
ＲＮを生成する場合について述べたが、本発明はこれに
限らず、図２４に示すように、始めに近接するサンプリ
ング点の色データから中間位置の色データを生成した後
（記号Ｄ２）、この色データを用いて残りの色データを
生成する場合（記号Ｅ２）等、種々の補間演算処理方法
を広く適用することができる。

【００７６】また上述の実施の形態においては、単に固
定した撮像素子より得られる色データの位相を補正して
高解像度の撮像結果を得る場合について述べたが、本発
明はこれに限らず、これらの構成に加えて、例えば撮像
素子の撮像面と、この撮像面に形成される画像との相対
位置を、規定周期で１／２画素ピッチだけシフトさせ、
このシフトした画像より得られる色データと、元の位置
より得られる色データとを合成してさらに一段と撮像結
果の解像度を向上してもよい。またこのようにしてシフ
トさせる場合に、図５について上述した偏画素シフトの
手法を利用して、各画素を偏らせて変位させ、その分、
シフトした画像より得られる色データ、又は元の位置よ
り得られる色データの位相を補正すれば、さらに一段と
高解像度の撮像結果を得ることができる。

【００７７】さらに上述の実施の形態においては、本発
明を単板式の撮像装置に適用する場合について述べた
が、本発明はこれに限らず、２板式等の撮像装置にも適
用することができる。

【００７８】

【発明の効果】上述のように本発明によれば、隣接する
水平方向又は垂直方向の配列間で、同一色の画素が偏る
ように画素を配列することにより、この偏りの分、撮像
素子の出力信号を位相補正して、偏っていないサンプリ
ング点からの撮像結果を生成することができ、これによ
り簡易な構成で色の解像度を向上することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る撮像装置を示
すブロック図である。

【図２】図１の撮像装置における撮像素子を示す正面図
である。

【図３】図１の撮像装置による緑色の色データの処理の
説明に供する略線図である。

【図４】図１の撮像装置の緑色信号処理回路を示すブロ
ック図である。

【図５】図１の撮像装置の位相補正の説明に供する略線
図である。

【図６】図１の赤色青色信号処理回路を示すブロック図
である。

【図７】赤色青色信号処理回路の動作の説明に供する略
線図である。

【図８】図７に示す処理により得られるサンプリング点
を示す略線図である。

【図９】図８に対応して示す従来構成のサンプリング点
を示す略線図である。

【図１０】赤色青色信号処理回路の動作の説明に供する
特性曲線図である。

【図１１】本発明の第２の実施の形態に係る撮像装置を
示すブロック図である。

【図１２】図１１の撮像装置における撮像素子を示す正
面図である。

【図１３】図１１の撮像装置における赤色青色信号処理
回路の動作の説明に供する略線図である。

【図１４】図１１の撮像装置における簡易補間回路を示
すブロック図である。

【図１５】図１４の簡易補間回路の動作の説明に供する
略線図である。

【図１６】図１５の簡易補間回路の第１の補間処理を示
す略線図である。

【図１７】図１５の簡易補間回路の第２の補間処理を示
す略線図である。

【図１８】図１５の簡易補間回路の第３の補間処理を示
す略線図である。

【図１９】本発明の第３の実施の形態に係る撮像装置の
撮像素子を示す略線図である。

【図２０】第３の実施の形態に係る赤色青色信号処理回
路の動作の説明に供する略線図である。

【図２１】第４の実施の形態に係るカメラヘッドユニッ
トを示すブロック図である。

【図２２】図２１のカメラヘッドユニットからのデータ
を処理するパーソナルコンピュータを示すブロック図で
ある。

【図２３】他の実施の形態に係る撮像装置の赤色青色信
号処理回路を示すブロック図である。

【図２４】他の実施の形態に係る撮像装置の簡易補間回
路の動作の説明に供する略線図である。

【図２５】従来の撮像素子を示す正面図である。

【図２６】図２５の撮像素子による撮像結果を示す特性
曲線図である。

【符号の説明】

１、３０、４０ 撮像装置 ４、３１、４１ ＣＣＤ固体撮像素子 １０ 緑色信号処理回路 １５、３３、４３ 赤色青色信号処理回路 １７、１８ ローパスフィルタ １９ 減算回路 ２０ 位相シフト補正回路 ２１ 加算回路 ３４、４４ 簡易補間回路 ５０ カメラヘッドユニット

Claims (4)

【特許請求の範囲】
1. 【請求項１】 それぞれ規定帯域の入射光を選択的に受
   光するように形成された画素を、規定の配列順序で水平
   及び垂直方向にマトリックス状に順次配列して形成され
   た撮像素子と、 前記撮像素子の出力信号を処理して撮像結果を出力する
   信号処理手段とを備え、 前記撮像素子は、 水平方向又は垂直方向の画素の配列において、同一帯域
   の入射光を受光する画素が規定のサンプリングピッチで
   順次配列され、 前記水平方向又は垂直方向における同一帯域の入射光を
   受光する画素の配列が、隣接する水平方向又は垂直方向
   の同一帯域の入射光を受光する画素の配列に対して偏っ
   て配置されたことを特徴とする撮像装置。
2. 【請求項２】 前記信号処理手段は、 前記撮像素子の画素が前記偏って配置された分、該画素
   より得られる前記撮像素子の出力信号、又は隣接する水
   平方向又は垂直方向の画素の配列の、対応する画素より
   得られる前記撮像素子の出力信号を位相補正した後、他
   の画素より得られる前記出力信号と合成して前記撮像結
   果を出力することを特徴とする請求項１に記載の撮像装
   置。
3. 【請求項３】 前記撮像素子は、 画素の配列の偏りを、水平方向又は垂直方向の画素の配
   列毎に、交互に切り換えて各画素を配置したことを特徴
   とする請求項１に記載の撮像装置。
4. 【請求項４】 それぞれ規定帯域の入射光を選択的に受
   光するように形成された画素を、規定の配列順序で水平
   及び垂直方向にマトリックス状に順次配列して形成され
   た撮像素子より出力される出力信号を処理する撮像結果
   の処理方法において、 前記撮像素子は、 水平方向又は垂直方向の画素の配列において、同一帯域
   の入射光を受光する画素が規定のサンプリングピッチで
   順次配列され、 前記水平方向又は垂直方向における同一帯域の入射光を
   受光する画素の配列が、隣接する水平方向又は垂直方向
   の同一帯域の入射光を受光する画素の配列に対して偏っ
   て配置され、 前記撮像結果の処理方法は、 前記撮像素子の画素が前記偏って配置された分、該画素
   より得られる前記撮像素子の出力信号、又は隣接する水
   平方向又は垂直方向の画素の配列の、対応する画素より
   得られる前記撮像素子の出力信号を位相補正した後、他
   の画素より得られる前記出力信号と合成することを特徴
   とする撮像結果の処理方法。