JP4436733B2

JP4436733B2 - 撮像装置および再生装置

Info

Publication number: JP4436733B2
Application number: JP2004249199A
Authority: JP
Inventors: 隆志石川
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-08-27
Filing date: 2004-08-27
Publication date: 2010-03-24
Anticipated expiration: 2024-08-27
Also published as: JP2006067390A

Description

本発明は、単板式のカラー撮像素子から得られる画素データに関する処理を行う撮像装置および再生装置に関する。

デジタルカメラ等の撮像装置は、近年、高画素化がますます進んでおり、数百万画素の製品も、比較的手軽に購入可能な値段で販売されるに至っている。これに対して、画像データを記録する記録媒体も、大容量化が進み、容量当たりの単価も下がりつつあるが、上限のある記録媒体内に、より多くの画像を保存したいというユーザの要望は常に存在している。

そこで、デジタルカメラ等においては、画像を圧縮して記録媒体に保存するのが一般的である。このときの保存方式は、大きく分けて２つあり、１つは非可逆圧縮、もう１つは可逆圧縮である。前者の非可逆圧縮は、画像データのサイズを高い効率で圧縮することができる利点があるが、反面、撮影時の画像データに完全に戻すことはできない。これに対して、後者の可逆圧縮は、非可逆圧縮ほどの高い圧縮率は得られないが、撮影時の画像データを復元することができる利点がある。

このような画像データを圧縮する方式は種々のものが提案され、実用化され、あるものは規格化されており、ＪＰＥＧ（Joint Photographic Experts Group）やＪＰＥＧ２０００をその一例として挙げることができる。

これらの内のＪＰＥＧ２０００は、ウェーブレット変換を行う前に、色成分間の冗長性を削減する色変換の処理を行うことが可能となっている。この色変換としては、ロスレスの色変換である可逆色変換（ＲＣＴ：Reversible multiple Component Transformation）と、ロッシーの色変換である非可逆色変換（ＩＣＴ：Irreversible multiple Component Transformation）と、が規格として設けられている。可逆色変換の技術が記載された文献としては、例えば特開平９−６９５２号公報が挙げられる。
特開平９−６９５２号公報

しかしながら、上記特開平９−６９５２号公報に記載されたような技術は、各画素についてＲＧＢの３色成分の画素データが揃っている画像（マルチコンポーネント画像）に対して適用されるものであるために、単板式のカラー撮像素子から出力されたＲＡＷ画像データ（つまり、三板化の処理がなされていないＲＡＷ画像データ）に対しては、該技術をそのまま適用することはできない。

そして、原色ベイヤー配列の撮像素子を備えた撮像装置は、通常、ＲＡＷ画像データを圧縮するときに、色成分変換に関する処理は行わないために、色成分間の冗長性が残ることになり、画像データのサイズをより小さくする余地が残っている。

本発明は上記事情に鑑みてなされたものであり、単板式のカラー撮像素子から出力される画像データを、より効率的に圧縮することが可能な撮像装置および再生装置を提供することを目的としている。

上記の目的を達成するために、第１の発明による撮像装置は、３色または４色の色成分が各得られる３種類または４種類の画素をベイヤー配列して構成された単板式のカラー撮像素子と、上記３種類の画素を全て含む、または上記４種類の画素を全て含む、水平方向２画素×垂直方向２画素でなる画素ブロックの各画素データに基づいて、所定の可逆な相関演算を行い、相関演算後の画像データを出力する相関演算手段と、上記相関演算手段から出力される相関演算後の画像データを記録する記録手段と、を具備し、上記画素ブロックの各画素データに基づいて得られる、赤の色成分の画素データをＲ、青の色成分の画素データをＢ、２つの緑の色成分の内の一方の画素データをＧｒ、２つの緑の色成分の内の他方の画素データをＧｂとすると、上記相関演算手段は、上記所定の可逆な相関演算を、次の数式、

に基づき行うことにより、相関演算後の画像データＹ，Ｃｒ，Ｃｂ，Ｃｇを算出するものである。
第２の発明による撮像装置は、上記第１の発明による撮像装置において、上記カラー撮像素子のベイヤー配列が、赤、青、緑の各色成分が各得られる画素を配列してなる原色ベイヤー配列であり、上記画素データＲは赤の色成分の画素から得られる画素データ、上記画素データＢは青の色成分の画素から得られる画素データ、上記画素データＧｒは上記赤の色成分の画素を含むラインの緑の色成分の画素から得られるデータ、上記画素データＧｂは上記青の色成分の画素を含むラインの緑の色成分の画素から得られるデータ、である。

第３の発明による撮像装置は、上記第１の発明による撮像装置において、上記カラー撮像素子のベイヤー配列が、シアン、マゼンタ、イエローの各色成分が各得られる画素を含む複数の画素を配列してなる補色ベイヤー配列であり、上記相関演算手段は、上記画素ブロックの各画素データに基づいて上記画素データＲ、画素データＢ、画素データＧｒ、画素データＧｂを算出し、算出された各画素データに基づいて、上記所定の可逆な相関演算を行うものである。

第４の発明による再生装置は、第１の発明による撮像装置の記録手段に記録されている画像データに上記相関演算の逆演算を行って再生する再生手段を具備したものである。

本発明の撮像装置および再生装置によれば、単板式のカラー撮像素子から出力される画像データを、より効率的に圧縮することが可能となる。

以下、図面を参照して本発明の実施例を説明する。

図１から図８は本発明の実施例１を示したものであり、図１は撮像装置の構成を示すブロック図である。

この撮像装置は、後述するように、画像を再生して表示することもできるようになっているために、再生装置を兼ねたものとなっている。

この撮像装置は、レンズ１と、ローパスフィルタ２と、ＣＣＤ３と、ＣＤＳ／ＡＧＣ回路４と、Ａ／Ｄ変換回路５と、ＣＣＤドライバ６と、ＴＧ（タイミングジェネレータ）７と、ＤＳＰ回路８と、ＲＡＭ９と、Ｄ／Ａ変換回路１０と、ＬＣＤ１１と、ＬＣＤドライバ１２と、圧縮／伸張回路１３と、記録媒体１４と、ＡＥ／ＡＦ処理回路１５と、操作スイッチ１６と、ＥＥＰＲＯＭ１７と、ＲＯＭ１８と、ＣＰＵ１９と、を有して構成されている。

上記レンズ１は、光学的な被写体像を結像するためのものである。

上記ローパスフィルタ２は、このレンズ１を通過した光束から不要な高周波成分を取り除くためのものである。

上記ＣＣＤ３は、このローパスフィルタ２を介して上記レンズ１により結像された光学的な被写体像を電気的な信号に変換して出力するものであり、単板式のカラー撮像素子として構成されたものとなっている。すなわち、このＣＣＤ３は、１画素に付き１色成分の画素データを出力するものとなっている。

上記ＣＤＳ／ＡＧＣ回路４は、このＣＣＤ３から出力される信号に後述するようなノイズ除去や増幅の処理を行う信号処理手段である。

上記Ａ／Ｄ変換回路５は、このＣＤＳ／ＡＧＣ回路４から出力されるアナログの画像信号をデジタルの画像信号に変換する信号処理手段である。

上記ＣＣＤドライバ６は、上記ＣＣＤ３を制御して駆動するためのものである。

上記ＴＧ（タイミングジェネレータ）７は、上記ＣＤＳ／ＡＧＣ回路４，Ａ／Ｄ変換回路５，ＣＣＤドライバ６にタイミングを制御するための信号を供給するものである。

上記ＤＳＰ回路８は、上記Ａ／Ｄ変換回路５からの信号に対して所定のデジタル信号処理を行うものである。

上記ＲＡＭ９は、このＤＳＰ回路８からの信号を一時的に記憶するものであり、フレームバッファ等として構成されていて、再生手段の一部となっている。

上記Ｄ／Ａ変換回路１０は、このＲＡＭ９に記憶されているデジタル信号をアナログ信号に変換するものであり、再生手段の一部である。

上記ＬＣＤ１１は、このＤ／Ａ変換回路１０により変換されたアナログの画像信号に基づき、画像を表示する表示手段であり、再生手段の一部である。

上記ＬＣＤドライバ１２は、このＬＣＤ１１を制御して駆動するためのものであり、再生手段の一部である。

上記圧縮／伸張回路１３は、上記ＲＡＭ９に記憶されているデジタル信号を圧縮するとともに、後述する記録媒体１４から読み出した圧縮されたデジタル信号の伸張も行うものであり、相関演算手段および色空間変換手段を兼ねた圧縮／伸張手段となっている。なお、この圧縮／伸張回路１３も、再生手段の一部となっている。

上記記録媒体１４は、この圧縮／伸張回路１３により圧縮されたデジタル信号を記録する記録手段である。

上記ＡＥ／ＡＦ処理回路１５は、上記Ａ／Ｄ変換回路５からのデジタル画像信号に基づいて、露出制御用の算出と、オートフォーカス（ＡＦ）制御用の算出と、を行うものである。

上記操作スイッチ１６は、撮像装置の撮影動作開始やモード切り換えなどの操作を行うための各スイッチ類を含んで構成された操作手段である。

上記ＥＥＰＲＯＭ１７は、この撮像装置において用いられる各種のデータ等を記録するものである。

上記ＲＯＭ１８は、この撮像装置の動作を制御するためのプログラムが記録されたものである。

上記ＣＰＵ１９は、上述した各回路等を含むこの撮像装置全体の動作を制御するための制御手段である。

このような撮像装置の動作は、ほぼ次のようになっている。

上記レンズ１を通過した光束は、ローパスフィルタ２を介して、ＣＣＤ３の撮像面に結像する。

上記操作スイッチ１６の操作による静止画の撮影指示が入力されると、上記ＣＣＤ３による光電変換が行われて、アナログの画像信号が出力される。

このＣＣＤ３からの信号は、ＣＤＳ／ＡＧＣ回路４に入力されて、該ＣＤＳ／ＡＧＣ回路４内のＣＤＳ回路部により公知の相関二重サンプリングなどが行われてリセットノイズが除去されるとともに、該ＣＤＳ／ＡＧＣ回路４内のＡＧＣ回路部により所定の信号レベルへの増幅が行われて出力される。

このＣＤＳ／ＡＧＣ回路４からのアナログの画像信号は、続くＡ／Ｄ変換回路５によって、デジタルの画像信号（画像データ）に変換される。

これらＣＤＳ／ＡＧＣ回路４、上記Ａ／Ｄ変換回路５へは、タイミングジェネレータ７により生成されたタイミングを制御するための信号が入力されるようになっており、該タイミングジェネレータ７からの信号は、さらに上記ＣＣＤドライバ６へも入力される。このタイミングジェネレータは、ＣＰＵ１９により制御されるようになっている。

上記ＤＳＰ回路８は、上記Ａ／Ｄ変換回路５からの画像データに対して、所定の画像処理演算を行うとともに、得られた演算結果に基づいて該画像データにオートホワイトバランス処理も行う。

このＤＳＰ回路８により処理された画像データは、ＲＡＭ９に一時的に記憶される。

このＲＡＭ９内の画像データは、圧縮／伸張回路１３内の圧縮回路部により圧縮される。この圧縮／伸張回路１３は、後で詳しく説明するように、通常の符号化処理を行う前に、画素データの色成分の可逆な相関演算を行って、高圧縮率の符号化を行うことができるように処理するものとなっている。

こうして圧縮／伸張回路１３により圧縮された画像データは、記録媒体１４に記録される。

また、上記操作スイッチ１６の所定の操作により記録済みの画像の再生指示が行われた場合には、記録媒体１４に記録されている圧縮されたデータが、圧縮／伸張回路１３内の伸張回路部により伸張される。このときにも、上述と同様に、通常の符号化処理を行った後の画像データについて、上記相関演算の逆演算を行うことにより、元の画像データを復元するようになっている。このときには、上述したように相関演算が可逆であるために、元の画像を正確に復元することが可能となっている。

この圧縮／伸張回路１３により伸張された画像データは、ＲＡＭ９に一時的に記憶され、その画像データがＤ／Ａ変換回路１０によりアナログの画像信号に変換された後に、ＬＣＤ１１に表示される。なお、このＬＣＤ１１は、再生画像を表示するのに用いられるだけでなく、その他の用途、例えば撮影モードの表示などにも用いられるようになっている。

このＬＣＤ１１の動作は、ＬＣＤドライバ１２から発生された信号により制御される。

一方、上記Ａ／Ｄ変換回路５からのデジタル画像データは、ＡＥ／ＡＦ処理回路１５へ入力される。

このＡＥ／ＡＦ処理回路１５は、１フレーム（１画面）分の画像データの輝度値を算出して重み付け加算する等の処理を行うことにより、被写体の明るさに対応したＡＥ評価値を算出し、算出結果をＣＰＵ１９へ出力するとともに、１フレーム（１画面）分の画像データの輝度成分にハイパスフィルタなどを用いて高周波成分を抽出し、抽出した高周波成分の累積加算値を算出する等により高周波域側の輪郭成分等に対応したＡＦ評価値を算出し、算出結果をＣＰＵ１９へ出力する。この実施例１においては、ＡＥ／ＡＦ処理回路１５により算出された上記ＡＦ評価値に基づいて、ＣＰＵ１９が焦点検出を行うようになっている。

上記ＥＥＰＲＯＭ１７は、露出制御やオートフォーカス処理等に必要な各種補正データがカメラ製造時に記録されたものであり、ＣＰＵ１９は、必要に応じて、このＥＥＰＲＯＭ１７から補正データを読み出して各種の演算を行うようになっている。

次に、上記ＣＣＤ３の各画素の色成分の配置例について、図２および図３を参照して説明する。図２はＣＣＤの原色ベイヤー配列を示す図、図３はＣＣＤの補色ベイヤー配列を示す図である。

上記ＣＣＤ３は、より詳しくは、半導体基板上に、光電変換を行うフォトダイオードを縦方向および横方向に２次元的に配列して構成されている。そして、これらのフォトダイオード上に、各色成分の光のみを透過させるカラーフィルタを配置することにより、各色成分に対応する画素が配列されたＣＣＤ３を構成するようになっている。

まず、図２は、原色系のカラーフィルタを配置したものであり、水平方向２画素×垂直方向２画素でなる画素ブロックが、原色ベイヤー配列の基本単位となっている。この画素ブロックにおいて、対角方向に赤の色成分の画素Ｒと青の色成分の画素Ｂとが配列され、残りの対角方向に緑の色成分の画素が配列されている。画素ブロック内の２つの緑の色成分の画素の内、画素Ｒと同じ水平方向（ライン方向）に配列されている画素をＧｒ、画素Ｂと同じ水平方向（ライン方向）に配列されている画素をＧｂとしている。

次に、図３は、補色系のカラーフィルタを配置したものであり、同様に、水平方向２画素×垂直方向２画素でなる画素ブロックが、補色ベイヤー配列の基本単位となっている。この画素ブロックにおいて、一方の水平方向（ライン方向）にイエローの色成分の画素Ｙとシアンの色成分の画素Ｃとが配列され、残りの水平方向（ライン方向）にマゼンタの色成分の画素Ｍと緑の色成分の画素Ｇとが配列されていて、画素Ｙと画素Ｍとは同一列、かつ画素Ｃと画素Ｇとは同一列、として構成されている。

次に、図４は、圧縮／伸張回路１３により行われる可逆色変換の処理を示すフローチャートである。

この処理は、圧縮／伸張回路１３の圧縮回路部により行われ、上記ＲＡＭ９から読み出した画素データを例えばレベルシフトした後に、この処理を実行するようになっている。

この処理を開始すると、入力した画素データ（入力信号）が、原色系の画素データであるか否か、つまり、画素Ｒから出力された赤の色成分の画素データ（この画素データを、同様に画素データＲと称する。なお、他の色成分の画素データに関しても同様。）、画素Ｇｒから出力された緑の色成分の画素データＧｒ、画素Ｇｂから出力された緑の色成分の画素データＧｂ、画素Ｂから出力された青の色成分の画素データＢの何れかであるか否かを判断する（ステップＳ１）。

ここで、原色系の画素データでない場合には、原色系の画素データへの変換を行う（ステップＳ２）。つまり、例えば、上記図３に示したような補色系の画素配列のＣＣＤ３から得られた画素データは、原色系の画素データとの間に、図６に概要を示すような関係がある。ここに、図６は、原色カラーフィルタの特性と、補色カラーフィルタの特性と、の関係の概要を示す線図である。

図６（Ａ）に示すように、原色カラーフィルタは、可視光領域の中の、青の領域の光を透過させる青フィルタ（Ｂ）と、緑の領域の光を透過させる緑フィルタ（Ｇ）と、赤の領域の光を透過させる赤フィルタ（Ｒ）と、をそれぞれ有して構成されている。

これに対して、補色カラーフィルタの中のシアン（Ｃ）のカラーフィルタは、図６（Ｂ）に示すように、可視光領域の中の、青の領域の光と緑の領域の光とを透過させるフィルタとなっている。

同様に、補色カラーフィルタの中のマゼンタ（Ｍ）のカラーフィルタは、図６（Ｃ）に示すように、可視光領域の中の、青の領域の光と赤の領域の光とを透過させるフィルタとなっており、イエロー（Ｙ）のカラーフィルタは、図６（Ｄ）に示すように、可視光領域の中の、緑の領域の光と赤の領域の光とを透過させるフィルタとなっている。

従って、補色系の画素データは、次の数式１に示すような演算を行うことにより、原色系の画素データに変換することが可能である。

なお、この数式１に示した変換式は、一例を示したものであり、これ以外にも、マトリクスを用いた変換処理等を行うようにしても構わない。ただし、ＣＣＤ３は上述したように単板式のカラー撮像素子であって、１画素から１色成分しか得られないために、マトリクスを用いた原色系への変換処理を行う場合には、画素ブロック内の複数画素の色成分に基づき行うことになる。

図４の説明に戻って、上記ステップＳ２の処理が終了するか、または上記ステップＳ１において、入力した画素データ（入力信号）が原色系であると判定された場合には、入力した色成分が、Ｒ，Ｇｒ，Ｇｂ，Ｂの何れであるかに応じて分離する（ステップＳ３）。

そして、このステップＳ３により分離された画素データが、画素ブロックを構成する画素データＲ，Ｇｒ，Ｇｂ，Ｂとして揃ったところで、可逆色変換を行う（ステップＳ４）。

この可逆色変換は、次のような数式２により行われる。

ここに、数式２において、Ｌ字状の括弧は、括弧内の数を超えない最大の整数を表す記号である。

なお、この数式２は、２や４による割り算（この割り算は、後で図７を参照して説明するように、ビットシフトにより行われる。）を含み、小数点の丸めを含んでいるために、一見して可逆性が一部損なわれているように見える（例えば、上記ビットシフトで最下位ビットの情報が損なわれるように見える）が、実際には可逆性が保たれている。

つまり、（Ｇｒ＋Ｇｂ）／２の算出において損なわれる可能性のある情報は、ＧｒとＧｂとの差分により算出されるＣｇを用いて復元することが可能である。従って、Ｃｒ，Ｃｂ，Ｃｇとして正確な情報を復元することができ、つまり、Ｃｒを通じて正確なＲの情報を、Ｃｂを通じて正確なＢの情報を復元可能である。こうして、正確なＲの情報、Ｂの情報、（Ｇｒ＋Ｇｂ）／２の情報を用いて、正確なＹの情報も復元可能となる。従って、誤差のないＹ，Ｃｒ，Ｃｂ，Ｃｇを復元可能であるために、元のＲ，Ｇｒ，Ｇｂ，Ｂを正確に復元することが可能であることが分かる。

図７は、数式２の演算を実行するための可逆色変換装置の回路例を示す図である。

上記ステップＳ３で分離された各色成分の内の、色成分Ｇｒと色成分Ｇｂとが和算回路２１に入力されるとＧｒ＋Ｇｂが算出される。この算出結果が右１ビットシフト回路２２に入力されると、右に１ビットのシフトが行われて［（Ｇｒ＋Ｇｂ）／２］（なお、文章中においては、Ｌ字状の括弧を、通常の大括弧［］により代用している。）が算出される。さらに、その結果が左１ビットシフト回路２３に入力されると、左に１ビットのシフトが行われて２×［（Ｇｒ＋Ｇｂ）／２］が算出される。一方、上記ステップＳ３で分離された各色成分の内の、色成分Ｒと色成分Ｂとが和算回路２４に入力されるとＲ＋Ｂが算出される。この結果と、上記左１ビットシフト回路２３の出力と、が和算回路２５に入力されると、数式２のＹの右辺の［］内の分子が算出される。この結果が右２ビットシフト回路２６に入力されることにより、数式２に示すＹが算出される。

同様にして、上記ステップＳ３で分離された各色成分の内の色成分Ｒと、右１ビットシフト回路２２の出力の符号を反転したものと、が和算回路２７に入力されることにより、数式２に示すＣｒが算出される。

そして、上記ステップＳ３で分離された各色成分の内の色成分Ｂと、右１ビットシフト回路２２の出力の符号を反転したものと、が和算回路２８に入力されることにより、数式２に示すＣｂが算出される。

加えて、上記ステップＳ３で分離された各色成分の内の、色成分Ｇｒと、色成分Ｇｂの符号を反転したものと、が和算回路２９に入力されることにより、数式２に示すＣｇが算出される。

一方、図５は、圧縮／伸張回路１３により行われる可逆逆色変換の処理を示すフローチャートである。

この処理は、圧縮／伸張回路１３の伸張回路部により行われ、上記記録媒体１４から読み出して通常の伸張処理が行われた画素データについて実行され、この処理を行った後に逆レベルシフト等を行って、上記ＲＡＭ９に処理後のデータを記憶させるようになっている。

この処理を開始すると、通常の伸張処理が行われた画素データを、Ｙ，Ｃｂ，Ｃｒ，Ｃｇの各成分毎に分離する（ステップＳ６）。

そして、このステップＳ６により分離された画素データが、画素ブロックを構成する画素データＹ，Ｃｂ，Ｃｒ，Ｃｇとして揃ったところで、可逆逆色変換を行う（ステップＳ７）。

この可逆逆色変換は、次のような数式３により行われる。

この数式３においても、Ｌ字状の括弧が、括弧内の数を超えない最大の整数を表す記号であるのは上述と同様である。

図８は、数式３の演算を実行するための可逆逆色変換装置の回路例を示す図である。

上記ステップＳ６で分離された各成分の内の、成分Ｃｒと成分Ｃｂとが和算回路３１に入力されるとＣｒ＋Ｃｂが算出される。この算出結果が右２ビットシフト回路３２に入力されると、右に２ビットのシフトが行われて［（Ｃｒ＋Ｃｂ）／４］（Ｌ字状の括弧を大括弧［］により代用するのは上述と同様である。）が算出される。次に、上記ステップＳ６で分離された各成分の内の成分Ｙと、右２ビットシフト回路３２の出力の符号を反転したものと、が和算回路３３に入力されると、Ｙ−［（Ｃｒ＋Ｃｂ）／４］が算出される。一方、上記ステップＳ６で分離された各成分の内の成分Ｃｇが右１ビットシフト回路３４に入力されると、右に１ビットのシフトが行われて［Ｃｇ／２］が算出される。和算回路３３の出力と、右１ビットシフト回路３４の出力の符号を反転したものと、が和算回路３５に入力されることにより、数式３に示すＧｂが算出される。

次に、和算回路３５の出力と、上記ステップＳ６で分離された各成分の内の成分Ｃｇと、が和算回路３６に入力されることにより、数式３に示すＧｒが算出される。

さらに、和算回路３３の出力と、上記ステップＳ６で分離された各成分の内の成分Ｃｒと、が和算回路３７に入力されることにより、数式３に示すＲが算出される。

そして、和算回路３３の出力と、上記ステップＳ６で分離された各成分の内の成分Ｃｂと、が和算回路３８に入力されることにより、数式３に示すＢが算出される。

なお、上述では、可逆色変換と可逆逆色変換との処理を回路により行う例を示したが、コンピュータにおいて可逆色変換ソフトウェアや可逆逆色変換ソフトウェアを実行することにより処理を行うようにすることももちろん可能である。

また、上述したような技術は、デジタルカメラや撮影機能を備えた携帯電話、フィルムスキャナ、コピー機など、撮像を行う機能を備えた各種の撮像装置に広く適用することが可能である。

このような実施例１によれば、３板化していない単板の画像データ（ＲＡＷ画像データ）に通常の圧縮処理を施す前に、近傍画素における色成分間の相関性を利用して、画像データの冗長性を除く処理（相関演算処理であり、色変換処理であるということもできる）を行っているために、その後の圧縮処理において、より高い圧縮率でデータ圧縮を行うことが可能となる。そして、この演算処理を、可逆な処理としているために、その後の圧縮処理が可逆な圧縮処理であれば、元のデータを完全に復元することが可能となる。また、その後の圧縮処理が非可逆な圧縮処理であっても、色相関に基づく演算処理によりデータが損なわれることはないために、色相関に基づく演算処理を行わない場合と同一のデータを復元することができる。

図９から図１３は本発明の参考例を示したものである。この参考例において、上述の実施例１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

撮像素子からの画素読出は、ノンインターレースで行われる場合以外に、インターレースで行われる場合がある。この場合には、同一ライン上において隣接する画素同士に高い相関性があると考えられる。ここで特に、奇数ラインおきに読み出しが行われる場合には、あるラインのすぐ下のラインが読み出されるのは次のフィールド期間まで待たなければならないために、インターレースで読み出される画像をリアルタイムで処理する場合などには、カラム方向の画素同士の相関性を利用することができない。このような理由から、ライン方向の画素同士の相関性を利用するようにしたのがこの参考例である。

なお、この参考例における撮像装置の基本的な構成は、上述した実施例１の図１に示したものと同様であるために、必要に応じて該図１を参照しながら説明を行う。

まず、図９は、圧縮／伸張回路１３により行われるインターレースの可逆色変換の処理を示すフローチャートである。

この処理を開始すると、入力した画素データ（入力信号）が、原色系の画素データであるか否かを判断する（ステップＳ１１）。

ここで、原色系の画素データでない場合には、原色系の画素データへの変換を行う（ステップＳ１２）。

このステップＳ１２の処理が終了するか、または上記ステップＳ１１において、入力した画素データが原色系であると判定された場合には、ライン方向に隣接する画素同士の間で、可逆色変換を行う（ステップＳ１３）。

この可逆色変換は、ライン方向の画素列が図１１に示すものであるとすると、次のような数式４により行われる。なお、図１１はライン方向の画素の配列を示す図である。

なお、この数式４において、ｎが偶数のときと奇数のときとで符号を逆にしたのは、次の理由による。例えば、あるラインの画素が、左から右に向かってＲ，Ｇ，Ｒ，Ｇ，…と配列されていたとする。このときに、Ｘn −Ｘn-1 を順に計算すると、（Ｇ−Ｒ），（Ｒ−Ｇ），…などとなり、１回毎に符号が反転することになる。従って、一定の符号を得ることができるようにするために、ｎが偶数のときと奇数のときとで符号を逆にするようにしたものである。

上記数式４は、ｎが２以上のときに成り立つものであるために、ｎ＝１のときには何らかの定義付けを行う必要がある。その一例としては、次のようなものが考えられる。例えば、信号のダイナミックレンジの中央値としてＸ0 を予め設定しておき、ｎ＝１でもこの計算をそのまま行うことができるようにするものである。ただし、この参考例においても、上述した実施例１と同様に、可逆色変換を行う前に、レベルシフト（つまり、ダイナミックレンジの中央値が０となるようなレベルシフト）を行うことが望ましいために、この場合には、Ｘ0 ＝０となるように予め設定しておくことが考えられる。なお、ここで説明したのは一例であり、ｎ＝１のときにその他の種々の処理を行うようにすることも可能である。

図１２は、数式４の演算を実行するための可逆色変換装置の回路例を示す図である。

Ｘn とＸn-1 の符号を反転したものとが和算回路４１に入力されると、Ｘn −Ｘn-1 が算出される。この算出結果が正負反転回路４２に入力されると、ｎが奇数のときにはそのまま出力され、ｎが偶数のときには符号を反転したものが出力される。従って、ｎが奇数のときには数式４の上の式で算出されたＣn が、ｎが偶数のときには数式４の下の式で算出されたＣn が、それぞれ出力される。

次に、図１０は、圧縮／伸張回路１３により行われるインターレースの可逆逆色変換の処理を示すフローチャートである。

この処理は、圧縮／伸張回路１３の伸張回路部により行われ、上記記録媒体１４から読み出して通常の伸張処理が行われた画素データについて実行され、この処理を行った後に上述したように逆レベルシフト等を行って、上記ＲＡＭ９に処理後のデータを記憶させるようになっている。

この処理を開始すると、通常の伸張処理が行われた画素データについて、ライン方向に隣接する画素データ同士で、可逆逆色変換を行う（ステップＳ１６）。

この可逆逆色変換は、次のような数式５により行われる。

図１３は、数式５の演算を実行するための可逆逆色変換装置の回路例を示す図である。

Ｃn が正負反転回路４３に入力されると、ｎが奇数のときには符号を反転したものが出力され、ｎが偶数のときにはそのまま出力される。前回の計算で求められたＸn-1 と、正負反転回路４３の出力の符号を反転したものと、が和算回路４４に入力されると、ｎが奇数のときには数式５の上の式で算出されたＸn が、ｎが偶数のときには数式５の下の式で算出されたＸn が、それぞれ出力される。

なお、インターレース読み出しは、２フィールドで１フレームを構成するものに限らず、３つ以上のフィールドで１フレームを構成するものであっても、上述した技術をそのまま適用することが可能である。

また、本参考例の処理も、回路により行うに限らず、ソフトウェアにより行うことも可能である。

このような参考例によれば、インターレース読み出しの撮像素子から出力される画像データに対しても、上述した実施例１とほぼ同様の効果を奏することができる。そして、上述した処理はフレームバッファを必要としないために、ＲＡＭ９の容量を小さくしたり、あるいは削除したりすることが可能となり、コストを削減することができる。加えて、リアルタイムの処理を行うことも可能となる。

なお、本発明は上述した実施例に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明は、単板式のカラー撮像素子から得られる画素データに関する処理を行う撮像装置および再生装置に好適に利用することができる。

本発明の実施例１の撮像装置の構成を示すブロック図。上記実施例１において、ＣＣＤの原色ベイヤー配列を示す図。上記実施例１において、ＣＣＤの補色ベイヤー配列を示す図。上記実施例１において、圧縮／伸張回路により行われる可逆色変換の処理を示すフローチャート。上記実施例１において、圧縮／伸張回路により行われる可逆逆色変換の処理を示すフローチャート。上記実施例１において、原色カラーフィルタの特性と、補色カラーフィルタの特性と、の関係の概要を示す線図。上記実施例１において、数式２の演算を実行するための可逆色変換装置の回路例を示す図。上記実施例１において、数式３の演算を実行するための可逆逆色変換装置の回路例を示す図。本発明の参考例において、圧縮／伸張回路により行われるインターレースの可逆色変換の処理を示すフローチャート。上記参考例において、圧縮／伸張回路により行われるインターレースの可逆逆色変換の処理を示すフローチャート。上記参考例において、ライン方向の画素の配列を示す図。上記参考例において、数式４の演算を実行するための可逆色変換装置の回路例を示す図。上記参考例において、数式５の演算を実行するための可逆逆色変換装置の回路例を示す図。

１…レンズ
２…ローパスフィルタ
３…ＣＣＤ（単板式のカラー撮像素子）
４…ＣＤＳ／ＡＧＣ回路
５…Ａ／Ｄ変換回路
６…ＣＣＤドライバ
７…ＴＧ（タイミングジェネレータ）
８…ＤＳＰ回路
９…ＲＡＭ（再生手段）
１０…Ｄ／Ａ変換回路（再生手段）
１１…ＬＣＤ（再生手段）
１２…ＬＣＤドライバ（再生手段）
１３…圧縮／伸張回路（相関演算手段、色空間変換手段、再生手段）
１４…記録媒体（記録手段）
１５…ＡＥ／ＡＦ処理回路
１６…操作スイッチ
１７…ＥＥＰＲＯＭ
１８…ＲＯＭ
１９…ＣＰＵ

Claims

３色または４色の色成分が各得られる３種類または４種類の画素をベイヤー配列して構成された単板式のカラー撮像素子と、
上記３種類の画素を全て含む、または上記４種類の画素を全て含む、水平方向２画素×垂直方向２画素でなる画素ブロックの各画素データに基づいて、所定の可逆な相関演算を行い、相関演算後の画像データを出力する相関演算手段と、
上記相関演算手段から出力される相関演算後の画像データを記録する記録手段と、
を具備し、
上記画素ブロックの各画素データに基づいて得られる、赤の色成分の画素データをＲ、青の色成分の画素データをＢ、２つの緑の色成分の内の一方の画素データをＧｒ、２つの緑の色成分の内の他方の画素データをＧｂとすると、上記相関演算手段は、上記所定の可逆な相関演算を、次の数式、

に基づき行うことにより、相関演算後の画像データＹ，Ｃｒ，Ｃｂ，Ｃｇを算出するものであることを特徴とする撮像装置。
上記カラー撮像素子のベイヤー配列は、赤、青、緑の各色成分が各得られる画素を配列してなる原色ベイヤー配列であり、
上記画素データＲは赤の色成分の画素から得られる画素データ、上記画素データＢは青の色成分の画素から得られる画素データ、上記画素データＧｒは上記赤の色成分の画素を含むラインの緑の色成分の画素から得られるデータ、上記画素データＧｂは上記青の色成分の画素を含むラインの緑の色成分の画素から得られるデータ、であることを特徴とする請求項１に記載の撮像装置。
上記カラー撮像素子のベイヤー配列は、シアン、マゼンタ、イエローの各色成分が各得られる画素を含む複数の画素を配列してなる補色ベイヤー配列であり、
上記相関演算手段は、上記画素ブロックの各画素データに基づいて上記画素データＲ、画素データＢ、画素データＧｒ、画素データＧｂを算出し、算出された各画素データに基づいて、上記所定の可逆な相関演算を行うものであることを特徴とする請求項１に記載の撮像装置。
請求項１に記載の撮像装置の記録手段に記録されている画像データに、上記相関演算の逆演算を行って再生する再生手段を具備したことを特徴とする再生装置。