JP4683678B2 - 画像信号処理方法、画像信号処理システム、記憶媒体及び撮像装置 - Google Patents
画像信号処理方法、画像信号処理システム、記憶媒体及び撮像装置 Download PDFInfo
- Publication number
- JP4683678B2 JP4683678B2 JP20443898A JP20443898A JP4683678B2 JP 4683678 B2 JP4683678 B2 JP 4683678B2 JP 20443898 A JP20443898 A JP 20443898A JP 20443898 A JP20443898 A JP 20443898A JP 4683678 B2 JP4683678 B2 JP 4683678B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- processing
- image
- color
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Systems (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Color Television Image Signal Generators (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像信号処理方法、画像信号処理システム、記憶媒体及び撮像装置に関するものである。
【０００２】
【従来の技術】
カラー画像信号を取り扱う画像信号処理システムにおいては、撮像素子から出力される原信号に所定の色補正処理を施して輝度信号及び色差信号を生成し、上記輝度信号及び色差信号を画像表示装置に表示したり、記憶媒体に記憶したりするようにしている。
【０００３】
このような画像信号処理システムにおいて、画像データを記憶するために必要な記憶媒体の容量を少なくて済むようにしたり、画像データを伝送する際の回線負荷を軽減できるようにしたりする技術が種々提案されている。
【０００４】
図１０は、従来の画像信号処理システムの一例を示すブロック図である。図１０に示したように、撮像素子２０１から出力された原信号（この例では、Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒの補色系の原信号を示しているが、Ｒ，Ｇ，Ｂ系でも同様である。）を色処理装置２０２に入力している。
【０００５】
上記色処理装置２０２は、入力された原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒに所定の前処理を施して、疑似的な輝度信号Ｙ´、及び色差信号ｕ´、ｖ´を生成する前処理回路２０２ａと、上記疑似的な輝度信号Ｙ´、及び色差信号ｕ´、ｖ´を用い色情報に対してホワイトバランス補正、γ補正、その他の色補正処理等を行い、輝度信号Ｙ、及び色差信号ｕ、ｖを生成する色処理回路２０２ｂとにより構成されている。
【０００６】
上記色処理回路２０２ｂから出力された輝度信号Ｙ、及び色差信号ｕ、ｖは、情報圧縮装置２０３に入力される。上記情報圧縮装置２０３においては、ＪＰＥＧ，ＭＰＥＧ、Ｈ．２６１等の圧縮技術を用いた情報圧縮が行われる。例えば、所定の画素ブロック毎にＤＣＴ（Discrete Cosine Transform : 離散コサイン変換）される。そして、上記ＤＣＴされた輝度信号Ｙ、及び色差信号ｕ、ｖは、次に、量子化されて高周波成分が除去されて情報量が圧縮される。
【０００７】
上述のようにして、圧縮処理が施された画像データは、次に、符号化装置２０４に与えられて符号化処理される。この符号化処理は、種々の方式で行われるが、例えば、データの発生頻度に応じた符号長を割り当てる可変長符号化を行うことにより、さらに情報圧縮を行うことが可能となる。上記情報圧縮及び符号化された画像信号は、例えば、通信回線を介して送信される。
【０００８】
受信側では、可変長符号化入力装置２０６を介して入力された画像信号を情報伸長装置２０７に入力する。上記情報伸張装置２０７では、上記情報圧縮装置２０３におけるＤＣＴ及び量子化処理の逆の処理が行われ、輝度信号Ｙ、及び色差信号ｕ、ｖが復元される。
【０００９】
そして、上記復元された輝度信号Ｙ、及び色差信号ｕ、ｖが画像表示装置または記憶装置２０８に与えられ、撮像素子２０１によって撮像された画像が表示されたり、記憶媒体に記憶されたりする。
【００１０】
なお、図１０においては、情報圧縮処理としてＤＣＴ、量子化を行った例を示したが、この他に、種々の圧縮方式を用いることができる。例えば、図１１に示すように、コードブックを用いたベクトル量子化、復号化による圧縮方式（以下、コードブック圧縮方式と称する）を用いことができる。
【００１１】
図１１において、図１０と同一の構成については同一の符号を付して詳細な説明を省略する。
この第２の従来例においては、上記色処理装置２０２から出力された輝度信号Ｙ、及び色差信号ｕ、ｖをコードブック方式圧縮装置２１０に入力している。上記コードブック方式圧縮装置２１０は、入力された信号のパターンと、コードブック記憶装置２１１に予め記憶されている複数のコードブック（パターン）とを比較し、その中で最も似通ったパターンを見つけ出して、そのパターンを入力情報に当てはめ、そのパターンのコード番号を出力する情報圧縮方式である。
【００１２】
上記コードブック方式圧縮装置２１０から出力されるコード番号は、コード番号出力装置２１２を介して通信回線等の媒体に送出される。
【００１３】
画像信号の受信側では、媒体を介して送られてきたコード番号をコード番号入力装置２１３で受信し、コードブック方式伸張装置２１４に供給する。コードブック方式伸張装置２１４は、入力されたコード番号に対応するパターンをコードブック記憶装置２１５から取り出すことにより、送信側で圧縮された画像信号を再現（復号）することができる。そして、上記再現された画像信号を画像表示装置または記憶装置２０８に与えることにより、画像表示したり、記憶媒体に記憶したりすることができる。
【００１４】
【発明が解決しようとする課題】
従来の画像信号処理システムにおいては、どのような情報圧縮方式を用いる場合においても、撮像素子２０１から出力される原信号（例えば、Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒ）を色処理装置２０２に入力して、上記色処理装置２０２において種々の色補正信号処理を施した輝度信号Ｙ、及び色差信号ｕ、ｖに対して情報圧縮処理を施している。
【００１５】
最近は、情報圧縮処理の技術が進歩しているので、画像信号に情報圧縮処理を施しても極端な画像劣化は生じないが、情報圧縮処理に伴って発生するブロックノイズや高周波ノイズによる画質の劣化が生じることは避けられない。したがって、画像信号に対する圧縮率に応じて画質の劣化が生じるので、高精細な画像を得るためには圧縮率を大きくするのは好ましくない。
【００１６】
しかしながら、情報圧縮処理における圧縮率を小さくすると、回線を介して伝送したり、記憶媒体に記憶したりする際に、画像データ量が膨大になってしまう問題があった。
【００１７】
本発明は上述の問題点にかんがみ、画像信号を伝送したり、記憶媒体に記憶したりする際のデータ量を大幅に削減でき、且つ色処理を行った後で画質の劣化が生じないようにして高品質の画像を得ることができるようにすることを目的とする。
【００１８】
【課題を解決するための手段】
本発明の画像信号処理方法は、異なる色の画素が隣接して繰り返し配置された、カラーフィルタを有する撮像素子からパラレルに出力される画像信号を処理する方法であって、色情報に関して少なくともホワイトバランス補正又はγ補正を施す色処理工程を経ずに入力される画像信号の情報量をコードブック方式で圧縮する処理を施すとともに、上記撮像素子からパラレルに出力された異なる色の画像信号と、コードブック記憶装置に予め記憶されている複数のコードブックパターンとを比較してパターンのコード番号を出力する圧縮工程と、上記情報圧縮処理された画像信号に対して、入力されたコード番号に基づき伸張処理を施す伸張工程とを行い、上記伸張工程が終了した後で上記色処理工程を行うことを特徴とする。
また、本発明の画像信号処理方法の他の特徴とするところは、上記圧縮工程及び伸張工程で処理される画像信号は、上記撮像素子出力から生成された疑似輝度色差信号（Ｙ´、ｕ´、ｖ´）であることを特徴とする。
【００１９】
本発明の画像信号処理システムは、異なる色の画素が隣接して繰り返し配置された、カラーフィルタを有する撮像素子からパラレルに出力される画像信号に所定の信号処理を施して出力する画像信号供給側と、上記画像信号供給側から得られる画像信号を使用する画像信号入力側とからなる画像信号処理システムであって、色情報に関して少なくともホワイトバランス補正又はγ補正を施す前に上記画像信号にコードブック方式による情報圧縮処理を施すとともに、上記撮像素子からパラレルに出力された異なる色の画像信号と、コードブック記憶装置に予め記憶されている複数のコードブックパターンとを比較してパターンのコード番号を出力する圧縮手段が上記画像信号供給側に設けられ、上記情報圧縮された画像信号に対して、入力されたコード番号に基づき情報伸張処理を施す伸張手段及び色処理手段が画像信号入力側に設けられていて、上記圧縮手段による情報圧縮処理、及び上記伸張手段による情報伸張処理が終了した後で、上記色処理手段により、色情報に関して少なくともホワイトバランス補正又はγ補正を行うことを特徴とする。
また、本発明の画像信号処理システムの他の特徴とするところは、上記圧縮手段及び伸張手段で処理される画像信号は、上記撮像素子出力から生成された疑似輝度色差信号（Ｙ´、ｕ´、ｖ´）であることを特徴とする。
【００２０】
本発明の記憶媒体は、上記画像信号処理方法の手順をコンピュータに実行させるためのプログラムを格納したことを特徴としている。
また、本発明の記憶媒体の他の特徴とするところは、上記各手段としてコンピュータを機能させるためのプログラムを格納したことを特徴としている。
【００２１】
本発明の撮像装置は、被写体を撮像して画像信号を生成する異なる色の画素が隣接して繰り返し配置された、カラーフィルタを有する撮像素子と、上記撮像素子からパラレルに出力される画像信号の色情報に関し少なくともホワイトバランス補正又はγ補正を施さない状態でコードブック方式による情報圧縮処理を施すとともに、上記撮像素子からパラレルに出力された異なる色の画像信号と、コードブック記憶装置に予め記憶されている複数のコードブックパターンとを比較してパターンのコード番号を出力して圧縮画像信号を生成する圧縮手段とを有することを特徴とする。
また、本発明の撮像装置の他の特徴とするところは、上記圧縮手段から出力される圧縮画像信号を記憶媒体に書き込む書き込み手段を有することを特徴とする。
また、本発明の撮像装置のその他の特徴とするところは、上記記憶媒体に記憶した圧縮画像信号を読み出す読み出し手段と、上記読み出し手段によって読み出された圧縮画像信号に情報伸張処理を施す伸張手段と、上記伸張手段によって再生された画像信号の色情報に関し少なくともホワイトバランス補正又はγ補正の何れか１つの処理を施す色処理手段とを具備することを特徴とする。
【００２２】
【発明の実施の形態】
以下、本発明の画像信号処理方法、画像信号処理システム、記憶媒体及び撮像装置の実施の形態を説明する。
【００２３】
（第１の実施の形態）
図１は、本発明の第１の実施の形態を説明するブロックである。図１に示したように、本実施の形態の画像信号処理システムは、撮像素子ＩＣチップ部（以下、撮像部と称する）１０、コードブック方式圧縮装置２０、コードブック記憶装置３０、コード番号出力装置４０によって画像信号の出力側が構成されている。
【００２４】
また、コード番号入力装置５０、コードブック方式伸張装置６０、コードブック記憶装置７０、色処理装置８０、画像表示または記憶装置９０によって画像信号の入力側が構成されている。
【００２５】
上記撮像部１０は撮像素子（受光素子）１１を有し、本実施の形態においては、上記撮像素子１１にシアン、イエロー、マゼンダ、グリーンの３色の補色と１色の原色フィルタを配設している。したがって、撮像素子１１からは原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒがシリアルで出力される。
【００２６】
上記撮像部１０から出力される原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒは、コードブック方式圧縮装置２０に入力される。上記コードブック方式圧縮装置２０は、上述したように、撮像部１０から入力された所定の画素数分の原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒのパターンと、コードブック記憶装置３０に予め記憶されている複数のコードブック（パターン）とを比較する。
【００２７】
本実施の形態のコードブック記憶装置３０は、撮像部１０からシリアルで出力される原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒに対応するシリアルパターンで複数のコードが記憶されており、コードブック方式圧縮装置２０はその中で最も似通ったパターンを見つけ出し、そのパターンのコード番号を出力する。そして、コードブック方式圧縮装置２０から出力されたコード番号は、コード番号出力装置４０により通信回線等の媒体を介してコード番号入力装置側に送信される。
【００２８】
通信回線を介して送られてきたコード番号は、コード番号入力装置５０によって入力されコードブック方式伸張装置６０に供給される。コードブック方式伸張装置６０は、入力されたコード番号に対応するパターンをコードブック記憶装置７０から読みだして、コードブック方式圧縮装置２０によって圧縮した画像データを再生する。
【００２９】
コードブック方式伸張装置６０によって再生された原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒは、次に、色処理装置８０に与えられる。上記色処理装置８０は、入力された原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒから輝度・色差信号を生成する前処理部８１と、色情報に関しホワイトバランス補正、γ補正等の色補正処理のように、良好な画質を得るために必要な種々の処理を行う色処理部８２よりなっている。
【００３０】
したがって、コードブック方式伸張装置６０から入力された原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒは、この色処理装置８０において所定の色処理が施され、輝度信号Ｙ、及び色差信号ｕ、ｖが生成されて出力される。
【００３１】
色処理装置８０から出力された輝度信号Ｙ、及び色差信号ｕ、ｖは、画像表示または記憶装置９０に与えられ、画像表示されたり、記憶媒体に記憶されたりする。
【００３２】
上述のように、本実施の形態の画像信号処理システムは、高品位の画質を得るために行う色補正処理を、情報圧縮処理の前に行わずに情報伸張処理の後で行っている。したがって、情報圧縮処理→情報伸張処理に伴って発生するブロックノイズや高周波ノイズによる画質の劣化を最小限に抑えることができ、回線を介して伝送する際の情報量を大幅に削減できるとともに、色処理後に画像信号が劣化しないようにすることができ、高品位の画質を得ることができる。
【００３３】
（第２の実施の形態）
次に、図２を参照しながら本発明の第２の実施の形態を説明する。なお、上述した第１の実施の形態で示した構成と同一の構成については、同一の符号を付して詳細な説明を省略する。
【００３４】
この第２の実施の形態の場合は、撮像部１０内に原信号並列変換装置１２を設け、撮像部１０から得られる直列の原信号を並列に出力するようにしている。このように、撮像部１０から原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒを並列に出力することにより、上述した第１の実施の形態の利点に加えて、コードブック方式圧縮装置２０におけるパターン比較処理を、例えば４×４画素からなるブロック単位の処理とすることができるので高速化でき、全体の処理速度を向上させることができる利点が得られる。
【００３５】
（第３の実施の形態）
次に、図３を参照しながら本発明の画像信号処理システムの第３の実施の形態を説明する。
この例の場合は、原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒから輝度・色差信号を生成する前処理部１３を撮像部１０内に設けている。したがって、本実施の形態においては、色処理装置１００内には前処理部が不要となり、色処理部８２のみを設ければ済むようになる。
【００３６】
このように、前処理部１３を撮像部１０内に設けることにより、擬似輝度色差信号Ｙ´、ｕ´、ｖ´を生成する演算を撮像素子１１と同一チップ上で行って出力することができる。これにより、演算の高速化が可能となるとともに、後段で行う処理部において必要なメモリ容量を低減化することができる。
【００３７】
また、情報圧縮に適した形式の擬似輝度色差信号Ｙ´、ｕ´、ｖ´を出力するようにすることができるので、圧縮処理の精度を向上させることができるとともに、圧縮処理を大幅に高速化することが可能となる。
【００３８】
さらに、本実施の形態においては、色処理装置１００内において擬似輝度色差信号Ｙ´、ｕ´、ｖ´を生成する必要がないので、色処理装置１００の構成を簡素化できるとともに、色処理に要する時間を低減することができる。
【００３９】
（第４の実施の形態）
次に、図４を参照しながら第４の実施の形態を説明する。上述した第１の実施の形態〜第３の実施の形態の場合は、情報圧縮方式としてコードブック方式の圧縮を行った場合を示した。この例の場合は、情報圧縮装置としてＤＣＴ及び量子化処理を行う圧縮装置２１、可変長符号化装置３１、出力装置３２を出力側に設けている。また、可変長符号化入力装置４１、逆量子化及び逆ＤＣＴ等の情報再生を行う情報伸張装置５１を入力側に設けている。
【００４０】
上述のように構成された本実施の形態においても、上述した実施の形態と同様に、回線を介して伝送する際の情報量を大幅に削減できるとともに、画質の劣化を可及的に防止することができて高品位の画質を得ることができる等の作用効果を得ることができる。
【００４１】
上記前処理部１３で生成する擬似輝度色差信号Ｙ´、ｕ´、ｖ´は、従来より用いられている演算を行うことで生成することができる。図５は、Ｒ、Ｇ、Ｂの原色フィルタを撮像素子１１に配設した場合の例を示している。この場合、擬似輝度信号Ｙ´は、（Ｒ＋２Ｇ＋Ｂ）の演算を行って生成している。また、擬似色差信号ｕ´は、（Ｒ−Ｙ´）の演算を行って生成し、擬似色差信号ｖ´は、（Ｂ−Ｙ´）の演算を行って生成している。
【００４２】
また、図６は補色フィルタを撮像素子１１に配設した場合の例を示している。この場合、１、２行目については、擬似輝度信号Ｙ´は、（（Ｙｅ＋Ｍｇ）＋（Ｃｙ＋Ｇ））×１／２＝１／２（２Ｂ＋３Ｇ＋２Ｒ）の演算を行い、擬似色差信号ｕ´は、（（Ｙｅ＋Ｍｇ）−（Ｃｙ＋Ｇ））＝（２Ｒ−Ｇ）の演算を行って生成している。
【００４３】
また、３、４行目については、擬似輝度信号Ｙ´は、（（Ｙｅ＋Ｇ）＋（Ｃｙ＋Ｍｇ）×１／２＝１／２（２Ｂ＋３Ｇ＋２Ｒ）の演算を行い、擬似色差信号−ｖ´は、（（Ｙｅ＋Ｇ）−（Ｃｙ＋Ｍｇ））＝−（２Ｂ−Ｇ）の演算を行って生成している。
【００４４】
（第５の実施の形態）
上述した実施の形態においては、撮像部１０内で行う演算処理として擬似輝度色差信号Ｙ´、ｕ´、ｖ´を生成する例を示したが、この他に種々の演算処理を撮像部１０内で行うようにすることができる。
【００４５】
その一例として、マトリックス演算を行って、所定の画素ブロック毎に複数の画素信号を並列に出力することも可能である。その一例を以下に示す。図７は、各画素信号を「２×２ブロック」ごとに並列に出力する例を示す回路図であり、図８は図７の各部の動作タイミングを示す図である。
【００４６】
図７及び図８に示したように、垂直走査パルスＶ1 が与えられたタイミングでゲートパルスＳ1 が与えられると、画素Ｙ11信号（Ｙ12信号も同様）が読みだされ、メモリ用コンデンサＣ1 に保持される。また、垂直走査パルスＶ2 が与えられたタイミングでゲートパルスＳ2 が与えられると、画素Ｙ21信号（画素Ｙ22信号）が読みだされ、同じくメモリ用コンデンサに保持される。
【００４７】
次に、ゲートパルスＨ1 が与えられると、メモリ用コンデンサＣ1 に保持されていた画素Ｙ11信号及び画素Ｙ21信号が読みだされる。なお、画素Ｙ12信号及び画素Ｙ22信号も上述と同様に読みだされ、画素Ｙ11信号がメモリ用コンデンサＣ3 に保持され、画素Ｙ12信号がメモリ用コンデンサＣ4 に保持され、画素Ｙ21信号がメモリ用コンデンサＣ5 に保持され、画素Ｙ22信号がメモリ用コンデンサＣ6 に保持される。
【００４８】
そして、時点ｔ1 においてゲートパルスＴ1 が与えられると、メモリ用コンデンサＣ3 〜Ｃ6 にそれぞれ保持されていた画素信号が同時に出力され、図示したようにＹ11、Ｙ12、Ｙ21、Ｙ22が並列に出力される。
【００４９】
次に、時点ｔ2 においてゲートパルスＴ2 が与えられると、１画素分だけ水平方向にずれた１ブロック分の画素信号Ｙ13、Ｙ12、Ｙ23、Ｙ22が並列に出力される。この場合、画素信号Ｙ12及び画素信号Ｙ22はメモリ用コンデンサＣ4 、Ｃ6 にそれぞれ保持されていた画素信号が出力される。
【００５０】
上述の例は、各画素信号をそのまま出力する例を示したが、図９（ａ）に示すように、各画素信号の出力線中に抵抗器Ｒｉを設け、この抵抗器Ｒｉの大きさを変えて、増幅器に設けられている抵抗器Ｒａとの比を変えることにより、マトリクス演算をする際に画素信号に重み付けを行うことができる。また、図９（ｂ）のように増幅器の（−）入力端子側に画素信号を入力することにより、差演算を行うようにすることができる。
【００５１】
（第６の実施の形態）
次に、図１２を参照しながら第６の実施の形態を説明する。
上述した実施の形態においては、圧縮処理を施した信号を通信回線等の媒体を介して外部に出力するようにした例を示したが、本実施の形態においては、圧縮後の信号を一旦記録媒体に記録し、これを再生するとともに、圧縮伸張処理の後で色処理を行う撮像装置に適用した例を示している。
【００５２】
すなわち、第４の実施の形態を説明するための図４と異なる構成は、可変長符号化装置３１と情報伸張装置５１との間に、書込装置１３０、記憶媒体１３１、読出装置１３２を設けている。
【００５３】
このように構成することにより、撮像部１０から出力される画像信号を記憶媒体１３１に記憶するために必要な記憶容量を格段と低減することができ、しかも記憶媒体１３１から読み出した画像信号を情報伸張装置５１で再生してから色処理装置１００内において色処理を行うので、画質の劣化が少なくて済み、高品質な画像を画像表示装置１３３に表示することができる。なお、本実施の形態撮像装置は媒体１３１までの構成にとどめることもできる。
【００５４】
なお、上述した実施の形態の各機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ、いずれも図示せず）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
【００５５】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００５６】
また、コンピュータが読みだしたプログラムコードを実行することにより、実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって実施の形態の機能が実現される場合も含まれる。
【００５７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって実施の形態の機能が実現される場合も含まれる。
【００５８】
【発明の効果】
本発明は上述したように、色情報に関し少なくともホワイトバランス補正又はγ補正等の色補正を行わずに、コードブック方式で圧縮する処理を施すとともに、上記撮像素子からパラレルに出力された異なる色の画像信号と、コードブック記憶装置に予め記憶されている複数のコードブックパターンとを比較してパターンのコード番号を出力するようにし、且つ上記情報圧縮処理された画像信号に対して、入力されたコード番号に基づき伸張処理を施すようにしたので、ブロックノイズや高周波ノイズによる画質の劣化を最小限に抑えることができる。また、回線を介して伝送する際の情報量を大幅に削減できるとともに、色処理後に画像信号が劣化しないようにすることができ処理の高速化を実現することができる。これに加えて、コードブック方式で圧縮する前に、ホワイトバランス補正又はγ補正を行なう場合には、これら補正後のデータに対してのコードブックパターンを用意すること、及び処理が複雑となること等の不都合なく、色処理後に画質の劣化が生じないようにすることができて高品質の画像を得ることができる。
【００５９】
また、本発明の他の特徴によれば、カラー画像信号処理を行う場合の一般的な前処理である擬似輝度色差演算を撮像素子上で行うようにしたので、演算速度を高速化することができるとともに、後段で行う色信号処理に必要なメモリ容量を低減することができる。
【００６０】
また、本発明のその他の特徴によれば、画像圧縮に適した形式の画像信号を撮像素子から出力することができるので、圧縮処理の精度を向上することができるとともに、高速化を達成することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示す画像信号処理システムの構成を示すブロック図である。
【図２】本発明の第２の実施の形態を示す画像信号処理システムの構成を示すブロック図である。
【図３】本発明の第３の実施の形態を示す画像信号処理システムの構成を示すブロック図である。
【図４】本発明の第４の実施の形態を示す画像信号処理システムの構成を示すブロック図である。
【図５】擬似輝度色差信号Ｙ´、ｕ´、ｖ´を生成する手順を説明する図である。
【図６】擬似輝度色差信号Ｙ´、ｕ´、ｖ´を生成する手順を説明する図である。
【図７】本発明の第５の実施の形態を示し、撮像部内で行う演算の一例を示す回路図である。
【図８】図７の回路の各部の動作タイミングを示す図である。
【図９】画素信号に重み付けを行う場合の一例、及び画素信号の差演算を行う場合の一例を示す回路図である。
【図１０】第１の従来例を示す画像信号処理システムの構成を示すブロック図である。
【図１１】第２の従来例を示す画像信号処理システムの構成を示すブロック図である。
【図１２】本発明の第６の実施の形態を示し、撮像装置の構成を示すブロック図である。
【符号の説明】
１０ 撮像部
１１ 撮像素子
２０ コードブック方式圧縮装置
３０ コードブック記憶装置
４０ コード番号出力装置
５０ コード番号入力装置
６０ コードブック方式伸張装置
７０ コードブック記憶装置
８０ 色処理装置
８１ 前処理部
９０ 画像表示または記憶装置
【発明の属する技術分野】
本発明は、画像信号処理方法、画像信号処理システム、記憶媒体及び撮像装置に関するものである。
【０００２】
【従来の技術】
カラー画像信号を取り扱う画像信号処理システムにおいては、撮像素子から出力される原信号に所定の色補正処理を施して輝度信号及び色差信号を生成し、上記輝度信号及び色差信号を画像表示装置に表示したり、記憶媒体に記憶したりするようにしている。
【０００３】
このような画像信号処理システムにおいて、画像データを記憶するために必要な記憶媒体の容量を少なくて済むようにしたり、画像データを伝送する際の回線負荷を軽減できるようにしたりする技術が種々提案されている。
【０００４】
図１０は、従来の画像信号処理システムの一例を示すブロック図である。図１０に示したように、撮像素子２０１から出力された原信号（この例では、Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒの補色系の原信号を示しているが、Ｒ，Ｇ，Ｂ系でも同様である。）を色処理装置２０２に入力している。
【０００５】
上記色処理装置２０２は、入力された原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒに所定の前処理を施して、疑似的な輝度信号Ｙ´、及び色差信号ｕ´、ｖ´を生成する前処理回路２０２ａと、上記疑似的な輝度信号Ｙ´、及び色差信号ｕ´、ｖ´を用い色情報に対してホワイトバランス補正、γ補正、その他の色補正処理等を行い、輝度信号Ｙ、及び色差信号ｕ、ｖを生成する色処理回路２０２ｂとにより構成されている。
【０００６】
上記色処理回路２０２ｂから出力された輝度信号Ｙ、及び色差信号ｕ、ｖは、情報圧縮装置２０３に入力される。上記情報圧縮装置２０３においては、ＪＰＥＧ，ＭＰＥＧ、Ｈ．２６１等の圧縮技術を用いた情報圧縮が行われる。例えば、所定の画素ブロック毎にＤＣＴ（Discrete Cosine Transform : 離散コサイン変換）される。そして、上記ＤＣＴされた輝度信号Ｙ、及び色差信号ｕ、ｖは、次に、量子化されて高周波成分が除去されて情報量が圧縮される。
【０００７】
上述のようにして、圧縮処理が施された画像データは、次に、符号化装置２０４に与えられて符号化処理される。この符号化処理は、種々の方式で行われるが、例えば、データの発生頻度に応じた符号長を割り当てる可変長符号化を行うことにより、さらに情報圧縮を行うことが可能となる。上記情報圧縮及び符号化された画像信号は、例えば、通信回線を介して送信される。
【０００８】
受信側では、可変長符号化入力装置２０６を介して入力された画像信号を情報伸長装置２０７に入力する。上記情報伸張装置２０７では、上記情報圧縮装置２０３におけるＤＣＴ及び量子化処理の逆の処理が行われ、輝度信号Ｙ、及び色差信号ｕ、ｖが復元される。
【０００９】
そして、上記復元された輝度信号Ｙ、及び色差信号ｕ、ｖが画像表示装置または記憶装置２０８に与えられ、撮像素子２０１によって撮像された画像が表示されたり、記憶媒体に記憶されたりする。
【００１０】
なお、図１０においては、情報圧縮処理としてＤＣＴ、量子化を行った例を示したが、この他に、種々の圧縮方式を用いることができる。例えば、図１１に示すように、コードブックを用いたベクトル量子化、復号化による圧縮方式（以下、コードブック圧縮方式と称する）を用いことができる。
【００１１】
図１１において、図１０と同一の構成については同一の符号を付して詳細な説明を省略する。
この第２の従来例においては、上記色処理装置２０２から出力された輝度信号Ｙ、及び色差信号ｕ、ｖをコードブック方式圧縮装置２１０に入力している。上記コードブック方式圧縮装置２１０は、入力された信号のパターンと、コードブック記憶装置２１１に予め記憶されている複数のコードブック（パターン）とを比較し、その中で最も似通ったパターンを見つけ出して、そのパターンを入力情報に当てはめ、そのパターンのコード番号を出力する情報圧縮方式である。
【００１２】
上記コードブック方式圧縮装置２１０から出力されるコード番号は、コード番号出力装置２１２を介して通信回線等の媒体に送出される。
【００１３】
画像信号の受信側では、媒体を介して送られてきたコード番号をコード番号入力装置２１３で受信し、コードブック方式伸張装置２１４に供給する。コードブック方式伸張装置２１４は、入力されたコード番号に対応するパターンをコードブック記憶装置２１５から取り出すことにより、送信側で圧縮された画像信号を再現（復号）することができる。そして、上記再現された画像信号を画像表示装置または記憶装置２０８に与えることにより、画像表示したり、記憶媒体に記憶したりすることができる。
【００１４】
【発明が解決しようとする課題】
従来の画像信号処理システムにおいては、どのような情報圧縮方式を用いる場合においても、撮像素子２０１から出力される原信号（例えば、Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒ）を色処理装置２０２に入力して、上記色処理装置２０２において種々の色補正信号処理を施した輝度信号Ｙ、及び色差信号ｕ、ｖに対して情報圧縮処理を施している。
【００１５】
最近は、情報圧縮処理の技術が進歩しているので、画像信号に情報圧縮処理を施しても極端な画像劣化は生じないが、情報圧縮処理に伴って発生するブロックノイズや高周波ノイズによる画質の劣化が生じることは避けられない。したがって、画像信号に対する圧縮率に応じて画質の劣化が生じるので、高精細な画像を得るためには圧縮率を大きくするのは好ましくない。
【００１６】
しかしながら、情報圧縮処理における圧縮率を小さくすると、回線を介して伝送したり、記憶媒体に記憶したりする際に、画像データ量が膨大になってしまう問題があった。
【００１７】
本発明は上述の問題点にかんがみ、画像信号を伝送したり、記憶媒体に記憶したりする際のデータ量を大幅に削減でき、且つ色処理を行った後で画質の劣化が生じないようにして高品質の画像を得ることができるようにすることを目的とする。
【００１８】
【課題を解決するための手段】
本発明の画像信号処理方法は、異なる色の画素が隣接して繰り返し配置された、カラーフィルタを有する撮像素子からパラレルに出力される画像信号を処理する方法であって、色情報に関して少なくともホワイトバランス補正又はγ補正を施す色処理工程を経ずに入力される画像信号の情報量をコードブック方式で圧縮する処理を施すとともに、上記撮像素子からパラレルに出力された異なる色の画像信号と、コードブック記憶装置に予め記憶されている複数のコードブックパターンとを比較してパターンのコード番号を出力する圧縮工程と、上記情報圧縮処理された画像信号に対して、入力されたコード番号に基づき伸張処理を施す伸張工程とを行い、上記伸張工程が終了した後で上記色処理工程を行うことを特徴とする。
また、本発明の画像信号処理方法の他の特徴とするところは、上記圧縮工程及び伸張工程で処理される画像信号は、上記撮像素子出力から生成された疑似輝度色差信号（Ｙ´、ｕ´、ｖ´）であることを特徴とする。
【００１９】
本発明の画像信号処理システムは、異なる色の画素が隣接して繰り返し配置された、カラーフィルタを有する撮像素子からパラレルに出力される画像信号に所定の信号処理を施して出力する画像信号供給側と、上記画像信号供給側から得られる画像信号を使用する画像信号入力側とからなる画像信号処理システムであって、色情報に関して少なくともホワイトバランス補正又はγ補正を施す前に上記画像信号にコードブック方式による情報圧縮処理を施すとともに、上記撮像素子からパラレルに出力された異なる色の画像信号と、コードブック記憶装置に予め記憶されている複数のコードブックパターンとを比較してパターンのコード番号を出力する圧縮手段が上記画像信号供給側に設けられ、上記情報圧縮された画像信号に対して、入力されたコード番号に基づき情報伸張処理を施す伸張手段及び色処理手段が画像信号入力側に設けられていて、上記圧縮手段による情報圧縮処理、及び上記伸張手段による情報伸張処理が終了した後で、上記色処理手段により、色情報に関して少なくともホワイトバランス補正又はγ補正を行うことを特徴とする。
また、本発明の画像信号処理システムの他の特徴とするところは、上記圧縮手段及び伸張手段で処理される画像信号は、上記撮像素子出力から生成された疑似輝度色差信号（Ｙ´、ｕ´、ｖ´）であることを特徴とする。
【００２０】
本発明の記憶媒体は、上記画像信号処理方法の手順をコンピュータに実行させるためのプログラムを格納したことを特徴としている。
また、本発明の記憶媒体の他の特徴とするところは、上記各手段としてコンピュータを機能させるためのプログラムを格納したことを特徴としている。
【００２１】
本発明の撮像装置は、被写体を撮像して画像信号を生成する異なる色の画素が隣接して繰り返し配置された、カラーフィルタを有する撮像素子と、上記撮像素子からパラレルに出力される画像信号の色情報に関し少なくともホワイトバランス補正又はγ補正を施さない状態でコードブック方式による情報圧縮処理を施すとともに、上記撮像素子からパラレルに出力された異なる色の画像信号と、コードブック記憶装置に予め記憶されている複数のコードブックパターンとを比較してパターンのコード番号を出力して圧縮画像信号を生成する圧縮手段とを有することを特徴とする。
また、本発明の撮像装置の他の特徴とするところは、上記圧縮手段から出力される圧縮画像信号を記憶媒体に書き込む書き込み手段を有することを特徴とする。
また、本発明の撮像装置のその他の特徴とするところは、上記記憶媒体に記憶した圧縮画像信号を読み出す読み出し手段と、上記読み出し手段によって読み出された圧縮画像信号に情報伸張処理を施す伸張手段と、上記伸張手段によって再生された画像信号の色情報に関し少なくともホワイトバランス補正又はγ補正の何れか１つの処理を施す色処理手段とを具備することを特徴とする。
【００２２】
【発明の実施の形態】
以下、本発明の画像信号処理方法、画像信号処理システム、記憶媒体及び撮像装置の実施の形態を説明する。
【００２３】
（第１の実施の形態）
図１は、本発明の第１の実施の形態を説明するブロックである。図１に示したように、本実施の形態の画像信号処理システムは、撮像素子ＩＣチップ部（以下、撮像部と称する）１０、コードブック方式圧縮装置２０、コードブック記憶装置３０、コード番号出力装置４０によって画像信号の出力側が構成されている。
【００２４】
また、コード番号入力装置５０、コードブック方式伸張装置６０、コードブック記憶装置７０、色処理装置８０、画像表示または記憶装置９０によって画像信号の入力側が構成されている。
【００２５】
上記撮像部１０は撮像素子（受光素子）１１を有し、本実施の形態においては、上記撮像素子１１にシアン、イエロー、マゼンダ、グリーンの３色の補色と１色の原色フィルタを配設している。したがって、撮像素子１１からは原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒがシリアルで出力される。
【００２６】
上記撮像部１０から出力される原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒは、コードブック方式圧縮装置２０に入力される。上記コードブック方式圧縮装置２０は、上述したように、撮像部１０から入力された所定の画素数分の原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒのパターンと、コードブック記憶装置３０に予め記憶されている複数のコードブック（パターン）とを比較する。
【００２７】
本実施の形態のコードブック記憶装置３０は、撮像部１０からシリアルで出力される原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒに対応するシリアルパターンで複数のコードが記憶されており、コードブック方式圧縮装置２０はその中で最も似通ったパターンを見つけ出し、そのパターンのコード番号を出力する。そして、コードブック方式圧縮装置２０から出力されたコード番号は、コード番号出力装置４０により通信回線等の媒体を介してコード番号入力装置側に送信される。
【００２８】
通信回線を介して送られてきたコード番号は、コード番号入力装置５０によって入力されコードブック方式伸張装置６０に供給される。コードブック方式伸張装置６０は、入力されたコード番号に対応するパターンをコードブック記憶装置７０から読みだして、コードブック方式圧縮装置２０によって圧縮した画像データを再生する。
【００２９】
コードブック方式伸張装置６０によって再生された原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒは、次に、色処理装置８０に与えられる。上記色処理装置８０は、入力された原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒから輝度・色差信号を生成する前処理部８１と、色情報に関しホワイトバランス補正、γ補正等の色補正処理のように、良好な画質を得るために必要な種々の処理を行う色処理部８２よりなっている。
【００３０】
したがって、コードブック方式伸張装置６０から入力された原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒは、この色処理装置８０において所定の色処理が施され、輝度信号Ｙ、及び色差信号ｕ、ｖが生成されて出力される。
【００３１】
色処理装置８０から出力された輝度信号Ｙ、及び色差信号ｕ、ｖは、画像表示または記憶装置９０に与えられ、画像表示されたり、記憶媒体に記憶されたりする。
【００３２】
上述のように、本実施の形態の画像信号処理システムは、高品位の画質を得るために行う色補正処理を、情報圧縮処理の前に行わずに情報伸張処理の後で行っている。したがって、情報圧縮処理→情報伸張処理に伴って発生するブロックノイズや高周波ノイズによる画質の劣化を最小限に抑えることができ、回線を介して伝送する際の情報量を大幅に削減できるとともに、色処理後に画像信号が劣化しないようにすることができ、高品位の画質を得ることができる。
【００３３】
（第２の実施の形態）
次に、図２を参照しながら本発明の第２の実施の形態を説明する。なお、上述した第１の実施の形態で示した構成と同一の構成については、同一の符号を付して詳細な説明を省略する。
【００３４】
この第２の実施の形態の場合は、撮像部１０内に原信号並列変換装置１２を設け、撮像部１０から得られる直列の原信号を並列に出力するようにしている。このように、撮像部１０から原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒを並列に出力することにより、上述した第１の実施の形態の利点に加えて、コードブック方式圧縮装置２０におけるパターン比較処理を、例えば４×４画素からなるブロック単位の処理とすることができるので高速化でき、全体の処理速度を向上させることができる利点が得られる。
【００３５】
（第３の実施の形態）
次に、図３を参照しながら本発明の画像信号処理システムの第３の実施の形態を説明する。
この例の場合は、原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒから輝度・色差信号を生成する前処理部１３を撮像部１０内に設けている。したがって、本実施の形態においては、色処理装置１００内には前処理部が不要となり、色処理部８２のみを設ければ済むようになる。
【００３６】
このように、前処理部１３を撮像部１０内に設けることにより、擬似輝度色差信号Ｙ´、ｕ´、ｖ´を生成する演算を撮像素子１１と同一チップ上で行って出力することができる。これにより、演算の高速化が可能となるとともに、後段で行う処理部において必要なメモリ容量を低減化することができる。
【００３７】
また、情報圧縮に適した形式の擬似輝度色差信号Ｙ´、ｕ´、ｖ´を出力するようにすることができるので、圧縮処理の精度を向上させることができるとともに、圧縮処理を大幅に高速化することが可能となる。
【００３８】
さらに、本実施の形態においては、色処理装置１００内において擬似輝度色差信号Ｙ´、ｕ´、ｖ´を生成する必要がないので、色処理装置１００の構成を簡素化できるとともに、色処理に要する時間を低減することができる。
【００３９】
（第４の実施の形態）
次に、図４を参照しながら第４の実施の形態を説明する。上述した第１の実施の形態〜第３の実施の形態の場合は、情報圧縮方式としてコードブック方式の圧縮を行った場合を示した。この例の場合は、情報圧縮装置としてＤＣＴ及び量子化処理を行う圧縮装置２１、可変長符号化装置３１、出力装置３２を出力側に設けている。また、可変長符号化入力装置４１、逆量子化及び逆ＤＣＴ等の情報再生を行う情報伸張装置５１を入力側に設けている。
【００４０】
上述のように構成された本実施の形態においても、上述した実施の形態と同様に、回線を介して伝送する際の情報量を大幅に削減できるとともに、画質の劣化を可及的に防止することができて高品位の画質を得ることができる等の作用効果を得ることができる。
【００４１】
上記前処理部１３で生成する擬似輝度色差信号Ｙ´、ｕ´、ｖ´は、従来より用いられている演算を行うことで生成することができる。図５は、Ｒ、Ｇ、Ｂの原色フィルタを撮像素子１１に配設した場合の例を示している。この場合、擬似輝度信号Ｙ´は、（Ｒ＋２Ｇ＋Ｂ）の演算を行って生成している。また、擬似色差信号ｕ´は、（Ｒ−Ｙ´）の演算を行って生成し、擬似色差信号ｖ´は、（Ｂ−Ｙ´）の演算を行って生成している。
【００４２】
また、図６は補色フィルタを撮像素子１１に配設した場合の例を示している。この場合、１、２行目については、擬似輝度信号Ｙ´は、（（Ｙｅ＋Ｍｇ）＋（Ｃｙ＋Ｇ））×１／２＝１／２（２Ｂ＋３Ｇ＋２Ｒ）の演算を行い、擬似色差信号ｕ´は、（（Ｙｅ＋Ｍｇ）−（Ｃｙ＋Ｇ））＝（２Ｒ−Ｇ）の演算を行って生成している。
【００４３】
また、３、４行目については、擬似輝度信号Ｙ´は、（（Ｙｅ＋Ｇ）＋（Ｃｙ＋Ｍｇ）×１／２＝１／２（２Ｂ＋３Ｇ＋２Ｒ）の演算を行い、擬似色差信号−ｖ´は、（（Ｙｅ＋Ｇ）−（Ｃｙ＋Ｍｇ））＝−（２Ｂ−Ｇ）の演算を行って生成している。
【００４４】
（第５の実施の形態）
上述した実施の形態においては、撮像部１０内で行う演算処理として擬似輝度色差信号Ｙ´、ｕ´、ｖ´を生成する例を示したが、この他に種々の演算処理を撮像部１０内で行うようにすることができる。
【００４５】
その一例として、マトリックス演算を行って、所定の画素ブロック毎に複数の画素信号を並列に出力することも可能である。その一例を以下に示す。図７は、各画素信号を「２×２ブロック」ごとに並列に出力する例を示す回路図であり、図８は図７の各部の動作タイミングを示す図である。
【００４６】
図７及び図８に示したように、垂直走査パルスＶ1 が与えられたタイミングでゲートパルスＳ1 が与えられると、画素Ｙ11信号（Ｙ12信号も同様）が読みだされ、メモリ用コンデンサＣ1 に保持される。また、垂直走査パルスＶ2 が与えられたタイミングでゲートパルスＳ2 が与えられると、画素Ｙ21信号（画素Ｙ22信号）が読みだされ、同じくメモリ用コンデンサに保持される。
【００４７】
次に、ゲートパルスＨ1 が与えられると、メモリ用コンデンサＣ1 に保持されていた画素Ｙ11信号及び画素Ｙ21信号が読みだされる。なお、画素Ｙ12信号及び画素Ｙ22信号も上述と同様に読みだされ、画素Ｙ11信号がメモリ用コンデンサＣ3 に保持され、画素Ｙ12信号がメモリ用コンデンサＣ4 に保持され、画素Ｙ21信号がメモリ用コンデンサＣ5 に保持され、画素Ｙ22信号がメモリ用コンデンサＣ6 に保持される。
【００４８】
そして、時点ｔ1 においてゲートパルスＴ1 が与えられると、メモリ用コンデンサＣ3 〜Ｃ6 にそれぞれ保持されていた画素信号が同時に出力され、図示したようにＹ11、Ｙ12、Ｙ21、Ｙ22が並列に出力される。
【００４９】
次に、時点ｔ2 においてゲートパルスＴ2 が与えられると、１画素分だけ水平方向にずれた１ブロック分の画素信号Ｙ13、Ｙ12、Ｙ23、Ｙ22が並列に出力される。この場合、画素信号Ｙ12及び画素信号Ｙ22はメモリ用コンデンサＣ4 、Ｃ6 にそれぞれ保持されていた画素信号が出力される。
【００５０】
上述の例は、各画素信号をそのまま出力する例を示したが、図９（ａ）に示すように、各画素信号の出力線中に抵抗器Ｒｉを設け、この抵抗器Ｒｉの大きさを変えて、増幅器に設けられている抵抗器Ｒａとの比を変えることにより、マトリクス演算をする際に画素信号に重み付けを行うことができる。また、図９（ｂ）のように増幅器の（−）入力端子側に画素信号を入力することにより、差演算を行うようにすることができる。
【００５１】
（第６の実施の形態）
次に、図１２を参照しながら第６の実施の形態を説明する。
上述した実施の形態においては、圧縮処理を施した信号を通信回線等の媒体を介して外部に出力するようにした例を示したが、本実施の形態においては、圧縮後の信号を一旦記録媒体に記録し、これを再生するとともに、圧縮伸張処理の後で色処理を行う撮像装置に適用した例を示している。
【００５２】
すなわち、第４の実施の形態を説明するための図４と異なる構成は、可変長符号化装置３１と情報伸張装置５１との間に、書込装置１３０、記憶媒体１３１、読出装置１３２を設けている。
【００５３】
このように構成することにより、撮像部１０から出力される画像信号を記憶媒体１３１に記憶するために必要な記憶容量を格段と低減することができ、しかも記憶媒体１３１から読み出した画像信号を情報伸張装置５１で再生してから色処理装置１００内において色処理を行うので、画質の劣化が少なくて済み、高品質な画像を画像表示装置１３３に表示することができる。なお、本実施の形態撮像装置は媒体１３１までの構成にとどめることもできる。
【００５４】
なお、上述した実施の形態の各機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ、いずれも図示せず）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
【００５５】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００５６】
また、コンピュータが読みだしたプログラムコードを実行することにより、実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって実施の形態の機能が実現される場合も含まれる。
【００５７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって実施の形態の機能が実現される場合も含まれる。
【００５８】
【発明の効果】
本発明は上述したように、色情報に関し少なくともホワイトバランス補正又はγ補正等の色補正を行わずに、コードブック方式で圧縮する処理を施すとともに、上記撮像素子からパラレルに出力された異なる色の画像信号と、コードブック記憶装置に予め記憶されている複数のコードブックパターンとを比較してパターンのコード番号を出力するようにし、且つ上記情報圧縮処理された画像信号に対して、入力されたコード番号に基づき伸張処理を施すようにしたので、ブロックノイズや高周波ノイズによる画質の劣化を最小限に抑えることができる。また、回線を介して伝送する際の情報量を大幅に削減できるとともに、色処理後に画像信号が劣化しないようにすることができ処理の高速化を実現することができる。これに加えて、コードブック方式で圧縮する前に、ホワイトバランス補正又はγ補正を行なう場合には、これら補正後のデータに対してのコードブックパターンを用意すること、及び処理が複雑となること等の不都合なく、色処理後に画質の劣化が生じないようにすることができて高品質の画像を得ることができる。
【００５９】
また、本発明の他の特徴によれば、カラー画像信号処理を行う場合の一般的な前処理である擬似輝度色差演算を撮像素子上で行うようにしたので、演算速度を高速化することができるとともに、後段で行う色信号処理に必要なメモリ容量を低減することができる。
【００６０】
また、本発明のその他の特徴によれば、画像圧縮に適した形式の画像信号を撮像素子から出力することができるので、圧縮処理の精度を向上することができるとともに、高速化を達成することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示す画像信号処理システムの構成を示すブロック図である。
【図２】本発明の第２の実施の形態を示す画像信号処理システムの構成を示すブロック図である。
【図３】本発明の第３の実施の形態を示す画像信号処理システムの構成を示すブロック図である。
【図４】本発明の第４の実施の形態を示す画像信号処理システムの構成を示すブロック図である。
【図５】擬似輝度色差信号Ｙ´、ｕ´、ｖ´を生成する手順を説明する図である。
【図６】擬似輝度色差信号Ｙ´、ｕ´、ｖ´を生成する手順を説明する図である。
【図７】本発明の第５の実施の形態を示し、撮像部内で行う演算の一例を示す回路図である。
【図８】図７の回路の各部の動作タイミングを示す図である。
【図９】画素信号に重み付けを行う場合の一例、及び画素信号の差演算を行う場合の一例を示す回路図である。
【図１０】第１の従来例を示す画像信号処理システムの構成を示すブロック図である。
【図１１】第２の従来例を示す画像信号処理システムの構成を示すブロック図である。
【図１２】本発明の第６の実施の形態を示し、撮像装置の構成を示すブロック図である。
【符号の説明】
１０ 撮像部
１１ 撮像素子
２０ コードブック方式圧縮装置
３０ コードブック記憶装置
４０ コード番号出力装置
５０ コード番号入力装置
６０ コードブック方式伸張装置
７０ コードブック記憶装置
８０ 色処理装置
８１ 前処理部
９０ 画像表示または記憶装置
Claims (9)
- 異なる色の画素が隣接して繰り返し配置された、カラーフィルタを有する撮像素子からパラレルに出力される画像信号を処理する方法であって、色情報に関して少なくともホワイトバランス補正又はγ補正を施す色処理工程を経ずに入力される画像信号の情報量をコードブック方式で圧縮する処理を施すとともに、上記撮像素子からパラレルに出力された異なる色の画像信号と、コードブック記憶装置に予め記憶されている複数のコードブックパターンとを比較してパターンのコード番号を出力する圧縮工程と、上記情報圧縮処理された画像信号に対して、入力されたコード番号に基づき伸張処理を施す伸張工程とを行い、上記伸張工程が終了した後で上記色処理工程を行うことを特徴とする画像信号処理方法。
- 上記圧縮工程及び伸張工程で処理される画像信号は、上記撮像素子出力から生成された疑似輝度色差信号（Ｙ´、ｕ´、ｖ´）であることを特徴とする請求項１に記載の画像信号処理方法。
- 異なる色の画素が隣接して繰り返し配置された、カラーフィルタを有する撮像素子からパラレルに出力される画像信号に所定の信号処理を施して出力する画像信号供給側と、上記画像信号供給側から得られる画像信号を使用する画像信号入力側とからなる画像信号処理システムであって、色情報に関して少なくともホワイトバランス補正又はγ補正を施す前に上記画像信号にコードブック方式による情報圧縮処理を施すとともに、上記撮像素子からパラレルに出力された異なる色の画像信号と、コードブック記憶装置に予め記憶されている複数のコードブックパターンとを比較してパターンのコード番号を出力する圧縮手段が上記画像信号供給側に設けられ、上記情報圧縮された画像信号に対して、入力されたコード番号に基づき情報伸張処理を施す伸張手段及び色処理手段が画像信号入力側に設けられていて、上記圧縮手段による情報圧縮処理、及び上記伸張手段による情報伸張処理が終了した後で、上記色処理手段により、色情報に関して少なくともホワイトバランス補正又はγ補正を行うことを特徴とする画像信号処理システム。
- 上記圧縮手段及び伸張手段で処理される画像信号は、上記撮像素子出力から生成された疑似輝度色差信号（Ｙ´、ｕ´、ｖ´）であることを特徴とする請求項３に記載の画像信号処理システム。
- 請求項１または２に記載の画像信号処理方法の手順をコンピュータに実行させるためのプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
- 請求項３または４に記載の画像信号処理システムの各手段としてコンピュータを機能させるためのプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
- 被写体を撮像して画像信号を生成する異なる色の画素が隣接して繰り返し配置された、カラーフィルタを有する撮像素子と、上記撮像素子からパラレルに出力される画像信号の色情報に関し少なくともホワイトバランス補正又はγ補正を施さない状態でコードブック方式による情報圧縮処理を施すとともに、上記撮像素子からパラレルに出力された異なる色の画像信号と、コードブック記憶装置に予め記憶されている複数のコードブックパターンとを比較してパターンのコード番号を出力して圧縮画像信号を生成する圧縮手段とを有することを特徴とする撮像装置。
- 上記圧縮手段から出力される圧縮画像信号を記憶媒体に書き込む書き込み手段を有することを特徴とする請求項７に記載の撮像装置。
- 上記記憶媒体に記憶した圧縮画像信号を読み出す読み出し手段と、上記読み出し手段によって読み出された圧縮画像信号に情報伸張処理を施す伸張手段と、上記伸張手段によって再生された画像信号の色情報に関し少なくともホワイトバランス補正又はγ補正の何れか１つの処理を施す色処理手段とを具備することを特徴とする請求項８に記載の撮像装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20443898A JP4683678B2 (ja) | 1998-07-03 | 1998-07-03 | 画像信号処理方法、画像信号処理システム、記憶媒体及び撮像装置 |
| US09/343,186 US6898310B1 (en) | 1998-07-03 | 1999-06-30 | Image signal processing method, image signal processing system, storage medium, and image sensing apparatus |
| EP99305141A EP0969675A3 (en) | 1998-07-03 | 1999-06-30 | Image signal processing method, image signal processing system, storage medium, and image sensing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20443898A JP4683678B2 (ja) | 1998-07-03 | 1998-07-03 | 画像信号処理方法、画像信号処理システム、記憶媒体及び撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000023197A JP2000023197A (ja) | 2000-01-21 |
| JP4683678B2 true JP4683678B2 (ja) | 2011-05-18 |
Family
ID=16490539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20443898A Expired - Lifetime JP4683678B2 (ja) | 1998-07-03 | 1998-07-03 | 画像信号処理方法、画像信号処理システム、記憶媒体及び撮像装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6898310B1 (ja) |
| EP (1) | EP0969675A3 (ja) |
| JP (1) | JP4683678B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1292153B1 (en) * | 2001-08-29 | 2015-08-19 | Canon Kabushiki Kaisha | Image processing method and apparatus, computer program, and storage medium |
| JP2003143411A (ja) * | 2001-11-02 | 2003-05-16 | Canon Inc | 画像処理装置及びその制御方法及びコンピュータプログラム及び記憶媒体 |
| US7106909B2 (en) * | 2001-12-25 | 2006-09-12 | Canon Kabushiki Kaisha | Method and apparatus for encoding image data in accordance with a target data size |
| JP4153715B2 (ja) * | 2002-04-08 | 2008-09-24 | 松下電器産業株式会社 | 映像信号処理装置及び映像信号処理方法 |
| US7558441B2 (en) | 2002-10-24 | 2009-07-07 | Canon Kabushiki Kaisha | Resolution conversion upon hierarchical coding and decoding |
| JP4366250B2 (ja) | 2003-06-23 | 2009-11-18 | キヤノン株式会社 | データ変換処理装置及びプログラム |
| JP4378245B2 (ja) * | 2004-08-23 | 2009-12-02 | キヤノン株式会社 | データ変換装置及び方法 |
| JP2007037049A (ja) * | 2005-07-29 | 2007-02-08 | Canon Inc | 画像符号化装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
| JP4697967B2 (ja) * | 2006-03-02 | 2011-06-08 | キヤノン株式会社 | 画像符号化装置及びその制御方法 |
| JP2008072624A (ja) * | 2006-09-15 | 2008-03-27 | Canon Inc | 画像符号化装置及びその制御方法 |
| JP4311759B2 (ja) * | 2007-10-29 | 2009-08-12 | キヤノン株式会社 | データ変換装置及びその制御方法 |
| JP4933405B2 (ja) * | 2007-11-13 | 2012-05-16 | キヤノン株式会社 | データ変換装置及びその制御方法 |
| KR101080846B1 (ko) * | 2010-03-30 | 2011-11-07 | 중앙대학교 산학협력단 | 보정 행렬의 추정에 의한 영상의 색상 손상 보정장치 및 방법 |
| CN112135150A (zh) * | 2020-09-24 | 2020-12-25 | 安谋科技（中国）有限公司 | 图像压缩和解压缩方法、可读介质及其电子设备 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4797945A (en) * | 1985-12-13 | 1989-01-10 | Canon Kabushiki Kaisha | Image data coding apparatus |
| JP3005007B2 (ja) * | 1989-12-21 | 2000-01-31 | キヤノン株式会社 | 画像符号化装置 |
| KR920010042B1 (ko) * | 1989-12-29 | 1992-11-13 | 삼성전자 주식회사 | 자기기록매체를 이용한 디지탈 스틸 비디오 레코더 및 화상기록방법 |
| US5172227A (en) * | 1990-12-10 | 1992-12-15 | Eastman Kodak Company | Image compression with color interpolation for a single sensor image system |
| US5818970A (en) * | 1991-04-26 | 1998-10-06 | Canon Kabushiki Kaisha | Image encoding apparatus |
| JP3149271B2 (ja) | 1992-06-19 | 2001-03-26 | キヤノン株式会社 | 画像通信装置 |
| JP3227292B2 (ja) * | 1993-12-20 | 2001-11-12 | キヤノン株式会社 | 符号化装置、符号化方法、復号化装置、復号化方法、符号化復号化装置及び符号化復号化方法 |
| JP3332619B2 (ja) | 1994-11-29 | 2002-10-07 | キヤノン株式会社 | 復号装置およびその方法 |
| US5764386A (en) * | 1996-01-25 | 1998-06-09 | Medar, Inc. | Method and system for automatically monitoring the colors of an object at a vision station |
| US5818525A (en) * | 1996-06-17 | 1998-10-06 | Loral Fairchild Corp. | RGB image correction using compressed flat illuminated files and a simple one or two point correction algorithm |
| JPH1093827A (ja) | 1996-09-11 | 1998-04-10 | Canon Inc | 画像処理方法とその装置 |
-
1998
- 1998-07-03 JP JP20443898A patent/JP4683678B2/ja not_active Expired - Lifetime
-
1999
- 1999-06-30 EP EP99305141A patent/EP0969675A3/en active Pending
- 1999-06-30 US US09/343,186 patent/US6898310B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP0969675A3 (en) | 2000-11-02 |
| JP2000023197A (ja) | 2000-01-21 |
| US6898310B1 (en) | 2005-05-24 |
| EP0969675A2 (en) | 2000-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5920343A (en) | Imaging system with image processing for re-writing a portion of a pixel block | |
| US5065229A (en) | Compression method and apparatus for single-sensor color imaging systems | |
| EP0499303B1 (en) | Method and apparatus for shuffling and deshuffling data | |
| US5053861A (en) | Compression method and apparatus for single-sensor color imaging systems | |
| JP4683678B2 (ja) | 画像信号処理方法、画像信号処理システム、記憶媒体及び撮像装置 | |
| EP0651562A1 (en) | An electronic camera utilizing image compression feedback for improved color processing | |
| EP1173005B1 (en) | Method and apparatus for color image data processing and compression | |
| US20010012397A1 (en) | Image processing apparatus and method | |
| JP4288398B2 (ja) | 画像記録装置、画像再生装置および画像処理プログラムを記録した記録媒体 | |
| US6684000B1 (en) | Image sensing device capable of outputting image signals by blocks and processing circuit which processes image signals by blocks | |
| US20050163389A1 (en) | Image data comprising device, image data compression method, recording medium, and program | |
| JPH1175183A (ja) | 画像信号の処理方法及び装置、記録媒体 | |
| JPH04326669A (ja) | 画像符号化装置及び画像符号化方法 | |
| JP4092830B2 (ja) | 画像データ圧縮方法 | |
| JP3728107B2 (ja) | 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体 | |
| JP4164161B2 (ja) | 画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体 | |
| JPH1169377A (ja) | 画像情報符号化装置及びそれを応用した装置 | |
| JP2003224868A (ja) | 画像圧縮装置、画像圧縮方法、画像圧縮プログラム、および画像伸張プログラム | |
| JP3652123B2 (ja) | 撮像素子、画像処理装置、画像処理システム、及び記憶媒体 | |
| JP2809552B2 (ja) | 画像符号化処理方法および画像復号化処理方法 | |
| JP3667098B2 (ja) | 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体 | |
| JP2908796B2 (ja) | 画像信号の直交変換符号化装置 | |
| JPH06315143A (ja) | 画像処理装置 | |
| JP3276675B2 (ja) | 映像記録装置 | |
| JP3354076B2 (ja) | 画像圧縮方法、画像伸張方法、画像圧縮装置及び画像伸張装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050629 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080425 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080527 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080728 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080925 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20081017 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101209 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110208 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| EXPY | Cancellation because of completion of term |