JP2824255B2 - 画像信号の直交変換符号化装置 - Google Patents

Description

【発明の詳細な説明】 技術分野 本発明は画像信号の直交変換符号化装置に関し、特に
固体撮像装置を用いて撮像された画像信号の直交変換お
よび符号化を行う直交変換符号化装置に関する。

背景技術 例えばCCD等の固体撮像装置により撮像された画像信
号をメモリカード、磁気ディスク等の記憶装置に記憶す
る場合には、記憶装置の容量を考慮し、画像信号のデー
タを小さな容量に圧縮することが必要である。このよう
な、画像データの圧縮の方法として直交変換符号化が知
られている。

この方法は次のようなものである。まず、画像信号の
表す画像を所定の数のブロックに分割し、分割されたブ
ロックごとの各画素のデータを直交変換する。

画像信号においては、低周波成分が電力的に大きな成
分を占めている。一方、高周波成分は電力的には大きく
ないが、情報的には意味が大きい。また、視覚的にもこ
れらに対する特性は異なる。そこで画像信号をこのよう
な低周波成分および高周波成分に変換して、それぞれの
成分に適した量子化を行い、符号化する。受信または再
生側で符号化された信号を逆変換して元の信号を得る。
このようにすれば、効率的な符号化を行うことができ
る。

直交変換符号化においては、適当な数の画素を１つの
ブロックとして画面を複数のブロックに分割し、これら
のブロックごとに標本値からなる数値列を直交変換す
る。すなわち、原画像信号のもっている特徴に適合し
た、相互に独立な変換軸で線形変換する。この結果変換
された各項はもとの標本値に比べより独立（より無相
関）になる。これにより冗長な情報は抑圧される。この
方式はいわば周波数軸上の操作である。

この結果、画像信号の統計的性質から特定の成分に電
力が集中する。そこで視覚特性も考慮しつつ、電力の大
きな低周波成分に多くのビットを割当て、低電力の高周
波成分は少ないビット数で粗く量子化する。これにより
ブロックあたりのビット数を低減させることができる。

このように直交変換および符号化することによって、
画像信号を構成する画素のデータを記憶する場合に比較
して記憶装置の容量を小さくすることができる。

ところで、従来、複数色の色フィルタを前面に有し、
これら色フィルタに対応させたカラー画像データを各画
素から得るようにしたカラー撮像装置により撮像された
カラー画像信号を直交変換および符号化する場合には、
例えば、撮像装置から出力される信号を色分離し、分離
された各色成分信号から輝度信号および色差信号を合成
し、合成された輝度信号および色差信号に対して、前記
の直交変換および符号化を行っていた。この場合に、輝
度信号および色差信号を作成する装置は、ハードウェア
の規模が大きため、装置全体を軽量、小型化できないと
いう欠点があった。

目 的 本発明はこのような従来技術の欠点を解消し、軽量、
小型の装置で直交変換および符号化を行うことのできる
画像信号の直交変換符号化装置を提供することを目的と
する。

発明の開示 本発明によれば、複数色の色フィルタを前面に有し、
これら色フィルタに対応させたカラー画像データを各画
素から得るようにしたカラー撮像手段により撮像された
カラー画像信号を受けて、カラー画像信号の画像データ
をブロック化した後、直交変換および符号化して記録媒
体に記録する画像信号の直交変換符号化装置は、画像信
号の画像データをブロックに分割するブロック化手段
と、ブロック化手段によりブロックに分割された画像デ
ータを直交変換する直交変換手段と、直交変換手段によ
り直交変換された画像データを符号化する符号化手段
と、符号化手段により符号化された画像データを記録媒
体に記録する記録手段とを有し、カラー撮像手段により
色フィルタに対応させたカラー画像データを各画素から
順次得ることにより撮像されたカラー画像信号を、カラ
ー撮像手段により得られた順に、ブロック化手段による
ブロック化、直交変換手段による直交変換、符号化手段
による符号化を行うものである。

実施例の説明 次に添付図面を参照して本発明による画像信号の直交
変換符号化装置の実施例を詳細に説明する。

第１図には本発明による画像信号の直交変換符号化装
置をカラー画像撮影用のデジタル電子スチルカメラに適
用した一実施例が示されている。なお、本発明の説明に
直接関係のないカメラの他の部分、例えばシャッタ、絞
り、フイルム等の機構は図示を省略している。

本装置はマスターレンズ12を有し、マスターレンズ12
の後方にはマスターレンズ12により捕えられた被写体の
光学像を光信号から映像信号に変換する撮像デバイス14
が配置され、撮像デバイス14の表面には色フィルタ16が
設けられている。撮像デバイス14は、同期信号発生回路
34から信号線120を通して送られる同期信号に応動して
被写体の光学像を光信号から映像信号に変換する。

撮像デバイス14により得られた画像信号は、信号線10
2を通してAD変換回路18に送られる。AD変換回路18は撮
像デバイス14から送られる画像信号をデジタル信号に変
換する。なお、撮像デバイス14とAD変換回路18との間に
は、図示しないが、ガンマ補正や、ホワイトバランス処
理の手段を挿入してもよい。AD変換回路18においてデジ
タル信号に変換されたカラー画像信号は、信号線104を
通してブロック化回路22に送られる。

例えば撮像デバイス14の色フィルタ16の各色成分が第
６図のように配置されている場合には、画像信号を構成
する画素が各走査線にGR、またはGBの順で配列されてい
るから、このような画素信号がAD変換回路18からブロッ
ク化回路22に出力される。

ブロック化回路22はAD変換回路18から入力されるRGB
の成分の画素により構成される画像信号をそれぞれ所定
の数のブロックに分割するブロック化を行う。ブロック
化は、例えば第3A図に示すような画像60を第3B図に示す
ような複数の領域62、62、62…、すなわちブロックに分
割するものである。第3B図に示される１のブロック62
は、例えば16x16＝256個の画素により構成されるものが
好ましいが、画像信号を構成する画素数に応じて所定の
数の画素から構成されるブロックとすればよい。例えば
第６図に示すようなフィルタにより撮像された画像信号
は、Ｇ成分の画素がＲまたはＢ成分の画素の２倍の数で
あるから、ブロック化回路22において作成されるブロッ
クにもＧ成分の画素がＲまたはＢ成分の画素の２倍の
数、含まれている。

ブロック化回路22においてブロック化された画像信号
は、信号線108を通して直交変換回路24に入力される。
直交変換回路24はブロック化された画素信号に対し、各
ブロックごとに直交変換を行う。各ブロックの画素信号
は、直交変換前には例えば第4A図に示すように、それぞ
れの画素のレベルの値を有している。同図の例において
は、最も上の最も左の画素はデジタルデータにおいて12
0のレベルであり、その右の画素は127のレベル、３番目
の画素は108のレベルを有し、また上から２番目の最も
左の画素は107のレベル、その右の画素は120のレベルで
ある。

これを直交変換すると、例えば第4B図に示すようなデ
ータが得られる。直交変換としては、アダマール変換、
コサイン変換、フーリエ変換等が知られている。直交変
換を行われた第4B図のようなデータは、横軸方向に元の
画面の水平方向の周波数成分、縦軸方向に元の画面の垂
直方向の周波数成分が対応している。また、データの配
列において、左上方ほど低周波数成分のデータが配置さ
れ、右方または下方へいくにつれて高周波数成分のデー
タ、すなわち隣接する画素との差分値の大きいデータが
配置されている。

一般の画像は先にも述べたように、低周波成分は電力
的に大きな成分を占め、高周波成分は小さな成分しかあ
らわれないため、第4B図に示すような直交変換後のデー
タは、左上方部に大きい値が現れ、右方および下方にい
くにつれて小さい値となる。

直交変換回路24において直交変換された信号は、信号
線110を通して符号化回路26に送られ、符号化回路26に
おいてルックアップテーブル38から送られる符号化のた
めのデータにより符号化される。符号化は、第4B図に示
されるような行列データを、各データに所定のビット数
を割り当てて行う。例えば第4C図に示すようなビット数
を割り当て、第4B図のデータ200には８ビットを、デー
タ150、130、150には６ビットを、データ100、90、40、
70、80には４ビットを、データ50、50、10、５、10、6
0、20には２ビットを、それぞれ割り当て、これらのデ
ータを符号化する。これらのデータよりも右方および下
方に配置されたデータにはビット数を割り当てない。す
なわち、直交変換後のデータにおいて所定の範囲よりも
右または下に配置されたデータは無視し、記憶しない。

このように低周波数成分のみを記憶し、高周波数成分
を無視する理由は、一般の画像において、大部分が低周
波数成分であるため、高周波数成分を無視しても画像を
おおむね再現できるからである。

ブロック化回路22においてブロックに分割される画像
は前述のように第3A図に示すようなものであり、第3B図
に示すように分割される。例えば同図の分割されたブロ
ック62aは同一の色彩の絵柄であるから、ブロック内に
おいて画素信号のレベルの変化が少ない低周波数成分の
データが配置されており、直交変換されたデータは例え
ば第4B図のように左上方に集中する。したがって、符号
化回路26においては、例えば第4C図のような左上方に集
中したビット数を割当てて符号化を行うように、符号化
に必要なデータをルックアップテーブル38から符号化回
路26に読み出し、これによって符号化を行う。

これに対して例えば第3B図の分割されたブロック62h
は細かい絵柄であるから、ブロック内において画素信号
のレベルの変化が大きく、高周波数成分のデータが配置
されており、直交変換されたデータは例えば第4D図のよ
うになり、第4B図のデータに比較して右方および下方に
分散される。したがって、このデータに対しては第4E図
に示すような右方および下方に広がって分布したビット
数を割当てて符号化を行うように、ルックアップテーブ
ル38からデータを符号化回路26に読み出す。

このように、分散されたブロックのそれぞれの絵柄に
応じた符号化に適するデータをルックアップテーブル38
から符号化回路26に読み出し、各ブロックの絵柄に応じ
た符号化を直交変換されたデータに対して行う。

符号化回路26において符号化されたデータは、信号線
112を通して出力端子30に出力され、出力端子30に接続
されたメモリ32に記憶される。メモリ32は例えば半導体
メモリなどがカード状の基板上に実装されたいわゆるメ
モリカード等が有利に用いられ、符号化されたスチル画
像が記憶される。メモリ32は、例えば出力端子30に着脱
可能なものが有利に適用される。

同期信号発生回路34は、制御部36から信号線126を通
して送られる制御信号により、同期信号を発生し、信号
線120によりイメージセンサ16へ、信号線122によりAD変
換回路18へ、それぞれ信号を出力する。

制御部36は本装置の各機能部を制御する制御部であ
り、信号線126を通して同期信号発生回路34へ、信号線1
28によりブロック化回路22へ、信号線130により直交変
換回路24へ、信号線132により符号化回路26へ、信号線1
36によりルックアップテーブル38へ、それぞれ制御信号
を出力し、各部の動作を制御する。

本装置の動作を説明する。

マスターレンズ12により捕えられた被写体の光学像は
撮像デバイス14により光信号から映像信号に変換され、
信号線102を通してAD変換回路18に送られる。映像信号
はAD変換回路18においてデジタル信号に変換され、信号
線104を通してブロック化回路22に送られる。ブロック
化回路22に入力された画像データはブロック化回路22に
おいて前記のようにブロック化され、信号線108を通し
て直交変換回路24に送られ、直交変換回路24において前
記のようにブロックごとに直交変換され、直交変換され
たデータが信号線110を通して符号化回路26に送られ
る。

符号化回路26に送られた直交変換されたデータは、符
号化回路26でそれぞれのブロックの絵柄に応じて符号化
され、信号線112を通してコネクタ30からメモリ32に書
き込まれる。

このようにして電子スチルカメラにより撮影されたス
チル画像がメモリカード等のメモリ32に記憶される。

第２図には第１図の電子スチルカメラにより撮影さ
れ、メモリ32に記憶された画像を再生する再生装置の例
が示されている。

この再生装置はメモリ32が接続される入力端子40を有
する。メモリ32に記憶された画像データは入力端子40か
ら入力され、信号線142を通して復号化回路44に入力さ
れる。復号化回路44は入力された符号化されたデータを
復号化し、第4B図または第4D図に示すようなデータを得
る。復号化回路44により復号化されたデータは信号線14
4を通して直交逆変換回路46に送られる。直交逆変換回
路46は復号化されたデータにつき直交逆変換を行い、第
4A図に示すような各ブロックのデータを得る。

直交逆変換回路46により得られた各ブロックのデータ
は信号線146を通してブロック合成回路48に送られ、各
ブロックのデータが合成され、元の画像のデータが作成
される。ブロック合成回路48で合成されたデータは信号
線150を通してDA変換回路52に送られ、DA変換回路52に
おいてアナログ信号に変換され、信号線152を通してCRT
54に出力され、メモリ32に記憶されたカラー画像がCRT5
4の画面に再生される。

制御部56は再生装置の各機能部を制御する制御部であ
り、信号線156により復号化回路44へ、信号線158により
直交逆変換回路46へ、信号線160によりブロック合成回
路48へ、信号線164によりDA変換回路52へ、それぞれ制
御信号を出力し、各部の動作を制御する。

次に再生装置の動作を説明する。

メモリ32が再生装置に装着されると、メモリ32に記憶
されたデータはコネクタ40により読み出され、信号線14
2を通して復号化回路44に入力される。復号化回路44に
入力されたデータは復号化回路44において復号化され、
それぞれ信号線144を通して直交逆変換回路46に送られ
る。直交逆変換回路46に入力されたデータは直交逆変換
され、ブロックごとのデータが得られる。信号線146を
通してブロック合成回路48に送られたブロックごとのデ
ータは、ブロック合成回路48において合成され、信号線
150を通してDA変換回路52に送られ、DA変換回路52にお
いてアナログ信号に変換され、信号線152を通してCRT54
に送られ、CRT54の画面に元のスチル画像が再生表示さ
れる。

上記のように第１図の電子スチルカメラによれば、撮
像デバイス14で撮像された画像はブロック化回路22にお
いてブロック化され、直交交換回路24において分割され
た各ブロックごとに直交変換され、符号化回路26におい
て低周波数成分のデータのみに大きな記憶容量を当て高
周波数成分のデータには小さな記憶容量を当てるかまた
は記憶しない。したがって、小さな記憶容量で画像を記
憶することができるから、メモリ32に多数の画像を記憶
することができる。

しかも、撮像デバイス14で撮像され、AD変換回路18で
AD変換された画像データは、サンプリングされたデジタ
ルの画素データとなっているから、これをそのままブロ
ック化回路22に送ることによりブロック化することがで
き、撮像データのサンプリングのための特別の手段を必
要としない。

このカメラによれば、撮像された信号から輝度信号色
差信号などの標準テレビジョン信号を合成することな
く、撮像された信号をそのまま直交変換および符号化し
てデータ圧縮するから、カメラを軽量、小型化すること
ができる。

さらに、直交変換されたデータの符号化において、ブ
ロック化された各ブロックの絵柄ごとに異なるデータを
ルックアップテーブルから読み出し、このデータによっ
て符号化回路26において符号化を行うから、絵柄に応じ
たビット数で、記憶すべきデータを作成できる。したが
って、データの圧縮率を高め、符号化効率を向上させる
ことができる。

第５図には本発明によるカラー画像信号の直交変換符
号化装置をデジタル電子スチルカメラに適用した他の実
施例が示されている。

この実施例においては、AD変換回路18の出力が信号線
104を通してメモリ70に送られる。メモリ70にはメモリ
制御部72から信号線170を通して制御信号が送られる。
メモリ70にAD変換回路から送られたデジタル画像信号が
一旦蓄積され、メモリ制御部72からの制御信号により、
画像データをブロック化したデータとして直交変換回路
24へ出力する。メモリ制御部72には装置全体を制御する
制御部36から信号線174を通して制御信号が送られ、ま
た、同期信号発生回路34から信号線172を通して同期信
号が送られる。

その他の構成は第１図の装置と同様である。

第５図の装置においては、AD変換回路18から読み出さ
れた画像データの信号はメモリ70に記憶され、メモリ制
御部72からの制御信号によって、ブロック化されてメモ
リ70から読み出される。したがって、メモリ70およびメ
モリ制御部72が第１図の装置のブロック化回路22に対応
し、ブロック化を行う。その他の動作は第１図の装置と
同様であるから説明を省略する。

この実施例の装置においても、撮像された画像データ
から標準テレビジョン信号を合成することなく、撮像さ
れた信号のままブロック化するから装置を小型化でき、
絵柄に応じたルックアップテーブルデータによって符号
化するから、データの圧縮率を高め、符号化効率を向上
させることができる。

上記の実施例においては、画像信号の直交変換符号化
装置を電子スチルカメラに適用した装置を説明したが、
本発明は電子スチルカメラに限られず、画像データを直
交変換符号化する必要のある各種装置に適用できるもの
である。

効 果 本発明によれば、撮像手段により撮像された画像信号
から一般的な映像信号を作成することなくそのままデー
タ圧縮するから、装置を簡易化でき、軽量、小型の装置
を提供できる。

【図面の簡単な説明】

第１図は本発明による画像信号の直交変換符号化装置を
デジタル電子スチルカメラに適用した一実施例を示すブ
ロック図、 第２図は第１図の装置により符号化され記憶されたデー
タを復号化する装置の一例を示すブロック図、 第3A図はブロック化される前の画像の一例を示す図、 第3B図は画像をブロック化する例を示す図、 第4A図は１のブロックの画素データの例を示す図、 第4B図は第4A図の画素データを直交変換したデータの例
を示す図、 第4C図は第4B図のデータの符号化において割り当てるビ
ット数の例を示す図、 第4D図は他の画素データを直交変換したデータの例を示
す図、 第4E図は第4D図のデータの符号化において割り当てるビ
ット数の例を示す図、 第５図は本発明による画像信号の直交変換符号化装置を
デジタル電子スチルカメラに適用した他の実施例を示す
ブロック図、 第６図はフィルタの配置の一例を示す図である。 主要部分の符号の説明 14……撮像デバイス 18……AD変換回路 22……ブロック化回路 24……直交変換回路 26……符号化回路 32……メモリ 70……メモリ 72……メモリ制御部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭59−70091（ＪＰ，Ａ) 特開 昭62−173869（ＪＰ，Ａ) ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＣＯＭＭＵＮＩＣＡＴＩＯＮ Ｓ，25［11］（1977）Ｐ．1285−1292 (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 9/79 - 9/898 H04N 11/00 - 11/24 H04N 5/91 - 5/956

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】複数色の色フィルタを前面に有し、これら
   色フィルタに対応させたカラー画像データを各画素から
   得るようにしたカラー撮像手段により撮像されたカラー
   画像信号を受けて、該カラー画像信号の画像データをブ
   ロック化した後、直交変換および符号化して記録媒体に
   記録する画像信号の直交変換符号化装置において、該装
   置は、 前記カラー撮像手段により前記色フィルタに対応させた
   カラー画像データを各画素から順次得ることにより撮像
   されたカラー画像信号の画像データを、該カラー撮像手
   段により得られた順に蓄積する記憶手段と、 該記憶手段に蓄積されたカラー画像信号の画像データを
   各色要素毎に複数のブロックに分割して読み出すブロッ
   ク化制御手段と、 該ブロック化制御手段により各色要素毎に複数のブロッ
   クに分割された画像データを直交変換する直交変換手段
   と、 該直交変換手段により直交変換された各色要素毎の複数
   のブロックの画像データを符号化する符号化手段と、 該符号化手段により符号化された各色要素毎の複数のブ
   ロックの画像データを前記記録媒体に記録する記録手段
   と、 前記ブロック化制御手段、直交変換手段および符号化手
   段を制御する制御手段とを有し、 該制御手段は、前記ブロック化制御手段を制御し前記記
   憶手段に蓄積させたカラー画像信号の画像データを各色
   要素毎に複数のブロックに分割して読み出させ、前記直
   交変換手段を制御し該読み出させた各色要素毎に複数の
   ブロックに分割した画像データについて直交変換させ、
   前記符号化手段を制御し該直交変換させた各色要素毎に
   複数のブロックに分割した画像データについて符号化さ
   せることを特徴とするカラー画像信号の直交変換符号化
   装置。
2. 【請求項２】特許請求の範囲第１項記載の装置におい
   て、前記制御手段は、前記符号化手段を制御し、前記直
   交変換手段により直交変換された前記画像データにより
   構成されるブロックの絵柄に応じたルックアップテーブ
   ルによって符号化させることを特徴とするカラー画像信
   号の直交変換符号化装置。
3. 【請求項３】特許請求の範囲第１項または第２項記載の
   装置において、前記制御手段は、前記符号化手段を制御
   し、前記直交変換手段により直交変換された画像データ
   のうち、低周波数成分のみを符号化させることを特徴と
   するカラー画像信号の直交変換符号化装置。