JP3392946B2 - 電子スチルカメラ及び画像再生装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、同一のディジタル静止
画像を異なる解像度で記録再生する電子スチルカメラ及
び画像再生装置に関する。

【０００２】

【従来の技術】複数の固体撮像素子を用いて静止画像を
ディジタル電気信号に変換し、フレキシブルディスク又
は光ディスク等に記録する電子スチルカメラがあるが、
この様な電子スチルカメラに於ける記録時の映像信号フ
ォーマットは、他装置による再生を可能とするため、１
種類（例えば、ＮＴＳＣ方式）に固定されるのが一般的
である。

【０００３】

【発明が解決しようとする課題】また、異なる信号フォ
ーマット間（例えば、ＮＴＳＣ方式とハイビジョン方式
間）では、その映像信号の解像度が異なり、ＮＴＳＣ方
式の映像信号をハイビジョン方式の信号フォーマットに
変換したとしても、解像度そのものには変化がない。

【０００４】仮に、解像度が異なる信号フォーマットの
映像信号をそれぞれ記録すると、対応する信号フォーマ
ット毎に映像信号を記録せねばならず、記録する情報量
が増大し、フレキシブルディスク等の記憶容量が限られ
たデバイスに、より多くの画像を記録することが困難で
ある。また、ハイビジョン信号の様な高解像度の映像信
号フォーマットで記録媒体に記録し、再生時にＮＴＳＣ
方式の様な低解像度の映像信号を生成して再生する方法
が考えられるが、この場合にも記録する情報量が多く記
録媒体の効果的な活用が困難である。

【０００５】そこで本発明は、低解像度の映像信号を記
録再生できる装置をベースに、より少ない情報量の増加
で高解像度の映像信号を再生可能とし、接続されるディ
スプレイ等の表示装置が持つ種々の信号フォーマットの
解像度に対応する映像信号を出力することができる汎用
性の高い電子スチルカメラ及び画像再生装置を提供する
ものである。

【０００６】

【課題を解決するための手段】本発明に係る電子スチル
カメラの記録系は、光学像を低解像度の基本画像データ
に変換する第１画像データ生成手段と、空間座標軸にお
いて第１画像データから所定量ずれた第２画像データを
光学像から生成する第２画像データ生成手段と、第１画
像データと第２画像データとから第１画像データより高
解像度の第３画像データを生成する高解像度生成手段
と、第１画像データを第３画像データと同数の画素数と
なるようにアップサンプリングした拡張画像データを第
３画像データから減算して補完データを生成する補完デ
ータ生成手段と、補完データと第１画像データとを直交
変換して直交変換係数を求める直交変換手段と、直交変
換手段が求めた直交変換係数を量子化する量子化手段
と、量子化手段による量子化直交変換係数を可変長に置
き換えて符号化データに変換するエントロピー符号化手
段と、エントロピー符号化手段によって変換された補完
データと第１画像データの符号化データを所定フォーマ
ットで情報記録装置に記録する記録手段とを備えること
を特徴とする。

【０００７】また、本発明に係る電子スチルカメラの画
像再生系は、情報記録装置から第１画像データ及び補完
データそれぞれの符号化データを読み出して量子化直交
変換係数を復号するエントロピー復号化手段と、復元量
子化直交変換係数を逆量子化して直交変換係数を復元す
る逆量子化手段と、復元直交変換係数に逆直交変換を施
して第１画像データ及び補完データを復元する逆直交変
換手段と、復元第１画像データを再生表示する低解像度
画像再生手段と、復元第１画像データを補完データ生成
手段と同一のアップサンプリングを行って拡張復元画像
データを生成する拡張手段と、拡張復元画像データと復
元補完データとから第１画像データより高解像度の画像
データを再生する高解像度画像再生手段とを備えること
を特徴とする。

【０００８】

【実施例】初めに高能率符号化における信号処理の基礎
的な事項の説明を行う。信号や画像をディジタル計算器
等で処理するためには、アナログの連続信号状態の本来
の信号や画像をこれらのハードウェアで扱えるディジタ
ル量に変換しなければならない。

【０００９】実数値を取る時間ｔの連続関数ｘ（ｔ）を
原信号とするとき、信号ｘ（ｔ）をサンプリング周期Δ
ｔでサンプリング（標本化若しくは離散値化）して得ら
れる数列 x(n)=・・・x(-1)、x(0)、 x(1)、 x(2)、・・・・ ；n=・・・-1、0、1、
2、・・・・ を信号ｘ（ｔ）の離散時間信号（サンプル値信号）又は
ディスクリート信号と呼ぶ。そして、この離散時間信号
ｘ（ｎ）を量子化（それ以上分解できない最小量の単位
に変換）することで、ディジタル計算器等で扱うことが
できるディジタル量ｘ'(ｎ) にすることができる。つま
りα（ｎ−１）＜ｘ（ｎ）≦α（ｎ）を満足する各離散
時間信号を代表値ｘ’（ｎ）で表すこと。α（ｎ）−α
（ｎ−１）が量子化ステップ幅という。例えば、実数の
小数点以下を四捨五入して整数値に丸めることも量子化
である。

【００１０】したがって、アナログ信号を一般に良く知
られたＡ／Ｄ変換器によってデジタルデータに変換する
ことは、サンプリングと量子化を同時に行うことであ
る。なお、上記ディジタル量ｘ'(ｎ) と離散時間信号ｘ
（ｎ）との値には誤差があるが、この誤差は量子化誤
差、つまり丸め誤差である。

【００１１】ところで、実際の画像信号は２次元平面上
を連続的に変化するアナログ信号であり、２次元平面上
の関数ｕ（ｘ，ｙ）（ｘ，ｙは独立変数）と表すことが
できる。しかも画像がカラーなら複数個の要素（例えば
Ｒ，Ｇ，Ｂ又はＹと色差信号（Ｒ−Ｙ、Ｂ−Ｙ）等にお
いてそれぞれの値を持ったもの）からなるベクトル値関
数である。しかし、ここでは説明の便宜上、以下スカラ
ー値（例えば輝度値Ｙのみ）をとる２次元画像信号につ
いてのみ考える。また、通常のテレビジョン放送におい
て伝送される映像信号は上記２次元平面上のアナログ信
号を水平方向とそれより遅い垂直方向との走査の組み合
わせによって１次元の時系列信号に変換したものであ
る。

【００１２】このような１次元の時系列信号をサンプリ
ング定理を満足するサンプリング周波数で標本化し、さ
らに量子化することでディジタル計算器で扱うことがで
きるディジタルの画像配列を得ることができる。したが
って数学的な表現を用いるなら、２次元平面上の関数ｕ
（ｘ，ｙ）で表される連続的に変化する信号に対してｘ
座標、ｙ座標をサンプリング間隔Δｘ、Δｙでサンプリ
ングし、さらに各点に於ける濃淡の値を量子化した、 ｕ（ｎ，ｍ）＝ｕ'(ｎΔｘ，ｍΔｙ） が通常のディジタルの原画像配列である。つまり、ｕ
（ｎ，ｍ）の１つ１つの要素が一般に画素と呼ばれてお
り、各画素それぞれが例えば２５６階調の濃淡を持つ２
次元的なディジタルの静止画像として表される。

【００１３】従って、上記２次元的に配列されたディジ
タル画像配列ｕ（ｎ，ｍ）は連続値画像信号を近似して
表したものと言え、ディジタル画像配列ｕ（ｎ，ｍ）か
ら原連続値画像信号を復元できることはシャノン−染谷
の標本化定理によって証明されている。通常ディジタル
計算器においては、このディジタル画像配列ｕ（ｎ，
ｍ）を原情報源として取り扱っている。ところが、この
様な原情報源ではデータ量が非常に多く（例えば４００
×５１２画素の２５６階調のディジタル画像配列ｕ
（ｎ，ｍ）では約２００Ｋバイトにもなる）、画像情報
の蓄積又は通信回線を用いる情報伝送を行うには、非常
に効率の悪いものとなる。そこで、データ圧縮技術が重
要になる。

【００１４】データ圧縮は、情報源の冗長度を抑圧する
ことによって可能である。例えば、自然画像において
は、隣接画素間に相関があることが知られている。画素
間に相関があるということは、隣合う画素が同じような
濃淡を持った画素となっていることを意味し、ある画素
に対してその隣接する画素との差分のみを情報として保
持すれば、画素毎の情報を保持するより相対的に情報量
を圧縮することができる。これは一般にＤＰＣＭとして
知られている。

【００１５】例えば、一次元の情報源が次の様に定義さ
れるとき、 ｆ（ｘ）＝・・１６、１７、１５、１１、１３、・・・
・ 各ｆ（ｘ）間の差分Ｄ（ｓ）は Ｄ（ｓ）＝・・１、−２、−４、２、・・・ となる。ｆ（ｘ）をそのまま２進数表記した場合、少な
くとも５ビット必要であるが、Ｄ（ｓ）を２進数表記し
た場合３ビットですむ。直観的に情報量を削減できるこ
とが解る。この予測符号化は可逆符号化と言われ、原情
報が忠実に復元できることで知られている。

【００１６】また、事象ａi ＝ａ１、ａ２、ａ３、・・
・・ａｎからなる事象系Ｘがあるとき、各事象ａi が発
生する確率が各々Ｐ（ａi ）で、各事象の選択される確
率の総和が１となる場合、発生確率Ｐ（ａi ）を持つ事
象が実際に発生したことを知って得られる自己情報量は
Ｉ（ａi ）＝−ｌｏｇ₂ Ｐ（ａi ）と定義される。そし
て、Ｐ（ａi ）×Ｉ（ａi ）の総和を平均情報量（エン
トロピー）というが、各事象ａiが均等に発生する程、
エントロピーが増大する。逆に情報源のとる事象がある
事象ａi に集中すればエントロピーは減少する。したが
って、上記差分Ｄ（ｓ）の場合、値は「０」近傍に集中
するので、情報源ｆ（ｘ）の持つエントロピーより差分
Ｄ（ｓ）の持つエントロピーのほうが小さいといえる。

【００１７】ところで、隣接画素間に相関があるという
ことは、濃淡の微小変化が空間座標軸上で少ないことを
意味する。つまり、空間周波数（＝単位長さ当たりの波
の数、一般の電気信号に言う信号周波数は時間軸上の周
波数）軸上でその画像の性質を調べると、高い周波数成
分が少ないことになる。そこで、隣接画素間に相関が強
い程、低い周波数成分は細かなレベル間隔で量子化し、
高い周波数成分程量子化レベル間隔を荒くすれば、画像
全体に対する情報量を削減することができる。又場合に
よって、より高い周波数成分の情報を破棄してもよい。
ただし、この場合原画像を忠実に再現することはできな
いが、視覚上大きな画質劣化が伴わない程度に高周波成
分の情報を間引けば、効果的な情報圧縮が期待できる。

【００１８】次に原画像配列の空間座標軸を空間周波数
軸に変換する事によって、エントロピーが減少すること
を簡単に説明する。初めに座標軸の回転に付いて考え
る。テレビジョン信号のように走査線上で連続する２画
素ｘ１，ｘ２のマクロな分布をｘ１−ｘ２平面上でプロ
ットすると、図１３のようになる。この場合２画素間に
強い相関があるものとすると、この図のように画素値
（ｘ１，ｘ２）はｘ１＝ｘ２の直線近傍に集中する。ま
た、ｘ１の取り得る範囲は１≦ｘ１≦７であり、同じよ
うにｘ２の取り得る範囲は１≦ｘ２≦７である。この様
に各ｘ１、ｘ２の分布が一様であると、上記したように
エントロピーが大きいことになる。

【００１９】そこで、ｘ１軸、ｘ２軸を４５度回転して
得られる新しい座標軸ｙ１，ｙ２を考えると画素値はｙ
１軸近傍に集中し、ｙ１の取り得る範囲はｘ１とほぼ同
じで１≦ｙ１≦７であるが、ｙ２の取り得る範囲は図１
３から明らかな様にｙ２’≦ｙ２≦ｙ２”と分散範囲が
狭くなっていることが解る。これによりエントロピーが
相対的に減少する事が理解できる。この様な４５度の座
標軸の回転は１／２の正規化係数を伴う直交行列で変換
を行うことである。さらにこの様な座標軸変換により画
素値がｙ２軸近傍に集中するということは、ｘ１，ｘ２
座標の間に存在した強い相関性が除去され、統計的に独
立に近い変数ｙ１，ｙ２で表される関数に変換されたこ
とになる。この様な互いに独立した変数で表される関数
に変換することを直交変換と言う。

【００２０】ところで、ある時系列信号を異なった周波
数の正弦波成分に分解する方法としてフーリエ変換が知
られている。正弦波は例えばａｓｉｎθと表せるが、こ
の係数ａと角度θは互いに独立（＝無相関）した変数で
あり、直交する変数である。したがって、原画像配列の
空間座標軸を空間周波数軸に変換する事によって、互い
に直行した変数で表される関数に変換したことになり、
エントロピーが減少する。

【００２１】周波数領域への直交変換にはフーリエ変換
の他にアダマール変換、離散コサイン変換（以下ＤＣ
Ｔ）、カルーネン・レーベ（Ｋ−Ｌ）変換等がある。ア
ダマール変換は原信号をwalsh 関数に成分分解し、ＤＣ
Ｔは離散的な余弦関数に成分分解する。この様な直交変
換を行う直交行列の各行ベクトルは基底ベクトルと呼ば
れ、アダマール変換及びＤＣＴ変換それぞれの１６次の
基底ベクトルを図１４に示す。この図において、アダマ
ール変換の各基底ベクトルはゼロ交差回数が多いほど高
周波成分を多く含み、同じようにＤＣＴの各基底ベクト
ルにおいても、各離散的な余弦関数の繰り返し周波数が
原信号に含まれる周波数に対応する。

【００２２】この様な直交変換を原画像配列［Ｘ］（Ｎ
×Ｎ行列）に直交変換を行って求めた配列［Ｙ］の各要
素は変換係数と呼ばれ、振幅スペクトル密度を表し、変
換係数の絶対値の２乗は電力スペクトル密度を表す。ま
た、配列［Ｙ］の係数Ｓ(0,0) はＤＣ係数と呼ばれ、ブ
ロック単位の平均濃度に相当する。残りはＡＣ係数と呼
ばれ、各ＡＣ係数は係数Ｓ(1,0) 又は係数Ｓ(0,1) から
係数Ｓ(N,N) に向かって徐々に高い周波数成分の係数と
なっている。

【００２３】なお、直交変換によって電力集中度を最大
限に高め、最大の符号化効率を得ようとするのがＫ−Ｌ
変換であるが、Ｋ−Ｌ変換を行う行列、つまりＫ−Ｌ変
換行列を求めることは、与えられた入力画像に対して複
雑な計算を行うことによって求められる。しかし、この
様な計算は複雑であり、実用化は容易ではない。ところ
が、入力画像がある性質を満足している場合（例えば、
入力画像の自己相関係数が画素間距離の負の指数関数で
与えられるような場合）、Ｋ−Ｌ変換行列が離散コサイ
ン変換（ＤＣＴ）の変換行列に非常に近似していること
が指摘されている。

【００２４】そこで、入力画像のＫ−Ｌ変換係数を求め
る代わりに、変換行列が一義的に決まっているＤＣＴを
用いて直交変換を行うことで、計算を大幅に簡略できる
と共に、変換効率の劣化を少なくすることができる。こ
れが高能率符号化においてＤＣＴが多く用いられる所以
である。ＤＣＴの様な直交変換を用いた符号化は非可逆
符号化と言われ、完全に原情報源が復元できない符号化
方法であるが、視覚上大きな画質劣化を伴わないで十分
な情報圧縮を行うことができる。

【００２５】以下図示実施例に基づいて本発明を説明す
る。図１は本発明の第１実施例である電子スチルカメラ
の記録系のブロック図である。被写体３６から到来した
光は集光レンズ３４によって集光され、ＣＣＤ（固体撮
像素子）３０の受光面上に結像される。また、集光レン
ズ３４とＣＣＤ３０との間にはハーフミラー３２が設置
されており、このハーフミラー３２によって、その集光
レンズ３４で集光された光の一部が反射され、ＣＣＤ３
１の受光面上に結像される。ＣＣＤ３０及びＣＣＤ３１
の受光面には２次元配列された光電変換素子が設けられ
ており、それら各光電変換素子によって被写体像が電気
信号に変換され出力される。

【００２６】また、ＣＣＤ３０とＣＣＤ３１とは、ＣＣ
Ｄの各光電変換素子間隔を１画素間隔とすると、水平方
向若しくは垂直方向に１／２画素間隔ずれて設置されて
いる。なお、本実施例においては水平走査線方向に１／
２画素間隔ずれている場合について説明する。従って、
水平及び垂直方向共に１／２画素間隔ずれていてもよい
し、垂直方向のみにずれていてもよい。

【００２７】ＣＣＤ３０はＡ／Ｄ変換器２６と接続され
ており、光電変換素子によって電気信号に変換された映
像信号が１次元配列信号状態でこのＡ／Ｄ変換器２６に
入力される。Ａ／Ｄ変換器２６に入力されたアナログ映
像信号はディジタルの第１画像データ１００に変換され
る。同じように、ＣＣＤ３１はＡ／Ｄ変換器２７と接続
されており、１次元配列状態のアナログ映像信号がこの
Ａ／Ｄ変換器２７に入力されてディジタルの第２画像デ
ータ１０４に変換される。

【００２８】Ａ／Ｄ変換器２６のデータ出力端子は画像
メモリ３８と接続されており、Ａ／Ｄ変換器２６によっ
て変換された１フィールド若しくは１フレーム分の第１
画像データ１００が２次元的に蓄えられる。Ａ／Ｄ変換
器２７も画像メモリ３９と接続されており、ＣＣＤ３１
によって得られた第２画像データ１０４が１フィールド
分若しくは１フレーム分蓄積される。

【００２９】画像メモリ３８は２次元離散コサイン変換
を行うＤＣＴ２０と接続されており、画像メモリ３８に
一旦蓄えられた第１画像データ１００が８×８ブロック
サイズに分割され、そのブロック単位毎に読み出されて
ＤＣＴ２０に入力される。ＤＣＴ２０に入力された第１
画像データ１００は、２次元ＤＣＴ変換が施されてＤＣ
Ｔ変換係数が算出される。

【００３０】ＤＣＴ２０は量子化器２２と接続されてお
り、ＤＣＴ２０によって算出されたＤＣＴ変換係数が量
子化テーブルを用いて量子化される。量子化器２２はハ
フマン符号器２４と逆量子化器１４とに接続されてい
る。ハフマン符号器２４において、量子化器２２で量子
化された各ＤＣＴ変換係数が、ランレングス符号化及び
可変長符号化によって原情報源の持つ情報量が削減さ
れ、符号化データＡに変換される。ハフマン符号器２４
はＩＣメモリカード１０に接続されており、該符号化デ
ータＡがこのＩＣメモリカード１０に順次記録される。

【００３１】逆量子化器１４は量子化器２２から出力さ
れる量子化ＤＣＴ係数に、量子化器２２による量子化時
に用いられた量子化テーブルを利用して逆量子化が行わ
れ、ＤＣＴ変換係数が復元される。逆量子化器１４は逆
離散コサイン変換（以下ＩＤＣＴ）器１６と接続されて
おり、逆量子化器１４で復元されて入力されるＤＣＴ変
換係数に２次元ＩＤＣＴ変換が施され、画像データ１０
０’が復元される。

【００３２】ＩＤＣＴ１６は拡張処理回路１８と拡張処
理回路１９とに接続されており、拡張処理回路１８にお
いて、ＩＤＣＴ１６から入力される復元画像データ１０
０’がＪＰＥＧ（Joint Photographic Expert Group)ア
ルゴリズムのハイアラーキカル・プロセスに基づいた拡
張処理が行われる。本実施例では、ＣＣＤ３０とＣＣＤ
３１とが水平方向に１／２画素ずれているので、復元画
像データ１００’の水平方向の画素数が２倍にアップサ
ンプリングされた拡張復元画像データ１０２が生成され
る。

【００３３】拡張処理回路１９には画像メモリ３９が接
続されおり、この拡張処理回路１９において、ＩＤＣＴ
１６から入力される復元画像データ１００’と画像メモ
リ３９から入力される第２画像データ１０４とから高解
像度画像データ１０６が生成される。拡張処理回路１９
の出力端子は減算器５０と接続されている。減算器５０
には拡張処理回路１８も接続されており、この減算器５
０によって拡張処理回路１９から入力される高解像度画
像データ１０６から、拡張処理回路１８から入力される
拡張復元画像データ１０２が画素毎に減算されて補完デ
ータ１０８が算出される。

【００３４】減算器５０における減算は、各画素同士の
単純減算である。なお、本実施例においては、ＣＣＤ３
０とＣＣＤ３１とが水平方向に半画素ずれているので、
拡張処理回路１８によるハイアラーキカル・プロセスに
準拠した拡張処理は、水平方向のみが行われるが、ＣＣ
Ｄ３０とＣＣＤ３１とが水平及び垂直方向に半画素ずれ
ていた場合、拡張処理回路１８における復元画像データ
１００’の拡張処理は、水平及び垂直方向の画素数が２
倍にアップサンプリングされる。この水平及び垂直方向
の拡張処理は、復元画像データ１００’を最初に水平方
向にのみ画素数が２倍に拡張され、次にその水平方向の
画素数が２倍にされた画像データを垂直方向に画素数を
２倍にする処理が行われる。

【００３５】減算器５０のデータ出力端子はＤＣＴ２１
と接続されており、減算器５０によって算出された補完
データ１０８にこのＤＣＴ２１で２次元ＤＣＴ変換が施
される。ＤＣＴ２１は量子化器２３と接続されており、
ＤＣＴ２１によって算出された補完データ１０８のＤＣ
Ｔ変換係数がこの量子化器２３において量子化される。

【００３６】量子化器２３の出力端子はハフマン符号器
２５と接続されており、ハフマン符号器２４と同様の処
理によって、補完データ１０８の量子化ＤＣＴ係数から
符号化データＢ’が生成される。ハフマン符号器２５は
ＩＣメモリカード１０と接続されており、この符号化デ
ータＢ’がＩＣメモリカード１０に順次記録される。

【００３７】次に、本実施例の電子スチルカメラの再生
系の構成を説明する。図２は本実施例の再生系のブロッ
ク図である。ＩＣメモリカード１０のデータ入出力端子
はハフマン復号器１２、１３と接続されており、ＩＣメ
モリカード１０から読み出された符号化データＡと符号
化データＢ’とがそれぞれハフマン復号器１２、１３に
入力される。ハフマン復号器１２、１３で、符号化デー
タＡ及び符号化データＢ’から各々量子化ＤＣＴ係数が
復号される。ハフマン復号器１２は逆量子化器１５と接
続されており、ハフマン復号器１３は逆量子化器４２に
接続されている。

【００３８】逆量子化器１５、４２によって、ハフマン
復号器１２、１３各々から入力される各復号量子化ＤＣ
Ｔ係数に逆量子化が施され、ＤＣＴ変換係数が復元され
る。逆量子化器１５はＩＤＣＴ４０と接続されており、
このＩＤＣＴ４０によって復元ＤＣＴ変換係数に２次元
ＩＤＣＴ変換が施されて画像データ１００’が復元され
る。同様に、逆量子化器４２はＩＤＣＴ４４と接続され
ており、逆量子化器４２から入力される復元ＤＣＴ変換
係数に２次元離散コサイン変換が施されて補完データ１
０８’が復元される。

【００３９】ＩＤＣＴ４０は画像メモリ４６と接続され
ており、復元画像データ１００’がこの画像メモリ４６
に順次書き込まれ蓄積される。この画像メモリ４６はス
イッチ６０のコモン端子６０ｃと接続されており、スイ
ッチ６０の端子６０ａはＤ／Ａ変換器２８のデータ入力
端子と、スイッチ６０の端子６０ｂは拡張処理回路４８
とそれぞれ接続されている。

【００４０】スイッチ６０の接点切り換え制御は図示し
ない中央演算処理回路（ＣＰＵ）等によって行われる。
Ｄ／Ａ変換器２８は、筐体外面等に設けられたアナログ
映像信号出力端子を介してディスプレイ等の出力装置５
８と接続されており、画像メモリ４６から読み出された
復元画像データ１００’がこのＤ／Ａ変換器２８によっ
てアナログ信号に変換され、そして再生画像が出力装置
５８に表示される。

【００４１】これに対し、スイッチ６０の接点が端子６
０ｂ側に切り換えられていると、画像メモリ４６から読
み出された復元画像データ１００’が拡張処理回路４８
に入力され、ＪＰＥＧアルゴリズムのハイアラーキカル
・プロセスに準拠した拡張処理、すなわち図１の拡張処
理回路１８と同様の処理が復元画像データ１００’に施
され、復元画像データ１００’の各画素が水平方向に２
倍にアップサンプリングされて拡張復元画像データ１０
２が生成される。

【００４２】拡張処理回路４８のデータ出力端子は加算
器５２と接続されており、拡張復元画像データ１０２が
この加算器５２に入力される。また、この加算器５２に
はＩＤＣＴ４４が接続されている。加算器５２によっ
て、ＩＤＣＴ４４から入力される復元補完データ１０
８’及び、拡張処理回路４８から入力される拡張復元画
像データ１０２の各画素同士の加算が行われ高解像度画
像データ１０６’が復元される。加算器５２のデータ出
力端子は画像メモリ５６と接続されており、復元された
高解像度画像データ１０６’が順次この画像メモリ５６
に蓄積される。

【００４３】画像メモリ５６のデータ出力端子はＤ／Ａ
変換器２９と接続されており、画像メモリ５６に蓄えら
れた１フレーム若しくは１フィールドの高解像度画像デ
ータ１０６’が読み出されて、アナログの高解像度映像
信号に変換される。Ｄ／Ａ変換器２９のアナログ信号出
力端子は図示しない筐体側面等に設けられた映像信号出
力端子と接続されており、この映像信号出力端子に高解
像度画像出力装置６２が接続されている。そしてＤ／Ａ
変換器２９によってアナログ信号に変換された高解像度
映像信号が高解像度画像出力装置６２に出力され、出力
装置５８に表示される画像より高解像度の画像が再生表
示される。

【００４４】以上の構成において、以下各デバイスに於
ける動作と生成される画像データについて説明する。図
３は図１のＩＤＣＴ１６又は図２のＩＤＣＴ４０によっ
て復元された画像データ１００’と、図１に於ける画像
メモリ３９に蓄積される第２画像データ１０４と、図１
の拡張処理回路１８又は図２の拡張処理回路４８で生成
される拡張復元画像データ１０２等の一例を示す。図１
のＣＣＤ３０から入力され、Ａ／Ｄ変換される第１画像
データ１００とＣＣＤ３１から入力されＡ／Ｄ変換され
る第２画像データ１０４とは、空間座標軸において水平
方向に１／２画素分（図３の間隔１１４）ずれている。
第１画像データ１００と第２画像データ１０４は、画像
メモリ３８、３９にそれぞれ２次元的に配列されて蓄積
される。そして各画像データ１００、１０４は、８×８
画素ブロックサイズ毎に分割され、ブロック毎の画像デ
ータがＤＣＴ２０と拡張処理回路１９とにそれぞれ入力
される。

【００４５】ＤＣＴ２０では、入力される第１画像デー
タ１００に対して２次元ＤＣＴ変換が施され、８×８ブ
ロックサイズのＤＣＴ変換係数が求められる。

【００４６】ここで２次元ＤＣＴ変換を行う演算式は次
のように定義されている。

【数１】

【００４７】なお、この数１においてＰxyは第１画像デ
ータ１００の各画素値を示し、本実施例においては２５
６階調（８ビット精度）の輝度信号から構成された画像
データとする。ＤＣＴ２０によって求めたＤＣＴ変換係
数は振幅スペクトル密度を表す。８×８画素ブロックサ
イズの場合、数１による２次元ＤＣＴ変換によって８×
８＝６４個の変換係数Ｓuvが求まる。この６４個の変換
係数のうち、要素位置（０，０）にある変換係数Ｓuvは
ＤＣ係数と呼ばれ、残り６３個の係数はＡＣ係数と呼ば
れる。

【００４８】また、ＡＣ係数は係数Ｓ01若しくは係数Ｓ
10から係数Ｓ77に向かって徐々に、より高い周波数成分
が原画像内にどのくらいあるかを表している（＝振幅ス
ペクトル密度）。ＤＣ係数は８×８画素ブロック全体の
画素値の平均値（直流成分）を表している。

【００４９】なお、（１）式において各画素値Ｐxyから
Ｌs を減算するのは、ＤＣ係数の期待値を０により近づ
かせるためである。これにより、後述するハフマン符号
化の際により短い符号長でＤＣ係数を符号化でき、画像
データの情報圧縮率を高めることができる。

【００５０】２次元ＤＣＴ変換結果の具体例を図５に示
す。図５（ａ）は８×８ブロックに分割された第１画像
データ１００の一例を示し、図５（ｂ）は図５（ａ）の
原画像データに２次元ＤＣＴ変換を施して求められた２
次元のＤＣＴ変換係数を示す。この様に１ブロック毎の
第１画像データ１００が画像メモリ３８から読み出さ
れ、ＤＣＴ２０にてＤＣＴ変換係数が求められる。この
ＤＣＴ変換係数は量子化器２２に入力される。この量子
化器２２には、図５（ｄ）に示すような量子化テーブル
Ｑuvが具備されており、この量子化テーブルＱuvを用い
て各ＤＣＴ変換係数が要素位置毎に量子化される。

【００５１】このＤＣＴ変換係数の量子化は次式によっ
て求められる。 Ｒuv＝round(Ｓuv／Ｑuv) ｛０≦u,v ≦７｝ なお、本式におけるround は最も近い整数への整数化を
意味する。つまり、ＤＣＴ変換係数及び量子化テーブル
の各要素同士の割算と四捨五入によって量子化ＤＣＴ係
数Ｒuvが求められる。図５（ｄ）の量子化テーブルＱuv
によって２次元ＤＣＴ変換係数が量子化されると、図５
（ｃ）のような２次元の量子化ＤＣＴ係数Ｒuvが求ま
る。

【００５２】このようにして量子化器２２で求められた
量子化ＤＣＴ係数Ｒuvはハフマン符号器２４と逆量子化
器１４とに入力される。ここで、図５（ｃ）の量子化Ｄ
ＣＴ係数Ｒuvを符号化するハフマン符号化について簡単
に説明する。量子化ＤＣ係数（Ｒ00）と量子化ＡＣ係数
（Ｒ00以外）では符号化方法が異なっている。量子化Ｄ
Ｃ係数の符号化は次のように行われる。

【００５３】初めに、現在の符号化対象ブロックの量子
化ＤＣ係数と一つ前に符号化が完了されたブロックの量
子化ＤＣ係数との差分が求められる。そして、その差分
値が図６に示すグループの何れに属するかが判断され、
グループ番号を表す符号語が図７に示す符号表（ＤＣ係
数の符号化テーブル）から求められる。さらに各グルー
プ各々において属する値のうち符号化対象の差分値が第
何番目の値であるかが付加ビットで表される。つまり、
隣接ブロックのＤＣ係数同士の差分値の値から、その値
の属するグループ番号を表す符号語と、付加ビットによ
って差分値が符号化される。

【００５４】例えば、一つ前に符号化されたブロックの
ＤＣ係数値が２５、現在符号化しようとするブロックの
ＤＣ係数値が１６であると、差分値は−９であるので、
図６のグループ番号表から、差分値＝−９の属するグル
ープの番号(SSSS) は「４」と判別され、さらにそのグ
ループ番号(SSSS) の符号語が図７の符号化テーブルよ
り「101」と判断される。さらにSSSS＝４のグループに
おいて、差分値「−９」は小さいほうから第７番目にあ
るので、付加ビットは「0110」となり、符号化対象ブロ
ックのＤＣ係数のハフマン符号語は「1010110 」とな
る。

【００５５】量子化ＡＣ係数の符号化は、図８に示す処
理ルーチンによって行われる。初めに、６３個の量子化
ＡＣ係数が図９に示す順序でジクザクスキャンされて、
１次元配列データに並び直される（ステップ１２０）。
そして、１次元に並べられた各量子化ＡＣ係数が「０」
か否かが判断され（ステップ１２２）、「０」ならばそ
の「０」である量子化ＡＣ係数が連続する数がカウント
され（ステップ１２４）、ラン長（NNNN）が求められ
る。また、量子化ＡＣ係数が「０」でないならば、上記
ＤＣ係数と同じようなグループ分けが行われ、ラン長
（NNNN）とグループ番号とを用いた２次元ハフマン符号
化が行われる（ステップ１３０）。

【００５６】「０」でないその量子化ＡＣ係数（有効係
数）のグループ分けに際し、量子化ＤＣ係数のグループ
分けと同様に、その有効係数の属するグループ内に於け
る順位を表す付加ビットが求められる。２次元ハフマン
符号化とは、ラン長（NNNN）の値と、そのラン長（NNN
N）分「０」が続いた後に最初に出現する有効量子化Ａ
Ｃ係数のグループ番号とを独立変数とし、各ラン長（NN
NN）値とグループ番号値との組み合わせに１つの符号語
を割り当て、その符号語と共にそのグループ番号で表さ
れた有効係数の付加ビットで量子化ＡＣ係数が符号化さ
れる。

【００５７】図５（ｃ）の量子化ＤＣＴ係数をこの様な
ハフマン符号化した結果の符号化データ１４０を図１０
に示す。この様にして各ブロックがハフマン符号器２４
によって符号化され、その符号化データ１４０がＩＣメ
モリカード１０に順次記録される。

【００５８】量子化器２２から出力される量子化ＤＣＴ
係数は逆量子化器１４にも入力されており、量子化器２
２で用いた量子化テーブルＱuvによってＤＣＴ変換係数
が復元される。図５（ｃ）の量子化ＤＣＴ係数を復元し
たＤＣＴ変換係数を図１１（ｂ）に示す。逆量子化器１
４によって復元されたＤＣＴ変換係数ＳuvはＩＤＣＴ１
６に入力され、２次元ＩＤＣＴ変換が施され、８×８画
素ブロックの画像データ１００’が復元される。この２
次元ＩＤＣＴ変換を行う変換式を示す。

【数２】

【００５９】図１１（ｂ）のＤＣＴ変換係数Ｓuvに２次
元ＩＤＣＴ変換を施して復元した復元画像データ１０
０’の様子を図１１（ｃ）に示す。

【００６０】復元画像データ１００’は拡張処理回路１
８に順次入力される。この拡張処理回路１８において、
復元画像データ１００’の画素が水平方向に２倍にされ
る、ＪＰＥＧアルゴリズムのハイアラーキカル・プロセ
スに基づいた拡張処理が施される。復元画像データ１０
０’に拡張処理を施して得られる拡張復元画像データ１
０２の様子を図３（ｂ）に示す。この図に示すように、
ハイアラーキカル・プロセスにおける水平方向のアップ
サンプリングは復元画像データ１００’の隣接画素同士
の平均がそれら隣接画素間の１画素の値と定義された画
像が生成される。復元画像データ１００’を水平及び垂
直方向にアップサンプリングされた場合の画像の様子を
図４（ｂ）に示す。

【００６１】画像メモリ３８に蓄えられる第１画像デー
タ１００に対して水平方向に半画素ずれた第２画像デー
タ１０４が画像メモリ３９に入力され蓄積される。この
第２画像データ１０４とＩＤＣＴ１６から出力される復
元画像データ１００’とが拡張処理回路１９に入力さ
れ、水平方向に拡張処理が施されて高解像度画像データ
１０６が減算器５０に入力される。この高解像度画像デ
ータ１０６を図３（ｄ）に示す。この高解像度画像デー
タ１０６と拡張復元画像データ１０２の各画素同士の減
算が減算器５０において行われ、図３（ｅ）に示す高解
像度画像再生用の補完データ１０８としてＤＣＴ２１に
入力される。

【００６２】図４（ｃ）には、ＣＣＤ３０とＣＣＤ３１
とが水平及び垂直方向に半画素ずれていた場合に得られ
る高解像度画像データの一例を示す。この図において、
ＡxyはＣＣＤ３０から得られる画像データであり、Ｂxy
はＣＣＤ３１から得られる画像データである。αxy, β
xyは任意の値であり、例えば４方に隣接するＡxy, Ｂxy
の平均であってもよい。

【００６３】ＤＣＴ２１によって変換されたＤＣＴ変換
係数が量子化器２３に入力され、量子化器２２で用いた
量子化テーブルＱuvと異なる量子化テーブルを用いて各
ＤＣＴ変換係数が量子化される。この様に、量子化器２
２における量子化テーブルと量子化器２３における量子
化テーブルとが異なるのは、入力されるＤＣＴ変換係数
値の分布、すなわちＤＣＴ変換係数の統計的性質が異な
るためである。したがって、量子化器２２で用いられる
量子化テーブルは、入力される原画像データの性質が異
なる場合には、量子化ステップ幅を変更するようにして
もよい。

【００６４】量子化器２３によって量子化されたＤＣＴ
変換係数はハフマン符号器２５に入力され、ハフマン符
号器２４と同じハフマン符号化が行われ符号化データ
Ｂ’が生成される。

【００６５】なお、ハフマン符号器２５に於ける符号化
に用いる符号化テーブルは、ハフマン符号器２４で用い
る符号化テーブルと異なる。これは、ハフマン符号器２
４に入力される量子化ＤＣＴ変換係数の原情報源は画像
そのものである第１画像データ１００であり、ハフマン
符号器２５に入力される量子化ＤＣＴ変換係数の原情報
源は、高解像度画像再生用の補完データ１０８であり、
それら原情報源の統計的性質が異なるため、量子化後の
量子化ＤＣＴ係数の値にも統計的性質に差異が生じてい
るからである。

【００６６】ハフマン符号器２５によって符号化された
符号化データＢ’はＩＣメモリカード１０に順次記録さ
れる。なお、この符号化データＢ’と前記符号化データ
ＡとがＩＣメモリカード１０に記録される際、ＩＣメモ
リカード１０からデータを読み出す際に、符号化データ
Ａであるか、符号化データＢ’であるかを識別するため
の識別情報を付加して記録する。これにより、ＩＣメモ
リカード１０からのデータ読み出し時、符号化データＡ
と符号化データＢ’とを取り違えることはない。

【００６７】次にＩＣメモリカード１０から符号化デー
タＡ若しくは符号化データＢ’を読み出して画像データ
を再生する処理を図２及び図１１を参照しつつ説明す
る。なお、符号化データＡと符号化データＢ’とを用い
て高解像度映像信号を復元できるが、低解像度映像信号
のみの再生を必要とするならば、符号化データＢ’のＩ
Ｃメモリカード１０からの読み出しは行われない。

【００６８】ＩＣメモリカード１０から符号化データＡ
と符号化データＢ’とが、ＩＣメモリカード１０への記
録時に付加された識別情報をもとに読み出され、各々ハ
フマン復号器１２とハフマン復号器１３とに入力され
る。

【００６９】ハフマン復号器１２では、図１のハフマン
符号器２４で用いられた符号化テーブルを利用して量子
化ＤＣＴ係数Ｒuvが復号される。図１１（ａ）には、Ｉ
Ｃメモリカード１０から読み出された符号化データＡの
一例である図１０に示す符号化データ１４０を復号した
場合の量子化ＤＣＴ係数Ｒuvを示す。

【００７０】ハフマン復号器１２によって復号された量
子化ＤＣＴ係数は逆量子化器１５に入力される。逆量子
化器１５では、図１の量子化器２２で用いた量子化テー
ブルを用いて逆量子化が行われる。つまり、各量子化テ
ーブルＱuvと各復元量子化ＤＣＴ係数Ｒuvとの乗算が各
要素毎に行われ、ＤＣＴ変換係数Ｓuvが復元される。逆
量子化器１５によって復元されたＤＣＴ変換係数の一例
を図１１（ｂ）に示す。なお、この逆量子化器１５で使
用される逆量子化テーブルは、図１の逆量子化器１４で
使用される量子化テーブルと同じである。

【００７１】逆量子化器１５によって復元されたＤＣＴ
変換係数はＩＤＣＴ４０に入力され、２次元ＩＤＣＴ変
換が施される。ＩＤＣＴ４０によって復元された復元画
像データ１００’の一例を図１１（ｃ）に示す。このＩ
ＤＣＴ４０による逆ＩＤＣＴ変換によって復元された復
元画像データ１００’は図１のＩＤＣＴ１６による復元
画像データと同じである。よって、逆量子化器１５を逆
量子化器１４と兼用し、またＩＤＣＴ４０をＩＤＣＴ１
６と兼用してもよい。本実施例では説明の便宜上別体の
デバイスとした。

【００７２】ＩＤＣＴ４０によって復元された復元画像
データ１００’は画像メモリ４６に入力され、１フレー
ム分若しくは１フィールド分記憶される。画像メモリ４
６への１フレーム分若しくは１フィールド分の復元画像
データ１００’の記憶が完了されると、スイッチ６０の
接点切り換えによりＤ／Ａ変換器２８か、拡張処理回路
４８何れかに画像メモリ４６の復元画像データ１００’
が入力される。Ｄ／Ａ変換器２８に復元画像データ１０
０’が入力された場合には、アナログの映像信号に変換
されて出力装置５８へと出力され、低解像度の画像がこ
の出力装置５８に表示される。

【００７３】拡張処理回路４８に復元画像データ１０
０’が入力された場合には、その復元画像データ１０
０’の各画素がＪＰＥＧアルゴリズムのハイアラーキカ
ル・プロセスに基づいて水平方向に２倍に拡張される。
拡張処理回路４８による拡張復元画像データ１０２は加
算器５２へ出力される。この拡張復元画像データ１０２
の一例を図３（ｂ）に示す。

【００７４】ＩＣメモリカード１０から読み出された符
号化データＢ’は、ハフマン復号器１３によって復号さ
れる。このハフマン復号器１３での復号に用いられる符
号化テーブルは図１のハフマン符号器２５で用いられた
符号化テーブルと同じである。ハフマン復号器１３によ
って復元された復元量子化ＤＣＴ係数は、逆量子化器４
２によって逆量子化が施され、ＤＣＴ変換係数が復元さ
れる。この逆量子化器４２で使用される量子化テーブル
は、図１の量子化器２３で使用される量子化テーブルと
同じものである。そして逆量子化器４２によって復元さ
れたＤＣＴ変換係数はＩＤＣＴ４４によって２次元ＩＤ
ＣＴ変換が施され、補完データ１０８’が復元される。
補完データ１０８’の一例を図３（ｅ）に示す。なお、
図３（ｅ）に示す補完データ１０８’は図１に於ける減
算器５０が出力する補完データ１０８にほぼ等しい。

【００７５】ＩＤＣＴ４４によって復元された補完デー
タ１０８’は加算器５２に入力される。そして、拡張処
理回路４８から入力される拡張復元画像データ１０２と
の同一画素位置にあるデータ同士で加算が行われ、高解
像度画像データ１０６’が再生される。この高解像度画
像データ１０６’の例を図３（ｄ）に示す。加算器５２
において生成された高解像度画像データ１０６’は画像
メモリ５６に入力され、１フレーム分若しくは１フィー
ルド分蓄積される。そして、画像メモリ５６に１フレー
ム分若しくは１フィールド分の高解像度画像データ１０
６’の記憶が完了されると、画像メモリ５６からその高
解像度画像データ１０６’が順次走査されて読み出さ
れ、Ｄ／Ａ変換器２９に入力される。

【００７６】Ｄ／Ａ変換器２９において高解像度画像デ
ータ１０６’はアナログの映像信号に変換され、高解像
度出力装置６２に出力される。これにより、高解像度画
像出力装置６２には、出力装置５８に表示される低解像
度の画像より水平方向の解像度が高い、画質が優れた画
像が表示される。

【００７７】このように、上記実施例における高解像度
画像の再生はＣＣＤ３０から得られる第１画像データ１
００と、同一被写体像を対象とし、しかも半画素水平方
向にずれたＣＣＤ３１から得られる第２画像データ１０
４とを用いて生成した。

【００７８】高解像度画像の映像信号を出力できるＣＣ
Ｄを用いる場合、すなわちＣＣＤ３０、３１より画素ピ
ッチがより狭いＣＣＤを用いる場合、図１のように２枚
のＣＣＤを用いる必要はない。すなわち、このような場
合、１枚のＣＣＤによって得られる高解像度画像データ
Ｃをダウンサンプリングして画素数を間引き、低解像度
画像データＡを生成すると共に、その低解像度画像デー
タＡと高解像度画像データＣとを用いて補完データＢ’
を生成し、その補完データＢ’と低解像度画像データＡ
とをＤＣＴ、量子化及びハフマン符号化からなる高能率
符号化によって情報量を圧縮してＩＣメモリカード１０
にそれぞれ記録すれば上記実施例と同様のデータがＩＣ
メモリカード１０に記録できる。

【００７９】つまり、ＣＣＤから直接得られた高解像度
画像データＣをダウンサンプリングして得られる低解像
度画像データＡをＤＣＴ２０及び量子化器２２によって
量子化ＤＣＴ係数に変換する。そして、逆量子化器１４
及びＩＤＣＴ１６によって低解像度画像データＡ’に復
元し、さらに復元低解像度画像データＡ’を拡張処理回
路１８によって拡張処理を施す。この拡張処理が施され
た拡張復元画像データ１０２と高解像度画像データＣと
から、補完データ１０８を算出する。そして、この補完
データ１０８と上記低解像度画像データＡとをＩＣメモ
リカード１０に高能率符号化して記録する。

【００８０】このように高解像度画像データを直接出力
することができるＣＣＤを用いるなら、図１におけるＣ
ＣＤ３１、ハーフミラー３２、Ａ／Ｄ変換器２７及び拡
張処理回路１９を省くことができる。なお高解像度画像
を直接出力するＣＣＤ等を用いる高解像度画像を基準と
し、その高解像度画像をサブサンプリングして低解像度
画像を生成し、その低解像度画像と高解像度画像とから
補完データを求める場合と、上記実施例のような場合で
は、補完データの数学的性質が多少異なる。

【００８１】また上記実施例においては、ＣＣＤ及び集
光レンズ等を備え、しかも低解像度画像と高解像度画像
とを記録再生できる電子スチルカメラについて説明した
が、外部より高解像度画像の映像信号入力可能とし、再
生の際に低解像度画像と高解像度画像の双方を出力する
ことができる、解像度が異なる複数の画像を記録再生で
きる装置としてもよい。すなわち、ＣＣＤ及びＡ／Ｄ変
換器等の画像データ生成装置を備えず、上述したように
外部から入力された高解像度映像信号から低解像度画像
を生成して記録するとともに、その高解像度画像と低解
像度画像との差分を記録し、低解像度画像、高解像度画
像いずれをも再生出力することができる画像記録再生装
置としてもよい。

【００８２】ここで、上記実施例において、補完データ
をより小さな記憶領域サイズで何故記録できるのか簡単
に説明する。低解像度画像（第１画像データ１００’）
から高解像度画像（高解像度画像データ１０６’）を生
成する際に使用する補完データ１０８各々の信号レベル
が取り得る振幅値分布は、ＣＣＤ３０から得られる第１
画像データ１００とＣＣＤ３１から得られる第２画像デ
ータ１０４とが同一被写体像を表しているので、高解像
度画像データ１０６から拡張復元画像データ１０２を減
算した補完データ１０８は値「０」近傍に集中する。

【００８３】このように各要素値の振幅分布が「０」近
傍に集中するということはエントロピーが小さくなる。
結果、エントロピーが小さな補完データ１０８を量子化
すると共に、発生頻度がより高い振幅値により短い符号
語を割り当てる可変長符号化であるハフマン符号化とを
行うことでより少ない情報量に変換することができる。
したがって、その補完データ１０８のＩＣメモリカード
１０への記録に際し使用する記録容量も極めて少なくす
ることができる。これにより、低解像度画像の第１画像
データ１００及び高解像度画像データ１０６をＩＣメモ
リカード１０の様な記憶容量に制限がある情報記憶装置
に独立して記録するより、はるかに記録情報量を少なく
することができる。

【００８４】高解像度画像を符号化して通信伝送路を介
して画像通信を行う手法としてＪＰＥＧから勧告されて
いる、カラー静止画像符号化方式としてＪＰＥＧアルゴ
リズムが知られている。このＪＰＥＧアルゴリズムに
は、非可逆符号化であるＤＣＴ方式を用いた画像のプロ
グレッシブ・ビルトアップ表示を行うことができるハイ
アラーキカル・プロセスがある。

【００８５】このハイアラーキカル・プロセスは、原画
像をダウンサンプリングして１／２、１／４、・・、１
／（２のｎ乗）サイズの画像（強制的な段階的画質の低
下操作に相当する）を生成し、最も小さなサイズの画像
（１／（２のｎ乗）サイズの画像）を２次元ＤＣＴ変
換、量子化及びハフマン符号化からなる高能率符号化
（ＪＰＥＧアルゴリズムではＤＣＴ方式と呼ばれる）で
符号化データを生成し、その符号化データを再び復号し
て１／（２のｎ乗）サイズの復元画像を生成する。な
お、この１／（２のｎ乗）サイズの画像の高能率符号化
はベースラインプロセスと呼ばれる高能率符号化に近
い。そしてこの復元画像を２倍に拡大して１／（２のｎ
−１乗）サイズの画像とし、原画像をダウンサンプリン
グして得られる１／（２のｎ−１乗）サイズの画像との
補完データＫ（ｎ−１）をＤＣＴ方式で符号化データに
変換する。

【００８６】このような階層的な符号化を原画像サイズ
まで繰り返し行い、最も小さな画像サイズの符号化デー
タ（本実施例における基本画像の符号化データに相当す
る）を受信側に送信し、受信側でその受信した符号化デ
ータから基本画像を復元して表示すると共に、必要なら
補完データＫ（ｐ−１）（ｐ＝ｎ，ｎ−１，・・・，
１）を用い、復元した基本画像データから１／（２の
（ｐ−１）乗）サイズの画像を復元して表示する（本実
施例における高解像度画像に相当する）。これを繰り返
すことで、段階的に解像度を上昇させた画像を表示させ
ることができ、これをプログレッシブ・ビルトアップ表
示という。

【００８７】上記実施例において、基本画像である第１
画像データ１００と第２画像データ１０４とから高解像
度画像データ１０６を求める。その高解像度画像データ
１０６と、第１画像データ１００から高能率符号化し、
再び復元した復元画像データ１００’をハイアラキーカ
ル・プロセスに準拠した拡張処理によって求めた拡張復
元画像データ１０２との差である補完データ１０８を求
める。そして、第１画像データ１００と補完データ１０
８とをＤＣＴ及びハフマン符号化してＩＣメモリカード
１０に記録するのは、このハイアラーキカル・プロセス
と近似している。そこで、本実施例においてもこのハイ
アラーキカル・プロセスに於ける通信プロトコルを適用
して符号化データをＩＣメモリカード１０に記録するよ
うにしてもよい。

【００８８】つまり、ＪＰＥＧアルゴリズムのハイアラ
ーキカル・プロセスにおいて、受信側で正しく画像を復
元できるように種々の情報が符号化データに付加されて
送信されているが、その様な復元に必要な付加情報を本
実施例に於ける符号化データＡ、Ｂ’に付加してＩＣメ
モリカード１０に記録する。付加情報としては、例えば
符号化に際して使用した量子化テーブル、ハフマン符号
化テーブルがある。さらにハイアラーキカル・プロセス
に於けるデータ構造は、１画像データ若しくは１補完デ
ータを符号化した符号化データをＳＯＩ(Start of Imag
e)マーカ及びＥＯＩ（End of Image) マーカでサンドイ
ッチした１フレームを基本単位として各階層毎の補完デ
ータの符号化データをそのフレーム内に収めて積み重ね
た構造になっている。また、各フレームの直前にはその
フレームに関する諸パラメータを指定したフレームヘッ
ダが付加されている。

【００８９】したがって、このようなハイアラーキカル
・プロセスに準拠したデータ構造で符号化データＡ及び
符号化データＢ’をＩＣメモリカード１０に記録するこ
とで、ＩＣメモリカード１０から読み出したデータをＪ
ＰＥＧアルゴリズムのデコーダで画像を復元させること
ができる。そこで、本実施例における電子スチルカメラ
で記録したＩＣメモリカード１０のデータを直接ＪＰＥ
Ｇアルゴリズムに準拠した通信路を用い、なんらデータ
の修正を加えることなく受信側に送ることもでき、汎用
性が高い電子スチルカメラとすることができる。

【００９０】なお、ＪＰＥＧアルゴリズムにおいては、
カラー画像の符号化が可能なデータ構造となっているの
で、本実施例においても、各色信号成分を上記実施例に
於ける方法で符号化してハイアラーキカル・プロセスに
準拠したデータ構造でＩＣメモリカード１０に記録する
ようにしてもよい。

【００９１】図１２は第２実施例である電子スチルカメ
ラの記録系のブロック図である。この第２実施例は、第
１実施例よりもさらに高解像度な画像を再生できるよう
に、新たな補完データを生成してＩＣメモリカード１０
に符号化データで記録する構成を有している。なお図１
２において、図１に示す第１実施例と同一の構成要素に
ついては、同一の符号を付しており、その詳細な説明は
省略する。

【００９２】集光レンズ３４とハーフミラー３２の間に
はハーフミラー７１が設けられており、これによって、
一部の光はハーフミラー３２に導かれ、他の光はハーフ
ミラー７２に導かれる。ハーフミラー７２を透過した光
はＣＣＤ７３に、またハーフミラー７２において反射し
た光はＣＣＤ７４に導かれる。このようにしてＣＣＤ７
３、７４には、ＣＣＤ３０、３１と同じ被写体像が結像
される。

【００９３】ＣＣＤ７３とＣＣＤ７４とは、ＣＣＤ３
０、３１間の関係と同様に、水平方向に１／２画素間隔
ずれて配設されている。またＣＣＤ７３、７４は、ＣＣ
Ｄ３０、３１に対して垂直方向に１／２画素間隔ずれて
配設されている。

【００９４】ＣＣＤ７３により生成された画像信号はＡ
／Ｄ変換器７５によってディジタル信号に変換され、画
像メモリ７６に格納される。同様に、ＣＣＤ７４により
生成された画像信号はＡ／Ｄ変換器７７によってディジ
タル信号に変換され、画像メモリ７８に格納される。こ
れらのメモリ７６、７８からそれぞれ読み出された１フ
ィールド若しくは１フレーム分の画像データは、拡張処
理回路７９に入力され、水平方向の画素数が２倍にアッ
プサンプリングされて高解像度画像データが生成され
る。また、この拡張処理回路７９には、拡張処理回路１
９から出力された高解像度画像データ１０６が入力され
る。拡張処理回路７９では、この高解像度画像データ
と、メモリ７６、７８から読み出された画像データに基
づいて生成された高解像度画像データとに対して、垂直
方向の画素数が２倍にアップサンプリングされるように
拡張処理が施される。これにより拡張処理回路７９で
は、第２の高解像度画像データ２００が生成される。

【００９５】一方、量子化器２３から出力される補完デ
ータの量子化ＤＣＴ係数は、逆量子化器８１により逆量
子化されてＤＣＴ変換係数に変換され、このＤＣＴ変換
係数はＩＤＣＴ８２により２次元ＩＤＣＴ変換を施され
て補完データが復元される。この復元補完データは加算
器８３において、拡張処理回路１８から出力される拡張
復元画像データ１０２に加算され、高解像度画像データ
２０２が復元される。この復元高解像度画像データ２０
２は、拡張処理回路８４において、垂直方向の画素数が
２倍にアップサンプリングされるように拡張処理が施さ
れる。これにより拡張処理回路８４では、第３の高解像
度画像データ２０４が生成される。

【００９６】減算器８５では、第２の高解像度画像デー
タ２００から第３の高解像度画像データ２０４が減算さ
れ、これにより第２の補完データ２０６が得られる。こ
の補完データ２０６は、ＤＣＴ８７においてＤＣＴを施
され、量子化器８８において量子化され、そしてハフマ
ン符号器８９においてハフマン符号化されて、符号化デ
ータＣＤ’としてＩＣメモリカード１０に記録される。

【００９７】このＩＣメモリカード１０から読み出した
画像データと２つの補完データとに基づいて、水平方向
および垂直方向にそれぞれ２倍に解像度を向上させた画
像を得ることができ、第１実施例よりもさらに高解像度
の画像を再生することができる。このようにＣＣＤの数
を２倍にすることにより、再生画像の解像度を上げるこ
とができる。

【００９８】なお上記各実施例では、原画像情報を空間
座標軸から空間周波数軸に座標軸変換するのに、上記実
施例においては離散コサイン変換を用いたが、フーリエ
変換、アダマール変換、ハール変換等、他の直交変換を
用いるようにしてもよい。さらにＤＣＴ変換等の直交変
換及び量子化後の量子化直交変換係数の符号化について
も、上記各実施例においてはハフマン符号化を用いた
が、算術符号化等他のエントロピー符号化を用いてもよ
く、本発明において符号化の手法を特に限定するもので
はない。

【００９９】また、ＤＣＴ変換における第１画像データ
１００のブロック分割サイズも８×８画素のブロックサ
イズに限定するものではない。

【０１００】

【発明の効果】以上のように本発明によれば、基本とな
る最も解像度の低い画像データを高能率符号化によって
情報量を削減して情報記録装置に記録すると共に、その
基本画像データとその基本画像より解像度の高い画像デ
ータとの補完データを同じように高能率符号化によって
情報量を削減して情報記録装置に記録するようにしたの
で、各解像度の画像を単独で記録するより情報記録密度
を高めることができ、しかも解像度が異なる表示装置と
本発明の電子スチルカメラとを直接接続することもでき
る。

【図面の簡単な説明】

【図１】本発明の第１実施例の記録系のブロック図であ
る。

【図２】本発明の第１実施例の再生系のブロック図であ
る。

【図３】本実施例における第１画像データと第２画像デ
ータとから生成した高解像度画像データ及び補完データ
の一例を示す図である。

【図４】ＪＰＥＧアルゴリズムのハイアラーキカル・プ
ロセスによって復元画像データ１００’を水平及び垂直
方向にアップサンプリングした場合の拡張画像の様子を
示す図である。

【図５】８×８画素ブロックサイズの原データ、ＤＣＴ
変換係数、量子化ＤＣＴ変換係数及び量子化テーブルの
具体例を示す図である。

【図６】ＤＣＴ変換係数のＤＣ係数のハフマン符号化に
おけるグループ表を示す図である。

【図７】ＤＣ係数のハフマン符号化テーブルを示す図で
ある。

【図８】ＡＣ係数のハフマン符号化の処理ルーチンを示
す図である。

【図９】ＡＣ係数のハフマン符号化におけるジグザグス
キャン説明図である。

【図１０】ハフマン符号化による符号化データの一例を
示す図である。

【図１１】複合した量子化ＤＣＴ係数、ＤＣＴ変換係数
及び復号画像データの一例を示す図である。

【図１２】本発明の第２実施例の記録系のブロック図で
ある。

【図１３】隣接画素間に相関がある情報源のエントロピ
ーの削減を説明するための図である。

【図１４】直交変換の１６次の基底ベクトルを示す図で
ある。

【符号の説明】

１０ ＩＣメモリカード １２、１３ ハフマン復号器 １４、１５、４２、８１ 逆量子化器 １６、４０、４４、８２ ＩＤＣＴ １８、１９、４８、７９、８４ 拡張処理回路 ２０、２１、８７ ＤＣＴ ２２、８８ 量子化器 ２４、２５、８９ ハフマン符号器 ２６、２７、７５、７７ Ａ／Ｄ変換器 ２８、２９ Ｄ／Ａ変換器 ３０、３１、７３、７４ ＣＣＤ ３２、７１、７２ ハーフミラー ５０、８５ 減算器 ５２、８３ 加算器

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 光学像を低解像度の基本画像データに変
   換する第１画像データ生成手段と、空間座標軸において
   前記第１画像データから所定量ずれた第２画像データを
   光学像から生成する第２画像データ生成手段と、前記第
   １画像データと前記第２画像データとから前記第１画像
   データより高解像度の第３画像データを生成する高解像
   度生成手段と、前記第１画像データを前記第３画像デー
   タと同数の画素数となるようにアップサンプリングした
   拡張画像データを前記第３画像データから減算して補完
   データを生成する補完データ生成手段と、該補完データ
   と前記第１画像データとを直交変換して直交変換係数を
   求める直交変換手段と、該直交変換手段が求めた直交変
   換係数を量子化する量子化手段と、該量子化手段による
   量子化直交変換係数を可変長に置き換えて符号化データ
   に変換するエントロピー符号化手段と、該エントロピー
   符号化手段によって変換された前記補完データと第１画
   像データの符号化データを所定フォーマットで情報記録
   装置に記録する記録手段とを備えることを特徴とする電
   子スチルカメラ。
2. 【請求項２】 請求項１に記載された情報記録装置から
   前記第１画像データ及び補完データそれぞれの符号化デ
   ータを読み出して前記量子化直交変換係数を復号するエ
   ントロピー復号化手段と、該復元量子化直交変換係数を
   逆量子化して直交変換係数を復元する逆量子化手段と、
   該復元直交変換係数に逆直交変換を施して、請求項１に
   記載された第１画像データ及び補完データを復元する逆
   直交変換手段と、該復元第１画像データを再生表示する
   低解像度画像再生手段と、前記復元第１画像データに対
   して、請求項１に記載された補完データ生成手段と同一
   のアップサンプリングを行って拡張復元画像データを生
   成する拡張手段と、該拡張復元画像データと前記復元補
   完データとから前記第１画像データより高解像度の画像
   データを再生する高解像度画像再生手段とを備えること
   を特徴とする画像再生装置。
3. 【請求項３】 請求項１記載の電子スチルカメラにおい
   て、前記補完データ生成手段における前記第１画像デー
   タのアップサンプリング方法がハイアラーキカル・プロ
   セスに準拠すると共に、前記記録手段によって前記情報
   記録装置に記録される符号化データの記録フォーマット
   をＪＰＥＧアルゴリズムのハイアラーキカル・プロセス
   に準拠したデータフォーマットとすることを特徴とする
   電子スチルカメラ。
4. 【請求項４】 請求項２記載の画像再生装置を備えるこ
   とを特徴とする請求項１又は３記載の電子スチルカメ
   ラ。