JP3600750B2

JP3600750B2 - Image compression device and image decompression device

Info

Publication number: JP3600750B2
Application number: JP3441699A
Authority: JP
Inventors: 紳聡阿部
Original assignee: ペンタックス株式会社
Priority date: 1999-02-12
Filing date: 1999-02-12
Publication date: 2004-12-15
Anticipated expiration: 2019-02-12
Also published as: JP2000236550A

Description

【０００１】
【発明の属する技術分野】
本発明は、静止画像である原画像の画素数を低減させて得られた画像データを記録媒体に記録し、その記録媒体から画像データを読み出して原画像を復元させる画像圧縮伸張装置に関する。
【０００２】
【従来の技術】
従来、画像圧縮伸張装置における画像圧縮処理の例として、原画像を構成する多数の画素に含まれる所定数の画素値の平均値を求めて１つの画素を生成し、このような画素から成る縮小画像を記録媒体に記録するものが知られている。また画像圧縮伸張装置における画像伸張処理では、記録媒体から読み出された縮小画像に対して補間処理を施すことにより、原画像と同じ画素数の拡大画像が生成される。
【０００３】
一方、他の画像圧縮伸張装置として、縮小画像に２次元離散コサイン変換を施して得られたＤＣＴ係数を記録媒体に記録し、記録媒体から読み出されたＤＣＴ係数に対して２次元逆離散コサイン変換を施してＩＤＣＴ係数を得るものが知られている。ＩＤＣＴ係数は原画像の画素に含まれる一部の画素に対応しており、ＩＤＣＴ係数に対して補間処理を施すことによって、原画像と同じ画素数の拡大画像を生成することが可能である。
【０００４】
【発明が解決しようとする課題】
画像圧縮伸張装置によって再生された拡大画像は、理想的には原画像に一致すべきであるが、縮小画像を生成したときに原画像に含まれる情報の一部が欠落するため、通常、原画像に一致せず、画質は相対的に悪い。
【０００５】
本発明は、縮小画像から、原画像に対応した拡大画像を再生する画像圧縮伸張装置において、拡大画像の画質を向上させることを目的としている。
【０００６】
【課題を解決するための手段】
本発明に係る画像圧縮装置は、複数の画素から成る第１のマトリクスによって構成される原画像データに基づいて、第１のマトリクスよりも少ない数の画素から成る第２のマトリクスによって構成される縮小画像データを生成する縮小画像生成手段と、縮小画像データに直交変換を施して縮小直交変換係数データを求める第１の直交変換手段と、縮小直交変換係数データに対して、第２のマトリクスよりも多い画素から成る第３のマトリクスによって構成される拡大画像データを得るように、逆直交変換を施す第１の拡大画像生成手段と、拡大画像データにコントラスト係数を施すことによって、拡大画像データが有するコントラストが原画像データが有するコントラストに近くなるように、コントラスト係数を求めるコントラスト係数演算手段とを備えたことを特徴としている。
【０００７】
画像圧縮装置は、コントラスト係数と縮小画像データとを記録媒体に記録する記録手段を備えていてもよい。また画像圧縮装置は、コントラスト係数と縮小直交変換係数データとを記録媒体に記録する記録手段を備えていてもよい。
【０００８】
コントラスト係数演算手段は例えば、第３のマトリクスに含まれる各画素の値とこれらの画素の平均値との差に、修正係数を乗じたことによって得られる修正値に対して、平均値を加算して中間修正拡大画像データを得る第１の演算手段と、中間修正拡大画像データを構成する画素の値と原画像データを構成する画素の値との差の二乗和を得る第２の演算手段と、二乗和が最小になるときの修正係数を求めてコントラスト係数として定める第３の演算手段とを備える。
【０００９】
縮小画像生成手段は例えば、第１のマトリクスに含まれる所定数の画素値の平均値を求め、この平均値を、第２のマトリクスに含まれ、所定数の画素に対応した１つの画素値として定める。この場合、平均値は例えば、第１のマトリクスに含まれる８×８の画素値から求められる。
【００１０】
第１のマトリクスは例えば６４×６４の画素から成り、第２のマトリクスは例えば８×８の画素から成る。
好ましくは、第２および第３のマトリクスはそれぞれｎ１×ｍ１、ｎ２×ｍ２の画素から成る。なお、ｎ２、ｍ２はそれぞれｎ１の２^Ｎ倍、ｍ１の２^Ｍ倍であり、ｎ１、ｍ１、ｎ２、ｍ３、Ｎ、Ｍは正の整数である。
【００１１】
第１および第３のマトリクスに含まれる画素の数は、好ましくは同じである。この場合第１および第３のマトリクスは、例えばそれぞれ６４×６４の画素から成る。
【００１２】
直交変換が２次元離散コサイン変換であるとき、逆直交変換は２次元逆離散コサイン変換である。この場合、第１、第２および第３のマトリクスがそれぞれ６４×６４、８×８および６４×６４の画素から成り、拡大画像生成手段が下記（１）式によって表される２次元逆離散コサイン変換により拡大画像データを得ることが好ましい。
【数２】

ただし、０≦ｘ≦６３、０≦ｙ≦６３、Ｉ’_ｙｘは拡大画像データの画素値、ｕ，ｖ＝０のときＣｕ，Ｃｖ＝１／２^１／２、ｕ，ｖ≠０のときＣｕ，Ｃｖ＝１、Ｄ_ｖｕは２次元離散コサイン変換によって得られたＤＣＴ係数である。
【００１３】
本発明に係る第１の画像伸張装置は、記録媒体に記録されたコントラスト係数と縮小画像データとを読み出すデータ読出手段と、縮小画像データに直交変換を施して縮小直交変換係数データを求める第２の直交変換手段と、縮小直交変換係数データに対して、第２のマトリクスよりも多い画素から成る第３のマトリクスによって構成される拡大画像データを得るように、逆直交変換を施す第２の拡大画像生成手段と、拡大画像データにコントラスト係数を施すことによって、拡大画像データを修正し、修正拡大画像データを求めるコントラスト変換手段とを備えたことを特徴としている。
【００１４】
本発明に係る第２の画像伸張装置は、第１の画像伸張装置とデータ読出手段の構成が異なり、データ読出手段は、記録媒体に記録されたコントラスト係数と縮小直交変換係数データとを読み出すように構成される。また第２の画像伸張装置には、直交変換手段が設けられていない。その他の構成は第１の画像伸張装置と同様である。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１および図２は本発明の第１の実施形態である画像圧縮伸張装置を示すブロック図である。図１は画像圧縮装置を示し、図２は画像伸張装置を示す。
【００１６】
被写体ＳＰからの反射光は撮影光学系１１によって集光され、これにより撮像素子１２の受光面に被写体ＳＰの画像が結像される。撮像素子１２の受光面にはレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）のカラーフィルタが設けられており、撮像素子１２では、Ｒ、ＧおよびＢの各画像に対応したアナログの電気信号がそれぞれ発生する。この電気信号はＡＤ変換器１３において、デジタルの電気信号であるＲ、ＧおよびＢの画像信号に変換される。Ｒ、ＧおよびＢの画像信号は図示しない画像処理回路において、輝度データＹ、および色差データＣｂ、Ｃｒに変換され、メモリ１４に格納される。
【００１７】
輝度データＹ、および色差データＣｂ、Ｃｒは、画像において水平方向に約１０００個、垂直方向に約６００個の画素が配列して構成される原画像データである。後述するように縮小画像生成部１５では、６４×６４の画素から成る第１のマトリクスが原画像データから抽出され、第１のマトリクスの原画像データに対して縮小処理が施される。縮小処理において原画像データは、第２のマトリクスによって構成される縮小画像データに変換される。第２のマトリクスは第１のマトリクスよりも少ない数の画素から成る。すなわち縮小画像データは、第１のメモリ１４に格納された輝度データＹ、および色差データＣｂ、Ｃｒよりも圧縮されており、圧縮率は例えば６４分の１である。縮小画像データは、ＩＣメモリカード等の記録媒体ＲＭに記録される。
【００１８】
また縮小画像データは、第１のＤＣＴ処理部１６において２次元離散コサイン変換（２次元ＤＣＴ）を施され、ＤＣＴ係数に変換される。２次元ＤＣＴによって得られたマトリクスは縮小ＤＣＴ係数データを構成し、その要素数は縮小画像データを構成する第２のマトリクスと同じである。ＤＣＴ係数は第１の拡張ＩＤＣＴ処理部１７において、後述する拡張２次元逆離散コサイン変換（拡張ＩＤＣＴ）を施される。これにより、第３のマトリクスによって構成される拡大画像データが得られる。
【００１９】
縮小画像生成部１５および第１のＤＣＴ処理部１６における処理によってデータの欠落が生じなければ、拡大画像データは原画像データに一致するが、通常はデータの一部が欠落するために、拡大画像データのコントラストは原画像データよりも低下する。コントラスト係数計算部１８では、コントラストの低下を補正するためのコントラスト係数が求められる。コントラスト係数は、拡大画像データが有するコントラストが原画像データが有するコントラストにできるだけ近くなるように、拡大画像データに施されるものである。コントラスト係数も、縮小画像データとともに記録媒体ＲＭに記録される。
【００２０】
輝度データＹ、および色差データＣｂ、Ｃｒに対応した縮小画像データとコントラスト係数はそれぞれ記録媒体ＲＭから読み出される。縮小画像データは、第２のＤＣＴ処理部２１において２次元ＤＣＴを施され、ＤＣＴ係数に変換される。ＤＣＴ係数は、第２の拡張ＩＤＣＴ処理部２２において、拡張ＩＤＣＴを施され、第３のマトリクスによって構成される拡大画像データが得られる。拡大画像データとコントラスト係数はコントラスト変換部２３に入力され、拡大画像データはコントラスト係数を用いて修正される。すなわち、拡大画像データのコントラストは、コントラスト係数によって、できるだけ原画像データに近くなるように修正され、輝度データＹ、および色差データＣｂ、Ｃｒの形式で第２のメモリ２４に格納される。
【００２１】
図３は、図１および図２に示す画像圧縮伸張装置において処理される各画像データのマトリクスを示す図である。図４は縮小画像生成部１５における縮小処理を示す図である。図３および図４を参照して縮小画像生成部１５の作用を説明する。
【００２２】
原画像データは約１０００×６００の画素値Ｐｙｘから成り、８×８の画素から成るブロックに分割される。図３においてブロックＢ１は、原画像データの左上隅のブロックを原点として、水平方向にｓブロック目、垂直方向にｔブロック目に位置する。水平方向に８個並び、かつ垂直方向に８個並ぶ６４個のブロックによって第１のマトリクスＭ１が構成される。すなわち第１のマトリクスＭ１は６４×６４の画素値Ｐｙｘから成る。
【００２３】
縮小画像生成部１５では、第１のマトリクスＭ１によって構成される原画像データに基づいて第２のマトリクスＭ２が生成される。第２のマトリクスＭ２における画素値Ｒｔｓは下記（２）式によって示される。すなわち第２のマトリクスＭ２の画素値Ｒｔｓは、第１のマトリクスＭ１において、ブロックＢ１を構成する８×８の画素値Ｐｙｘの平均値を求めることによって得られる。
【００２４】
【数３】

ただし、原画像データにおいて原点は画像の左上隅Ｃ１の画素であり、ｘは画素の水平方向における座標、ｙは画素の垂直方向における座標を示す。
【００２５】
図４に示す例では、第１のマトリクスＭ１に含まれるブロックＢ１は、１６０、１５８、１８３、２１１、２２１、２２６・・・の６４個の画素値Ｐｙｘから成り、これら６４個の画素値Ｐｙｘの平均値１７４が第２のマトリクスＭ２の対応画素値Ｒｙｘとして求められる。
【００２６】
このように第２のマトリクスＭ２は８×８の画素値から成り、第２のマトリクスＭ２によって構成される縮小画像データは、原画像データよりも少ない画素によって元の画像を示すものである。換言すれば、原画像データにおいて水平方向にｓブロック目、垂直方向にｔブロック目に位置するブロックＢ１は、縮小画像データにおいて水平方向にｓ画素目、垂直方向にｔ画素目に位置する画素Ｐ１に対応する。
【００２７】
図５は、第２のマトリクスＭ２の８×８の画素値と、これらの画素値のＤＣＴ係数とを示している。図３および図５を参照して、第１および第２のＤＣＴ処理部１６、２１において実行される２次元ＤＣＴを説明する。
【００２８】
縮小画像データにおいて、第２のマトリクスＭ２の構成要素である画素値Ｒｔｓは、左上隅Ｃ２を原点とする（ｓ，ｔ）の座標系によって示されている。ＤＣＴを行なうため、画素値Ｒｔｓは（３）式に従って、第２のマトリクスＭ２において左上隅Ｃ３の画素を原点とする座標系に変換される。
【００２９】
【数４】

【００３０】
ＤＣＴは、第１および第２のＤＣＴ処理部１６、２１において下記（４）式に従って行なわれる。
【数５】

【００３１】
ＤＣＴによって得られたＤＣＴ係数Ｄ^{（ｓ，ｔ）}ｖｕから成るマトリクスＭＤにおいて、原点（０，０）にあるＤＣＴ係数Ｄ ^{（ｓ，ｔ）} _００は直流成分であり、残りの６３個のＤＣＴ係数Ｄ^{（ｓ，ｔ）}ｖｕは交流成分である。直流成分は第２のマトリクスを構成する８×８の画素値の平均値に対応し、各交流成分は、それぞれ所定の空間周波数成分に対応している。
【００３２】
次に、図３および図６を参照して、第１および第２の拡張ＩＤＣＴ処理部１７、２２において実行される拡張ＩＤＣＴを説明する。
ここでは、説明の簡単のために、画像データのマトリクスが１次元的に配列されている場合について、すなわち１次元の拡張ＩＤＣＴについて述べる。
【００３３】
８つの画素Ｐｘ（＝Ｐ_０，Ｐ_１，Ｐ_２，．．．Ｐ_７）が１次元的に配置されて成る画像データに対する１次元離散コサイン変換は下記（５）式によって表される。
【数６】

【００３４】
（５）式から理解されるように、１次元離散コサイン変換によって、８個の領域ｘにおける画素値Ｐｘに基づいて空間周波数成分Ｆ（ｕ）が求められる。空間周波数の種類の数（すなわち ”ｕ” の数）は領域ｘの数に等しく、領域ｘの数が８の場合は８である。すなわち、この場合、直流成分Ｆ（０）と７つの交流成分Ｆ（１）、Ｆ（２）、・・・Ｆ（７）とが求められる。
【００３５】
１次元逆離散コサイン変換は下記（６）式によって表される。
【数７】

【００３６】
（６）式から理解されるように、１次元逆離散コサイン変換によって、８個の空間周波数成分Ｆ（ｕ）に基づいて画素値Ｐ’ｘが求められる。
【００３７】
図６は、画素値Ｐ’ｘにおいて、直流成分Ｆ（０）に関する成分と、交流成分（１）、Ｆ（２）、Ｆ（３）に関する成分とを示している。直流成分Ｆ（０）に関する画素値Ｐ’ｘの成分Ａ０は
【数８】

によって示される。交流成分Ｆ（１）に関する画素値Ｐ’ｘの成分Ａ１は
【数９】

によって示される。交流成分Ｆ（２）に関する画素値Ｐ’ｘの成分Ａ２は
【数１０】

によって示される。交流成分Ｆ（３）に関する画素値Ｐ’ｘの成分Ａ３は
【数１１】

によって示される。
【００３８】
画素値Ｐ’ｘは、全ての空間周波数成分Ｆ（０）、Ｆ（１）、Ｆ（２）、・・・Ｆ（７）に関する画素値Ｐ’ｘの成分の和である。例えばｘ＝１における画素値は、下記（７）式によって表される。
【数１２】

【００３９】
図６には、（７）式における空間周波数成分Ｆ（０）、Ｆ（１）、Ｆ（２）、Ｆ（３）に関する画素値の成分Ａ０１、Ａ１１、Ａ２１、Ａ３１が示されている。
【００４０】
ｘ＝１における画素値Ｐ’_１を求めるのと同様な手法によって、すなわち各空間周波数成分Ｆ（０）、Ｆ（１）、・・・Ｆ（７）に関する画素値Ｐ’ｘの各成分Ａ０、Ａ１、Ａ２、Ａ３・・・の曲線（図６参照）において補間することによって、任意の領域ｘにおける画素値Ｐ’ｘを求めることができる。例えば、画素の領域ｘの範囲０〜７を６４等分した場合、すなわちｘ＝０，０．１２５，０．２５，０．３７５，０．５，０．６２５，．．．．７．７５，７．８７５に関する画素値は、（８）式によって求められる。
【００４１】
【数１３】

なお（８）式において、コサインの分母を１２８としたのは、領域ｘを整数として扱えるようにしたためである。
【００４２】
このようにして領域ｘの範囲をさらに細かく分割して逆離散コサイン変換を行なうことを、この明細書では「拡張ＩＤＣＴ」と呼んでいる。換言すると、拡張ＩＤＣＴとは、通常のＩＤＣＴにより得られる画素データのサンプリング数を、通常のＤＣＴ係数の数Ａ個よりも多いＢ個となるようにＩＤＣＴを施すことである。拡張ＩＤＣＴは、上述のような１次元配列の画像データの場合と同様にして２次元配列の画像データにも適用できる。（９）式は２次元配列の場合の拡張ＩＤＣＴを行なって、画素値Ｉ’ ^{（ｓ，ｔ）}ｙｘを求めるための式を示している。
【００４３】
【数１４】

【００４４】
（９）式に示される拡張ＩＤＣＴによれば、マトリクスＭＤを構成する８×８のＤＣＴ係数Ｄ^{（ｓ，ｔ）}ｖｕは、図７に示すように、６４×６４の画素値Ｉ’ ^{（ｓ，ｔ）}ｙｘから成る第３のマトリクスＭ３に変換される。第３のマトリクスＭ３は、前述したように拡大画像データを構成する。
【００４５】
第３のマトリクスＭ３における画素値Ｉ’ ^{（ｓ，ｔ）}ｙｘの座標（ｘ，ｙ）は、第２のマトリクスＭ２と同様に、左上隅の画素を原点としている。そこで、第３のマトリクスＭ３の画素値Ｉ’ ^{（ｓ，ｔ）}ｙｘを原画像データと同じ座標系に戻すため、（１０）式に従って座標変換が行なわれ、座標変換された拡大画像データが第２のメモリ２４（図１参照）に格納される。
【００４６】
【数１５】

【００４７】
（１０）式から理解されるように、第３のマトリクスＭ３に対応するブロックＢ１（図３参照）の位置（ｓブロック，ｔブロック）と、第３のマトリクスＭ３における画素値Ｉ’ ^{（ｓ，ｔ）}ｙｘの位置（ｘ，ｙ）とから、拡大画像データにおける画素値Ｊｙｘの座標が求められる。
【００４８】
次に図３および図８を参照して、コントラスト係数計算部１８（図１参照）において実行されるコントラスト係数ｃｏｎの演算、およびコントラスト変換部２３（図２参照）において実行される拡大画像データの修正について説明する。
【００４９】
原画像データのブロックＢ１を構成する８×８のマトリクスにおいて、水平方向に延びる１つの列を構成する８個の画素が例えばＰ_ｙ０、Ｐ_ｙ１、Ｐ_ｙ２、Ｐ_ｙ３、Ｐ_ｙ４、Ｐ_ｙ５、Ｐ_ｙ６、Ｐ_ｙ７の値をとり、これらに対応する拡大画像データの８個の画素が例えばＪ_ｙ０、Ｊ_ｙ１、Ｊ_ｙ２、Ｊ_ｙ３、Ｊ_ｙ４、Ｊ_ｙ５、Ｊ_ｙ６、Ｊ_ｙ７の値をとるとする。また、原画像データの８個の画素Ｐ_ｙ０、Ｐ_ｙ１・・・Ｐ_ｙ７の平均値がＡＰであり、拡大画像データの８個の画素Ｊ_ｙ０、Ｊ_ｙ１・・・Ｊ_ｙ７の平均値がＡＪであるとする。
【００５０】
縮小画像生成部１５および第１のＤＣＴ処理部１６における処理によってデータの一部が欠落するため、拡大画像データの各画素値は原画像データとは異なる値をとる。すなわち拡大画像データの各画素値は、原画像データと比較して、平均値ＡＪに近くなり、全体的に変化量は小さくなる。換言すれば、拡大画像データのコントラストは原画像データよりも低下する。
【００５１】
そこでコントラスト係数計算部１８では、拡大画像データのコントラストをできるだけ原画像データに近づけるための修正係数として、下記（１１）〜（１６）式に従ってコントラスト係数ｃｏｎが求められる。コントラスト変換部２３では、コントラスト係数ｃｏｎを用いて、拡大画像データの各画素値において、平均値ＡＪよりも大きい値をとるものに対しては、より大きい値をとるように修正され、平均値ＡＪよりも小さい値をとるものに対しては、より小さい値をとるように修正され、中間修正拡大画像データの画素Ｊ^ｃ _ｙ０、Ｊ^ｃ _ｙ１・・・Ｊ^ｃ _ｙ７が求められる。
【００５２】
なおこの修正に先立ち、拡大画像データの画素値の平均値ＡＪが原画像データの画素値の平均値ＡＰに等しくなるように、拡大画像データの各画素値には補正係数が乗じられる。例えば平均値ＡＰが平均値ＡＪの１．０５倍であった場合、拡大画像データの各画素値には補正係数として１．０５が乗じられ、拡大画像データの画素値は平均値ＡＪ’（＝ＡＰ）をとるように補正される。すなわち、修正された拡大画像データの画素Ｊ^ｃ _ｙ０、Ｊ^ｃ _ｙ１・・・Ｊ^ｃ _ｙ７の平均値ＡＪ’は原画像データの平均値ＡＰに等しい。
【００５３】
コントラスト係数ｃｏｎの求め方について詳述する。
まず（１１）式に従って、第３のマトリクスＭ３（拡大画像データ）に含まれる６４×６４個の画素Ｊ_ｙｘの平均値ａｖｅ’が求められる。また、（１２）式に従って第１のマトリクス（原画像データ）に含まれる６４×６４個の画素Ｐ_ｙｘの平均値ａｖｅが求められる。
【００５４】
【数１６】

【数１７】

【００５５】
次いで、上述したように、平均値ａｖｅ’が平均値ａｖｅに等しくなるように、画素Ｊ_ｙｘに補正係数が乗じられる。以下の説明では、この補正係数を乗じたものを画素Ｊ_ｙｘとして説明する。すなわち、６４×６４個の画素Ｊ_ｙｘの平均値はａｖｅである。
【００５６】
中間修正拡大画像データの画素Ｊ^ｃ _ｙｘが（１３）式によって定義される。すなわち中間修正拡大画像データの画素Ｊ^ｃ _ｙｘは、画素Ｊ_ｙｘと平均値ａｖｅとの差に修正係数ｃｏｎを乗じたことによって得られる修正値（Ｊ_ｙｘ−ａｖｅ）×ｃｏｎに対して、平均値ａｖｅを加算することにより得られる。
【数１８】

【００５７】
（１３）式において画素Ｊ^ｃ _ｙｘは、ｃｏｎ＝１のとき拡大画像データの画素Ｊ_ｙｘに等しくなり、ｃｏｎ＝０のとき平均値ａｖｅに等しくなる。またｃｏｎ＞１のとき、画素Ｊ^ｃ _ｙｘは拡大画像データの画素Ｊ_ｙｘに対してコントラストが増加せしめられる。このようにコントラスト係数ｃｏｎを最適値に定めることにより、原画像データの画素Ｐ_ｙｘに近い画素Ｊ^ｃ _ｙｘを有する修正拡大画像データを得ることができる。
【００５８】
修正拡大画像データを計算するため、まず、（１４）式に従って中間修正拡大画像データの画素値と原画像データの画素値との二乗誤差の合計Ｅ^{（ｓ，ｔ）}が、第１および第３のマトリクスＭ１、Ｍ３に関して求められる。
【数１９】

【００５９】
二乗誤差の合計Ｅ^{（ｓ，ｔ）}は正の値をとり、コントラスト係数ｃｏｎの値によって変化する。したがって（１４）式をコントラスト係数ｃｏｎによって偏微分し、その値が０となるようにコントラスト係数ｃｏｎを選べば、そのとき、合計Ｅ^{（ｓ，ｔ）}は最小になり、そのコントラスト係数ｃｏｎは最適値を有する。すなわち、最適なコントラスト係数ｃｏｎは（１５）式および（１６）式に従って求められる。
【数２０】

【数２１】

【００６０】
この最適なコントラスト係数ｃｏｎは、コントラスト変換部２３において、拡大画像データの画素Ｊ_ｙｘを修正するために用いられる。すなわち、（１３）式に従って拡大画像データの画素Ｊ_ｙｘが修正され、原画像データが有するコントラストにできるだけ近いコントラストを有する修正拡大画像データが得られる。
【００６１】
図９は、コントラスト係数計算部１８において実行され、（１６）式に従ってコントラスト係数ｃｏｎを求めるプログラムのフローチャートである。
【００６２】
ステップ１０１では、原画像データの画素Ｐ_ｙｘと拡大画像データの画素Ｊ_ｙｘとの積ＰＪの初期値が０に定められ、画素Ｊ_ｙｘの二乗ＪＪの初期値が０に定められる。またステップ１０１では、第１および第３のマトリクスＭ１、Ｍ３において左上隅に位置する画素の縦座標ｙが（ｔ×８）によって求められ、同様にしてステップ１０２では、マトリクスＭ１、Ｍ３において左上隅に位置する画素の横座標ｘが（ｓ×８）によって求められる（図３参照）。すなわち、左上隅の画素が含まれる８×８のブロックは、原画像データおよび拡大画像データにおいて、水平方向にｓブロック目、縦方向にｔブロック目に位置している。
【００６３】
ステップ１０３では、原画像データの画素Ｐ_ｙｘと拡大画像データの画素Ｊ_ｙｘとの積が求められ、ステップ１０３における前回の計算結果である積ＰＪに加算される。また、画素Ｊ_ｙｘの二乗が求められ、ステップ１０３における前回の計算結果である二乗ＪＪに加算される。
【００６４】
ステップ１０４では、画素の横座標ｘに１が加算される。ステップ１０５では、画素の横座標ｘがマトリクスＭ１、Ｍ３から離れたときの値（ｓ×８）＋６４に等しいか否かが判定される。画素の横座標ｘがマトリクスＭ１、Ｍ３の範囲内にあるとき、ステップ１０３が再び実行される。これに対して横座標ｘがマトリクスＭ１、Ｍ３から離れたとき、ステップ１０６において画素の縦座標ｙに１が加算された後、ステップ１０７において、画素の縦座標ｙがマトリクスＭ１、Ｍ３から離れたときの値（ｔ×８）＋６４に等しいか否かが判定される。画素の縦座標ｙがマトリクスＭ１、Ｍ３の範囲内にあるとき、ステップ１０２へ戻り、横座標ｘが初期値（ｓ×８）にリセットされる。そして、ステップ１０３、１０４、１０５から成るループが再び実行される。
【００６５】
このようにしてマトリクスＭ１、Ｍ３を構成する６４×６４個の画素に関して積和ＰＪと二乗和ＪＪが求められると、ステップ１０８において、（１６）式に従ってコントラスト係数ｃｏｎが計算される。これにより、このプログラムは終了する。
【００６６】
図１０は、コントラスト変換部２３において実行され、（１３）式に従って修正拡大画像データの画素Ｊ^ｃ _ｙｘを求めるプログラムのフローチャートである。
【００６７】
ステップ２０１では、第１および第３のマトリクスＭ１、Ｍ３において左上隅に位置する画素の縦座標ｙが（ｔ×８）によって求められ、同様にしてステップ２０２では、マトリクスＭ１、Ｍ３において左上隅に位置する画素の横座標ｘが（ｓ×８）によって求められる。ステップ２０３では、（１３）式に従って修正拡大画像データの画素Ｊ^ｃ _ｙｘが計算される。
【００６８】
ステップ２０４では、画素の横座標ｘに１が加算される。ステップ２０５では、画素の横座標ｘがマトリクスＭ１、Ｍ３から離れたときの値（ｓ×８）＋６４に等しいか否かが判定される。画素の横座標ｘがマトリクスＭ１、Ｍ３の右端に一致していないとき、ステップ２０３が再び実行される。これに対して横座標ｘがマトリクスＭ１、Ｍ３から離れたとき、ステップ２０６において画素の縦座標ｙに１が加算された後、ステップ２０７において、画素の縦座標ｙがマトリクスＭ１、Ｍ３から離れたときの値（ｔ×８）＋６４に等しいか否かが判定される。画素の縦座標ｙがマトリクスＭ１、Ｍ３の範囲内にあるとき、ステップ２０２へ戻り、横座標ｘが初期値（ｓ×８）にリセットされる。そして、ステップ２０３、２０４、２０５から成るループが再び実行される。
【００６９】
このようにしてマトリクスＭ１、Ｍ３を構成する６４×６４個の画素の全てについてステップ２０３が実行されると、このプログラムは終了する。
【００７０】
図１１は、図７に示される第３のマトリクスＭ３（拡大画像データ）に基づいて最適なコントラスト係数ｃｏｎを求め、これを用いて求められた修正拡大画像データの一部を示している。図７および図１１の比較から理解されるように、拡大画像データにおいて相対的に大きい値を有する画素は、修正拡大画像データでは、より大きい値に修正され、拡大画像データにおいて相対的に小さい値を有する画素は、修正拡大画像データでは、より小さい値に修正される傾向にある。
【００７１】
以上のように本実施形態によれば、縮小画像データに対して、ＤＣＴと拡張ＩＤＣＴを施すことにより、原画像データと大きさが同じで画素数も同じである拡大画像データ（拡大画像）が得られる。拡張ＩＤＣＴでは、（９）式に示されるように、ＤＣＴで求められた結果に対して、第３のマトリクスＭ３を構成する全ての画素値に関して２次元逆離散コサイン変換を行なうことによって、拡大画像の画素値が求められる。したがって本実施形態によれば、縮小画像データを生成したときに欠落した情報が存在するにも拘わらず、原画像に近い画像を再生することが可能となり、再生された拡大画像の画質を向上させることができる。
【００７２】
また本実施形態では、コントラスト係数計算部１８において、（１６）式に従ってコントラスト係数ｃｏｎが求められ、記録媒体ＲＭに記録される。コントラスト係数ｃｏｎは、コントラスト変換部２３において（１３）式に用いられ、これにより、コントラストが原画像データにできるだけ近くなるような修正拡大画像データが求められる。したがって本実施形態によれば、コントラスト係数ｃｏｎを利用することによって、原画像により近い画像を再生することが可能となる。
【００７３】
図１２および図１３は第２の実施形態である画像圧縮伸張装置を示すブロック図である。図１２は画像圧縮装置を示し、図１３は画像伸張装置を示す。図１および図２に示す第１の実施形態と同一または相当する構成要件に関しては、同じ符号を用いている。
【００７４】
第１の実施形態と異なる構成を説明する。縮小画像生成部１５において生成された縮小画像データは記録媒体ＲＭには記録されず、ＤＣＴ処理部１６において２次元離散コサイン変換によって得られた、マトリクスＭＤ（図３参照）を構成する縮小ＤＣＴ係数データが記録媒体ＲＭに記録される。コントラスト係数計算部１８において求められたコントラスト係数ｃｏｎも、第１の実施形態と同様に記録媒体ＲＭに記録される。
【００７５】
縮小ＤＣＴ係数データは記録媒体ＲＭから読み出され、拡張ＩＤＣＴ処理部２２において拡張２次元逆離散コサイン変換を施される。これにより第３のマトリクスＭ３（図３参照）によって構成される拡大画像データが得られる。すなわち第２の実施形態では、記録媒体ＲＭには、ＤＣＴ係数によって構成される縮小ＤＣＴ係数データが記録されているので、拡張ＩＤＣＴ処理部２２の前段にＤＣＴ処理部は設けられていない。
【００７６】
その他の構成および作用は第１の実施形態と同じである。
【００７７】
上記各実施形態では、直交変換として２次元離散コサイン変換を、また逆直交変換として２次元逆離散コサイン変換を用いていたが、これらに限定されず、公知の他の直交変換および逆直交変換を採用することもできる。
【００７８】
【発明の効果】
以上のように本発明によれば、縮小画像から、原画像に対応した拡大画像を再生する画像圧縮伸張装置において、拡大画像の画質を向上させることが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態である画像圧縮伸張装置に含まれる画像圧縮装置を示すブロック図である。
【図２】本発明の第１の実施形態である画像圧縮伸張装置に含まれる画像伸張装置を示すブロック図である。
【図３】図１および図２に示す画像圧縮伸張装置において処理される各画像データのマトリクスを示す図である。
【図４】縮小画像生成部における縮小処理を示す図である。
【図５】第２のマトリクスの８×８の画素値と、これらの画素値から成る画像データに対応したＤＣＴ係数とを示す図である。
【図６】画素値における直流成分Ｆ（０）に関する成分と、交流成分（１）、Ｆ（２）、Ｆ（３）に関する成分とを示す図である。
【図７】８×８のマトリクスのＤＣＴ係数と、再生画像データの第３のマトリクスを構成する画素値とを示す図である。
【図８】原画像データ、拡大画像データおよび中間修正拡大画像データの画素値の例を示す図である。
【図９】コントラスト係数を求めるためのプログラムのフローチャートである。
【図１０】修正拡大画像データの画素値を求めるためのプログラムのフローチャートである。
【図１１】コントラスト係数を用いて求められた修正拡大画像データの一部を示す図である。
【図１２】本発明の第２の実施形態である画像圧縮伸張装置に含まれる画像圧縮装置を示すブロック図である。
【図１３】本発明の第２の実施形態である画像圧縮伸張装置に含まれる画像伸張装置を示すブロック図である。
【符号の説明】
１５縮小画像生成部
１６第１のＤＣＴ処理部
１７第１の拡張ＩＤＣＴ処理部
１８コントラスト係数計算部
２１第２のＤＣＴ処理部
２２第２の拡張ＩＤＣＴ処理部
２３コントラスト変換部
ＲＭ記録媒体
Ｍ１第１のマトリクス
Ｍ２第２のマトリクス[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image compression / decompression device that records image data obtained by reducing the number of pixels of an original image that is a still image on a recording medium, reads image data from the recording medium, and restores the original image.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as an example of image compression processing in an image compression / expansion apparatus, one pixel is generated by calculating an average value of a predetermined number of pixel values included in a large number of pixels constituting an original image, and a reduction including such pixels is performed. 2. Description of the Related Art Recording an image on a recording medium is known. In the image decompression process in the image compression / decompression device, an enlarged image having the same number of pixels as the original image is generated by performing an interpolation process on the reduced image read from the recording medium.
[0003]
On the other hand, as another image compression / expansion device, a DCT coefficient obtained by performing a two-dimensional discrete cosine transform on a reduced image is recorded on a recording medium, and a two-dimensional inverse discrete cosine is applied to the DCT coefficient read from the recording medium. It is known that an IDCT coefficient is obtained by performing a conversion. The IDCT coefficients correspond to some of the pixels included in the pixels of the original image, and by performing interpolation processing on the IDCT coefficients, it is possible to generate an enlarged image having the same number of pixels as the original image.
[0004]
[Problems to be solved by the invention]
The enlarged image reproduced by the image compression / expansion device should ideally match the original image. However, when a reduced image is generated, some of the information contained in the original image is lost. It does not match the image and the image quality is relatively poor.
[0005]
An object of the present invention is to improve the image quality of an enlarged image in an image compression / expansion apparatus that reproduces an enlarged image corresponding to an original image from a reduced image.
[0006]
[Means for Solving the Problems]
An image compression apparatus according to the present invention is configured to reduce, based on original image data composed of a first matrix composed of a plurality of pixels, a second matrix composed of a smaller number of pixels than the first matrix. Reduced image generating means for generating image data; first orthogonal transform means for performing orthogonal transformation on reduced image data to obtain reduced orthogonal transformation coefficient data; A first enlarged image generating means for performing inverse orthogonal transformation so as to obtain enlarged image data composed of a third matrix composed of a large number of pixels, and a contrast coefficient applied to the enlarged image data to provide the enlarged image data. Contrast coefficient calculation for calculating a contrast coefficient so that the contrast is close to the contrast of the original image data It is characterized in that a stage.
[0007]
The image compression device may include a recording unit that records the contrast coefficient and the reduced image data on a recording medium. The image compression device may include a recording unit that records the contrast coefficient and the reduced orthogonal transform coefficient data on a recording medium.
[0008]
The contrast coefficient calculation means adds, for example, an average value to a correction value obtained by multiplying a difference between the value of each pixel included in the third matrix and the average value of these pixels by a correction coefficient. First arithmetic means for obtaining intermediate corrected enlarged image data by means of a second arithmetic means for obtaining the sum of squares of the difference between the value of a pixel constituting the intermediate corrected enlarged image data and the value of a pixel constituting the original image data; , A third calculating means for determining a correction coefficient for minimizing the sum of squares and determining the correction coefficient as a contrast coefficient.
[0009]
For example, the reduced image generation means obtains an average value of a predetermined number of pixel values included in the first matrix, and determines the average value as one pixel value corresponding to the predetermined number of pixels included in the second matrix. Determine. In this case, the average value is obtained, for example, from 8 × 8 pixel values included in the first matrix.
[0010]
The first matrix is composed of, for example, 64 × 64 pixels, and the second matrix is composed of, for example, 8 × 8 pixels.
Preferably, the second and third matrices each comprise n1 × m1 and n2 × m2 pixels. Note that n2 and m2 are each 2 of n1.^NTimes, m1 2^MWhere n1, m1, n2, m3, N, and M are positive integers.
[0011]
The number of pixels included in the first and third matrices is preferably the same. In this case, the first and third matrices are each composed of, for example, 64 × 64 pixels.
[0012]
When the orthogonal transform is a two-dimensional discrete cosine transform, the inverse orthogonal transform is a two-dimensional inverse discrete cosine transform. In this case, the first, second, and third matrices are composed of 64 × 64, 8 × 8, and 64 × 64 pixels, respectively, and the enlarged image generating means is a two-dimensional inverse discrete cosine expressed by the following equation (1). It is preferable to obtain enlarged image data by conversion.
(Equation 2)

Where 0 ≦ x ≦ 63, 0 ≦ y ≦ 63, I ′_yxIs the pixel value of the enlarged image data, and when u, v = 0, Cu, Cv = 1/2^1/2, U, v ≠ 0, Cu, Cv = 1, D_vuIs a DCT coefficient obtained by the two-dimensional discrete cosine transform.
[0013]
A first image decompression device according to the present invention includes a data reading unit that reads out a contrast coefficient and reduced image data recorded on a recording medium, and a second method that performs orthogonal transformation on reduced image data to obtain reduced orthogonal transformation coefficient data. And a second enlargement for performing inverse orthogonal transformation on the orthogonal transformation means and the reduced orthogonal transformation coefficient data so as to obtain enlarged image data composed of a third matrix having more pixels than the second matrix. It is characterized by comprising image generating means and contrast conversion means for correcting the enlarged image data by applying a contrast coefficient to the enlarged image data to obtain corrected enlarged image data.
[0014]
The second image decompression device according to the present invention differs from the first image decompression device in the configuration of the data reading means, and the data reading means reads the contrast coefficient and the reduced orthogonal transform coefficient data recorded on the recording medium. Is configured. Further, the second image decompression device is not provided with the orthogonal transformation means. Other configurations are the same as those of the first image decompression device.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIGS. 1 and 2 are block diagrams showing an image compression / decompression device according to a first embodiment of the present invention. FIG. 1 shows an image compression device, and FIG. 2 shows an image decompression device.
[0016]
The reflected light from the subject SP is collected by the photographing optical system 11, whereby an image of the subject SP is formed on the light receiving surface of the image sensor 12. Red (R), green (G), and blue (B) color filters are provided on the light receiving surface of the image sensor 12, and the image sensor 12 provides analog electrical signals corresponding to R, G, and B images. Each signal is generated. This electric signal is converted by the AD converter 13 into R, G and B image signals which are digital electric signals. The R, G and B image signals are converted into luminance data Y and color difference data Cb and Cr by an image processing circuit (not shown) and stored in the memory 14.
[0017]
The luminance data Y and the chrominance data Cb and Cr are original image data formed by arranging about 1000 pixels in the horizontal direction and about 600 pixels in the vertical direction. As will be described later, in the reduced image generation unit 15, a first matrix composed of 64 × 64 pixels is extracted from the original image data, and reduction processing is performed on the original image data of the first matrix. In the reduction processing, the original image data is converted into reduced image data composed of a second matrix. The second matrix has a smaller number of pixels than the first matrix. That is, the reduced image data is more compressed than the luminance data Y and the color difference data Cb and Cr stored in the first memory 14, and the compression ratio is, for example, 1/64. The reduced image data is recorded on a recording medium RM such as an IC memory card.
[0018]
Further, the reduced image data is subjected to a two-dimensional discrete cosine transform (two-dimensional DCT) in the first DCT processing unit 16 to be converted into DCT coefficients. The matrix obtained by the two-dimensional DCT constitutes reduced DCT coefficient data, and the number of elements thereof is the same as that of the second matrix constituting the reduced image data. The DCT coefficients are subjected to an extended two-dimensional inverse discrete cosine transform (extended IDCT) described later in a first extended IDCT processing unit 17. Thereby, enlarged image data constituted by the third matrix is obtained.
[0019]
If data is not lost due to the processing in the reduced image generation unit 15 and the first DCT processing unit 16, the enlarged image data matches the original image data. However, since a part of the data is usually lost, the enlarged image The data contrast is lower than the original image data. The contrast coefficient calculator 18 calculates a contrast coefficient for correcting a decrease in contrast. The contrast coefficient is applied to the enlarged image data so that the contrast of the enlarged image data is as close as possible to the contrast of the original image data. The contrast coefficient is also recorded on the recording medium RM together with the reduced image data.
[0020]
The reduced image data and the contrast coefficient corresponding to the luminance data Y and the color difference data Cb and Cr are read from the recording medium RM. The reduced image data is subjected to two-dimensional DCT in the second DCT processing unit 21 and is converted into DCT coefficients. The DCT coefficient is subjected to the extended IDCT in the second extended IDCT processing unit 22 to obtain enlarged image data composed of a third matrix. The enlarged image data and the contrast coefficient are input to the contrast conversion unit 23, and the enlarged image data is corrected using the contrast coefficient. That is, the contrast of the enlarged image data is corrected by the contrast coefficient so as to be as close as possible to the original image data, and is stored in the second memory 24 in the form of the luminance data Y and the color difference data Cb and Cr.
[0021]
FIG. 3 is a diagram showing a matrix of each image data processed in the image compression / decompression device shown in FIGS. FIG. 4 is a diagram illustrating a reduction process in the reduced image generation unit 15. The operation of the reduced image generation unit 15 will be described with reference to FIGS.
[0022]
The original image data is composed of approximately 1000 × 600 pixel values Pyx, and is divided into blocks of 8 × 8 pixels. In FIG. 3, a block B1 is located at the s-th block in the horizontal direction and the t-th block in the vertical direction with the block at the upper left corner of the original image data as the origin. The first matrix M1 is composed of 64 blocks arranged in the horizontal direction and arranged in the vertical direction. That is, the first matrix M1 is composed of 64 × 64 pixel values Pyx.
[0023]
In the reduced image generation unit 15, a second matrix M2 is generated based on the original image data constituted by the first matrix M1. The pixel value Rts in the second matrix M2 is represented by the following equation (2). That is, the pixel value Rts of the second matrix M2 is obtained by calculating the average value of the 8 × 8 pixel values Pyx constituting the block B1 in the first matrix M1.
[0024]
(Equation 3)

However, in the original image data, the origin is the pixel at the upper left corner C1 of the image, x indicates the coordinates of the pixel in the horizontal direction, and y indicates the coordinates of the pixel in the vertical direction.
[0025]
In the example shown in FIG. 4, the block B1 included in the first matrix M1 includes 64 pixel values Pyx of 160, 158, 183, 211, 221, 226,..., And these 64 pixel values Pyx Is obtained as the corresponding pixel value Ryx of the second matrix M2.
[0026]
As described above, the second matrix M2 is composed of 8 × 8 pixel values, and the reduced image data formed by the second matrix M2 indicates the original image with fewer pixels than the original image data. In other words, the block B1 located in the sth block in the horizontal direction and the tth block in the vertical direction in the original image data is the pixel P1 located in the sth pixel in the horizontal direction and the tth pixel in the vertical direction in the reduced image data. Corresponding to
[0027]
FIG. 5 shows 8 × 8 pixel values of the second matrix M2 and DCT coefficients of these pixel values. With reference to FIGS. 3 and 5, two-dimensional DCT executed in the first and second

DCT processing units

16 and 21 will be described.
[0028]
In the reduced image data, the pixel value Rts, which is a component of the second matrix M2, is indicated by a (s, t) coordinate system having the origin at the upper left corner C2. In order to perform DCT, the pixel value Rts is converted to a coordinate system having the origin at the pixel at the upper left corner C3 in the second matrix M2 according to the equation (3).
[0029]
(Equation 4)

[0030]
DCT is performed in the first and second

DCT processing units

16 and 21 according to the following equation (4).
(Equation 5)

[0031]
DCT coefficient D obtained by DCT^{(S, t)}DCT coefficient at the origin (0,0) in the matrix MD consisting of vuD ^{(S, t)} ₀₀Is the DC component, and the remaining 63 DCT coefficients D^{(S, t)}vu is an AC component. The DC component corresponds to an average value of 8 × 8 pixel values forming the second matrix, and each AC component corresponds to a predetermined spatial frequency component.
[0032]
Next, the extended IDCT executed by the first and second extended

IDCT processing units

17 and 22 will be described with reference to FIGS.
Here, for the sake of simplicity, a case where the matrix of image data is one-dimensionally arranged, that is, a one-dimensional extended IDCT will be described.
[0033]
Eight pixels Px (= P₀, P₁, P₂,. . . P₇) Is one-dimensionally arranged, and the one-dimensional discrete cosine transform is represented by the following equation (5).
(Equation 6)

[0034]
As understood from the equation (5), the spatial frequency component F (u) is obtained by one-dimensional discrete cosine transform based on the pixel values Px in the eight regions x. The number of types of spatial frequencies (ie, the number of “u”) is equal to the number of regions x, and is eight when the number of regions x is eight. That is, in this case, a DC component F (0) and seven AC components F (1), F (2),... F (7) are obtained.
[0035]
The one-dimensional inverse discrete cosine transform is represented by the following equation (6).
(Equation 7)

[0036]
As understood from the equation (6), the pixel value P′x is obtained by the one-dimensional inverse discrete cosine transform based on the eight spatial frequency components F (u).
[0037]
FIG. 6 shows a component related to the DC component F (0) and components related to the AC components (1), F (2), and F (3) in the pixel value P′x. The component A0 of the pixel value P'x regarding the DC component F (0) is
(Equation 8)

Indicated by The component A1 of the pixel value P'x regarding the AC component F (1) is
(Equation 9)

Indicated by The component A2 of the pixel value P'x related to the AC component F (2) is
(Equation 10)

Indicated by The component A3 of the pixel value P'x relating to the AC component F (3) is
[Equation 11]

Indicated by
[0038]
The pixel value P′x is the sum of the components of the pixel value P′x regarding all the spatial frequency components F (0), F (1), F (2),..., F (7). For example, the pixel value at x = 1 is represented by the following equation (7).
(Equation 12)

[0039]
FIG. 6 shows pixel value components A01, A11, A21, and A31 related to the spatial frequency components F (0), F (1), F (2), and F (3) in the equation (7).
[0040]
Pixel value P 'at x = 1₁, That is, the components A0, A1, A2, A3,... Of the pixel value P′x for the spatial frequency components F (0), F (1),. (See FIG. 6), a pixel value P′x in an arbitrary region x can be obtained. For example, when the range 0 to 7 of the pixel area x is divided into 64 equal parts, that is, x = 0, 0.125, 0.25, 0.375, 0.5, 0.625,. . . . The pixel values for 7.75 and 7.875 are obtained by equation (8).
[0041]
(Equation 13)

The reason why the denominator of the cosine is set to 128 in the equation (8) is that the area x can be handled as an integer.
[0042]
Performing the inverse discrete cosine transform by further dividing the range of the region x in this way is called "extended IDCT" in this specification. In other words, the extended IDCT is to apply the IDCT so that the sampling number of pixel data obtained by the normal IDCT becomes B, which is larger than the number A of the normal DCT coefficients. The extended IDCT can be applied to two-dimensional array image data in the same manner as the one-dimensional array image data described above. Expression (9) performs an extended IDCT in the case of a two-dimensional array to obtain a pixel value I ′.^{(S, t)}An expression for obtaining yx is shown.
[0043]
[Equation 14]

[0044]
According to the extended IDCT shown in the equation (9), 8 × 8 DCT coefficients D forming the matrix MD^{(S, t)}vu is a 64 × 64 pixel value I ′, as shown in FIG.^{(S, t)}yx is converted to a third matrix M3. The third matrix M3 forms the enlarged image data as described above.
[0045]
Pixel value I 'in the third matrix M3^{(S, t)}The coordinates (x, y) of yx have the origin at the pixel at the upper left corner, as in the second matrix M2. Thus, the pixel value I 'of the third matrix M3^{(S, t)}In order to return yx to the same coordinate system as the original image data, coordinate conversion is performed according to equation (10), and the enlarged image data subjected to the coordinate conversion is stored in the second memory 24 (see FIG. 1).
[0046]
(Equation 15)

[0047]
As understood from the equation (10), the position (s block, t block) of the block B1 (see FIG. 3) corresponding to the third matrix M3 and the pixel value I 'in the third matrix M3.^{(S, t)}From the position (x, y) of yx, the pixel value in the enlarged image dataJ yxAre obtained.
[0048]
Next, referring to FIG. 3 and FIG. 8, calculation of contrast coefficient con performed in contrast coefficient calculation section 18 (see FIG. 1) and enlargement of enlarged image data performed in contrast conversion section 23 (see FIG. 2). The correction will be described.
[0049]
In the 8 × 8 matrix forming the block B1 of the original image data, eight pixels forming one column extending in the horizontal direction are, for example, P_y0, P_y1, P_y2, P_y3, P_y4, P_y5, P_y6, P_y7And the eight pixels of the enlarged image data corresponding to these values are, for example, J_y0, J_y1, J_y2, J_y3, J_y4, J_y5, J_y6, J_y7And take the value of. Also, eight pixels P of the original image data_y0, P_y1... P_y7Is the average value of AP, and eight pixels J of the enlarged image data_y0, J_y1... J_y7Is AJ.
[0050]
Since a part of the data is lost due to the processing in the reduced image generation unit 15 and the first DCT processing unit 16, each pixel value of the enlarged image data takes a value different from the original image data. That is, each pixel value of the enlarged image data is closer to the average value AJ as compared with the original image data, and the amount of change becomes smaller as a whole. In other words, the contrast of the enlarged image data is lower than that of the original image data.
[0051]
Therefore, the contrast coefficient calculation unit 18 obtains a contrast coefficient con according to the following equations (11) to (16) as a correction coefficient for bringing the contrast of the enlarged image data as close as possible to the original image data. The contrast conversion unit 23 uses the contrast coefficient con to correct, for each pixel value of the enlarged image data, a value larger than the average value AJ so as to take a larger value. If the value is smaller than the pixel J of the intermediate corrected enlarged image data, it is corrected to take a smaller value.^c _y0, J^c _y1... J^c _y7Is required.
[0052]
Prior to this correction, each pixel value of the enlarged image data is multiplied by a correction coefficient so that the average value AJ of the pixel values of the enlarged image data becomes equal to the average value AP of the pixel values of the original image data. For example, when the average value AP is 1.05 times the average value AJ, each pixel value of the enlarged image data is multiplied by 1.05 as a correction coefficient, and the pixel value of the enlarged image data becomes the average value AJ '(= AP). That is, the pixel J of the corrected enlarged image data^c _y0, J^c _y1... J^c _y7Is equal to the average value AP of the original image data.
[0053]
A method of obtaining the contrast coefficient con will be described in detail.
First, according to equation (11), 64 × 64 pixels J included in the third matrix M3 (enlarged image data)_yxIs obtained. Further, 64 × 64 pixels P included in the first matrix (original image data) according to the equation (12)_yxIs obtained.
[0054]
(Equation 16)

[Equation 17]

[0055]
Next, as described above, the pixel J is set so that the average value ave 'is equal to the average value ave._yxIs multiplied by a correction coefficient. In the following description, the product multiplied by this correction coefficient is referred to as pixel J_yxIt will be described as. That is, 64 × 64 pixels J_yxIs ave.
[0056]
Pixel J of the intermediate corrected enlarged image data^c _yxIs defined by equation (13). That is, the pixel J of the intermediate corrected enlarged image data^c _yxIs the pixel J_yxCorrection value (J obtained by multiplying the difference between_yx−ave) × con, and is obtained by adding the average value ave.
(Equation 18)

[0057]
In equation (13), pixel J^c _yxIs the pixel J of the enlarged image data when con = 1._yx, And when con = 0, it is equal to the average value ave. When con> 1, the pixel J^c _yxIs the pixel J of the enlarged image data_yxContrast is increased. By setting the contrast coefficient con to the optimum value in this manner, the pixel P of the original image data is obtained._yxPixel J close to^c _yxCan be obtained.
[0058]
In order to calculate the corrected enlarged image data, first, the sum E2 of the square error between the pixel value of the intermediate corrected enlarged image data and the pixel value of the original image data is calculated according to equation (14).^{(S, t)}Is determined for the first and third matrices M1, M3.
[Equation 19]

[0059]
Sum of squared error E^{(S, t)}Takes a positive value and varies depending on the value of the contrast coefficient con. Therefore, if the equation (14) is partially differentiated by the contrast coefficient con and the contrast coefficient con is selected so that its value becomes 0, then the total E^{(S, t)}Is minimized and its contrast coefficient con has an optimal value. That is, the optimum contrast coefficient con is obtained according to the equations (15) and (16).
(Equation 20)

(Equation 21)

[0060]
The optimum contrast coefficient con is calculated by the contrast conversion unit 23 in the pixel J of the enlarged image data._yxUsed to modify That is, the pixel J of the enlarged image data is calculated according to the equation (13)._yxIs corrected, and corrected enlarged image data having a contrast as close as possible to the contrast of the original image data is obtained.
[0061]
FIG. 9 is a flowchart of a program executed by the contrast coefficient calculating unit 18 to obtain the contrast coefficient con according to the equation (16).
[0062]
In step 101, the pixel P of the original image data_yxAnd the pixel J of the enlarged image data_yxThe initial value of the product PJ with the pixel J_yxThe initial value of the square JJ of is set to 0. In step 101, the ordinate y of the pixel located at the upper left corner in the first and third matrices M1 and M3 is obtained by (t × 8). Similarly, in step 102, the upper left corner in the matrices M1 and M3 is calculated. Is determined by (s × 8) (see FIG. 3). That is, the 8 × 8 block including the pixel at the upper left corner is located at the s-th block in the horizontal direction and the t-th block in the vertical direction in the original image data and the enlarged image data.
[0063]
In step 103, the pixel P of the original image data_yxAnd the pixel J of the enlarged image data_yxIs calculated and added to the product PJ which is the previous calculation result in step 103. The pixel J_yxIs calculated and added to the square JJ that is the previous calculation result in step 103.
[0064]
In

step

104, 1 is added to the abscissa x of the pixel. In step 105, it is determined whether or not the abscissa x of the pixel is equal to (s × 8) +64 when the pixel is away from the matrices M1 and M3. When the abscissa x of the pixel is within the range of the matrices M1 and M3, step 103 is executed again. On the other hand, when the abscissa x is separated from the matrices M1 and M3, 1 is added to the ordinate y of the pixel in step 106, and then the ordinate y of the pixel is separated from the matrices M1 and M3 in step 107. It is determined whether or not the value is equal to (t × 8) +64. When the ordinate y of the pixel is within the range of the matrices M1 and M3, the process returns to step 102, and the abscissa x is reset to the initial value (s × 8). Then, the

loop including steps

103, 104, and 105 is executed again.
[0065]
When the sum of products PJ and the sum of squares JJ are obtained for the 64 × 64 pixels constituting the matrices M1 and M3 in this way, in step 108, the contrast coefficient con is calculated according to the equation (16). Thus, the program ends.
[0066]
FIG. 10 is executed by the contrast conversion unit 23, and the pixel J of the corrected enlarged image data is calculated according to the equation (13).^c _yx5 is a flowchart of a program for obtaining the following.
[0067]
In step 201, the ordinate y of the pixel located at the upper left corner in the first and third matrices M1 and M3 is determined by (t × 8). Similarly, in step 202, the ordinate y at the upper left corner in the matrices M1 and M3 The abscissa x of the located pixel is determined by (s × 8). In step 203, the pixel J of the corrected enlarged image data is calculated according to the equation (13).^c _yxIs calculated.
[0068]
In

step

204, 1 is added to the abscissa x of the pixel. In step 205, it is determined whether or not the abscissa x of the pixel is equal to (s × 8) +64 when the pixel is away from the matrices M1 and M3. When the abscissa x of the pixel does not match the right end of the matrices M1 and M3, step 203 is executed again. On the other hand, when the abscissa x is separated from the matrices M1 and M3, 1 is added to the ordinate y of the pixel in step 206, and then the ordinate y of the pixel is separated from the matrices M1 and M3 in step 207. It is determined whether or not the value is equal to (t × 8) +64. When the ordinate y of the pixel is within the range of the matrices M1 and M3, the process returns to step 202, and the abscissa x is reset to the initial value (s × 8). Then, the

loop including steps

203, 204, and 205 is executed again.
[0069]
When step 203 has been executed for all of the 64 × 64 pixels constituting the matrices M1 and M3 in this manner, this program ends.
[0070]
FIG. 11 shows a part of the corrected enlarged image data obtained by calculating the optimum contrast coefficient con based on the third matrix M3 (enlarged image data) shown in FIG. As can be understood from the comparison between FIG. 7 and FIG. 11, a pixel having a relatively large value in the enlarged image data is corrected to a larger value in the modified enlarged image data, and a relatively small value in the enlarged image data. Pixels tend to be corrected to smaller values in the corrected enlarged image data.
[0071]
As described above, according to the present embodiment, by performing DCT and extended IDCT on reduced image data, enlarged image data (enlarged image) having the same size and the same number of pixels as the original image data is obtained. can get. In the extended IDCT, as shown in equation (9),For the result obtained by DCT,Two-dimensional for all pixel values that make up the third matrix M3ReverseThe pixel value of the enlarged image is obtained by performing the discrete cosine transform. Therefore, according to the present embodiment, it is possible to reproduce an image close to the original image despite the presence of missing information when the reduced image data is generated, thereby improving the image quality of the reproduced enlarged image. be able to.
[0072]
Further, in the present embodiment, the contrast coefficient con is obtained by the contrast coefficient calculating section 18 according to the equation (16) and is recorded on the recording medium RM. The contrast coefficient con is used in the expression (13) in the contrast conversion unit 23, whereby the corrected enlarged image data whose contrast is as close as possible to the original image data is obtained. Therefore, according to the present embodiment, an image closer to the original image can be reproduced by using the contrast coefficient con.
[0073]
FIGS. 12 and 13 are block diagrams showing an image compression / decompression device according to the second embodiment. FIG. 12 shows an image compression device, and FIG. 13 shows an image decompression device. Components that are the same as or correspond to those in the first embodiment shown in FIGS. 1 and 2 are denoted by the same reference numerals.
[0074]
A configuration different from the first embodiment will be described. The reduced image data generated by the reduced image generating unit 15 is not recorded on the recording medium RM, and the reduced DCT coefficients constituting the matrix MD (see FIG. 3) obtained by the two-dimensional discrete cosine transform in the DCT processing unit 16 Data is recorded on the recording medium RM. The contrast coefficient con obtained by the contrast coefficient calculation unit 18 is also recorded on the recording medium RM in the same manner as in the first embodiment.
[0075]
The reduced DCT coefficient data is read from the recording medium RM, and subjected to an extended two-dimensional inverse discrete cosine transform in the extended IDCT processing unit 22. Thus, enlarged image data constituted by the third matrix M3 (see FIG. 3) is obtained. That is, in the second embodiment, since the reduced DCT coefficient data constituted by the DCT coefficients is recorded on the recording medium RM, the DCT processing unit is not provided in a stage preceding the extended IDCT processing unit 22.
[0076]
Other configurations and operations are the same as those of the first embodiment.
[0077]
In each of the above embodiments, the two-dimensional discrete cosine transform is used as the orthogonal transform, and the two-dimensional inverse discrete cosine transform is used as the inverse orthogonal transform. Can also be adopted.
[0078]
【The invention's effect】
As described above, according to the present invention, it is possible to improve the image quality of an enlarged image in an image compression / expansion apparatus that reproduces an enlarged image corresponding to an original image from a reduced image.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an image compression device included in an image compression / decompression device according to a first embodiment of the present invention.
FIG. 2 is a block diagram illustrating an image decompression device included in the image compression and decompression device according to the first embodiment of the present invention.
FIG. 3 is a diagram showing a matrix of each image data processed in the image compression / decompression device shown in FIGS. 1 and 2;
FIG. 4 is a diagram illustrating a reduction process in a reduced image generation unit.
FIG. 5 is a diagram showing 8 × 8 pixel values of a second matrix and DCT coefficients corresponding to image data composed of these pixel values.
FIG. 6 is a diagram showing a component related to a DC component F (0) and components related to AC components (1), F (2), and F (3) in a pixel value.
FIG. 7 is a diagram illustrating DCT coefficients of an 8 × 8 matrix and pixel values forming a third matrix of reproduced image data.
FIG. 8 is a diagram illustrating an example of pixel values of original image data, enlarged image data, and intermediate corrected enlarged image data.
FIG. 9 is a flowchart of a program for obtaining a contrast coefficient.
FIG. 10 is a flowchart of a program for obtaining a pixel value of modified enlarged image data.
FIG. 11 is a diagram showing a part of corrected enlarged image data obtained using a contrast coefficient.
FIG. 12 is a block diagram showing an image compression device included in the image compression / decompression device according to the second embodiment of the present invention.
FIG. 13 is a block diagram illustrating an image decompression device included in the image compression and decompression device according to the second embodiment of the present invention.
[Explanation of symbols]
15 Reduced image generation unit
16 First DCT processing unit
17 First Extended IDCT Processing Unit
18 Contrast coefficient calculator
21 Second DCT processing unit
22 Second Extended IDCT Processing Unit
23 Contrast converter
RM recording medium
M1 First matrix
M2 Second matrix

Claims

Reduction image generation for generating reduced image data composed of a second matrix composed of a smaller number of pixels than the first matrix based on original image data composed of a first matrix composed of a plurality of pixels Means,
First orthogonal transformation means for performing orthogonal transformation on the reduced image data to obtain reduced orthogonal transformation coefficient data;
First enlarged image generation means for performing inverse orthogonal transformation on the reduced orthogonal transformation coefficient data so as to obtain enlarged image data composed of a third matrix composed of more pixels than the second matrix; ,
By applying a contrast coefficient to the enlarged image data, based on the pixel values of the original image data and the pixel values of the enlarged image data, so that the contrast of the enlarged image data is closer to the contrast of the original image data. And a contrast coefficient calculating means for obtaining the contrast coefficient.

2. The image compression apparatus according to claim 1, further comprising recording means for recording the contrast coefficient and the reduced image data on a recording medium.

2. The image compression apparatus according to claim 1, further comprising recording means for recording the contrast coefficient and the reduced orthogonal transform coefficient data on a recording medium.

The contrast coefficient calculating means,
Adding the average value to a correction value obtained by multiplying the difference between the value of each pixel included in the third matrix and the average value of these pixels by a correction coefficient, to obtain an intermediate corrected enlarged image First calculating means for obtaining data;
Second calculating means for obtaining a sum of squares of a difference between a value of a pixel constituting the intermediate corrected enlarged image data and a value of a pixel constituting the original image data;
3. The image compression apparatus according to claim 1, further comprising: third calculation means for determining the correction coefficient when the sum of squares is minimized and determining the correction coefficient as the contrast coefficient.

The reduced image generating means obtains an average value of a predetermined number of pixel values included in the first matrix, and calculates the average value of one of the pixel values included in the second matrix and corresponding to the predetermined number of pixels. The image compression apparatus according to claim 1, wherein the image compression apparatus is determined as a pixel value.

The image compression device according to claim 5, wherein the average value is obtained from 8x8 pixel values included in the first matrix.

2. The image compression apparatus according to claim 1, wherein said first matrix is composed of 64 × 64 pixels, and said second matrix is composed of 8 × 8 pixels.

Made from the second and third matrix of each n1 × m1, n2 × m2 pixels, n2, m @ 2 is 2 ^N times n1 respectively, is 2 ^M times the m1 (although, n1, m1, n2, m3 , N, and M are positive integers).

The image compression apparatus according to claim 1, wherein the number of pixels included in the first and third matrices is the same.

The image compression apparatus according to claim 9, wherein the first and third matrices each include 64 x 64 pixels.

The image compression apparatus according to claim 1, wherein the orthogonal transform is a two-dimensional discrete cosine transform, and the inverse orthogonal transform is a two-dimensional inverse discrete cosine transform.

The first, second, and third matrices are composed of 64 × 64, 8 × 8, and 64 × 64 pixels, respectively, and the enlarged image generation means performs the two-dimensional inverse discrete cosine transform represented by the following equation. The image compression apparatus according to claim 11, wherein enlarged image data is obtained.

However, 0 ≦ x ≦ 63, 0 ≦ y ≦ 63, I 'yx the pixel value of the expanded image data, u, Cu when v = 0, Cv = 1/ 2 1/2, u, when v ≠ 0 Cu, Cv = 1 and D _vu are DCT coefficients obtained by the two-dimensional discrete cosine transform.

Data reading means for reading out the contrast coefficient and reduced image data recorded on the recording medium by the image compression device according to claim 2.
Second orthogonal transformation means for performing orthogonal transformation on the reduced image data to obtain reduced orthogonal transformation coefficient data;
A second enlarged image generation means for performing inverse orthogonal transformation on the reduced orthogonal transformation coefficient data so as to obtain enlarged image data composed of a third matrix having more pixels than the second matrix; ,
An image decompression device comprising: a contrast conversion unit that corrects the enlarged image data by applying the contrast coefficient to the enlarged image data to obtain corrected enlarged image data.

Data reading means for reading out the contrast coefficient and reduced orthogonal transform coefficient data recorded on the recording medium by the image compression device according to claim 3.
A third enlarged image generating means for performing inverse orthogonal transformation on the reduced orthogonal transformation coefficient data so as to obtain enlarged image data constituted by a third matrix having more pixels than the second matrix; ,
An image decompression device comprising: a contrast conversion unit that corrects the enlarged image data by applying the contrast coefficient to the enlarged image data to obtain corrected enlarged image data.