JP2004215069A - Retention preview method and apparatus, and compressibility prediction method in lossy compression - Google Patents
Retention preview method and apparatus, and compressibility prediction method in lossy compression Download PDFInfo
- Publication number
- JP2004215069A JP2004215069A JP2003001153A JP2003001153A JP2004215069A JP 2004215069 A JP2004215069 A JP 2004215069A JP 2003001153 A JP2003001153 A JP 2003001153A JP 2003001153 A JP2003001153 A JP 2003001153A JP 2004215069 A JP2004215069 A JP 2004215069A
- Authority
- JP
- Japan
- Prior art keywords
- image
- compression
- display
- size
- compressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、画像のJPEG、MPEGなど、Lossy圧縮の保存・表示制御技術に関し、例えば、スキャナユーティリティ、ファイリングソフト、デジタルカメラなどの画像の圧縮、保存および表示を行うLossy圧縮における保存プレビュー方法、装置および圧縮率予測方法に関する。
【0002】
【従来の技術】
カラー画像を効率よく保管するには、JPEGなどのLossy(画質の劣化がある)圧縮が有効な手段である。このようなLossy圧縮は、一般にファイルサイズをなるべく小さくするために圧縮率を高くすると、画質の劣化が激しくなる傾向にある。ユーザーは、原稿の内容や利用目的などに応じて、圧縮率と画質劣化のバランスを取りながら、圧縮(または品質)パラメータを調整する必要がある。
しかし、一般にその圧縮サイズおよび画質は、一度、画像を圧縮・保存し、さらに開きなおして(解凍して)みないと確認できない。
【0003】
そのため、最適値を求めるには、試行錯誤が必要であり、手間と時間がかかるという問題がある。これを解決するために、保存時にプレビュー表示で確認しながら品質パラメータを調整できるものもあるが、対象画像全体を実際に圧縮・伸張してから表示させる仕組みであるため、比較的小さなサイズの画像では有効ではあるが、画像サイズがA4−400dpi(約46MB), A3−400dpi(約92MB)など大容量になると、処理速度が極端に遅くなり、希望の画質にたどり着くまでに時間がかかるため、実用的ではなくなるという問題がある。
【0004】
デジタルカメラなどにおいて、このJPEG圧縮パラメータをEconomy/Normal/Fineなど数段階に調整できるものがあるが、撮影前にセットしたパラメータで保存され、撮影後に画質をみてからではパラメータ(画質)調整できない。
【0005】
これに関する従来提案されている技術としては、例えば特開2001−223921号公報に記載の画像処理装置および方法がある。これは、ユーザーが画像データを記録媒体に記録する前に、圧縮符号化した後、伸張した画像を表示することにより、圧縮画像データを確認できるようにする方法である。
しかし、この方法では、プレビュー機能はあるが、前述のように、画像サイズが大容量になると、処理速度が極端に遅くなり、時間と手間がかかるという問題がある。
【0006】
また、例えば特開2002−112086号公報に記載のカメラシステム、画像符号化装置および画像復号化装置があるが、これは、撮影部で間引きデータを生成し、このデータをディジタル信号に変換し、画像圧縮回路で圧縮した後にA/D変換器を介してモニタに表示を行うとともに、符号量を算出し、フル画像の符号化データ量を予測して、量子化テーブルを決定する装置である。
しかし、この装置では圧縮サイズを予測することはできるが、前述のように、数段階に調整できるだけであり、かつ撮影する前に画像を見ることはできず、撮影前に予測をしたり、微調整をすることもできない。
【0007】
また、例えば特開2002−330293号公報に記載の画像処理装置および方法があるが、これは、画像データを所定のサイズに分割したブロック単位を圧縮して記憶し、圧縮処理に係る符号化画像データ量に基づいて新たな圧縮パラメータを設定し、予定のファイルサイズに対応したデータ圧縮処理を行う方法である。
この方法においても、圧縮データ量を予測することができるが、前記のように、画像サイズが大容量になると、処理速度が極端に遅くなり、時間と手間がかかり、実用的ではなくなるという問題がある。
【0008】
【特許文献1】
特開2001−223921号公報
【特許文献2】
特開2002−112086号公報
【特許文献3】
特開2002−330293号公報
【0009】
【発明が解決しようとする課題】
このように、従来の技術では、一般にその圧縮サイズおよび画質は、一度、画像を圧縮・保存し、さらに伸長しないと確認できない。従って、圧縮サイズと画質の最適値を求める場合には試行錯誤が必要であり、手間と時間がかかるという問題があった。また、これを解決するものとして、保存時にプレビュー表示で確認しながら品質パラメータを調整できるものもあるが、対象画像全体を実際に圧縮・伸張してから表示させるので、比較的小さなサイズの画像では有効ではあるが、画像サイズが大容量の場合には、処理速度が遅くなり、希望の画質に到達するまでに時間がかかるため、実用的ではなくなるという問題があった。
【0010】
(目的)
そこで、本発明の目的は、従来の問題を解決し、保存前の画質および圧縮サイズをプレビューしながら、品質(圧縮)パラメータを超高速に調整できるようなLossy圧縮における保存プレビュー方法、装置および圧縮率予測方法を提供することである。
【0011】
【課題を解決するための手段】
本発明のLossy圧縮における保存プレビュー方法は、Lossy圧縮形式で画像を保存する場合に、表示されている部分(画像の一部分)のみを圧縮および伸張して画面表示させることにより、画像全体を処理するよりも高速に保存結果(画質)をプレビューできるようにする。
【0012】
また、表示部分のみの圧縮サイズより、画像全体の圧縮サイズを推定し、同時に表示させることにより、ユーザーが画質と圧縮率を確認しながらプレビューできるようにする。
【0013】
また、画像全体を処理するのではなく、表示部分のみを処理することで、高速処理を行い、ユーザーが目的のパラメータ設定値を素早く的確に見つけられるようにする。
表示部分のみを処理した場合は、正確な圧縮サイズを求めることができないが、本発明では、表示部分以外にランダムまたは任意の何箇所かをサンプリング処理し、より正確な圧縮サイズを高速に求める。
【0014】
デジタルカメラなどにおいては、通常は、最初に品質を設定した後に撮影するために、撮影後に画質(Normal/Fineなど)を切り替えることができないが、本発明では、次の手順で、よりユーザーの希望にそった画像を得る。
(1)何箇所かをサンプリングして圧縮し、領域ごとの圧縮率を測定する。圧縮率が悪い部分が画質の劣化が激しい部分であると仮定し、その部分を拡大表示させる。
(2)上記〔0013〕に記載の手法により、最適なパラメータ調整を行い、希望の画質およびサイズで保存・格納する。
なお、本発明において、品質差分値とは、各画素ごとに元画像と圧縮プレビュー画像との差分を算出した合計を画素全体のデータからの比率で表した値とする。
【0015】
【発明の実施の形態】
(全体構成)
図1は、本発明の全体構成の概略図であり、図2は図1における各処理部の詳細図である。
図1に示すように、元画像記憶部aにLossy圧縮しようとする画像が保持されているものとする。入出力装置lにおいて、入力制御部eおよび表示制御部kにより、画像の表示および圧縮サイズの表示が行われ、表示倍率の変更・表示位置スクロール指定・圧縮パラメータの指定などが入力されるものとする。
【0016】
元画像記憶部aから表示対象となる部分およびサンプリング対象となる部分のみを切出す切出し制御部bを備える。また、Lossy圧縮および伸張処理を行う圧縮/伸張制御部gを備える。さらに、表示部分の切出し画像およびサンプリング画像の切出し画像の各記憶部c,dと、表示画像およびサンプリング画像の圧縮結果を一時的に保管する記憶部h,iと、一度圧縮したデータを伸張したすなわちLossy保存した結果、画質劣化したプレビュー用画像を格納する一時記憶部jを備える。
【0017】
図2に示すように、処理システムの構成は、主制御部fを中心にして、元画像記憶部a、切出し制御部b、切出し画像記憶部c,d、圧縮/伸張制御部g、圧縮データ格納部h,i、伸張画像記憶部j、表示制御部k、入出力装置lおよび入力制御部eが配置される。切出し制御部bには、表示サイズ倍率取得部b−1、切出し位置演算部b−2、切出し処理部b−3がある。また、圧縮/伸張制御部gには、圧縮処理部g−1、伸張処理部g−2、圧縮サイズ(率)取得部g−3がある。また、表示制御部kには、表示位置検出部k−1、変倍処理部k−2、描画制御部k−3がある。また、入力制御部eには、スクロールおよび倍率操作検知部e−1、圧縮パラメータ入力検知部e−2がある(請求項13に対応)。
【0018】
(1)Lossy圧縮のプレビュー(請求項1に対応)
図3は、本発明におけるJPEG保存プレビュー画面の例を示す図である。
図3において、全体表示ビューAに元画像を表示している。これは、元画像保持部aで保持されている画像の全体像をサムネイルで表示している。メインビューBには画像の一部分が表示され、スクロールバー操作やマウストラップ操作などにより表示部分のスクロールができる。また、表示倍率変更コントロールHで表示倍率の変更が可能となっている。メインビューBに表示されている領域は、全体表示ビューA上に現在表示されている領域Cとして矩形表示される。なお、領域Cはスクロール操作や表示倍率操作によるメインビューBの表示に合わせて自動的に表示される領域である。圧縮パラメータ指定コントロールDにおいてパラメータを変更すると、瞬時にメインビューBには圧縮結果のプレビューが、予想サイズ&圧縮率の表示領域Eには圧縮サイズおよび圧縮率が表示される。確定ボタンGを押すと、その時点のパラメータ(画質)でJPEG保存される。
【0019】
以下に、図1〜3により詳細な動作を示す。
入出力装置lから入力された圧縮パラメータは、圧縮パラメータ入力検知部e−2、および主制御部fを経由して各制御部に通知される。メインビューBで操作されたスクロール指定および表示倍率変更コントロールHで指定された表示倍率は、スクロール&倍率操作検知部e−1で検知され、主制御部fを経由して切出し制御部b、表示制御部kに通知される。切出し制御部bでは、切出し位置演算部b−2により必要な切出し位置を、現在のスクロール位置・表示倍率・画面サイズなどから算出する。
【0020】
すなわち、画面表示されている部分の位置・サイズを算出する。その結果に基づき切出し処理部b−3により切出し、切出し画像記憶部cに格納する。切出された画像は、圧縮処理部g−1にて圧縮され、一時的に圧縮データ格納部iに格納される。圧縮が終了すると、すぐに伸張処理部g−2にて伸張し、伸張画像記憶部jに書き込む。表示制御部kにおいては、表示位置検出部k−1において描画が必要な領域を判定し、必要に応じて変倍処理部k−2で変倍しながら、描画制御部k−3により描画される。同時に圧縮サイズ(率)取得部g−3において、圧縮データ格納部iに保管されている圧縮データサイズを取得し、圧縮率および画像全体を圧縮した場合の予想圧縮サイズを算出し、表示制御部kを経由して画面表示される。
【0021】
圧縮率および予想圧縮サイズは、次のような計算式で算出される。
元画像のサイズ = W * H pixel、
表示画像のサイズ(等倍換算)= dW * dH pixel
表示部分圧縮サイズ = C byte
とすると、例えば 24bitフルカラー(1 pixel = 3 byte)の場合
圧縮率(%) = C * 100 / (dW * dH * 3)
予想圧縮サイズ(byte) = W * H * C / (dW * dH)
画像全体を処理する場合に比べて、次のように処理性能が向上する。
例えば、 A4−400dpi (3307 * 4677 pixel) の画像を 1024 * 768 pixelの画面に表示させる場合、
表示画素数/全体画素数=1024 * 768 / (3307 * 4677) = 0.051
となり全体を処理するのに対して約5%の処理時間で実現できる。
【0022】
図3では、画質は良いが、予想圧縮サイズ651KBであり、図4では、サイズは182KBと小さくなったが、画質が悪い。図5では、ほぼ満足する画質で、サイズも242KBと満足する結果が得られた。このように、ユーザーが画質および圧縮サイズを確認しながら、最もバランスの良いパラメータ値を見つけることができる。
【0023】
(2)圧縮サイズの精度向上(請求項2に対応)
図3および図7は、どちらも圧縮パラメータ=100と同じであるが、表示位置の違いにより、予想圧縮サイズは図3では651KB、図7では1545KBと約2倍の違いがある。これは、表示する位置により画像の緻密さや特性が異なるため、その圧縮サイズも変動し、予想圧縮サイズの違いとなって表れており、表示部分の圧縮率のみから画像全体の正確な圧縮サイズを予想するのは困難であることがわかる。
そこで図1の元画像記憶部aに示すように、元画像から表示位置以外の何箇所かをサンプリングし、仮圧縮処理することにより、表示位置の違いによる圧縮サイズのばらつきを抑制し、より精度の高い圧縮サイズを予想する。図1の例では、元画像記憶部aに示す黒枠の矩形がサンプリング位置を示しており、この例では表示用の大きい領域1つとサンプリングされた小さい領域3つが示されている。
【0024】
図2に示す表示サイズ・倍率取得部b−1の情報を元に、切出し位置演算部b−2においてサンプリング位置が算出される。サンプリング位置は、ランダムサンプリングまたはあらかじめ均等間隔となるように定めておいた任意位置を選択する。JPEG圧縮の場合は、8*8pixel単位で処理されるためサンプリング1箇所あたりのサイズ・位置も8*8pixel単位とすることにより画像全体を処理することに対して食い違いがないように考慮する。サンプリング切出しされた1個あたり8*8pixelの画像は、サンプリング切出し画像記憶部dに保存され、圧縮処理部g−1を経由してサンプリング画像の圧縮データ格納部hに格納される。その後、圧縮サイズ(率)取得部g−3により、各サンプリングデータの圧縮サイズの合計が取得される。
【0025】
計算式は、次のようになる。
予想圧縮サイズ=元画像面積*サンプリング圧縮サイズ合計/サンプリング面積の合計
本発明により、表示位置や倍率にかかわらず常により精度の高い圧縮サイズを算出し、表示することができるため、プレビュー表示で確認した後、実際に保存すると圧縮サイズは大幅に食い違うなどの問題を回避できる。
【0026】
また、処理の負荷が少ないことも本発明の特徴である。前述のA4−400dpiの画像を1024*768pixelの画面に表示させる場合、そのほかに1000箇所をサンプリングした場合、1サンプリング面積を8*8pixelとすると、
となり、サンプリングしない場合にくらべて、0.004=0.4%しか違いがなく、本処理で処理性能を低下させることなく、より精度の高い圧縮サイズを予測することが可能であることがわかる。
【0027】
(3)サンプリング結果のキャッシュ(請求項3に対応)
圧縮パラメータを変更することなく、ユーザーが表示部分のスクロールまたは表示倍率の変更などを行う場合において、前述(2)のサンプリング画像を表示画像として採用する、また一度表示およびサンプリング用に処理された圧縮/伸張データは破棄せずに保持しておくことにより、効率化を図る。そのために切出し表示画像記憶部c、圧縮データ格納部iおよび伸張画像記憶部jは、表示部分の画像を8*8pixelに分割した状態で管理する。切出し制御部bは、表示画像を8*8pixel単位に分割して切出す。圧縮・伸張処理は、分割領域単位で行われ、伸張画像記憶部jにそれぞれ保管される。表示制御部kは、これら分割処理された画像を領域単位で表示出力処理する。
【0028】
例えば、スクロール操作された場合を考える。通常ならば、スクロールにより生じた新たな表示位置にあわせて、表示領域すべてを切出し・圧縮・伸張をすべて行う必要がある。しかし、既にサンプリング画像が存在する場合には、領域すべてを処理する必要がなく、存在しない画素のみを新たに切出し・圧縮・伸張処理する。サンプリング画像が存在する場合には、サンプリング画像の圧縮データ格納部hより伸張処理部g−2を経由して、伸張画像記憶部jに伸張画像が準備され、表示画像として利用される。圧縮データ格納部h,iまたは伸張画像記憶部jのデータを保持することにより、スクロール・倍率変更などにより表示領域が変更されたとしても、再処理することなく、高速に効率よく表示プレビューが行える。また、圧縮データが蓄積されることにより、次第に予想圧縮サイズも精度を高めていくことになる。
【0029】
(4)画質劣化が大きい/小さい場所を自動的に表示(請求項4に対応)
圧縮の一般的な傾向として、複雑なデータ(画像)は圧縮率が低く、単純なデータ(画像)は圧縮率が高くなる。JPEG圧縮では、人間が感知しにくい高周波成分をカットすることにより、高い圧縮率を得るという特徴をもち、この高周波成分のカットが画質の劣化となって表れる。したがって、複雑なデータほど変化が激しく、高周波成分が多く、画質の劣化も多くなる傾向にある。そこで、圧縮率の低い物ほど画質の劣化が激しいと予測することができる。
また、サンプリング圧縮データを伸張して、元画像と画素単位の差分を求めることにより、画質劣化の度合いを直接求めることもできる。
【0030】
品質差分値(%)=Σ(元画像の画素値−伸張画素の値)*100/(画素数*画素MAX値)
0ならば画質劣化なし、値が大きいほど劣化が激しい
前述(2)の処理において、サンプリングされた圧縮データから、最も圧縮率が低くなる位置、高くなる位置を検出する。または、品質差分値が最も大きくなる位置、小さくなる位置を検出する。それらの検出された位置を自動的に表示することにより、ユーザーが画質(圧縮)パラメータを設定する際に、効率よい作業が行えるようにする。
【0031】
図3,6,8、9が、その実施例を示す画面図である。
最初に、図3に示すように画像左上端が表示されていた場合、サンプリング圧縮データより最も画質劣化が激しいと判断され自動表示されたのが、図6である。
より詳細に画質調整を行なうためには、図8および図9に示すように、最も画質劣化が激しいと判断された部分を自動的に拡大表示して画質を調整する画面が示されている。
自動表示方法の一つとして、上記判定方法により想定される画質が最も悪いと思われる部分、最も良いと思われる部分を両方同時に表示することにより、ユーザーはそのバランスを見ながら画質決定できる方法もある。
【0032】
(5)正確な圧縮サイズ(請求項5に対応)
本発明の請求項2に対応する実施例において、サンプリング数を増やすことや、請求項3に対応する実施例において、画像全体をスクロール表示させることにより、より正確な圧縮サイズを推定できるようになるが、次のような場合には請求項1の方法とは別に画像全体を圧縮処理する方法が有効である。
【0033】
・元画像サイズが小さく、画像全体の圧縮処理時間が少ないもの(画面サイズと比べて大幅に大きくないもの)、
・全体の処理を簡素化したい場合(請求項2,3の方法を使用しない場合)、
・マルチタスク処理が可能なCPUの空時間を有効活用できるシステムで、ユーザー操作待ちなどCPUの空時間が多いと予測される場合、
・正確な圧縮サイズが必要になる場合(例えば、1.44MBのフレキシブルディスクに収めようとした場合に、入りきるかどうかを検証したい場合)。
【0034】
このような場合には、バックグラウンドで自動的に、もしくはユーザー操作により、画像全体を圧縮し、正確な圧縮サイズを得る。また、この状態(現状の圧縮パラメータ)でファイル保存が指定された場合は、圧縮処理することなく、既に生成されている圧縮データをそのままファイルに書き出すことにより処理時間の短縮ができる。
【0035】
(6)精度の高い圧縮サイズの推測(請求項6に対応)
図10は、JPEG圧縮における圧縮パラメータと圧縮サイズの関係を示す図である。また、図11〜図19は、圧縮パラメータと圧縮サイズの関係を示す特性曲線図である。
圧縮パラメータqFactorは、JPEG圧縮における量子化テーブルを定める値であり、qFactor=100で標準的な量子化テーブルとなる。各図における全体とは、画像全体を圧縮したものを表わす。領域A,Bは、その中の一部領域のみを抜き出して圧縮した結果を表わす。
【0036】
すなわち、領域A,Bは、請求項1における表示部分のみを抜き出して圧縮したものと同じ状態を表す。サブサンプリングは、横方向および縦方向の輝度成分、色差成分のサブサンプリング比を表す。2*2は明暗の情報と色の情報を同じ1/2ずつにした場合、4*2は、それぞれ1/4と1/2にした場合である。
明暗は人間の目に敏感であり、色は人間の目に鈍感であるため、明暗の情報は1/2、色の情報を1/4にしている。
図11,図12のグラフは、全体と全体(4*2)との比較および領域A,Bとの比較を示す図である。図11,図12より、画像全体または画像の一部にかかわらず、およびサブサンプリングなどの要因にもかかわらず、どの場合も同じ傾向になることがわかる。
【0037】
図13のグラフは、横軸に画像全体を圧縮したサイズ、縦軸に領域A,Bのみを圧縮したサイズをとってグラフ3にしたものである。図13のグラフ3より、両者は比例関係にあることがわかり、2点の座標がわかれば近似直線式を求めることができる。
さらに厳密に近似すると、qFactor=100(標準値)を境として、多少直線の傾きが変化している。これを図14、図15のグラフ4,5に示す。グラフ4,5では、R2乗値=0.9987〜0.9999とかなり精度の良い近似式が得られることがわかる(R2乗値とは近似合のばらつき度合いを表す。1の場合ばらつきなしとなり、0に近づくにつれてばらつきが大きくなり近似の精度が悪くなることを表す)。この傾向は、サブサンプリング比=4:2になっても変わらず。図17および図18のグラフ7.8でも、R2乗値=0.9995〜1.0000となり、ほぼ完全に近似できることがわかる。
【0038】
したがって、画像全体および表示部分の圧縮サイズを、qFactor=100をはさんで合計3箇所測定することができれば、後は表示部分の圧縮サイズから全体画像の圧縮サイズを予測できるようになる。
また、図19におけるグラフ9に示すように、領域ごとの圧縮データも同様に直線近似の関係になる。したがって、請求項2,3の処理において、サンプリングされた領域からおおよその全体圧縮サイズを、同様にqFactor=100をはさんで合計3箇所測定することができれば、後は表示部分の圧縮サイズからおおよその全体圧縮サイズを予測できるようになる。
【0039】
(7)撮影後の画質調整(請求項7に対応)
デジタルスチルカメラなど撮影直後に圧縮および保存する機器において、品質(圧縮)パラメータはあらかじめ設定しておいた値で撮影、圧縮および保存される。また、通常は、残り撮影枚数を確実に制御するために、どの画像でも同じ圧縮サイズになるまで圧縮リトライ処理し、適切な品質パラメータを探し出してようやく保存されるため処理の無駄も発生している。
【0040】
しかし、本発明を適用することにより、ユーザーは撮影後に画質と残り撮影枚数を確認しながら、最適な圧縮パラメータで保存できる。
図20に、デジタルカメラ画面の実施例を示す。図20は、撮影後に請求項4の方法に基づき、最も画質が悪いと思われる部分を拡大表示した状態である。
図20の画面では、画質はよいが圧縮サイズが大きくなりすぎるため、残り撮影枚数が1枚になってしまう。
【0041】
そこで、図21に示すように、圧縮パラメータを下げると残り撮影可能枚数は10枚まで増やすことができるが、これでは画質が悪すぎる。そこで、図22に示すように、圧縮パラメータを多少上げ、画質をほどほどに確保しつつ残り撮影枚数8枚を確保した。このように、ユーザーの意思により、画質や残り撮影枚数を調整しながら、品質(圧縮)パラメータを設定できるようになる。通常、どの画像も同じ圧縮サイズにするということは、緻密な画像ほど品質パラメータを下げ、画質が悪くなり、緻密でない画像は品質パラメータを上げ、画質が良いという矛盾した傾向になりがちであるが、ユーザーが画質をみながら調整できるようにすることにより、ユーザーの目的にあった撮影、圧縮および保存が可能になる。
【0042】
(8)簡易表示モード(請求項8に対応)
前記請求項1の方法では、表示対象領域を切り出して圧縮処理するため、画像全体が表示されるような全体表示モードなど縮小倍率が大きい場合には、結局画像全体または画像の大部分を圧縮処理することになり、処理の効率化、高速化が図れないことになる。また、JPEGなどのLossy圧縮における画像劣化に伴うノイズなどは微細なものが多く、縮小表示では、その画質をチェックすることはできない。そこで本実施例の方法では、縮小表示されている場合は、その縮小画像を作成し、縮小画像を圧縮および伸張したものを100%で表示させる。
これにより、本来の画質を正確に表現することにはならないが、少ない処理で高速に画質調整の指標となる画像を表示することができるようになる。
【0043】
(9)比較表示、品質差分値(請求項9に対応)
図23は、本発明の請求項9に対応する実施例の図である。
図23では、画質調整がより適切に行えるように、本発明の方法を用いて元画像とJPEG圧縮画像を比較表示させている。また、客観的な評価もできるように、品質差分値として画質劣化の度合いを数値で表示する。品質差分値とは、次の式で求められる。0の場合、差分なし=画質の劣化なしとなる。
品質差分値(%)=Σ(元画像の各画素値−JPEG圧縮画像の各画素値)*100/(画素数*画素MAX値)
【0044】
(10)一部領域のプレビュー(請求項10に対応)
図24は、本発明の請求項10に対応する実施例の図である。
一部領域のみを選択し、請求項1の方法により圧縮および伸張した結果を表示させている。画像全体の中で必要な部分のみをJPEG保存でき、そのときの画質をプレビューしながら品質(圧縮)パラメータを調整できる。
【0045】
(11)その他の実施例(請求項11,12に対応)
なお、本発明の他の実施例としては、プレビューしないで、単に本発明の処理を用いて圧縮サイズ(率)の予測のみを行う方法がある。
また、画質を変更しないで、トリミング、リサイズ等によりデータ自体を縮小しながら、画像および残容量をプレビューする方法も本発明に含まれる。
【0046】
【発明の効果】
以上説明したように、本発明によれば、以下のような効果を奏する。
(a)請求項1に対応する実施例では、Lossy圧縮により発生する画質劣化の状態を高速にプレビューできる。例えば、A3−400dpi(データサイズ約92MB)など大容量の画像でも、表示サイズ分の処理量ですむため、処理が高速である。プレビューと同時に圧縮保存した場合のおおよそのデータサイズを知ることができる。
【0047】
(b)請求項2に対応する実施例では、上記(a)の作用効果において、プレビューと同時に知ることができる圧縮データサイズの誤差精度を処理速度を低下させることなく向上させることができる。
(c)請求項3に対応する実施例では、表示スクロールまたは表示倍率変更するたびに細切れの圧縮データがキャッシュされていくため、次第に処理速度が向上するとともに、圧縮データサイズの誤差精度が向上していく。
【0048】
(d)請求項4に対応する実施例では、Lossy圧縮による画質劣化が最も激しいと思われる部分、または画質劣化が最も少ないと思われる部分を、自動的に表示あるいは拡大表示することにより、ユーザーの画質判定および圧縮パラメータの設定をより効率的に補助することができる。
(e)請求項5に対応する実施例では、正確な圧縮サイズを求めるために画像全体を圧縮処理した場合は、再度圧縮処理することなく、(つまり、待ち時間なく)データ保存できる。
【0049】
(f)請求項6に対応する実施例では、正確な圧縮データサイズを毎回複雑な処理をしなくても、簡単に算出できるようになる。
(g)請求項7に対応する実施例では、デジタルカメラなどの撮影後直接Lossy圧縮される入力装置において、ユーザーは撮影後に画質と残り撮影可能枚数を照らし合わせながら、品質(圧縮)パラメータを指定できる。
【0050】
(h)請求項8に対応する実施例では、簡易モードにより、正確な画質ではないが、高速な処理速度を保持しながら、圧縮パラメータ設定の尺度を得ることが可能となる。JPEG圧縮における画質劣化はモスキートノイズやブロックノイズなど微細なノイズであるため、縮小表示では請求項1の方法で確認できないが、簡易モード(本発明)では確認できるようになる。
【0051】
(i)請求項9に対応する実施例では、比較表示により、画質劣化の状況をユーザーは視覚的に確認でき、また品質差分値により劣化量を定量的に知ることができるため、効率よく圧縮パラメータを設定することが可能になる。
(j)請求項10に対応する実施例では、画像の一部領域のみを保存する場合、またはパンフレット画像の写真部分・グラフ図形部分、文字部分など領域ごとに異なる特性に合わせて、圧縮率・画質を変更させて保存する場合などにおいて、領域ごとのプレビューが可能になる。
【図面の簡単な説明】
【図1】本発明の一実施例を示す圧縮伸張処理システムの全体構成図である。
【図2】図1における各処理部の詳細配置図である。
【図3】本発明の一実施例を示すJPEG保存プレビュー画面の図である。
【図4】圧縮サイズは小さいが、画質が悪い場合の画面図である。
【図5】画質と、圧縮サイズのバランスを調整した画面図である。
【図6】圧縮率の悪い領域を自動表示する画面図である。
【図7】同じ圧縮パラメータで異なる領域の圧縮サイズを比較した場合の画面図である。
【図8】画質が悪い部分を自動拡大表示した画面図である。
【図9】自動拡大表示後に画質調整した画面図である。
【図10】JPEG圧縮サイズの関係を示す図である。
【図11】圧縮パラメータと圧縮サイズの関係(全体画像)を示すグラフ1である。
【図12】圧縮パラメータと圧縮サイズの関係(領域)を示すグラフ2である。
【図13】全体圧縮サイズと領域圧縮サイズの関係を示すグラフ3である。
【図14】全体と領域圧縮サイズの関係を示すグラフ4である。
【図15】全体と領域圧縮サイズの関係を示すグラフ5である。
【図16】圧縮サイズの関係を示すグラフ6である。
【図17】圧縮サイズの関係を示すグラフ7である。
【図18】圧縮サイズの関係を示すグラフ8である。
【図19】領域圧縮サイズ同士の関係を示すグラフ9である。
【図20】本発明におけるデジタルカメラ画面の例を示す図である。
【図21】本発明におけるデジタルカメラ画面の例(残り枚数多いが、画質悪い)を示す図である。
【図22】同じくデジタルカメラ画面の例(残り枚数の確保をしながら画質向上)を示す図である。
【図23】本発明における比較表示および差分値の表示例を示す図である。
【図24】本発明における一部領域のみの品質プレビュー例を示す図である。
【符号の説明】
a…元画像記憶部、b…切出し制御部、c…表示部分の切出し画像記憶部、
d…サンプリング切出し画像記憶部、e…入力制御部、f…主制御部、
g…圧縮/伸張制御部、h…サンプリング画像の圧縮データ格納部、
i…表示画像の圧縮データ格納部、j…伸張画像記憶部、k…表示制御部、
l…入出力装置、b−1…表示サイズ倍率取得部、
b−2…切出し位置演算部、b−3…切出し処理部、
e−1…スクロール&倍率操作検知部、e−2…圧縮パラメータ入力検知部、
g−1…圧縮処理部、g−2…伸張処理部、
g−3…圧縮サイズ(率)取得部、k−1…表示位置検出部、
k−2…変倍処理部、k−3…描画制御部、A…全体画像ビュー、
B…メインビュー、C…現在表示されている領域、
D…圧縮パラメータ指定コントロール、E…予想サイズ&圧縮率の表示領域、
F…正確なサイズ算出ボタン、G…確定ボタン、
H…表示倍率変更コントロール、I…メインビュー、J…圧縮パラメータ、
K…圧縮サイズの表示、L…元画像ビュー、M…JPEG画像プレビュー、
N…品質差分値の表示、O…領域の指定、P…領域のサイズ表示。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a storage / display control technique of lossy compression such as JPEG and MPEG of an image, and for example, a storage preview method and apparatus in Lossy compression for compressing, storing and displaying an image of a scanner utility, filing software, digital camera, etc. And a compression ratio prediction method.
[0002]
[Prior art]
For efficient storage of color images, Lossy (degraded image quality) compression such as JPEG is an effective means. Generally, when the compression ratio is increased in order to reduce the file size as much as possible, the lossy compression tends to cause a significant deterioration in image quality. The user needs to adjust the compression (or quality) parameters according to the content of the document and the purpose of use while balancing the compression ratio and the image quality degradation.
However, in general, the compression size and image quality cannot be confirmed unless the image is compressed and stored once and then reopened (decompressed).
[0003]
Therefore, there is a problem that trial and error are required to obtain the optimum value, and it takes time and effort. To solve this, there are some that allow you to adjust the quality parameter while checking the preview display at the time of saving, but since the entire target image is actually compressed and decompressed, the image is displayed in a relatively small size Is effective, but when the image size becomes large, such as A4-400 dpi (about 46 MB) or A3-400 dpi (about 92 MB), the processing speed becomes extremely slow, and it takes time to reach the desired image quality. There is a problem that it is not practical.
[0004]
In some digital cameras and the like, the JPEG compression parameter can be adjusted in several steps such as Economy / Normal / Fine, but the parameter (image quality) cannot be adjusted after checking the image quality after the image is stored with the parameters set before shooting.
[0005]
As a technique proposed in the related art, there is, for example, an image processing apparatus and method described in JP-A-2001-223921. This is a method that allows the user to confirm the compressed image data by displaying the expanded image after compression encoding before recording the image data on the recording medium.
However, this method has a preview function, but as described above, when the image size is large, the processing speed becomes extremely slow, and there is a problem that it takes time and effort.
[0006]
Further, for example, there is a camera system, an image encoding device, and an image decoding device described in Japanese Patent Application Laid-Open No. 2002-112086, which generates thinned-out data in a photographing unit, converts this data into a digital signal, This is a device that displays on a monitor via an A / D converter after being compressed by an image compression circuit, calculates a code amount, predicts a coded data amount of a full image, and determines a quantization table.
However, although this device can predict the compression size, as described above, it can only be adjusted in several steps, and cannot see the image before shooting, making predictions before shooting or making fine adjustments. No adjustments can be made.
[0007]
Also, for example, there is an image processing apparatus and method described in JP-A-2002-330293, which compresses and stores a block unit obtained by dividing image data into a predetermined size, and stores an encoded image according to a compression process. In this method, a new compression parameter is set based on the amount of data, and a data compression process corresponding to a predetermined file size is performed.
Even in this method, the amount of compressed data can be predicted, but as described above, when the image size is large, the processing speed becomes extremely slow, it takes time and effort, and it is not practical. is there.
[0008]
[Patent Document 1]
JP 2001-223921 A
[Patent Document 2]
JP 2002-112086 A
[Patent Document 3]
JP-A-2002-330293
[0009]
[Problems to be solved by the invention]
As described above, in the conventional technique, generally, the compression size and image quality cannot be confirmed unless the image is once compressed and stored and further decompressed. Therefore, there is a problem that trial and error is required to obtain the optimum values of the compression size and the image quality, and it takes time and effort. As a solution to this, there is a method that can adjust the quality parameter while checking the preview display at the time of saving, but since the entire target image is actually compressed and expanded, it is displayed, so for images with relatively small size, Although effective, there is a problem in that when the image size is large, the processing speed becomes slow and it takes time to reach a desired image quality, which is not practical.
[0010]
(Purpose)
SUMMARY OF THE INVENTION An object of the present invention is to solve the conventional problems and to provide a preview method, an apparatus, and a compression method for lossy compression that can adjust quality (compression) parameters at a very high speed while previewing image quality and compression size before storage. The purpose is to provide a rate prediction method.
[0011]
[Means for Solving the Problems]
According to the save preview method in Lossy compression of the present invention, when an image is saved in a Lossy compression format, the entire image is processed by compressing and expanding only a displayed portion (a part of the image) and displaying the image on a screen. Preview saved results (image quality) faster than
[0012]
Also, by estimating the compressed size of the entire image from the compressed size of only the display part and displaying the image at the same time, the user can preview while checking the image quality and the compression ratio.
[0013]
In addition, by processing only the display portion instead of processing the entire image, high-speed processing is performed, so that the user can quickly and accurately find the target parameter setting value.
When only the display portion is processed, an accurate compressed size cannot be obtained. However, in the present invention, random or arbitrary arbitrary portions other than the display portion are sampled, and a more accurate compressed size is obtained at high speed.
[0014]
In a digital camera or the like, the image quality (Normal / Fine, etc.) cannot normally be switched after photographing because photographing is first performed after setting the quality. Obtain an image according to
(1) Some parts are sampled and compressed, and the compression ratio for each area is measured. It is assumed that the portion having a poor compression ratio is a portion where the image quality is severely degraded, and the portion is enlarged and displayed.
(2) Optimum parameter adjustment is performed by the method described in the above [0013], and the desired image quality and size are stored / stored.
In the present invention, the quality difference value is a value obtained by calculating the sum of the difference between the original image and the compressed preview image for each pixel as a ratio from the data of the entire pixel.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
(overall structure)
FIG. 1 is a schematic diagram of the overall configuration of the present invention, and FIG. 2 is a detailed diagram of each processing unit in FIG.
As shown in FIG. 1, it is assumed that an image to be lossy-compressed is held in the original image storage unit a. In the input /
[0016]
There is provided a cutout control unit b for cutting out only a portion to be displayed and a portion to be sampled from the original image storage unit a. Further, a compression / decompression control unit g for performing Lossy compression and decompression processing is provided. Further, the storage units c and d for the cut-out image of the display portion and the cut-out image of the sampling image, the storage units h and i for temporarily storing the compression results of the display image and the sampling image, and the data once compressed are expanded. That is, the temporary storage unit j is provided for storing the preview image whose image quality has deteriorated as a result of the lossy saving.
[0017]
As shown in FIG. 2, the configuration of the processing system mainly includes a main control unit f, an original image storage unit a, a cutout control unit b, a cutout image storage units c and d, a compression / decompression control unit g, and compressed data. The storage units h and i, the expanded image storage unit j, the display control unit k, the input / output device l, and the input control unit e are arranged. The cutout control unit b includes a display size magnification acquisition unit b-1, a cutout position calculation unit b-2, and a cutout processing unit b-3. The compression / expansion control unit g includes a compression processing unit g-1, an expansion processing unit g-2, and a compression size (rate) acquisition unit g-3. The display control unit k includes a display position detecting unit k-1, a scaling unit k-2, and a drawing control unit k-3. The input control unit e includes a scroll and magnification operation detection unit e-1 and a compression parameter input detection unit e-2 (corresponding to claim 13).
[0018]
(1) Lossy compression preview (corresponding to claim 1)
FIG. 3 is a diagram showing an example of a JPEG storage preview screen according to the present invention.
In FIG. 3, the original image is displayed in the entire display view A. In this example, the entire image of the image held in the original image holding unit a is displayed as a thumbnail. A part of the image is displayed in the main view B, and the displayed part can be scrolled by a scroll bar operation, a mouse trap operation, or the like. The display magnification can be changed by a display magnification change control H. The area displayed on the main view B is rectangularly displayed as the area C currently displayed on the entire display view A. The area C is an area automatically displayed in accordance with the display of the main view B by a scroll operation or a display magnification operation. When the parameter is changed in the compression parameter designation control D, a preview of the compression result is instantaneously displayed in the main view B, and the compression size and compression ratio are displayed in the display area E of the expected size and compression ratio. When the confirm button G is pressed, JPEG storage is performed using the parameters (image quality) at that time.
[0019]
The detailed operation will be described below with reference to FIGS.
The compression parameter input from the input /
[0020]
That is, the position and size of the portion displayed on the screen are calculated. Based on the result, the image is cut out by the cut-out processing unit b-3 and stored in the cut-out image storage unit c. The extracted image is compressed by the compression processing unit g-1, and is temporarily stored in the compressed data storage unit i. Immediately after the compression is completed, the data is decompressed by the decompression processing unit g-2 and written into the decompressed image storage unit j. In the display control unit k, the display position detection unit k-1 determines an area that requires drawing, and the drawing control unit k-3 draws the image while scaling the image in the scaling processing unit k-2 as necessary. You. At the same time, a compressed size (ratio) acquisition unit g-3 acquires the compressed data size stored in the compressed data storage unit i, calculates a compression ratio and an estimated compressed size when the entire image is compressed, and displays the compressed data. The screen is displayed via k.
[0021]
The compression ratio and the estimated compression size are calculated by the following formulas.
Original image size = W * H pixel,
Display image size (equivalent magnification) = dW * dH pixel
Display part compression size = C byte
Then, for example, in the case of 24-bit full color (1 pixel = 3 bytes)
Compression rate (%) = C * 100 / (dW * dH * 3)
Expected compression size (byte) = W * H * C / (dW * dH)
Processing performance is improved as follows as compared with the case of processing the entire image.
For example, when displaying an image of A4-400 dpi (3307 * 4677 pixel) on a screen of 1024 * 768 pixel,
Display pixel number / Total pixel number = 1024 * 768 / (3307 * 4677) = 0.051
The processing can be realized in about 5% of the processing time for the entire processing.
[0022]
In FIG. 3, the image quality is good, but the expected compression size is 651 KB. In FIG. 4, the size is reduced to 182 KB, but the image quality is poor. In FIG. 5, the image quality was almost satisfactory, and the size was 242 KB, which was a satisfactory result. In this way, the user can find the most balanced parameter values while checking the image quality and the compression size.
[0023]
(2) Improvement of accuracy of compression size (corresponding to claim 2)
3 and FIG. 7 are the same as the compression parameter = 100, but due to the difference in the display position, the estimated compressed size is about twice as large as 651 KB in FIG. 3 and 1545 KB in FIG. This is because the compactness and characteristics of the image differ depending on the display position, so the compressed size also fluctuates, which is manifested as a difference in the expected compressed size, and the exact compressed size of the entire image is determined only from the compression ratio of the display part. It turns out to be difficult to predict.
Therefore, as shown in the original image storage unit a of FIG. 1, sampling is performed at several places other than the display position from the original image, and a temporary compression process is performed. Expect a high compressed size. In the example of FIG. 1, the rectangle of the black frame shown in the original image storage unit a indicates the sampling position, and in this example, one large area for display and three small areas sampled are shown.
[0024]
The sampling position is calculated by the cutout position calculation unit b-2 based on the information of the display size / magnification acquisition unit b-1 shown in FIG. As the sampling position, random sampling or an arbitrary position determined in advance so as to have an equal interval is selected. In the case of JPEG compression, since processing is performed in units of 8 * 8 pixels, the size and position per sampling point are also set in units of 8 * 8 pixels so that there is no difference in processing the entire image. The 8 * 8 pixels per sampled and extracted image are stored in the sampled and extracted image storage unit d, and stored in the compressed data storage unit h of the sampled image via the compression processing unit g-1. Thereafter, the compressed size (ratio) obtaining unit g-3 obtains the total of the compressed sizes of the respective sampling data.
[0025]
The calculation formula is as follows.
Expected compression size = original image area * total sampling compression size / total sampling area
According to the present invention, it is possible to always calculate and display a more accurate compressed size regardless of the display position and the magnification, so that after confirming in the preview display, when actually saving, the compressed size is greatly different. Can be avoided.
[0026]
Another feature of the present invention is that the processing load is small. When the above-mentioned A4-400 dpi image is displayed on a screen of 1024 * 768 pixels, when 1000 other locations are sampled, if one sampling area is 8 * 8 pixels,
Thus, there is only a difference of 0.004 = 0.4% as compared with the case where no sampling is performed, and it can be seen that the compression size can be predicted with higher accuracy without lowering the processing performance in this processing. .
[0027]
(3) Sampling result cache (corresponding to claim 3)
In the case where the user scrolls the display portion or changes the display magnification without changing the compression parameter, the sampling image of (2) is adopted as the display image, and the compression once processed for display and sampling is performed. / Enhance efficiency by holding the decompressed data without discarding it. For this purpose, the cut-out display image storage unit c, the compressed data storage unit i, and the decompressed image storage unit j manage the image of the display part in a state of being divided into 8 * 8 pixels. The cutout control unit b cuts out the display image by dividing it into 8 * 8 pixels. The compression / decompression processing is performed for each divided area, and is stored in the decompressed image storage unit j. The display control unit k performs a display output process on these divided images on a region basis.
[0028]
For example, consider a case where a scroll operation is performed. Normally, it is necessary to cut out, compress, and expand the entire display area in accordance with a new display position generated by scrolling. However, if a sampling image already exists, it is not necessary to process the entire area, and only nonexistent pixels are newly extracted, compressed, and expanded. If a sampled image exists, the decompressed image is prepared in the decompressed image storage unit j via the decompression processing unit g-2 from the compressed data storage unit h of the sampled image, and is used as a display image. By holding the data in the compressed data storage units h and i or the decompressed image storage unit j, even if the display area is changed by scrolling or changing the magnification, the display preview can be performed quickly and efficiently without reprocessing. . In addition, the accumulation of the compressed data gradually increases the accuracy of the estimated compression size.
[0029]
(4) Automatically display places where image quality degradation is large / small (corresponding to claim 4)
As a general tendency of compression, complicated data (image) has a low compression ratio, and simple data (image) has a high compression ratio. The JPEG compression has a feature that a high compression ratio is obtained by cutting a high-frequency component that is hardly perceived by a human, and the cut of the high-frequency component appears as deterioration in image quality. Therefore, the more complicated the data, the more the change is severe, the more high frequency components, and the more the image quality tends to deteriorate. Therefore, it can be predicted that the lower the compression ratio, the more the image quality deteriorates.
In addition, the degree of image quality degradation can be directly obtained by decompressing the sampling compressed data and calculating the difference between the original image and the pixel unit.
[0030]
Quality difference value (%) = Σ (pixel value of original image−value of decompressed pixel) * 100 / (number of pixels * pixel MAX value)
If 0, there is no image quality degradation, and the larger the value, the more severe the degradation
In the process (2), a position where the compression ratio is the lowest and a position where the compression ratio is the highest are detected from the sampled compressed data. Alternatively, the position where the quality difference value is the largest and the position where the quality difference value is the smallest are detected. By automatically displaying those detected positions, the user can perform an efficient operation when setting image quality (compression) parameters.
[0031]
FIGS. 3, 6, 8, and 9 are screen diagrams showing the embodiment.
First, when the upper left end of the image is displayed as shown in FIG. 3, it is determined that the image quality deterioration is more severe than the sampling compression data, and the image is automatically displayed as shown in FIG.
In order to perform the image quality adjustment in more detail, as shown in FIGS. 8 and 9, there is shown a screen for automatically enlarging and displaying a portion determined to have the most severe image quality deterioration and adjusting the image quality.
As one of the automatic display methods, a method that allows the user to determine the image quality while viewing the balance by simultaneously displaying both the part where the image quality assumed by the above determination method is considered to be the worst and the part where the image quality is considered to be the best is considered. is there.
[0032]
(5) Accurate compressed size (corresponding to claim 5)
In the embodiment corresponding to the second aspect of the present invention, it is possible to estimate a more accurate compressed size by increasing the number of samplings, or in the embodiment corresponding to the third aspect, by scrolling and displaying the entire image. However, in the following case, a method of compressing the entire image is effective other than the method of the first aspect.
[0033]
-The original image size is small, the compression processing time of the entire image is short (not much larger than the screen size),
-To simplify the entire process (when not using the method of
-In a system that can effectively utilize the idle time of the CPU that can perform multitasking, if it is predicted that the idle time of the CPU will be long, such as waiting for user operation
-When an accurate compressed size is required (for example, when trying to fit on a 1.44 MB flexible disk, if it is desired to verify whether it fits in).
[0034]
In such a case, the entire image is compressed automatically in the background or by a user operation to obtain an accurate compressed size. When file saving is designated in this state (current compression parameter), the processing time can be reduced by writing the already generated compressed data as it is without performing compression processing.
[0035]
(6) Accurate estimation of compressed size (corresponding to claim 6)
FIG. 10 is a diagram illustrating a relationship between a compression parameter and a compression size in JPEG compression. 11 to 19 are characteristic curve diagrams showing a relationship between a compression parameter and a compression size.
The compression parameter qFactor is a value that determines a quantization table in JPEG compression, and becomes a standard quantization table when qFactor = 100. The whole in each figure represents a compressed image of the entire image. The areas A and B represent the result of extracting and compressing only a part of the areas.
[0036]
In other words, the regions A and B represent the same state as that in which only the display portion in
Since light and dark are sensitive to human eyes and colors are insensitive to human eyes, light and dark information is 1 / and color information is 1 /.
The graphs of FIG. 11 and FIG. 12 are diagrams showing a comparison between the whole and the whole (4 * 2) and a comparison between the regions A and B. From FIGS. 11 and 12, it can be seen that the same tendency is obtained regardless of the whole image or a part of the image and regardless of factors such as subsampling.
[0037]
The graph of FIG. 13 is a
More strictly, the slope of the straight line slightly changes from qFactor = 100 (standard value). This is shown in
[0038]
Therefore, if it is possible to measure the compressed size of the entire image and the display portion at a total of three places with qFactor = 100, the compressed size of the entire image can be predicted from the compressed size of the display portion.
Further, as shown in a graph 9 in FIG. 19, the compressed data for each area also has a linear approximation relationship. Therefore, in the processing according to
[0039]
(7) Image quality adjustment after shooting (corresponding to claim 7)
In a device such as a digital still camera that compresses and saves immediately after shooting, the quality (compression) parameter is shot, compressed, and saved with a preset value. Usually, in order to reliably control the number of remaining shots, any image is subjected to a compression retry process until the same compression size is reached, and an appropriate quality parameter is searched for and finally saved, resulting in waste of processing. .
[0040]
However, by applying the present invention, the user can save the image with the optimal compression parameters while checking the image quality and the number of remaining images after shooting.
FIG. 20 shows an embodiment of the digital camera screen. FIG. 20 shows a state in which a portion considered to have the worst image quality is enlarged and displayed based on the method of
On the screen shown in FIG. 20, the image quality is good, but the compressed size is too large, so that the number of remaining shots is one.
[0041]
Therefore, as shown in FIG. 21, when the compression parameter is reduced, the number of remaining shootable images can be increased up to 10, but this results in too poor image quality. Therefore, as shown in FIG. 22, the compression parameters were slightly increased, and the remaining number of images to be photographed was secured at eight while the image quality was moderately secured. In this way, the quality (compression) parameter can be set while adjusting the image quality and the number of remaining shots according to the user's intention. Normally, the same compression size for all images tends to contradict that the finer the image, the lower the quality parameter and the lower the image quality, and the lower the quality, the higher the quality parameter and the higher the quality. By allowing the user to make adjustments while checking the image quality, shooting, compression, and storage that meet the user's purpose can be performed.
[0042]
(8) Simple display mode (corresponding to claim 8)
In the method according to
As a result, the original image quality is not accurately represented, but an image serving as an index for image quality adjustment can be displayed at high speed with a small amount of processing.
[0043]
(9) Comparison display, quality difference value (corresponding to claim 9)
FIG. 23 is a diagram showing an embodiment according to claim 9 of the present invention.
In FIG. 23, the original image and the JPEG compressed image are compared and displayed using the method of the present invention so that the image quality can be adjusted more appropriately. In addition, the degree of image quality deterioration is numerically displayed as a quality difference value so that objective evaluation can be performed. The quality difference value is obtained by the following equation. In the case of 0, there is no difference = no image quality degradation.
Quality difference value (%) = Σ (each pixel value of original image−each pixel value of JPEG compressed image) * 100 / (number of pixels * max value of pixel)
[0044]
(10) Preview of a partial area (corresponding to claim 10)
FIG. 24 is a diagram showing an embodiment according to claim 10 of the present invention.
Only a partial area is selected, and the result of compression and expansion according to the method of
[0045]
(11) Other embodiments (corresponding to claims 11 and 12)
As another embodiment of the present invention, there is a method of simply performing prediction of the compression size (rate) using the processing of the present invention without previewing.
The present invention also includes a method of previewing the image and the remaining capacity while reducing the data itself by trimming, resizing, or the like without changing the image quality.
[0046]
【The invention's effect】
As described above, according to the present invention, the following effects can be obtained.
(A) In the embodiment corresponding to the first aspect, the state of image quality deterioration caused by lossy compression can be previewed at high speed. For example, even a large-capacity image such as A3-400 dpi (data size of about 92 MB) requires only a processing amount corresponding to the display size, so that the processing speed is high. You can know the approximate data size when the data is compressed and saved at the same time as the preview.
[0047]
(B) In the embodiment corresponding to claim 2, in the operation and effect of the above (a), the error accuracy of the compressed data size that can be known at the same time as the preview can be improved without lowering the processing speed.
(C) In the embodiment according to the third aspect, the shredded compressed data is cached every time the display scrolling or the display magnification is changed, so that the processing speed is gradually improved and the error accuracy of the compressed data size is improved. To go.
[0048]
(D) In the embodiment corresponding to the fourth aspect, the user can automatically display or magnify the part where the image quality deterioration due to lossy compression is considered to be the most severe or the part where the image quality deterioration is considered to be the least. Image quality determination and compression parameter setting can be more efficiently assisted.
(E) In the embodiment according to the fifth aspect, when the entire image is compressed in order to obtain an accurate compressed size, data can be stored without performing compression processing again (that is, without waiting time).
[0049]
(F) In the embodiment according to the sixth aspect, the accurate compressed data size can be easily calculated without performing complicated processing every time.
(G) In an embodiment corresponding to claim 7, in an input device such as a digital camera which is directly lossy-compressed after photographing, a user designates a quality (compression) parameter while comparing image quality with remaining number of recordable images after photographing. it can.
[0050]
(H) In the embodiment corresponding to the eighth aspect, the simple mode makes it possible to obtain a measure of compression parameter setting while maintaining a high processing speed, although the image quality is not accurate. Since the image quality degradation in JPEG compression is minute noise such as mosquito noise and block noise, it cannot be confirmed by the method of
[0051]
(I) In the embodiment corresponding to the ninth aspect, the user can visually confirm the state of image quality deterioration by comparison display, and can quantitatively know the amount of deterioration by the quality difference value, so that compression is efficiently performed. It is possible to set parameters.
(J) In the embodiment corresponding to claim 10, when only a partial area of the image is stored, or when the compression ratio and the compression rate are adjusted in accordance with the different characteristics for each area such as a photograph part, a graph figure part, and a character part of the pamphlet image For example, when the image quality is changed and saved, the preview for each area can be performed.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of a compression / decompression processing system according to an embodiment of the present invention.
FIG. 2 is a detailed layout diagram of each processing unit in FIG. 1;
FIG. 3 is a diagram of a JPEG storage preview screen showing an embodiment of the present invention.
FIG. 4 is a screen view when the compression size is small but the image quality is poor.
FIG. 5 is a screen diagram in which the balance between image quality and compression size is adjusted.
FIG. 6 is a screen view for automatically displaying an area having a low compression ratio.
FIG. 7 is a screen view when comparing the compression sizes of different areas with the same compression parameter.
FIG. 8 is a screen diagram in which a portion having poor image quality is automatically enlarged and displayed.
FIG. 9 is a screen diagram of image quality adjusted after automatic enlargement display.
FIG. 10 is a diagram showing a relationship between JPEG compression sizes.
FIG. 11 is a
FIG. 12 is a
FIG. 13 is a
FIG. 14 is a
FIG. 15 is a graph 5 showing the relationship between the whole and the area compression size.
FIG. 16 is a graph 6 showing a relationship between compressed sizes.
FIG. 17 is a graph 7 showing a relationship between compressed sizes.
FIG. 18 is a graph 8 showing a relationship between compressed sizes.
FIG. 19 is a graph 9 showing a relationship between region compression sizes.
FIG. 20 is a diagram illustrating an example of a digital camera screen according to the present invention.
FIG. 21 is a diagram illustrating an example of a digital camera screen (the number of remaining images is large, but the image quality is poor) according to the present invention.
FIG. 22 is a diagram showing an example of a digital camera screen (improving image quality while securing the remaining number).
FIG. 23 is a diagram illustrating a display example of a comparison display and a difference value according to the present invention.
FIG. 24 is a diagram showing an example of a quality preview of only a partial area in the present invention.
[Explanation of symbols]
a: original image storage unit, b: cut-out control unit, c: cut-out image storage unit of display part,
d: sampling cut-out image storage unit, e: input control unit, f: main control unit,
g: Compression / expansion control unit, h: Sampling image compressed data storage unit,
i: compressed data storage unit for display image, j: decompressed image storage unit, k: display control unit,
l: input / output device, b-1: display size magnification acquisition unit,
b-2: cutout position calculation unit, b-3: cutout processing unit,
e-1: scroll & magnification operation detecting unit, e-2: compression parameter input detecting unit,
g-1: compression processing unit, g-2: expansion processing unit,
g-3: compressed size (ratio) acquisition unit; k-1: display position detection unit;
k-2: scaling processing unit, k-3: drawing control unit, A: whole image view,
B: Main view, C: Currently displayed area,
D: Compression parameter designation control, E: Display area of expected size & compression ratio,
F: Accurate size calculation button, G: Confirm button,
H: display magnification change control, I: main view, J: compression parameter,
K: Compressed size display, L: Original image view, M: JPEG image preview,
N: display of quality difference value; O: designation of area; P: display of area size.
Claims (14)
表示されている画像の一部分のみを圧縮および伸張し、
該圧縮および伸長された画像を画面表示し、
かつ、前記表示された画像の全てまたはその一部分のみの圧縮サイズに基づいて、画像全体の圧縮サイズを推定し、
推定した圧縮サイズを表示画面に表示して、画質と圧縮率の確認を可能にしたことを特徴とするLossy圧縮における保存プレビュー方法。In a save preview method for saving an image in a lossy compression format and displaying the image,
Compress and decompress only part of the displayed image,
Displaying the compressed and decompressed image on a screen;
And, based on the compressed size of all or only a part of the displayed image, estimate the compressed size of the entire image,
A storage preview method in Lossy compression, wherein an estimated compression size is displayed on a display screen to enable confirmation of image quality and a compression ratio.
前記推定した圧縮サイズの精度を向上させるために、表示部分の他にあらかじめ定義された任意の位置、またはランダムに抽出された複数箇所の微小領域を圧縮し、該圧縮サイズに基づいて画像全体の圧縮サイズ算出し、表示画像の圧縮率と共に画像全体の圧縮率を算出することを特徴とするLossy圧縮における保存プレビュー方法。2. The storage preview method according to claim 1, wherein:
In order to improve the accuracy of the estimated compressed size, a predetermined arbitrary position besides the display portion, or a plurality of small regions randomly extracted is compressed, and the entire image is compressed based on the compressed size. A storage preview method in Lossy compression, wherein a compression size is calculated, and a compression ratio of the entire image is calculated together with a compression ratio of a display image.
前記画像をn*n pixelのブロック単位で処理し、Lossy圧縮パラメータの変更がない場合は、表示またはスクロールされた表示画像の各部分の圧縮結果を一時記憶することにより、該表示画像の表示、スクロール、または表示倍率変更を繰り返すごとに、順次、プレビュー表示が高速になり、より正確な圧縮率が算出されることを特徴とするLossy圧縮における保存プレビュー方法。3. The storage preview method in Lossy compression according to claim 1 or 2,
When the image is processed in units of n * n pixels, and when there is no change in the lossy compression parameter, the compression result of each part of the displayed or scrolled display image is temporarily stored to display the display image, A saving preview method in Lossy compression, characterized in that the preview display becomes faster and a more accurate compression ratio is calculated sequentially each time scrolling or changing the display magnification is repeated.
前記抽出された複数箇所の圧縮率を測定し、該複数箇所の各座標における画質の違いを数値で表した品質差分値を求め、該圧縮率および品質差分値の値が最も悪い位置、および最も良い位置を判定し、該位置の周辺を自動的に表示または拡大表示し、画像全体の中で、最も画質の影響を受けたと推定される位置、または受けなかったと推測される位置を自動表示して、ユーザーの画質判定をし易くすることを特徴とするLossy圧縮における保存プレビュー方法。3. The storage preview method according to claim 2, wherein:
The compression ratios of the extracted plurality of locations are measured, and a quality difference value expressing a difference in image quality at each coordinate of the plurality of locations by a numerical value is obtained.The position where the value of the compression ratio and the quality difference value is the worst, and Judging a good position, automatically displaying or enlarging the periphery of the position, and automatically displaying a position estimated to be most affected by image quality or a position estimated not to be affected in the entire image. A lossy compression storage preview method for facilitating user image quality determination.
前記圧縮サイズを正確に算出するために、ユーザーからの指示に従って、もしくはCPUの空き時間を利用して自動的に、画像全体を圧縮処理し、正確なサイズを求め、該圧縮サイズの情報を一時的に保存し、その後、圧縮パラメータを変更することなく、そのまま保存する場合には、前記一時保存しておいたデータをそのまま書き出すことを特徴とするLossy圧縮における保存プレビュー方法。3. The storage preview method in Lossy compression according to claim 1 or 2,
In order to accurately calculate the compressed size, the entire image is compressed according to an instruction from the user or automatically using the idle time of the CPU, an accurate size is obtained, and the information on the compressed size is temporarily stored. A method of saving preview in Lossy compression, characterized in that when temporarily saving and thereafter saving without changing compression parameters, the temporarily saved data is written as it is.
前記画像全体処理を2つ以上の圧縮パラメータで、請求項5の処理により行った場合、その後は、近似式により表示部分の圧縮データのみから正確な圧縮サイズを算出するか、あるいは、
あらかじめ請求項2あるいは3の処理によりほぼ正確な圧縮サイズを、2つ以上の圧縮パラメータにより求めておき、その後は、近似式により表示部分の圧縮データのみから正確な圧縮サイズを算出することを特徴とするLossy圧縮における保存プレビュー方法。2. The storage preview method according to claim 1, wherein:
When the whole image processing is performed by the processing of claim 5 with two or more compression parameters, thereafter, an accurate compression size is calculated from only the compressed data of the display portion by an approximate expression, or
A substantially accurate compressed size is obtained in advance by the processing according to claim 2 or 3 using two or more compression parameters, and thereafter, an accurate compressed size is calculated only from the compressed data of the display portion by an approximate expression. Preview method in Lossy compression.
前記処理が適用される装置が、デジタルカメラなどのように画像撮影とともにLossy圧縮して保存される入力装置である場合に、圧縮前のデータを保持しておき、ユーザーにより撮影後に画質と残り撮影可能枚数を確認できるようにして、圧縮パラメータを指定することを特徴とするLossy圧縮における保存プレビュー方法。5. The storage preview method for lossy compression according to claim 1, wherein:
If the device to which the above processing is applied is an input device such as a digital camera that stores the image in lossy compression along with image capture, the data before compression is retained, and the image quality and remaining image capture after image capture by the user. A saving preview method in Lossy compression, wherein a compression parameter is specified so that the number of possible images can be confirmed.
前記表示画面に画像全体を縮小表示するときのように、ほとんどの領域が表示されるような表示倍率の場合、簡易表示モードを儲け、表示画像の切出し時に表示倍率にサンプリング縮小する機能を備え、該縮小された画像を圧縮・伸張処理し、プレビュー表示するか、または、
該簡易表示モードにより、画質パラメータ設定の目安を得ることができるように、縮小倍率表示になると自動的に簡易モードに切り替えられることを特徴とするLossy圧縮における保存プレビュー方法。2. The storage preview method according to claim 1, wherein:
In the case of a display magnification such that most areas are displayed, such as when the entire image is reduced and displayed on the display screen, a function of reducing the sampling to the display magnification when cutting out the display image is provided with a simple display mode, The reduced image is compressed / decompressed and previewed, or
A saving preview method in Lossy compression, wherein the mode is automatically switched to the simple mode when the display of the reduced magnification is displayed so that the standard of the image quality parameter setting can be obtained in the simple display mode.
前記表示画面に、元画像と圧縮プレビュー画像とを並べて表示して、画質の劣化度合いを明確にし、同時に、画質の違いを数値で表した品質差分値を表示して、ユーザーの画質評価の目安とすることを特徴とするLossy圧縮における保存プレビュー方法。A storage preview method for lossy compression according to any one of claims 1 to 7,
On the display screen, the original image and the compressed preview image are displayed side by side to clarify the degree of deterioration of the image quality, and at the same time, display the quality difference value expressing the difference of the image quality by numerical values, and provide a guide for the user's image quality evaluation. A storage preview method in Lossy compression.
前記画像の一部任意領域の範囲を1個以上指定し、該領域の部分のみを圧縮保存することで、例えばパンフレットの一部分の写真のみを圧縮保存するなどの場合において、該領域部分の圧縮プレビュー表示を行うことを特徴とするLossy圧縮における保存プレビュー方法。2. The storage preview method according to claim 1, wherein:
By specifying one or more ranges of an arbitrary region of the image and compressing and storing only the portion of the region, for example, in the case of compressing and storing only a photograph of a part of a pamphlet, a compressed preview of the region portion A storage preview method in Lossy compression, characterized by displaying.
請求項1〜3のいずれかに記載の方法により、画像の一部分のみの圧縮サイズに基づいて、画像全体の圧縮サイズおよび圧縮率を推定し、画像のプレビュー表示に関係なく、圧縮サイズ、圧縮率または記憶装置の残容量を表示することを特徴とするLossy圧縮における圧縮率予測方法。In a save preview method for saving an image in a lossy compression format and displaying the image,
The method according to any one of claims 1 to 3, wherein a compression size and a compression ratio of the entire image are estimated based on a compression size of only a part of the image, and the compression size and the compression ratio are determined regardless of the preview display of the image. Alternatively, a compression ratio predicting method in Lossy compression, characterized by displaying a remaining capacity of a storage device.
前記画像表示する場合に、画質を変更することなく、残容量を確保するためにトリミング等による不要部分の削除またはサイズ縮小処理などによりデータサイズ自体を小さくし、プレビューすることを特徴とするLossy圧縮における保存プレビュー方法。The storage preview method for lossy compression according to claim 7,
In the image display, the lossy compression is characterized in that the data size itself is reduced by trimming or other unnecessary portion deletion or size reduction processing or the like in order to secure the remaining capacity without changing the image quality, and previewing is performed. Save preview method in.
元画像を入出力する入出力装置と、入出力された画像のスクロールと倍率操作を検知し、圧縮パラメータ入力を検知する入力制御部と、元画像を格納する元画像記憶部と、該元画像の一部分のみを切出し、表示サイズ倍率を取得し、切出し位置を演算する切出し制御部と、切出し画像を格納する切出し画像記憶部と、切出された画像の圧縮、伸張処理を行い、圧縮サイズと圧縮率を取得する圧縮・伸張制御部と、圧縮データを格納する圧縮データ格納部と、伸張画像を格納する伸張画像記憶部と、表示位置を検出し、変倍処理を行い、描画を行う表示制御部とを具備したことを特徴とするLossy圧縮における保存プレビュー装置。In a save preview device for saving an image in the Lossy compression format and displaying the image,
An input / output device for inputting / outputting an original image, an input control unit for detecting a scroll and a magnification operation of the input / output image, and detecting a compression parameter input; an original image storage unit for storing the original image; Of the extracted image, obtains the display size magnification, and calculates the extracted position, the extracted image storage unit that stores the extracted image, and compresses and expands the extracted image. A compression / decompression control unit for obtaining a compression ratio, a compressed data storage unit for storing compressed data, a decompressed image storage unit for storing decompressed images, and a display for detecting a display position, performing scaling processing, and drawing. A storage preview device for lossy compression, comprising: a control unit.
圧縮前のデータを保持する記憶部と、請求項1〜4のいずれかに記載の保存プレビュー方法を実行する切出しおよび圧縮・伸張制御部と、ユーザーに撮影後の画質と残り撮影可能枚数を確認させ、圧縮パラメータを指定させる手段を具備することを特徴とするLossy圧縮における保存プレビュー機能を備えたデジタルカメラ装置。In a digital camera device having a save preview function of saving an image in a lossy compression format and displaying the image,
A storage unit for storing data before compression, a cutout and compression / expansion control unit for executing the storage preview method according to any one of claims 1 to 4, and a user confirming image quality after shooting and the remaining number of shootable images. A digital camera device having a save preview function in lossy compression, wherein the digital camera device has means for causing a compression parameter to be specified.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003001153A JP4158147B2 (en) | 2003-01-07 | 2003-01-07 | Storage preview method, apparatus, and compression rate prediction method in Lossy compression |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003001153A JP4158147B2 (en) | 2003-01-07 | 2003-01-07 | Storage preview method, apparatus, and compression rate prediction method in Lossy compression |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004215069A true JP2004215069A (en) | 2004-07-29 |
JP4158147B2 JP4158147B2 (en) | 2008-10-01 |
Family
ID=32819251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003001153A Expired - Fee Related JP4158147B2 (en) | 2003-01-07 | 2003-01-07 | Storage preview method, apparatus, and compression rate prediction method in Lossy compression |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4158147B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272345A (en) * | 2006-03-30 | 2007-10-18 | Sysmex Corp | Inspection image filing system |
JP2008524893A (en) * | 2004-12-15 | 2008-07-10 | ティーディーエフ | Variable bit rate transmission method for solving transmission channel |
JP2009302759A (en) * | 2008-06-11 | 2009-12-24 | Kyocera Mita Corp | Image forming apparatus |
KR101015685B1 (en) * | 2004-11-23 | 2011-02-22 | 삼성전자주식회사 | Device and method for displaying focus image data in equipment having digital camera function |
JP2011044903A (en) * | 2009-08-21 | 2011-03-03 | Nec Corp | Image processing apparatus and image processing method |
JP2011109351A (en) * | 2009-11-17 | 2011-06-02 | Canon It Solutions Inc | Moving picture editing system, control method and program |
-
2003
- 2003-01-07 JP JP2003001153A patent/JP4158147B2/en not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101015685B1 (en) * | 2004-11-23 | 2011-02-22 | 삼성전자주식회사 | Device and method for displaying focus image data in equipment having digital camera function |
JP2008524893A (en) * | 2004-12-15 | 2008-07-10 | ティーディーエフ | Variable bit rate transmission method for solving transmission channel |
JP2007272345A (en) * | 2006-03-30 | 2007-10-18 | Sysmex Corp | Inspection image filing system |
JP2009302759A (en) * | 2008-06-11 | 2009-12-24 | Kyocera Mita Corp | Image forming apparatus |
JP2011044903A (en) * | 2009-08-21 | 2011-03-03 | Nec Corp | Image processing apparatus and image processing method |
JP2011109351A (en) * | 2009-11-17 | 2011-06-02 | Canon It Solutions Inc | Moving picture editing system, control method and program |
Also Published As
Publication number | Publication date |
---|---|
JP4158147B2 (en) | 2008-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8115821B2 (en) | Method and apparatus for setting a region of interest in image data | |
US7620271B2 (en) | Image processing apparatus and method of controlling same, computer program and computer-readable storage medium | |
EP2118847B1 (en) | Method for processing a digital image | |
US7542623B2 (en) | Image processing apparatus and method, and computer program and computer-readable storage medium | |
JP5768126B2 (en) | Determining key video snippets using selection criteria | |
US7035469B2 (en) | Image processing | |
WO2007078596A1 (en) | Compressing images in documents | |
US8340441B2 (en) | Image encoding apparatus, image decoding apparatus, and methods of controlling the same | |
JP4958831B2 (en) | Image coding apparatus and control method thereof | |
EP1122691A2 (en) | Method and apparatus for digital image compression | |
JP4958832B2 (en) | Image coding apparatus and control method thereof | |
KR101448308B1 (en) | Method and apparatus for generating thumbnail image | |
JP4158147B2 (en) | Storage preview method, apparatus, and compression rate prediction method in Lossy compression | |
JP4407055B2 (en) | Electronic camera | |
JP4189575B2 (en) | Image processing apparatus, thumbnail movie creation method, and thumbnail movie creation program | |
KR100487374B1 (en) | Apparatus for generating thumbnail image of digital video | |
KR100487330B1 (en) | Apparatus for generating thumbnail image of digital video | |
JP3926497B2 (en) | Index image display device | |
JP2006246127A (en) | Image reproducing method apparatus, and program | |
JP4430837B2 (en) | Digital image recording device | |
JP5886075B2 (en) | Image processing apparatus and program | |
JP2004236298A (en) | Image data processing apparatus, image data processing method, image data distribution apparatus and image data transmission system | |
JP2009268018A (en) | Image processor, image processing method, computer program, and image display apparatus | |
JP2004173005A (en) | Successive image compressor, successive image compressing method, program therefor, and information recording medium having the program recorded therein | |
JP2006313415A (en) | Image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080125 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080415 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080620 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080703 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |