[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2004349939A - Method and device for image encoding and recording device - Google Patents

Method and device for image encoding and recording device Download PDF

Info

Publication number
JP2004349939A
JP2004349939A JP2003143464A JP2003143464A JP2004349939A JP 2004349939 A JP2004349939 A JP 2004349939A JP 2003143464 A JP2003143464 A JP 2003143464A JP 2003143464 A JP2003143464 A JP 2003143464A JP 2004349939 A JP2004349939 A JP 2004349939A
Authority
JP
Japan
Prior art keywords
data
image
band
divided
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003143464A
Other languages
Japanese (ja)
Other versions
JP4143471B2 (en
JP2004349939A5 (en
Inventor
Keiichi Fukuzawa
敬一 福澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003143464A priority Critical patent/JP4143471B2/en
Publication of JP2004349939A publication Critical patent/JP2004349939A/en
Publication of JP2004349939A5 publication Critical patent/JP2004349939A5/ja
Application granted granted Critical
Publication of JP4143471B2 publication Critical patent/JP4143471B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method and a device for image encoding, which generate encoded data of an image suitably used for a system for recording, reproduction, transmission, or display and adaptive to a diversity of picture quality modes and can extract desired image data from the encoded data according to a picture quality mode set by the system, and a recording device. <P>SOLUTION: Provided are a band dividing means of dividing input image data into a plurality of frequency bands, a picture quality dividing means of dividing each piece of band-divided image data into a plurality of layers with a specified threshold, and a setting means of setting the threshold of the picture quality dividing means according to the degree of a vertical component of image data band-divided by the band dividing means. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、所望の解像度あるいは画質で復号できる符号化画像を生成する画像符号化方法、画像符号化装置及び記録装置に関するものである。
【０００２】
【従来の技術】
従来、デジタルスチルカメラやデジタルビデオカメラで撮影した画像を表示する装置としては、テレビモニターやパーソナルコンピュータ（ＰＣ）のモニターが一般的である。また、近年になって、多くの解像度に比較的柔軟に対応できるＰＣモニターや、複数の解像度を表示可能なデジタルテレビシステム等のインフラが整いつつある。
【０００３】
一方、カメラ本体では、１００万画素を越えるＣＣＤに代表されるような高画素の撮像素子を搭載した製品や、撮影画像を容易に視認可能とする大型液晶モニターを搭載した製品が主流となっている。さらに、近年になって、撮影画像の一部を切り出して直接印刷するようなプリントシステムのインフラや、カメラをインターネット等のネットワークと接続し、撮影画像を電子メール等で送受信するといったインフラも整ってきている。
【０００４】
このように、以前は一つの解像度のみを表示する標準モニターあるいはテレビモニターに対して最適な出力画像が得られるようにカメラシステムを構成していたが、今日のカメラシステムでは、上記したように多様な画像出力形態に柔軟に対応することが重要となっており、柔軟に対応するために必要な高画質・大容量データを効率よく生成・出力する構成が必要となっている。
【０００５】
多様な表示形態に対応するための技術としては、高精細画像（ＨＤ）を記録して、標準画像（ＳＤ）で再生する先行技術が特開平０６−３３９１１４号（特許文献１）に開示されている。特許文献１の第１６図に記録方法、第２７図に標準画像の再生方法、第１９図に高精細画像の再生方法のブロック図が示されている。特許文献１の第１６図に示されたように、入力の高精細画像をダウンコンバートした標準画像（図中１６２の出力信号）と、前記高精細画像と前記標準画像をアップコンバートした画像（図中１６４の出力信号）の差分情報（図中１６９の出力信号）を、同時に記録している。標準画像を再生するときは、特許文献１の第２７図に示されたように、前記ダウンコンバートした標準画像のみを選択再生して（図中１９３の出力信号）表示する。一方、高精細画像を再生するときは、特許文献１の第１９図に示されたように、ダウンコンバートした標準画像データをアップコンバートしたデータ（図中１９１の出力信号）と、標準画像のアップコンバートデータと高精細画像の差分データ（図中１９５の出力信号）とを合成して（図中１９４の出力信号）表示する。以上のような構成が、特許文献１に開示されている。
【０００６】
また、異なる先行技術として、同一画像を複数の解像度で伝送する技術が特開２０００−１８４３２８号（特許文献２）に開示されている。特許文献２の第３図には、所定の画像を、可逆圧縮したデータ（Ｃ１）と、非可逆圧縮した第２図に示すような階層構造をもつデータ（Ｃ２）に変換して、データベースサーバ３０に蓄積する構成が開示されている。医師の診断で所望する画像を参照するときは、標準モニターの参照端末１４で所望の解像度で表示する。一方、画像データで診断する場合には、高精細表示が可能な診断用ワークステーション１２で、所望の解像度で画像データを確認する。この場合、非可逆圧縮のデータだけでなく、最終確認をするために可逆圧縮データも表示・操作することが可能なシステムとなっている。このように、用途や表示端末に応じて、所定の画像を所望する解像度で表示する技術が特許文献２に開示されている。
【０００７】
さらに、特開２０００−３６９５９号（特許文献３）には、画像データを解像度レベルにおいて階層符号化し、各解像度レベルを生成する変換係数を分割（タイル化）し、画像データの所望する部分あるいは解像度レベルで、ランダムアクセスと高速アクセスの両立を可能にするタイルデータの構築方法が開示されている。特許文献３の第３図にあるように、各解像度レベルの変換係数の分割方法を、原画像の画素と同じ部分にある変換係数に分割し（３０４、３０２、３０３）、かつ、第５図にあるように解像度レベルで同じ部分にある変換係数のタイルを連続するように並べ、かつ、連続するタイルデータのポインター情報をヘッダ情報に入れる。これにより、ユーザは、所望する解像度レベル及び部分の画像データを、全データから探し出す事はしないで、前記ポインター情報とそれに続く分割データを抜き出す操作だけで、データを読み出すことができるので、高速なランダムアクセスを実現することができる。以上のような構成が、特許文献３に開示されている。
【０００８】
【特許文献１】
特開平６−３３９１１４号公報（第１６図、第２７図、第１９図）
【特許文献２】
特開２０００−１８４３２８号公報（第２図、第３図）
【特許文献３】
特開２０００−３６９５９号公報（第３図、第５図）
【０００９】
【発明が解決しようとする課題】
しかしながら上記した特許文献においては、複数の解像度に対応しようとする思想で書かれているものであって、今日のビデオテープレコーダ、ＤＶＤレコーダ或いはＨＤレコーダ等で採用されている高画質モード（以降ＸＰモードと記載する）・標準モード（以降ＳＰモードと記載する）・長時間モード（以降ＬＰモードと記載する）のような記録システムの各モード、つまり選択的に記録画質とそれに応じた記録時間（あるいは記録枚数）を設定するモードに対応する構成のものは考えられていない。
【００１０】
すなわち従来の技術では、同一解像度で複数の画質に対応するモード（ＸＰモード、ＳＰモード、ＬＰモード）を有する記録システム等に対して、単一の符号化データですべてのモードに対応することができないといった問題点があった。
【００１１】
本発明は上記の如き問題点を解決して、記録、再生、伝送又は表示を行うシステムに用いて好適な、多様な画質モードに対応可能な画像の符号化データを生成し、またシステムで設定された画質モードに応じて前記符号化データから所望の画像データを抽出可能とする画像符号化方法、画像符号化装置及び記録装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
斯かる目的を達成する為の手段として、本発明は以下の構成からなる手段を有する。
【００１３】
本発明の画像符号化方法は、入力した画像データを圧縮符号化する画像符号化方法において、入力画像データを複数の周波数帯域に分割する帯域分割工程と、前記帯域分割工程で帯域分割された各画像データの大きさを所定の閾値で複数の階層に分割する画質分割工程と、前記帯域分割工程で帯域分割された画像データの垂直成分の程度に応じて前記画質分割工程における前記閾値を設定する設定工程とを有することを特徴とする。
【００１４】
また、本発明の画像符号化装置は、入力した画像データを圧縮符号化する画像符号化装置において、入力画像データを複数の周波数帯域に分割する帯域分割手段と、前記帯域分割手段で帯域分割された各画像データを複数の画像空間に分割する位置分割手段と、前記帯域分割手段で帯域分割された各画像データの大きさを所定の閾値で複数の階層に分割する画質分割手段と、前記帯域分割手段で帯域分割された帯域データの画素数が複数の表示解像度を包含するように分割するよう設定し、前記位置分割手段で位置分割された帯域データの画素数を複数の表示画角を包含するように画素数を設定し、前記帯域分割された画像データの前記垂直成分が低いときは前記垂直成分が高いときに比べて前記閾値を高く設定する設定手段を備えたことを特徴とする。
【００１５】
また、本発明の記録装置は、前記画像符号化装置で生成されたデータストリームを記録する記録装置であって、所望の解像度、画角または画質にしたがって、前記データストリームを所定の切出し地点で分離して、分離したデータストリームの前半部分に含まれる符号化データを第１の記録エリアに記録し、分離したデータストリームの後半部分に含まれる符号化データを前記第１の記録エリアとは異なる第２の記録エリアに記録することを特徴とする。
【００１６】
【発明の実施の形態】
本発明の実施の形態における各実施例では、画像の符号化方式としてＪＰＥＧ２０００（Ｍｏｔｉｏｎ ＪＰＥＧ２０００を含む）を用いる。ＪＰＥＧ２０００方式に関しては、ＩＳＯ／ＩＥＣ１５４４４−１（以降、規格書と称す）に記載されているので詳細な説明は省略するが、本発明の実施の形態に関連するところの概略を以下に説明する。
【００１７】
前記規格書では、階層符号化により生成される圧縮符号化データを同一の解像度（Ｒ）、画像位置（Ｐ）、画質（Ｌ）、信号成分（Ｃ）でまとめ、パケットデータ単位で前記圧縮符号化データを区分する仕組みが規定されている。これによって、前記パケットデータの並び替えに応じて復号処理の優先順位を決定できる。
【００１８】
また、規格書のＡｎｎｅｘＢのＢ．１２章には標準的な５つの優先順位が規定されている。その５つとは、画質・解像度・成分・位置（ＬＲＣＰ）の順、解像度・画質・成分・位置（ＲＬＣＰ）の順、解像度・位置・成分・画質（ＲＰＣＬ）の順、位置・成分・解像度・画質（ＰＣＲＬ）の順、成分・位置・解像度・画質（ＣＰＲＬ）の順である。具体的には、ＬＲＣＰでは、画像全体の画質が向上する画質優先の表示方法となり、ＲＬＣＰやＲＰＣＬでは、画像全体の解像度が向上する解像度優先の表示方法となる。また、ＰＣＲＬは、画像の一部から全体の画像が表示される位置優先の表示方法となり、ＣＰＲＬは、画像全体の着色状態が向上する成分優先の表示方法となる。
【００１９】
しかしながら上記規格書には、デジタルテレビシステムにあるような画質や解像度の階層構造で表される多彩な表現形態を満たす方法までは規定されていない。特に、デジタルテレビシステムにおいては、７２０×４８０（インターレス・ノンインターＳＤ）、１２８０×７２０（ノンインターＨＤ）、１９２０×１０８０（インターレスＨＤ）の複数の解像度を表示するモードがあり、さらに画角も４：３（Ｎａｒｒｏｗ）と１６：９（Ｗｉｄｅ）の２種類の表示モードがある。このように多彩な表示形態に加え、さらに高画質モード（ＸＰ）、標準モード（ＳＰ）、長時間モード（ＬＰ）といった再生形態が存在する。
【００２０】
ＪＰＥＧ２０００方式で圧縮符号化した画像データを用いれば、原理的には上記表示モードに必要な符号化パケットデータをランダムアクセスして、復号処理することで、上記の多彩な表示モードを実現することができるが、必要なパケットデータを抽出する際に、全てのパケットの属性を検出して探し出すのではシステム上の大変な処理負荷となり、現実的でない。そこで、表示モード毎に必要なパケットデータをあらかじめまとめておき、所望する表示モードが選択されたときは、ある程度まとまった単位でパケットデータを抽出すれば、処理負荷がかなり軽減される。本実施の形態ではそこに着眼し、所定のパケットデータの並びを規定し、パケットデータの選択処理をすることなく、容易に多彩な表示モードを実現したり、あるいは、表示モードを変更したりすることを可能にする。そのような実施例を以下に詳述する。
【００２１】
（実施例１）
図１は、画質に関する多様なモード（ＬＰ、ＳＰ、ＸＰ）に対応した第一の実施例となる画像符号化装置及び画像復号化装置のブロック図である。図１の（ａ）が画像符号化装置、（ｂ）が画像復号化装置の構成である。なお、図１の画像符号化装置及び画像復号化装置は一体化されていてもよく（所謂コーデック）、磁気テープ、ＤＶＤやＢｌｕ−Ｒａｙなどのディスク、メモリカードなどを記録媒体に用いた記録再生装置等に適用できる。
【００２２】
図１（ａ）の画像符号化装置１０は入力画像データをＪＰＥＧ２０００方式で圧縮して出力する構成であって、以下の構成要素からなる。１は入力画像データをウェブレット変換（ＤＷＴ）して高域成分と低域成分に帯域分割し、各帯域（サブバンド）において同じ位置画像データを所定の大きさ（プリシンクト）に位置分割する帯域・位置分割部、２は帯域・位置分割処理された画像データを所定刻みで量子化しデジタル値する量子化部、３は量子化した画像データを所定ブロック（コードブロック）でまとめ、各ブロックに関してＥＢＣＯＴ方式のエントロピー符号化を行う符号化部、４は符号化された前記コードブロックに関してビット深さ方向に画質分割し、同一の解像度・位置・画質の単位（パケットデータ）でまとめ、前記パケットデータを所定の順番に並び替え、さらに前記パケットデータの属性や並び方情報等を所定フォーマットで付加して、一連のビットストリームを形成するストリーム生成部、５は生成されたビットストリームをＪＰＥＧ２０００の所定のファイルフォーマット形式に整え、データを書き出す出力部である。
【００２３】
図１（ｂ）の画像復号化装置２０は入力された符号化データを伸張して出力する構成であって、以下の構成要素からなる。２１は符号化データに対して所望する解像度・位置・画質情報を受けるユーザインターフェースあるいはデジタルインターフェース等の読み出しコマンド入力部、２２は入力した読み出しコマンドの情報から、画像の符号化データの対応する部分を算出し、ストリーム解析部２４に適宜指令を出す操作指令部（マイクロコンピュータ）、２３は符号化された画像データを入力し、ファイルフォーマットから所望する画像の符号化データを読み込む入力部、２４は前記符号化データのビットストリームを分析し、前記操作司令情報に従って必要なデータを切り出すビットストリーム解析部、２５は切り出された前記符号化データをコードブロック単位でＩＥＢＣＯＴ方式のエントロピー復号化を行う復号化部、２６は復号された画像データのデジタル値に所定刻み値を乗じて逆量子化する逆量子化部、２７は所望の画像位置データの逆量子化された変換係数を所定位置に並べ、逆ウェブレット変換で帯域合成し、所望の画像データを出力する帯域合成部である。
【００２４】
まず、圧縮時の画像データの処理を図１（ａ）に従って説明する。本実施例においては、想定画像としてノンインターＨＤ１２８０×７２０を包含するように構成するため、図２のような１９２０×９６０画素の解像度のフレームを用いる。
【００２５】
画像ソースから取り込まれた１フレーム分の画像データは、帯域・位置分割部１で、水平方向にウェブレット変換され、さらに垂直方向にウェブレット変換される。ウェブレット変換のフィルター処理により、画像データは高域成分と低域成分に帯域（サブバンド）分割され、係数変換される。
【００２６】
図２は、上述の２次元のウェブレット変換を施し、高域の変換係数と低域の変換係数の入れ替え操作を行った状態を示している。図２において１フレーム分の画像データ１００が、４つの帯域（１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨ）の変換係数１０１に分割されている。通常のＪＰＥＧ２０００方式では低周波帯域（１ＬＬ）に対して、再帰的に、上述のウェブレット変換および係数入れ替え操作を行うが、本発明の第一の実施例では、１回のウェブレット変換等の操作で目的を達成するので、それ以上の説明を行わない。
【００２７】
また、２次元の帯域（サブバンド）の表記方法については、低域帯域をＬ、高域帯域をＨで表し、１回のウェブレット操作で生成される係数を１としている。
【００２８】
また、帯域分割の回数（解像度レベル）の表記方法については、２次元ウェブレット変換で生成される最低帯域の係数をＲ０とし、低域係数に対する高域データには＋１する表記法も図中の（）内に示してある。例えば、今回は１回の操作だったので、Ｒ０の１ＬＬと、Ｒ１の１ＨＬ、１ＬＨ、１ＨＨが生成されている。１ＬＬに対して再帰的にウェブレット操作を加えれば、Ｒ０の２ＬＬと、Ｒ１の２ＨＬ、２ＬＨ、２ＨＨと、Ｒ２の１ＨＬ、１ＬＨ、１ＨＨが生成される（図１６参照）。今後の帯域分割された変換係数を表す場合、上記の表記方法で説明をしていく。
【００２９】
以上のウェブレット操作により帯域分割された係数は、さらに、１フレーム分の画像データ１００の画素と同じ位置の変換係数のまとまり（プリシンクト）に分割する操作、いわゆる位置分割の操作も行うが、本実施例の場合は、位置分割を行わない（１個のプリシンクトとする）。
【００３０】
前記位置分割によるまとまり（プリシンクト）の表記方法は、図３に示してあるように、Ｐの下付添字に、解像度レベルを表記し、続いてプリシンクトを表記する。従って、本実施例では、Ｒ０がＰ００、Ｒ１がＰ１０で構成される。
【００３１】
図１に戻って、以上のような帯域・位置分割操作を帯域・位置分割部１で行った変換係数は、量子化部２で所定の刻み幅で数値化される。刻み幅は各帯域（１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨ）で独立に設定することも、関連付けて設定することも可能である。
【００３２】
量子化された変換係数は、符号化部３で圧縮符号化する。符号化については、まず、各位置（プリシンクト）において、図４に示すように、さらに細かいコードブロックに分割する。１０３がコードブロックであり、Ｐ００に関しては、０から１２７のコードブロックに分割されている。また、Ｐ１０に関しては、０から３８３のコードブロックに分割されている。
【００３３】
さらに分割された前記コードブロックに対して、エントロピー符号化処理を行う。具体的には、図５に示すように、コードブロック１０３の変換係数を上位ビット（ＭＳＢ）から下位ビット（ＬＳＢ）に並べて、各ビットプレーン１０４の二値化データを算術符号化する。
【００３４】
算術符号化に関しては、角ビットプレーン内の各画素において、対象画素の周辺画素値と、対象画素の上位ビットから、符号化モデルを決定して、算術符号化する。この方式をＥＢＣＯＴ方式のエントロピー符号化方式と呼んでいる。
【００３５】
以上のように、ビットプレーン１０４単位で符号化されたデータは、図１のストリーム生成部４に送られる。
【００３６】
ストリーム生成部４では、解像度・位置分割されたブロック（プリシンクト）を集めて、今度はビット深さ方向に所定値レベルで分割する。通常この分割は、画質の改善寄与率でコードブロック単位毎に決められるが、本実施例では、説明の簡略化のため、図５に示すすように、所定レベルで分割する。
【００３７】
本実施例のビット深さ方向の分割は、３つのブロック１０５（レイヤ）で以下のように分割する。
【００３８】
第１の解像度のデータブロックＰ００は、上位６ビットを第１のレイヤ（Ｌ０）とし、第２のレイヤ（Ｌ１）にはデータがなく、残り下位２ビットを第３のレイヤ（Ｌ２）としている。第２の解像度のデータブロックＰ１０は、垂直成分の低域データ（１ＨＬ）は、上位６ビットと、その他（１ＬＨ、１ＨＨ）の上位２ビットを第１のレイヤ（Ｌ０）とし、垂直成分の高域データ（１ＬＨ、１ＨＨ）の上位６ビットから上位３ビットまで（中位４ビット）を第２のレイヤ（Ｌ１）とし、残り下位２ビットを第３のレイヤ（Ｌ２）としている。
【００３９】
このように、ビット深さ方向に分割するのは、各画素において画質に寄与するデータブロックに分けていることになるので、画質に関して分割したということと等価になる。また、解像度・位置・画質分割されたデータをパケットデータと呼ぶ。
【００４０】
以上の解像度・位置・画質に分割された符号化データのイメージを図６に示す。図において、１０２が解像度・位置に分割されたデータブロックを表し、縦方向が画質に分割されたデータブロックを表している。
【００４１】
本発明の特徴となる画質に関する分割方法として、第一の画質ブロック（Ｌ０）に、水平方向の上位６ビットを含ませている点がある。このことにより、Ｌ０の画質をもつ長時間モード（ＬＰ）でも、標準モード（ＳＰ）と同程度水平解像度を確保できることになる。テレビモニターの場合、垂直解像度はＴＶ本数で限定されるが、水平解像度はＴＶ表示能力まで表現できるので、水平解像度を保つ事により、画質劣化を低減することが可能となる。
【００４２】
前記パケットデータは、図１のストリーム生成部４で、さらに、並び替え処理、付加情報の追加をして一連のストリームデータとして出力する。
【００４３】
図７（ａ）において、ストリームデータの構成を説明する。まず、生成されたパケットデータには、マーカセグメント１３１により付加情報が追加される。一連のストリームデータの先頭には、ヘッダ情報１２１があり、続いて、マーカセグメントが付加されたパケットデータ群１１５が並び、最後にフッタ情報１２２がある。
【００４４】
ヘッダ情報１２１は、ストリームの開始を示すＳＯＣ（Ｓｔａｒｔ ｏｆ Ｃｏｄｅ ｓｔｒｅａｍ）マーカが先頭にあり、続いてメインヘッダ（ＭＨ）が続く。メインヘッダはＳＩＺ（ｉｍａｇｅ ａｎｄ ｔｉｌｅ Ｓｉｚｅ）マーカが先頭で、画素に関する情報を付加する。ここには、原画の画像の大きさに関する情報も含まれている。メインヘッダには、量子化に関するマーカセグメントＱＣＤ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｄｅｆａｕｌｔ）の他に、パケットヘッダの並べ方に関するマーカセグメントＣＯＤ（Ｃｏｄｉｎｇ ｓｔｙｌｅ Ｄｅｆａｕｌｔ）、ＰＯＣ（Ｐｒｏｇｒｅｓｓｉｏｎ ｏｒｄｅｒ Ｃｈａｎｇｅ）がある。前者は一連のストリーム全体の情報であり、後者は部分的にパケットの並べ方を変える場合の情報が含まれる。
【００４５】
以上のヘッダ情報のあとに、タイルパートヘッダ（ＴｐＨ）が続く。本実施例では採用していないが、１フレーム画像の帯域分割の前に、１フレーム画像を小領域（タイル）に分割することも、ＪＰＥＧ２０００符号化方式では可能である。本実施例の場合、前記タイル分割は行っていないので、１フレーム画像は１タイルデータと解釈される。このタイルに関する情報がタイルパートヘッダにある。
【００４６】
タイルパートヘッダは、開始を示すマーカセグメントＳＯＴ（Ｓｔａｒｔ ｏｆ Ｔｉｌｅ−ｐａｒｔ）で始まる。このＳＯＴには、１つのタイルパートの長さに関する情報もある。タイルパートヘッダの他の情報として、タイル内のパケットデータの並び方に関する情報ＣＯＤ、ＰＯＣが存在する。優先順位はタイルパートヘッダ内の方が高い。タイルパートヘッダの最後には、その後に続くパケットデータが開始されることを示すＳＯＤ（Ｓｔａｒｔ ｏｆ Ｄａｔａ）がある。ヘッダ情報には、その他情報もあるが本発明には関係ないので、説明を省略する。
【００４７】
パケットデータは、パケットの先頭であること示すＳＯＰ（Ｓｔａｒｔ ｏｆ Ｐａｃｋｅｔ）マーカセグメントがあり、パケットデータの終わりには、パケットの終了を示すＥＰＨ（Ｅｎｄ ｏｆ Ｐａｃｋｅｔ Ｈｅａｄｅｒ）がある。
一連のストリームデータの最後にはフッタ情報として、ストリームの終了を示すマーカセグメントＥＯＣ（Ｅｎｄ ｏｆ Ｃｏｄｅｓｔｒｅａｍ）がある。
【００４８】
このように、１フレーム画像の符号化データに、上述の付加情報を加えて一連のストリームデータとして、ストリーム生成部４で生成される。
【００４９】
ここで、本発明の特徴となるパケットデータの並べ方について、図７（ａ）を使って説明する。まず、最初に画質に関してパケットデータを上位レイヤから順に、Ｌ０、Ｌ１、Ｌ２と並べる。さらに、同じ画質のパケットデータ内の並べ方は、解像度の低い順に、Ｐ００、Ｐ１０に並べる。このような並べ方を画質優先のプログレッションオーダと呼び、ＪＰＥＧ２０００の標準で用意されている５つの中で、ＬＲＣＰ（画質−解像度−成分−位置）が該当する。本実施例では、このプログレッションオーダを、前記メインヘッダのＣＯＤマーカセグメントの情報として付加しておく。
【００５０】
図１に戻って、このように生成されたストリームデータは、出力のポスト処理を行うために出力部５に送られる。出力部５では、後段の出力形態にあった形で、ストリームデータを生成しなおす。
【００５１】
例えば、後段にファイルシステムを有するディスクシステムがあれば、前記ストリームデータ情報に対して、動画の同期に関する情報、著作権に関する情報等を付加して、Ｍｏｔｉｏｎ ＪＰＥＧ２０００のファイルファーマットデータとして出力する。また、後段がデジタルインターフェースであれば、パケット伝送するために前記ストリームデータを小分けに分割し、適宜ヘッダ情報を付加して出力する。
【００５２】
以上が、図１（ａ）の画像符号化装置１０の動作説明である。
【００５３】
続いて、画像符号化装置１０で圧縮された画像の符号化データを伸張する動作について、図１（ｂ）のブロック図に従って説明する。
【００５４】
まず、画像データをどのような表示形態、あるいは出力形態で出力をするか、読み出しコマンド入力部２１から指示入力する。コマンド入力元がユーザならばユーザインターフェースとなり、他の機器であればデジタル通信等のデジタルインターフェースとなる。
【００５５】
また、読み出しコマンドで指示する読み出し方法とは、具体的には、表示部の表示可能な解像度ＨＤ、ＳＤであったり、画角ワイド画角１６：９（Ｗ）、標準画角４：３（Ｎ）であったり、画質ＸＰ、ＳＰ、ＬＰであったりする。
【００５６】
また、出力先が別の記録媒体を有する機器であったりする場合、出力先の記録容量や復号能力に見合ったデータストリームを読み出すために、デジタルインターフェースを介して、読み出しコマンドが入力される。
【００５７】
本実施例の場合、画質に関する複数のモードＸＰ、ＳＰ、ＬＰに対応しているので、出力先の能力に応じて、読み出し方法が上記モードに合致するように入力する。前記読み出し方法のコマンド入力を受けて、操作司令部２２は、ストリームデータ操作部２４に対して、操作方法の指令を出す。
【００５８】
一方、符号化された画像データは入力部２３で取り込まれ、ファイルシステムやその他伝送フォーマットからストリームデータが入力される。ビットストリーム解析部２４では、入力したストリームデータから図７（ａ）に示したような必要なパケットデータを取り出す。
【００５９】
続いて、ストリームデータは、ＳＯＣで始まる先頭のマーカセグメントから順次処理され、逐次パケットデータも処理される。例えば、パケットデータ『Ｐ００ Ｌ０』『Ｐ１０ Ｌ０』まで処理されると、画像データとしては、図７（ｂ）に示すように、全解像度の上位２ビットと、全解像度の水平方向の上位３ビットから上位６ビット（中位４ビット）までの画像データとなる。コード量としては最もコンパクトであり、画質に関しては水平方向成分のデータ上位６ビットまで含んでいるので、ＴＶモニタでの劣化を低減している。いわゆる長時間モード（ＬＰ）となる。
【００６０】
さらに、パケットデータを『Ｐ００ Ｌ１』『Ｐ１０ Ｌ１』まで処理すると、図７（ｃ）に示すように、全解像度の上位６ビットの画像データとなるので、いわゆる標準的な画質が得られる標準画質モード（ＳＰ）となる。
【００６１】
さらに、残りのパケットデータ『Ｐ００ Ｌ２』『Ｐ１０ Ｌ２』まで処理すると、図７（ｄ）に示すように、全解像度の全８ビットの画像データとなるので、高画質モード（ＸＰ）となる。
【００６２】
このように、画質優先モードでパケットデータを並べておけば、所望するモードの画像データを、すべてのヘッダ情報を解析することなく、ストリーム先頭からの順次処理だけで抽出することが可能となる。これは、有限な電力で小型化を強いられるポータブル機器において、制限されたワークメモリや処理能力でも実現可能な処理となる。具体的には、他の機器にデータをダビングする時のモード変換（ＸＰモードからＳＰ、ＬＰへのダウンコンバート）時の処理が想定される。
【００６３】
上記先頭からパケットデータ取り出した後の作業として、デジタルダビングする場合は以下の処理を行う。最後に取り出したパケットデータの後には、一連のストリームデータのパケットデータ数が変わらないように、零パケットデータを付加する。さらに、零パケットデータを付加することによって、変化するパケットデータ長の情報をＳＯＴマーカセグメントに反映させる。
【００６４】
このような処理をすると、多少コード量が増加するが、ストリームの切り出しによる解像度・画質の変更等の情報をヘッダ情報に反映させる必要がなくなり、ヘッダ処理の負荷を低減できる。また、ストリームのフォーマット形式を統一しているので、編集作業等でモードの異なるストリームの繋ぎを容易にする。つまり、モードが切り替わっても、データの読み取りシーケンス（パケットの読み出す回数、ヘッダ情報の属性変更等）に変更が生じないため、画質だけ変化するスムーズなモード移行の切り替えが可能となる。また、ストリームデータの構造は変えていないので、ストリームデータ構造に特化して記録媒体に記録するシステムを容易に実現することができる。
【００６５】
なお、本実施例では、符号化時の全ての画像データが存在すること（ＸＰモード）を前提に説明しているが、ＬＰモードのように一部のデータしかない場合なども、上記のように零パケットを挿入しておけば、ＬＰからＳＰ、ＸＰへのアップコンバート作業も上述と同様の処理で実現することは、可能である。
【００６６】
再び、図１に戻ると、ビットストリーム解析部２４で処理された前記パケットデータは、復号化部２５に送られる。復号化部２５では、前記パケットデータから、図５のコードブロックとビットプレーンの構造を構築し、コードブロック単位でエントロピー復号処理を行う。エントロピー復号は、各ビットプレーンにおいて、符号化時に決定した符号化モデルに則って算術復号し、二値データを復元する。そして、コードブロック毎に前記復号されたビットプレーンを、上位ビットから下位ビットにならべ、変換係数を復元する。変換係数は、解像度・位置分割のＩＤにより、図４のように変換係数空間に再構築される。
【００６７】
再構築された変換係数は、逆量子化部２６に送られ、所定の刻み幅が乗じられ、変換係数値が復元される。この変換係数値は、帯域合成部２７で逆ウェブレット変換を施され、周波数帯域合成され、画像データとなる。前記画像データは、復号された画像データとして出力される。以上が、図１（ｂ）の画像復号化装置２０の動作説明である。
【００６８】
以上説明したように、本実施例によれば、複数の画質モードを実現する上で、単なるビット方向の画質分割ではなく、解像度・画質分割をして、水平方向の帯域データを重視して、上位の画質レベルに分類することにより、画質の劣化を低減することができる。
【００６９】
また、前記解像度・画質分割のパケットデータの並びに関して画質優先の並びにすることで、復号時の先頭からの順次読み出しで、複数の画質モードに必要なデータを、容易に取得することができる。
【００７０】
また、零パケットを挿入することにより、ストリーム構成のフォーマット形式を変更することなく、複数の画質モードを実現することができ、スムーズなモード移行と処理負荷の低減を実現できる。
【００７１】
さらに、複数の画質モードを統一したフォーマットで実現しているので、ストリーム構造に特化した記録フォーマットを容易に構築することができる。
【００７２】
なお、本実施例においては、解像度をＨＤモードとして想定して説明したが、これに限ること無くＳＤモードやその他の解像度においても有効な技術となる。
【００７３】
また、本実施例においては、画質分割を、所定のビット数で一様に行ったが、実際に行われるコードブロック単位での画質向上寄与率で決定される値に対して、重み係数を乗算した形で実現する方が好ましく、本発明の効果をより一層高める別の実施例となる。
【００７４】
さらに、本実施例においては、３つの画質モードで説明したが、２つあるいは、４つ以上の画質モードでも、本発明を摘要することは可能である。
【００７５】
（実施例２）
次に、本発明により、解像度・画角に関する多様なモード（ＳＮ、ＳＷ、ＨＷ）に対応する第２の実施例について説明する。基本的な処理ブロックは第１の実施例と同じなので、説明は省略する。以下処理の異なる部分のみ説明していく。
【００７６】
本実施例においては、想定画像として、ノンインターで１６：９のワイド画角であるＨＤ１２８０×７２０（以下ＨＷと呼ぶ）とノンインターで１６：９のワイド画角であるＳＤ７２０×４８０（以下ＳＷと呼ぶ）とノンインターで４：３の標準画角であるＳＤ７２０×４８０（以下ＳＮと呼ぶ）としている。ただし、ＨＷに関しては、包含するような解像度にしているため、１９２０×９６０画素の解像度のフレームで説明している（図８参照）。
【００７７】
まず、圧縮時の処理については、画像ソースから取り込まれた１フレームの画像データに対して、２次元のウェブレット変換を施す処理までは、第１の実施例と同じである。
【００７８】
本実施例においては、図８に示すように、原画像の位置と同じ位置の変換係数をまとめ、位置ブロック（プリシンクト）２０２に分割する操作が加わる。
【００７９】
図８において、帯域分割された帯域（サブバンド）において、３つの領域（プリシンクト）に分割している。第１のプリシンクト（Ｐ００、Ｐ１０）は画像中央で７２０×４８０の領域で、その両脇に第２、第３のプリシンクト（Ｐ０１、Ｐ１１、Ｐ０２、Ｐ１２）１２０×４８０の領域になるように位置分割している。
【００８０】
上述のように解像度・位置に分割された変換係数に対して量子化後、図９に示すコードブロック２０３に分割する。Ｐ００に関しては、０から９５のコードブロックに分割され、Ｐ１０に関しては、０から２８７のコードブロックに分割される。分割された前記コードブロックに対して、第１の実施例同様に、エントロピー符号化処理を行う。
【００８１】
符号化されたデータは、１フレーム分の画像データ２００において、解像度・位置分割されたブロック（プリシンクト）２０２単位で集められ、図１０に示すように、ビット深さ方向の所定値レベルで３つのブロック２０５（レイヤ）に分割される。
【００８２】
上位２ビットを第１のレイヤ（Ｌ０）とし、第２のレイヤ（Ｌ１）を中位４ビット、残り下位２ビットを第３のレイヤ（Ｌ２）としている。
【００８３】
以上の解像度・位置・画質に分割された符号化された画像データのイメージを図１１に示す。図１１において、２０２が解像度・位置に分割されたデータブロックを表し、縦方向に画質で分割されたデータブロックを表している。
【００８４】
本発明の特徴は、解像度・位置に関する分割方法で、ＳＤ標準画角４：３（ＳＮ）、ＳＤワイド画角１６：９（ＳＷ）、ＨＤ標準画角４：３（ＨＮ）、ＨＤワイド画角１６：９（ＨＷ）の表示モードを表現していることである。具体的には、第１解像度（１ＬＬ）の第１のプリシンクト（Ｐ０）が７２０×４８０のＳＮモードであり、第１解像度（１ＬＬ）の第１、２、３のプリシンクト（Ｐ０、Ｐ１、Ｐ２）が９６０×４８０のＳＷモードであり、第２解像度（１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨ）の第１のプリシンクト（Ｐ０）が１４４０×９６０のＨＮモードであり、第２解像度（１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨ）の第１、２、３のプリシンクト（Ｐ０、Ｐ１、Ｐ２）が１９２０×９６０ＨＷモードとなる。
【００８５】
次に、解像度・位置・画質に分割されたパケットデータの並びに関して、図１２（ａ）において、説明する。ストリームデータの全体構造は第１の実施例と同じで、先頭のヘッダ情報２２１、パケットデータ群２１５、フッタ情報２２２となる。
【００８６】
付加情報（マーカセグメント）の構成についても、同じなので説明は省き、パケットデータの並びについてのみ、説明する。まず、最初に解像度の低い順に、Ｐ００、Ｐ１０と並べる。さらに、同じ解像度のパケットデータ内の並べ方は、位置の番号順に、Ｐ００、Ｐ０１、Ｐ０２に並べる。ＪＰＥＧ２０００のプログレッションオーダの中で、ＲＰＣＬ（解像度−位置−成分−画質）が該当し、メインヘッダのＣＯＤマーカセグメントの情報として付加しておく。
【００８７】
前記ストリームデータは、第１の実施例同様に、出力形態にあわせた形で出力する。以上が、画像圧縮時の処理の説明である。
【００８８】
続いて、圧縮された画像の符号化データを伸張する動作について、説明する。まず、符号化された画像データに対して、読み出しコマンド入力部２１から読み出し方法を指定するコマンドが入力され、操作司令部２２がストリーム操作部に操作方法を指令する。本実施例での読み出し方法とは、解像度・画角に関する複数のモードで、ＨＤワイド画角のＨＷ、ＳＤワイド画角のＳＷ、ＳＤ標準画角のＳＮである。
【００８９】
一方、符号化された画像データは、入力部２３から取り込まれ、ストリームデータとなって、ストリーム操作部に送られる。前記ストリームデータから、必要なパケットデータの取り出し方を図１２で説明する。
【００９０】
パケットデータ『Ｐ００ Ｌ０』『Ｐ０ Ｌ１』『Ｐ００ Ｌ２』まで処理されると、画像データとしては、図１２（ｂ）に示すように、ＳＤ解像度の第１解像度の４：３画角の画像データとなる。いわゆるＳＤ標準画角（ＳＮ）であり、デジタルテレビシステムの４８０Ｉ（Ｄ１）で主流の表示方法である。
【００９１】
さらに、パケットデータを『Ｐ０１ Ｌ０』『Ｐ０１ Ｌ１』『Ｐ０１ Ｌ２』『Ｐ０２ Ｌ０』『Ｐ０２ Ｌ１』『Ｐ０２ Ｌ２』まで処理すると、図１２（ｃ）に示すように、ＳＤ解像度の第１解像度の１６：９画角の画像データとなる。いわゆるＳＤワイド画角（ＳＷ）であり、デジタルテレビシステムの４８０Ｐ（Ｄ２）で主流の表示方法である。
【００９２】
さらに、残りのパケットデータ『Ｐ１０ Ｌ０』『Ｐ１０ Ｌ１』『Ｐ１０ Ｌ２』『Ｐ１１ Ｌ０』『Ｐ１１ Ｌ１』『Ｐ１１ Ｌ２』『Ｐ１２ Ｌ０』『Ｐ１２ Ｌ１』『Ｐ１２ Ｌ２』まで処理すると、図１２（ｄ）に示すように、ＨＤ解像度の第２解像度までの１６：９画角の画像データが含まれる。いわゆるＨＤワイド（ＨＷ）であり、デジタルテレビシステムの７２０Ｐ（Ｄ３）で主流の表示方法である。
【００９３】
このように、解像度優先モードでパケットデータを並べておけば、所望するモードの画像データを、すべてのヘッダ情報を解析することなく、ストリームの先頭からの順次処理だけで抽出することが可能となる。これは、前述したようにポータブル機器に向いた処理となる。
【００９４】
また、本実施例においても、第１の実施例と同様に、零パケット挿入の操作が可能で、コンバート変換、編集によるモード移行、記録システムへの同様の効果が得られる。
【００９５】
以上のように抽出されたパケットデータは、第１の実施例と同様に処理されデータは復号されて出力される。
【００９６】
以上が、本実施例の伸長処理の動作説明である。
【００９７】
以上説明したように、本発明の実施例によれば、複数の表示モードを実現する上で、解像度・位置分割して、画角・解像度を表示モードにあわせることにより、各種画像表示方法を実現することができる。
【００９８】
また、前記解像度・位置分割のパケットデータの並びに関して解像度優先の並びにすることで、復号時の先頭から順次読み出し、複数の表示モードに必要なデータを、容易に取得することができる。
【００９９】
また、ＪＰＥＧ２０００方式には帯域分割する前に、画像を複数のタイルに分割する処理があり、この機能を使っても、画角の切り替えを行う事は可能であるが、帯域分割する前の画像分割は、復号時に分割境界で画像歪みが発生してしまうが、本実施例の画像分割では、プリシンクト境界での画像歪みは発生しないので、より良好な画像復元が実現できる。
【０１００】
本実施例においては、３つの表示モードで説明したが、２つ（ＳＮ、ＨＷ）の解像度と画角が両方変化する表示モードでも、本発明を摘要することは可能である。
【０１０１】
また、上記２つの表示モードでは、位置優先のプログレッションオーダ（ＰＲＣＬ）でも表示モードを切り替える事ができる。
【０１０２】
また、本実施例においては、画角を画像位置の階層構造（プリシンクト）を利用した。ＪＰＥＧ２０００方式では、帯域分割する前に画像をタイル分割する処理を設ける事ができる。本実施例では、タイル分割なし（１タイル）の処理で説明したが、このタイル分割処理により画角の切り替えを実現することも可能である。前記プログレッションオーダは全て、タイル内（タイルパートストリーム内のパケットデータの並び替え）で行われている。従って、タイル分割は、プログレッションオーダの観点からみると最優先されるので、位置優先のプログレッションオーダとなる。従って、タイル分割＋解像度優先プログレッションオーダにすると、ＰＲｘｘのプログレッションオーダになり、上記２つの表示モードを実現することが可能となり、本発明の他の実施例となる。この場合の実施例では、前記プログレッションオーダＰＲＣＬは、ＪＰＥＧ２０００の標準で用意されたものでないが、本実施例では、標準のオーダで実現できるので、ＪＰＥＧ２０００の規格内で実現できる。
【０１０３】
（実施例３）
次に、本発明により、解像度・画角・画質に関する多様なモード（ＳＮ、ＳＷ、ＨＷ、ＬＰ、ＳＰ、ＸＰ）に対応した第３の実施例について説明する。基本的な処理ブロックは第１の実施例と同じなので、説明を省く。また、本実施例における想定画像についても、第２の実施例と同じなので、説明を省く。以下処理の異なる部分のみ説明していく。
【０１０４】
圧縮時の処理については、画像ソースから取り込まれた１フレームの画像データをエントロピー符号化するまでは、第２の実施例と同じなので説明を省略する。
【０１０５】
符号化されたデータは、１フレーム分の画像データ３００において、解像度・位置分割されたプリシンクトに集められ、図１３に示すように、ビット深さ方向の所定値レベルで３つのレイヤ３０５に分割される。
【０１０６】
第１の解像度のデータブロックＰ００は、上位６ビットを第１のレイヤ（Ｌ０）とし、第２のレイヤ（Ｌ１）にはデータがなく、残り下位２ビットを第３のレイヤ（Ｌ２）としている。第２の解像度のデータブロックＰ１０は、垂直成分の低域データ（１ＨＬ）の上位６ビットと、その他（１ＬＨ、１ＨＨ）の上位２ビットを第１のレイヤ（Ｌ０）とし、垂直成分の高域データ（１ＬＨ、１ＨＨ）の中位４ビットを第２のレイヤ（Ｌ１）とし、残り下位２ビットを第３のレイヤ（Ｌ２）として、画質の分割が行われる。
【０１０７】
以上の解像度・位置・画質に分割された符号化された画像データのイメージを図１４に示す。本発明の特徴である画質に関する分割方法は第１の実施例と同じで、解像度・位置に関する分割方法は第２の実施例と同じである。
【０１０８】
次に、解像度・位置・画質に分割されたパケットデータの並びに関して、図１５（ａ）において、説明する。
【０１０９】
ストリームデータの全体構造及び、付加情報の構成に関しては、第１の実施例と同じであり、情報の内容のみとパケットデータの並び方が異なっているだけであるので、まずパケットデータの並び方に関して説明する。
【０１１０】
まず、最初に画質の上位レイヤから、Ｌ０、Ｌ１、Ｌ２と並べる。さらに、同じ画質のパケットデータ内の並べ方は、解像度の低い順に、Ｐ００、Ｐ１０と並べる。さらに、同じ解像度のパケットデータ内の並べ方は、位置の番号順に、Ｐ００、Ｐ０１、Ｐ０２に並べる。ＪＰＥＧ２０００のプログレッションオーダの中にはないＬＲＰＣ（画質―解像度―位置―成分）の並べ方となる。しかしながら、ＪＰＥＧ２０００のプログレッションオーダには未割当てコードがあり、新規に設定する余地があるので、メインヘッダのＣＯＤの情報として付加しておく。
【０１１１】
前記ストリームデータは、第１の実施例同様に、出力形態にあわせた形で出力する。以上が、本実施例の圧縮符号化処理の動作である。
【０１１２】
次に、前記符号化処理された画像データを伸張する動作について、図２６のフローチャートを参照しながら説明する。
【０１１３】
まず、符号化された画像データに対して、読み出しコマンド入力部から読み出し方法に関する要求仕様を受信し（ステップ１３０１）、操作司令部がパケット切り出し点を算出してストリーム操作部に操作方法を指令する（ステップ１３０２）。本実施例での読み出し方法とは、解像度・画角・画質に関する複数のモードで、ＨＤワイド画角ＨＷ、ＳＤワイド画角ＳＷ、ＳＤ標準画角ＳＮと、高画質モードＸＰ、標準画質モードＳＰ、長時間モードＬＰである。
【０１１４】
一方、符号化された画像データは、入力部から取り込まれ、ストリームデータとなって、ストリーム操作部に送られる。このストリームデータから必要なパケットデータを取り出し、パケット数Ｎの計測を開始する（ステップ１３０３）。
【０１１５】
パケットデータ『Ｐ００ Ｌ０』が処理されると（ステップ１３０４）、画像データとしては、図１５（ｂ）に示すように、ＳＤ解像度の第１解像度までの標準４：３画角の上位６ビットの画像データとなる。いわゆるＳＤ標準画角の標準画質モード（ＳＮ／Ｓｐ）となる。
【０１１６】
さらに、パケットデータを『Ｐ０１ Ｌ０』『Ｐ０２ Ｌ０』まで処理すると（ステップ１３０５）、図１５（ｃ）に示すように、ＳＤ解像度の第１解像度までのワイド１６：９画角の上位６ビットの画像データとなる。いわゆるＳＤワイド画角の標準画質モード（ＳＷ／Ｓｐ）となる。
【０１１７】
さらに、パケットデータを『Ｐ１０ Ｌ０』『Ｐ１１ Ｌ０』『Ｐ１２ Ｌ０』まで処理すると（ステップ１３０６）、図１５（ｄ）に示すように、ＨＤ解像度の第１解像度までのワイド１６：９画角の上位２ビットと第１解像度までの水平方向のワイド１６：９画角の中位４ビットの画像データとなる。いわゆるＨＤワイド画角の長時間モード（ＨＷ／Ｌｐ）となる。
【０１１８】
さらに、パケットデータを『Ｐ００ Ｌ１』『Ｐ０１ Ｌ１』『Ｐ０２ Ｌ１』『Ｐ１０ Ｌ１』『Ｐ１１ Ｌ１』『Ｐ１２ Ｌ１』まで処理すると（ステップ１３０７）、図１５（ｅ）に示すように、ＨＤ解像度の第１解像度までのワイド画角１６：９の上位６ビットの画像データとなる。いわゆるＨＤワイド画角の標準画質モード（ＨＷ／Ｓｐ）となる。
【０１１９】
さらに、パケットデータを『Ｐ００ Ｌ２』『Ｐ０１ Ｌ２』『Ｐ０２ Ｌ２』『Ｐ１０ Ｌ２』『Ｐ１１ Ｌ２』『Ｐ１２ Ｌ２』まで処理すると（ステップ１３０８）、図１５（ｆ）に示すように、ＨＤ解像度の第１解像度までのワイド画角１６：９の全８ビットの画像データとなる。いわゆるＨＤワイド画角の高画質モード（ＨＷ／Ｘｐ）となる。
【０１２０】
このように、画質・解像度・位置優先モードでパケットデータを並べておけば、所望するモードの画像データを、ストリームの先頭からの順次処理だけで抽出することが可能となり、前述したポータブル機器に向いた処理となる。また、本実施例においても、零パケット挿入（ステップ１３０９）による各種効果が得られる。その後、抽出処理は終了となる（ステップ１３１０）。また、フローが異常処理となったときは、異常終了（ステップ１３２０）となる。
【０１２１】
以上のように抽出されたパケットデータは、第１の実施例と同様に処理されデータは復号されて出力される。以上が、本実施例の伸張処理の動作である。
【０１２２】
以上説明したように、本発明の実施例によれば、複数の表示・画質モードを実現する上で、解像度・位置・画質分割して、画角・解像度の表示モードにあわせ、水平方向の帯域データを重視した画質分割をすることで、各種画像表示方法と、劣化の少ない画質モードとを両立することできる。
【０１２３】
また、前記解像度・位置・画質分割のパケットデータの並びに関して、画質・解像度・位置優先の並びにすることで、復号時の先頭から順次読み出し、複数のモードに必要なデータを、容易に取得することができる。
【０１２４】
また、復号時のフォーマット形式を変更することなく、複数の表示モードを実現することができる。これにより、モード移行の切り替わり動作は、スムーズになるとともに、処理負荷の低減を実現できる。
【０１２５】
（実施例４）
次に、本発明により、解像度・画角・画質に関する多様なモード（ＳＮ、ＳＷ、ＨＷ、ＬＰ、ＳＰ、ＸＰ）に対応した第４の実施例について説明する。基本的な処理ブロック、想定画像は第３の実施例と同じなので、説明は省く。以下処理の異なる部分のみ説明していく。
【０１２６】
まず、圧縮時の処理について、説明する。画像ソースから取り込まれた１フレームの画像データ４００を帯域分割するが、第２の実施例と異なるのは、図１６に示すように、２次元ウェブレット変換で生成する低域データに対して再度２次元のウェブレット変換を行う。これにより、３つの帯域分割が行われ、第１の解像度は２ＬＬで、第２の解像度は２ＨＬ、２ＬＨ、２ＨＨで、第３の解像度が１ＨＬ、１ＬＨ、１ＨＨとなる。
【０１２７】
次に、前記帯域分割されたサブバンドを、図１７に示すように、３つのプリシンクト４０２に分割する。第１、第２の解像度での第１のプリシンクト（Ｐ００、Ｐ１０）は画像中央で３６０×２４０画素の領域となり、その両脇に第２、第３のプリシンクト（Ｐ０１、Ｐ１１、Ｐ０２、Ｐ１２）６０×２４０画素の領域となるように位置分割している。第３の解像度での第１のプリシンクト（Ｐ２０）は画像中央で７２０×４８０画素の領域となり、その両脇に第２、第３のプリシンクト（Ｐ２１、Ｐ２２）１２０×４８０画素の領域となるように位置分割している。
【０１２８】
上述のように解像度・位置分割されたデータを、図１８に示すように、コードブロック４０３に分割する。第２解像度の第１プリシンクトＰ１０において、０から７１のコードブロックに分割され、第１の実施例同様に、エントロピー符号化処理を行う。
【０１２９】
符号化されたデータは、１フレーム分の画像データ４００において、解像度・位置分割されたプリシンクトに集められ、図１９に示すように、ビット深さ方向の所定値レベルで３つのレイヤ４０５に分割される。
【０１３０】
第１の解像度のデータブロックＰ００は（図示せず）、上位６ビットを第１のレイヤ（Ｌ０）とし、第２のレイヤ（Ｌ１）のデータはなく、下位２ビットを第３のレイヤ（Ｌ２）としている。第２の解像度のデータブロックＰ１０は、図１９のように、垂直成分の低域データ（２ＨＬ）の上位６ビットと、その他（２ＬＨ、２ＨＨ）の上位２ビットを第１のレイヤ（Ｌ０）とし、垂直成分の高域データ（１ＬＨ、１ＨＨ）の中位４ビットを第２のレイヤ（Ｌ１）、残り下位２ビットを第３のレイヤ（Ｌ２）としている。第３の解像度のデータブロックＰ２０は（図示せず）、第２の解像度のデータブロックにおける分割方法に準じる。第１の実施例同様に、説明の単純化のため画質向上寄与率に関係なく、一様のビット数で画質の分割している。
【０１３１】
以上の解像度・位置・画質に分割された符号化された画像データのイメージを図２０に示す。本発明の特徴である解像度・位置に関する分割方法は、解像度の階層がひとつ多くなっているが、基本的には、第２の実施例同じで、画質に関する分割方法は第１の実施例と同じである。
【０１３２】
次に、解像度・位置・画質に分割されたパケットデータの並びに関して、図２１（ａ）において、説明する。ストリームデータの全体構造及び、付加情報の構成に関しては、第１の実施例と同じであり、情報の内容のみとパケットデータの並び方が異なっているだけであるので、まずパケットデータの並び方に関して説明する。
【０１３３】
まず、第２解像度（Ｐ００、Ｐ１０）までは、最初に画質の上位レイヤから、Ｌ０、Ｌ１、Ｌ２と並べる。そして、同じ画質のパケットデータ内の並べ方は、位置の番号順に、Ｐ００、Ｐ０１、Ｐ０２に並べる。さらに、同じ位置のパケットデータ内の並べ方は、解像度の低い順に、Ｐ００、Ｐ１０と並べる。ＬＰＲＣ（画質―位置―解像度―成分）のプログレッションオーダである。
【０１３４】
つぎに、第３解像度（Ｐ２０）からは、最初に画質の上位レイヤから、Ｌ０、Ｌ１、Ｌ２と並べる。そして、同じ画質のパケットデータ内の並べ方は、解像度の低い順に、Ｐ００、Ｐ１０と並べる。さらに、同じ解像度のパケットデータ内の並べ方は、位置の番号順に、Ｐ００、Ｐ０１、Ｐ０２に並べる。つまり、ＬＲＰＣ（画質−解像度−位置−成分）である。
【０１３５】
上記のように、プログレッションオーダを途中で切り替える場合、ＪＰＥＧ２０００ではＰＯＣマーカセグメントが用意されている。ＰＯＣマーカセグメントは、プログレッシブオーダを変更する開始点の解像度番号、位置番号（画質番号の開始点は零）と、変更を終了する終了点の解像度番号、位置番号、画質番号と、変更するプログレッションオーダを、指定するようになっている。本実施例の場合、メインヘッダのＰＯＣマーカセグメントに、開始点の解像度番号０、位置番号０を、終了点の解像度番号１、位置番号２、画質番号０を、プログレッションオーダＬＰＣＲを指定し、引き続き、次の開始点の解像度番号０、位置番号０を、終了点の解像度番号２、位置番号２、画質番号２を、プログレッションオーダＬＲＰＣを指定する。
【０１３６】
ただし、上記のプログレッションオーダＬＰＲＣやＬＲＰＣは、ＪＰＥＧ２０００の標準で用意されていないが、前述のようにＪＰＥＧ２０００符号化方式には、プログレッションオーダのコードでまだ未割り当てがあるので、新規に設定される余地はある。
【０１３７】
前記ストリームデータは、第１の実施例同様に、出力形態にあわせた形で出力する。以上が、本実施例の圧縮符号化処理の動作である。
【０１３８】
次に、前記符号化処理された画像データを伸張する動作について説明する。
【０１３９】
まず、符号化された画像データに対して、読み出しコマンド入力部から読み出し方法が入力され、操作司令部がストリーム操作部に操作方法を指令する。
【０１４０】
一方、符号化された画像データは、入力部から取り込まれ、ストリームデータとなって、ストリーム操作部に送られる。前記ストリームデータから、必要なパケットデータの取り出し方を図２１で説明する。
【０１４１】
パケットデータ『Ｐ００ Ｌ０』『Ｐ１０ Ｌ０』が処理されると、画像データとしては、図２１（ｂ）に示すように、ＳＤ解像度の第２解像度までの標準４：３画角の上位２ビットと、第２解像度までの水平方向の標準４：３画角の中位４ビットの画像データとなる。いわゆるＳＤ標準画角の長時間モード（ＳＮ／Ｌｐ）となる。
【０１４２】
さらに、パケットデータを『Ｐ０１ Ｌ０』『Ｐ１１ Ｌ０』『Ｐ０２ Ｌ０』『Ｐ１２ Ｌ０』まで処理すると、図２１（ｃ）に示すように、ＳＤ解像度の第２解像度までのワイド１６：９画角の上位２ビットと、第２解像度までの水平方向のワイド１６：９画角の中位４ビットの画像データとなる。いわゆるＳＤワイド画角の長時間モード（ＳＷ／Ｌｐ）となる。
【０１４３】
さらに、パケットデータを『Ｐ２０ Ｌ０』『Ｐ２１ Ｌ０』『Ｐ２２ Ｌ０』『Ｐ００ Ｌ１』『Ｐ０１ Ｌ１』『Ｐ０２ Ｌ１』『Ｐ１０ Ｌ１』『Ｐ１１ Ｌ１』『Ｐ１２ Ｌ１』まで処理すると、図２１（ｄ）に示すように、ＨＤ解像度の第３解像度までのワイド１６：９画角で上位２ビットと第３解像度までの水平方向のワイド１６：９画角の中位４ビットの画像データとなる。いわゆるＨＤワイド画角の長時間モード（ＨＷ／Ｌｐ）となる。
【０１４４】
さらに、パケットデータを『Ｐ２０ Ｌ１』『Ｐ２１ Ｌ１』『Ｐ２２ Ｌ１』まで処理すると、図２１（ｅ）に示すように、ＨＤ解像度の第３解像度までのワイド１６：９画角で上位６ビットの画像データとなる。いわゆるＨＤワイド画角の標準画質モード（ＨＷ／Ｓｐ）となる。
【０１４５】
さらに、パケットデータを『Ｐ００ Ｌ２』『Ｐ０１ Ｌ２』『Ｐ０２ Ｌ２』『Ｐ１０ Ｌ２』『Ｐ１１ Ｌ２』『Ｐ１２ Ｌ２』『Ｐ２０ Ｌ２』『Ｐ２１ Ｌ２』『Ｐ２２ Ｌ２』まで処理すると、図２１（ｆ）に示すように、ＨＤ解像度の第３解像度までのワイド１６：９画角で全８ビットの画像データとなる。いわゆるＨＤワイド画角の高画質モード（ＨＷ／Ｘｐ）となる。
【０１４６】
このように、画質・位置・解像度優先モードと画質・解像度・位置優先モードを切り替えてパケットデータを並べておけば、ＨＤワイド画角の画質を重視したモードで画像データを、ストリームの先頭からの順次処理だけで抽出することが可能なり、前述したポータブル機器に向いた処理となる。また、本実施例においても、零パケット挿入による各種効果が得られる。
【０１４７】
以上のように抽出されたパケットデータは、第１の実施例と同様に処理されデータは復号されて出力される。以上が、本実施例の伸張処理の動作である。
【０１４８】
以上説明したように、本実施例によれば、３つの帯域分割とプログレッションオーダを途中で変化させることにより、ＨＤワイド画角の画質モードを重視しつつ、ＳＤの画角切り替えも可能な表示処理を、ストリームの先頭からの順次読み出しで、容易に実現することができる。
【０１４９】
（実施例５）
次に、本発明により、解像度・画角・画質に関する多様なモード（ＳＮ、ＳＷ、ＨＷ、ＬＰ、ＳＰ、ＸＰ）に対応した第５の実施例について説明する。基本的な処理ブロック、想定画像、一部データ処理手順は、第４の実施例と同じなので説明は省き、異なる部分のみ説明していく。
【０１５０】
まず、圧縮時の処理については、パケットデータを並べるところまでは、第４の実施例と同じである。
【０１５１】
解像度・位置・画質に分割されたパケットデータの並びに関して、図２２（ａ）において、説明する。
【０１５２】
まず、第２解像度（Ｐ００、Ｐ１０）までは、最初に画質の上位レイヤから、Ｌ０、Ｌ１、Ｌ２と並べる。そして、同じ画質のパケットデータ内の並べ方は、位置の番号順に、Ｐ００、Ｐ０１、Ｐ０２に並べる。さらに、同じ位置のパケットデータ内の並べ方は、解像度の低い順に、Ｐ００、Ｐ１０と並べる。ＬＰＲＣ（画質―位置―解像度―成分）のプログレッションオーダである。
【０１５３】
つぎに、第３解像度（Ｐ２０）からは、最初に画質の上位レイヤから、Ｌ０、Ｌ１、Ｌ２と並べる。そして、同じ画質のパケットデータ内の並べ方は、解像度の低い順に、Ｐ００、Ｐ１０と並べる。さらに、同じ解像度のパケットデータ内の並べ方は、位置の番号順に、Ｐ００、Ｐ０１、Ｐ０２と並べる。ＬＲＰＣ（画質−解像度−位置−成分）である。
【０１５４】
上記のように、本実施例においても第４の実施例と同様にプログレッションオーダを途中で切り替えている。メインヘッダのＰＯＣマーカセグメントに、開始点の解像度番号０、位置番号０を、終了点の解像度番号１、位置番号２、画質番号２を、プログレッションオーダＬＰＣＲを指定し、引き続き、次の開始点の解像度番号２、位置番号０を、終了点の解像度番号２、位置番号２、画質番号２を、プログレッションオーダＬＲＰＣを指定する。
【０１５５】
ただし、第４の実施例同様に、上記のプログレッションオーダＬＰＲＣ やＬＲＰＣは、ＪＰＥＧ２０００の標準ではないが新規に設定される余地はある。
【０１５６】
前記ストリームデータは、第４の実施例同様に、出力形態にあわせた形で出力する。以上が、本実施例の圧縮符号化処理の動作である。
【０１５７】
次に、前記符号化処理された画像データを伸張する動作について説明するが、ストリームデータのパケットデータの読み出し以外は、第４の実施例と同じなので、説明は省略する。ストリームデータの符号化データの取り出し方を図２２で説明する。
【０１５８】
パケットデータ『Ｐ００ Ｌ０』『Ｐ１０ Ｌ０』が処理されると、画像データとしては、図２２（ｂ）に示すように、ＳＤ解像度の第２解像度までの標準４：３画角の上位２ビットと、第２解像度までの水平方向の標準４：３画角の中位４ビットの画像データとなる。いわゆるＳＤ標準画角の長時間モード（ＳＮ／Ｌｐ）となる。
【０１５９】
さらに、パケットデータを『Ｐ０１ Ｌ０』『Ｐ１１ Ｌ０』『Ｐ０２ Ｌ０』『Ｐ１２ Ｌ０』まで処理すると、図２２（ｃ）に示すように、ＳＤ解像度の第２解像度までのワイド１６：９画角の上位２ビットと、第２解像度までの水平方向のワイド１６：９画角の中位４ビットの画像データとなる。いわゆるＳＤワイド画角の長時間モード（ＳＷ／Ｌｐ）となる。
【０１６０】
さらに、パケットデータを『Ｐ００ Ｌ１』『Ｐ１０ Ｌ１』『Ｐ０１ Ｌ１』『Ｐ１１ Ｌ１』『Ｐ０２ Ｌ１』『Ｐ１２ Ｌ１』まで処理すると、図２２（ｄ）に示すように、ＳＤ解像度の第２解像度までのワイド１６：９画角で上位６ビットの画像データとなる。いわゆるＳＤワイド画角の標準画質モード（ＳＷ／Ｓｐ）となる。
【０１６１】
さらに、パケットデータを『Ｐ００ Ｌ２』『Ｐ１０ Ｌ２』『Ｐ０１ Ｌ２』『Ｐ１１ Ｌ２』『Ｐ０２ Ｌ２』『Ｐ１２ Ｌ２』まで処理すると、図２２（ｅ）に示すように、ＳＤ解像度の第２解像度までのワイド１６：９画角で全８ビットの画像データとなる。いわゆるＳＤワイド画角の高画質モード（ＳＷ／Ｘｐ）となる。
【０１６２】
さらに、パケットデータを『Ｐ２０ Ｌ０』『Ｐ２１ Ｌ０』『Ｐ２２ Ｌ０』『Ｐ２０ Ｌ１』『Ｐ２１ Ｌ１』『Ｐ２２ Ｌ１』『Ｐ２０ Ｌ２』『Ｐ２１ Ｌ２』『Ｐ２２ Ｌ２』まで処理すると、図２２（ｆ）に示すように、ＨＤ解像度の第３解像度までのワイド１６：９画角で全８ビットの画像データとなる。いわゆるＨＤワイド画角の高画質モード（ＨＷ／Ｘｐ）となる。
【０１６３】
このように、画質・位置・解像度優先モードと解像度・画質・位置優先モードを切り替えてパケットデータを並べておけば、ＳＤワイド画角の画質を重視したモードで画像データを、ストリームの先頭からの順次処理だけで抽出することが可能なり、前述したポータブル機器に向いた処理となる。また、本実施例においても、零パケット挿入による各種効果が得られる。
【０１６４】
以上のように抽出されたパケットデータは、第１の実施例と同様に処理されデータは復号されて出力される。以上が、本実施例の伸張処理の動作である。
【０１６５】
以上説明したように、本実施例によれば、３つの帯域分割とプログレッションオーダを途中で変化させることにより、ＳＤワイド画角の画質モードを重視しつつ、ＳＤ標準画角／ＨＤワイド画角の切り替えも可能な表示処理を、ストリームの先頭からの順次読み出しで、容易に実現することができる。
【０１６６】
（実施例６）
次に、本発明により、解像度・画角・画質に関する多様なモード（ＳＮ、ＳＷ、ＨＷ、ＬＰ、ＳＰ、ＸＰ）に対応した第６の実施例について説明する。基本的な処理ブロック、想定画像、一部データ処理手順は、第４の実施例と同じなので説明は省き、異なる部分のみ説明していく。
【０１６７】
まず、圧縮時の処理については、パケットデータを並べるところまでは、第４の実施例と同じである。解像度・位置・画質に分割されたパケットデータの並びに関して、図２３（ａ）において、説明する。
【０１６８】
まず、第２の解像度（Ｐ００、Ｐ１０）までは、最初に位置の番号順に、Ｐ００、Ｐ０１、Ｐ０２と並べる。そして、同じ位置のパケットデータ内の並べ方は、画質の上位レイヤから、Ｌ０、Ｌ１、Ｌ２と並べる。さらに、同じ画質のパケットデータ内の並べ方は、解像度の低い順に、Ｐ００、Ｐ１０と並べる。ＰＬＲＣ（位置−画質−解像度−成分）である。
【０１６９】
つぎに、第３解像度（Ｐ２０）からは、最初に解像度の低い順に、Ｐ０２と並べる。そして、同じ解像度のパケットデータ内の並べ方は、位置の番号順に、Ｐ００、Ｐ０１、Ｐ０２と並べる。さらに、同じ位置のパケットデータ内の並べ方は、画質の上位レイヤから、Ｌ０、Ｌ１、Ｌ２に並べる。ＲＰＬＣ（解像度−位置−画質−成分）である。
【０１７０】
上記のように、本実施例においても第４の実施例と同様にプログレッションオーダを途中で切り替えている。メインヘッダのＰＯＣマーカセグメントに、開始点の解像度番号０、位置番号０を、終了点の解像度番号１、位置番号２、画質番号２を、プログレッションオーダＰＬＲＣを指定し、引き続き、次の開始点の解像度番号２、位置番号０を、終了点の解像度番号２、位置番号２、画質番号２を、プログレッションオーダＲＰＬＣを指定する。
【０１７１】
ただし、第４の実施例同様に、上記のプログレッションオーダＰＬＲＣ やＲＰＬＣは、ＪＰＥＧ２０００の標準ではないが新規に設定される余地はある。
【０１７２】
前記ストリームデータは、第４の実施例同様に、出力形態にあわせた形で出力する。以上が、本実施例の圧縮符号化処理の動作である。
【０１７３】
次に、前記符号化処理された画像データを伸張する動作について説明するが、ストリームデータのパケットデータの読み出し以外は、第４の実施例と同じなので説明は省略する。ストリームデータの符号化データの取り出し方を図２３で説明する。
【０１７４】
パケットデータ『Ｐ００ Ｌ０』『Ｐ１０ Ｌ０』が処理されると、画像データとしては図２３（ｂ）に示すように、ＳＤ解像度の第２解像度までの標準４：３画角の上位２ビットと、第２解像度までの水平方向の標準４：３画角の中位４ビットの画像データとなる。いわゆるＳＤ標準画角の長時間モード（ＳＮ／Ｌｐ）となる。
【０１７５】
さらに、パケットデータを『Ｐ００ Ｌ１』『Ｐ１０ Ｌ１』まで処理すると、図２３（ｃ）に示すように、ＳＤ解像度の第２解像度までの標準４：３画角で上位６ビットの画像データとなる。いわゆるＳＤ標準画角の標準画質モード（ＳＮ／Ｓｐ）となる。
【０１７６】
さらに、パケットデータを『Ｐ００ Ｌ２』『Ｐ１０ Ｌ２』まで処理すると、図２３（ｄ）に示すように、ＳＤ解像度の第２解像度までの標準４：３画角で全８ビットの画像データとなる。いわゆるＳＤ標準画角の標準画質モード（ＳＮ／Ｘｐ）となる。
【０１７７】
さらに、パケットデータを『Ｐ０１ Ｌ０』『Ｐ１１ Ｌ０』『Ｐ０１ Ｌ１』『Ｐ１１ Ｌ１』『Ｐ０１ Ｌ２』『Ｐ１１ Ｌ２』『Ｐ０２ Ｌ０』『Ｐ１２ Ｌ０』『Ｐ０２ Ｌ１』『Ｐ１２ Ｌ１』『Ｐ０２ Ｌ２』『Ｐ１２ Ｌ２』まで処理すると、図２３（ｅ）に示すように、ＳＤ解像度の第２解像度までのワイド１６：９画角で全８ビットの画像データとなる。いわゆるＳＤワイド画角の高画質モード（ＳＷ／Ｘｐ）となる。
【０１７８】
さらに、パケットデータを『Ｐ２０ Ｌ０』『Ｐ２０ Ｌ１』『Ｐ２０ Ｌ２』『Ｐ２１ Ｌ０』『Ｐ２１ Ｌ１』『Ｐ２１ Ｌ２』『Ｐ２２ Ｌ０』『Ｐ２２ Ｌ１』『Ｐ２２ Ｌ２』まで処理すると、図２３（ｆ）に示すように、ＨＤ解像度の第３解像度までのワイド１６：９画角で全８ビットの画像データとなる。いわゆるＨＤワイド画角の高画質モード（ＨＷ／Ｘｐ）となる。
【０１７９】
このように、画質・位置・解像度優先モードと解像度・画質・位置優先モードを切り替えてパケットデータを並べておけば、ＳＤ標準画角の画質を重視したモードで画像データを、ストリームの先頭からの順次処理だけで抽出することが可能なり、前述したポータブル機器に向いた処理となる。また、本実施例においても、零パケット挿入による各種効果が得られる。
【０１８０】
以上のように抽出されたパケットデータは、第１の実施例と同様に処理されデータは復号されて出力される。以上が、本実施例の伸張処理の動作である。
【０１８１】
以上説明したように、本実施例によれば、３つの帯域分割とプログレッションオーダを途中で変化させることにより、ＳＤ標準画角の画質モードを重視しつつ、ＳＤ／ＨＤワイド画角の切り替えも可能な表示処理を、ストリームの先頭からの順次読み出しで、容易に実現することができる。
【０１８２】
（実施例７）
次に、これまでの実施例で説明してきたストリームデータを、記録媒体に記憶しダビングするシステムに関する実施例７を、図２４を用いて説明する。
【０１８３】
図２４（ａ）が本発明を実施した実施例のブロック図である。
【０１８４】
図２４（ａ）において、１０は第３の実施例の符号化装置、２０は第３の実施例の復号化装置、３０はディスクビデオカメラシステム、３１はカメラ部、３２はバッファメモリ、３３はデータ転送部、３４はディスクメディア、３５はデジタルインターフェース、４０はメモリカードビデオカメラシステム、４１はデジタルインターフェース、４２はバッファメモリ、４３はデータ転送部、４４はメモリカードメディアである。
【０１８５】
まず、ディスクビデオカメラシステム３０の記録に関して説明する。被写体映像がカメラ部から取り込まれると、画像・位置・画質に分割符号化する符号化装置１０でデータ圧縮され、バッファメモリ３２に書き込まれる。バッファメモリにデータが所定量蓄積されると、データ転送部３３が動作し、バッファメモリ３２の符号化データをディスクメディア３４に書き込む。
【０１８６】
ここで、分割された符号化データとディスク書込みエリアの関係を図２４（ｂ）、（ｃ）で説明する。
【０１８７】
書き込むストリームデータは、第３の実施例で生成された図１５のように、５つの階層データをもつ。一方、本実施例のディスクメディアは、図２４（ｃ）に示すように、片面二層のディスクシステムであり、書込みエリアを厚さ方向に３４ａ、３４ｂに分割して入れることができる。また、円周方向には図２４（ｂ）に示すように、リードインエリア３４ｘと第１のデータエリア３４ｙ、第２のデータエリア３４ｚに分かれている。リードインエリアは、ディスクを管理する上で必要な制御データが書き込まれ、データ書き込めないので、データを書き込むエリアは４つに分けることができる。
【０１８８】
そこで、ＳＤ解像度の標準画角の標準画質データ（ＳＮ／Ｓｐ）は、現行ＴＶシステム必須の表示方法なので、固定長化してアクセスの容易なディスク内周エリア３４ｙの上層の３４ａに記録する。ＳＤ解像度のワイド画角の標準画質データ（ＳＷ／Ｓｐ）とＨＤ解像度のワイド画角の長時間モードデータ（ＨＷ／Ｌｐ）は、デジタルＴＶの標準表示方法なので、やはり固定長化してアクセスの容易なディスク内周エリア３４ｙの下層の３４ｂに記録する。さらに、ＨＤ解像度のワイド画角の標準画質データ（ＨＷ／Ｓｐ）とＨＤ解像度ワイド画角の高画質データ（ＨＷ／Ｘｐ）は、可変長のまま外周エリア３４ｚの上層３４ａと下層３４ｂにそれぞれ分けて記録しておく。
【０１８９】
ここで、内周エリアは各解像度・画角の表示で必要なデータを記録し、しかも固定長化しているので、各表示方法でサーチ・特殊再生等でデータを検索するのに効果がある。
【０１９０】
また、内周記録エリアのデータが一杯になってしまった時は、内周エリアの境界を移動させ、外周エリアのデータをオーバーライトするようにしておくと、ＨＤワイド画角の高画質化データを書き換えるだけで、高画質モードから長時間モード記録に容易に変更できる。
【０１９１】
次に、本システムを用いたダビング動作を説明する。
【０１９２】
図２４（ａ）において、ダビングソース送り元がディスクビデオカメラ３０で、送り先がメモリカードビデオカメラ４０である。まず、ＳＤ解像度の画像データしか復号できないメモリカードビデオカメラ４０は、デジタルインターフェース４１、３５を介してＳＤ解像度の画像データを要求する。ディスクビデオカメラ３０は、ディスクメディア３４の内周エリア上層に書き込まれたＳＤ解像度の標準画角の標準画質データをデータ転送部３３でバッファメモリ３２に逐次読み出す。ストリームとしては先頭から２つの分のパケットデータとなる。前記パケットデータを含んだストリームの一部を復号化装置２０は読み出す。復号化装置２０では、読み出したＳＤ解像度の画像データのパケットに対して、ＨＤワイド画角の高画質モードに不足するパケットデータを零パケットとして挿入し、ストリームを再構築して、デジタルインターフェース３５に送る。デジタルインターフェース３５、４１を介してストリームデータは、メモリカードビデオカメラ４０に送られる。そして、データは、既にストリーム化されているので、符号化装置１０ではファイルフォーマット処理を施す程度で、バッファメモリ４２に書き込まれる。前記ダビングデータは、ＳＤ解像度の画像データ以外は零パケットになっているので、データ量もコンパクトな形で、バッファメモリ４２からメモリカードメディア４４にデータ転送部４３で書き込まれる。
【０１９３】
以上のように、デジタルダビングするときのモード変換は、先頭から読み出した必要なストリームの後に、零パケットデータを挿入するだけで、コード量を減らし機器間のデータ転送を容易にして、実現することができる。
【０１９４】
また、ストリームの前半にあるデータは、アクセス頻度が高いので、内周側に記録することにより、ダビング時のデータ転送速度を稼ぐ事ができる。さらに、ストリーム後半にあるデータを外周に配置し可変長にすることにより、高精細なデータを漏らす事無く記録したり、零パケットのコード長の変更にも、有効に記録エリアを利用したりすることができる。
【０１９５】
（実施例８）
最後に、これまでの実施例で説明してきたストリームデータを、複数の記録媒体に分けて記録するシステムに関して、本発明の実施例を、図２５で説明する。
【０１９６】
図２５（ａ）が本発明を実施した実施例の記録動作時のブロック図である。
【０１９７】
図において、５１がカメラ部、１０が実施例３の符号化装置、５２、５５がバッファメモリ、５３、５６がデータ転送部、５７がディスクメディア、５４がメモリカードメディアである。
【０１９８】
カメラ部５１から入力された画像は、符号化装置１０で、解像度・位置・画質分割されパケットデータの並びであるストリームデータを生成する。ストリームデータはファイルシステムのヘッダ処理等の付加データをつけて、バッファメモリ５２、５５に書き出す。ここで、５５は実施例７で述べたディスクの内周エリアに書き込むデータであり、５２はディスクエリアの外周エリアに書き込むデータである。そして、前記バッファメモリ５２、５５に書かれたデータは、データ転送部５３、５６で、記録メディアである５４、５７に書き込まれる。つまり、高画質化データをメモリカードに、ベースラインデータをディスクに書き込むシステムである。
【０１９９】
ここで、再生動作について、図２５（ｂ）で説明する。再生時にカードメディアがあれば、メモリカードから高画質化データを読み出し、ディスクからベースラインデータを読み出して、復号化装置２０でＨＤワイド画角の高画質ストリームデータ再構成したのち、データを復号して、デジタルテレビシステム６０にフルスペックで出力する。
【０２００】
一方、メモリカードメディア５４が装着されて無ければ、図２５（ｃ）に示すように、ディスク５７からベースラインデータを読み出して、カードが無いために不足しているデータを復号装置２０で零パケット挿入して、ストリームデータを整えた後、復号処理して、ＳＤ標準画角の標準画質データを出力し、本体内のＬＣＤ５８に表示する。
【０２０１】
このように、本実施例においても、ストリームデータの先頭からの抽出あるいは、零パケット挿入で、モード変換ができる復号化方式で、優先順位の高いメディアにストリーム前半のデータを割り当てておけば、複数のメディアにデータを振り分けて記録することができる。
【０２０２】
【発明の効果】
以上説明したように、本発明によれば、多様な画質モードに対応可能な画像の符号化データを容易に生成できる。またシステムで設定された画質モードに応じて符号化データから所望の画像データを抽出できる。
【図面の簡単な説明】
【図１】（ａ）は本発明における符号化装置１０の全体ブロック図、（ｂ）は本発明における復号化装置２０の全体ブロック図である。
【図２】本発明の実施例１における画像の帯域分割の概念図である。
【図３】本発明の実施例１における位置分割の概念図である。
【図４】本発明の実施例１におけるコードブロック分割の概念図である。
【図５】本発明の実施例１におけるに画質分割の概念図である。
【図６】本発明の実施例１における階層的な分割の概念図である。
【図７】（ａ）、（ｂ）、（ｃ）、（ｄ）は本発明の実施例１におけるストリームデータの概念図である。
【図８】本発明の実施例２における位置分割の概念図である。
【図９】本発明の実施例２におけるコードブロック分割の概念図である。
【図１０】本発明の実施例２における画質分割の概念図である。
【図１１】本発明の実施例２における階層的な分割の概念図である。
【図１２】（ａ）、（ｂ）、（ｃ）、（ｄ）は本発明の実施例２におけるストリームデータの概念図である。
【図１３】本発明の実施例３における画質分割の概念図である。
【図１４】本発明の実施例３における階層的な分割の概念図である。
【図１５】（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｆ）は本発明の実施例２におけるストリームデータの概念図である。
【図１６】本発明の実施例４における画像の帯域分割の概念図である。
【図１７】本発明の実施例４における位置分割の概念図である。
【図１８】本発明の実施例４におけるコードブロック分割の概念図である。
【図１９】本発明の実施例４における画質分割の概念図である。
【図２０】本発明の実施例４における階層的な分割の概念図である。
【図２１】（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｆ）は本発明の実施例４におけるストリームデータの概念図である。
【図２２】（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｆ）は本発明の実施例５におけるストリームデータの概念図である。
【図２３】（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｆ）は本発明の実施例６におけるストリームデータの概念図である。
【図２４】本発明の実施例７におけるダビングシステムの全体のブロック図である。
【図２５】本発明の実施例８における複数メディアシステムの全体のブロック図である。
【図２６】本発明の実施例３におけるストリームデータ抽出処理に関するフローチャートである。
【符号の説明】
１ 帯域・位置分割部
２ 量子化部
３ 符号化部
４ ストリーム生成部
５ 出力部
１０ 画像符号化装置
２０ 画像復号化装置
２１ コマンド入力部
２２ 操作指令部（マイクロコンピュータ）
２３ 入力部
２４ ビットストリーム解析部
２５ 復号化部
２６ 逆量子化部
２７ 帯域合成部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image encoding method, an image encoding device, and a recording device that generate an encoded image that can be decoded at a desired resolution or image quality.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as a device for displaying an image captured by a digital still camera or a digital video camera, a television monitor or a monitor of a personal computer (PC) is generally used. In recent years, infrastructures such as a PC monitor capable of relatively flexibly supporting many resolutions and a digital television system capable of displaying a plurality of resolutions are being prepared.
[0003]
On the other hand, the mainstream of the camera body is a product equipped with a high-pixel image sensor such as a CCD exceeding 1 million pixels, and a product equipped with a large LCD monitor that allows the captured image to be easily viewed. I have. Furthermore, in recent years, an infrastructure for a print system that cuts out a part of a captured image and directly prints the image, and an infrastructure for connecting a camera to a network such as the Internet and transmitting and receiving the captured image by e-mail or the like have been prepared. ing.
[0004]
As described above, the camera system was previously configured to obtain an optimum output image for a standard monitor or a television monitor that displays only one resolution. It is important to flexibly cope with various image output modes, and a configuration for efficiently generating and outputting high-quality and large-capacity data necessary for flexibly responding is required.
[0005]
As a technique for coping with various display forms, a prior art for recording a high-definition image (HD) and reproducing it as a standard image (SD) is disclosed in Japanese Patent Application Laid-Open No. 06-339114 (Patent Document 1). I have. FIG. 16 of Patent Document 1 shows a recording method, FIG. 27 shows a block diagram of a standard image reproducing method, and FIG. 19 shows a block diagram of a high-definition image reproducing method. As shown in FIG. 16 of Patent Document 1, a standard image (output signal 162 in the figure) obtained by down-converting an input high-definition image and an image obtained by up-converting the high-definition image and the standard image (FIG. 16) The difference information (the output signal 169 in the figure) of the middle 164 is simultaneously recorded. When reproducing a standard image, as shown in FIG. 27 of Patent Document 1, only the down-converted standard image is selectively reproduced (the output signal 193 in the figure) and displayed. On the other hand, when reproducing a high-definition image, as shown in FIG. 19 of Patent Document 1, data obtained by up-converting the down-converted standard image data (output signal 191 in the figure) and up-converting the standard image are output. The conversion data and the difference data of the high-definition image (the output signal of 195 in the figure) are combined and displayed (the output signal of 194 in the figure). The configuration described above is disclosed in Patent Document 1.
[0006]
As a different prior art, a technique for transmitting the same image at a plurality of resolutions is disclosed in Japanese Patent Application Laid-Open No. 2000-184328 (Patent Document 2). In FIG. 3 of Patent Document 2, a predetermined image is converted into lossless-compressed data (C1) and lossy-compressed data (C2) having a hierarchical structure as shown in FIG. 30 is disclosed. When a desired image is referred by a doctor's diagnosis, the image is displayed at a desired resolution on the reference terminal 14 of the standard monitor. On the other hand, when diagnosing with image data, the diagnostic workstation 12 capable of high-definition display checks image data at a desired resolution. In this case, the system is capable of displaying and operating not only lossy-compressed data but also lossless-compressed data for final confirmation. As described above, Patent Literature 2 discloses a technique for displaying a predetermined image at a desired resolution according to an application or a display terminal.
[0007]
Further, Japanese Patent Application Laid-Open No. 2000-36959 (Patent Document 3) discloses that image data is hierarchically encoded at a resolution level, and a transform coefficient for generating each resolution level is divided (tiled) to obtain a desired portion or resolution of the image data. At the level, a method of constructing tile data that enables both random access and high-speed access is disclosed. As shown in FIG. 3 of Patent Document 3, the method of dividing the transform coefficient of each resolution level is to divide the transform coefficient into transform coefficients in the same part as the pixels of the original image (304, 302, 303), and , The tiles of the transform coefficient in the same part at the resolution level are arranged in a continuous manner, and the pointer information of the continuous tile data is entered in the header information. Thus, the user can read out the data by only extracting the pointer information and the subsequent divided data without searching for the image data of the desired resolution level and part from all the data. Random access can be realized. The configuration described above is disclosed in Patent Document 3.
[0008]
[Patent Document 1]
JP-A-6-339114 (FIGS. 16, 27 and 19)
[Patent Document 2]
JP 2000-184328 A (FIGS. 2 and 3)
[Patent Document 3]
JP 2000-36959 A (FIGS. 3 and 5)
[0009]
[Problems to be solved by the invention]
However, the above-mentioned patent documents are written with the idea of trying to cope with a plurality of resolutions, and employ a high image quality mode (hereinafter referred to as XP) employed in today's video tape recorders, DVD recorders or HD recorders. Each mode of the recording system such as a standard mode (hereinafter referred to as an SP mode), a long time mode (hereinafter referred to as an LP mode), that is, a selective recording image quality and a recording time corresponding thereto (hereinafter referred to as an LP mode) Or, a configuration corresponding to a mode for setting the number of recorded images is not considered.
[0010]
That is, according to the conventional technology, it is possible to use a single encoded data for all modes in a recording system or the like having a mode (XP mode, SP mode, LP mode) corresponding to a plurality of image qualities at the same resolution. There was a problem that it could not be done.
[0011]
SUMMARY OF THE INVENTION The present invention solves the above-described problems, generates encoded data of an image that can be used in various image quality modes, and is suitable for use in a system that performs recording, reproduction, transmission or display, and sets the encoded data. It is an object of the present invention to provide an image encoding method, an image encoding device, and a recording device that enable desired image data to be extracted from the encoded data according to the set image quality mode.
[0012]
[Means for Solving the Problems]
As means for achieving such an object, the present invention has means having the following configuration.
[0013]
An image encoding method according to the present invention is the image encoding method for compressing and encoding input image data, wherein a band dividing step of dividing the input image data into a plurality of frequency bands, and each of the bands divided in the band dividing step. An image quality dividing step of dividing the size of the image data into a plurality of layers by a predetermined threshold value, and setting the threshold value in the image quality dividing step according to a degree of a vertical component of the image data band-divided in the band dividing step. Setting step.
[0014]
Further, the image coding apparatus of the present invention is a video coding apparatus for compressing and coding input image data, wherein the band splitting means for splitting the input image data into a plurality of frequency bands, Position dividing means for dividing each image data into a plurality of image spaces, image quality dividing means for dividing the size of each image data band-divided by the band dividing means into a plurality of layers at a predetermined threshold, The number of pixels of the band data divided by the dividing unit is set to include a plurality of display resolutions, and the number of pixels of the band data divided by the position dividing unit includes a plurality of display angles of view. Setting means for setting the number of pixels such that the threshold is set higher when the vertical component of the band-divided image data is lower than when the vertical component is higher. And butterflies.
[0015]
The recording device of the present invention is a recording device that records a data stream generated by the image encoding device, and separates the data stream at a predetermined cutout point according to a desired resolution, angle of view, or image quality. Then, the encoded data included in the first half of the separated data stream is recorded in the first recording area, and the encoded data included in the second half of the separated data stream is recorded in the first recording area different from the first recording area. 2 is recorded in the recording area.
[0016]
BEST MODE FOR CARRYING OUT THE INVENTION
In each example of the embodiment of the present invention, JPEG2000 (including Motion JPEG2000) is used as an image encoding method. Since the JPEG2000 system is described in ISO / IEC15444-1 (hereinafter referred to as a standard), a detailed description thereof will be omitted, but an outline related to the embodiment of the present invention will be described below.
[0017]
According to the standard, compression-encoded data generated by hierarchical encoding is grouped by the same resolution (R), image position (P), image quality (L), and signal component (C), and the compression code is generated in units of packet data. A mechanism for classifying coded data is specified. Thereby, the priority of the decoding process can be determined according to the rearrangement of the packet data.
[0018]
In addition, B.N. Chapter 12 defines five standard priorities. The five are: image quality, resolution, component, position (LRCP), resolution, image quality, component, position (RLCP), resolution, position, component, image quality (RPCL), position, component, resolution, The order is image quality (PCRL), and the order is component / position / resolution / image quality (CPRL). More specifically, LRCP is a display method that gives priority to image quality that improves the image quality of the entire image, and RLCP and RPCL is a display method that gives priority to resolution that improves the resolution of the entire image. In addition, PCRL is a position-priority display method in which the entire image is displayed from a part of the image, and CPRL is a component-priority display method in which the coloring state of the entire image is improved.
[0019]
However, the standard does not specify a method that satisfies various expression forms represented by a hierarchical structure of image quality and resolution as in a digital television system. In particular, the digital television system has a mode for displaying a plurality of resolutions of 720 × 480 (interless non-inter SD), 1280 × 720 (non-inter HD), and 1920 × 1080 (interless HD). The corners also have two display modes, 4: 3 (Narrow) and 16: 9 (Wide). In addition to such various display modes, there are reproduction modes such as a high image quality mode (XP), a standard mode (SP), and a long time mode (LP).
[0020]
If image data compressed and encoded by the JPEG2000 system is used, the above-mentioned various display modes can be realized in principle by randomly accessing and decoding encoded packet data required for the above-mentioned display mode. Although it is possible, when extracting necessary packet data, detecting and searching for the attributes of all packets causes a heavy processing load on the system, which is not practical. Therefore, if the necessary packet data is grouped in advance for each display mode, and the desired display mode is selected, the packet data is extracted in a certain unit to reduce the processing load. In the present embodiment, focusing on this, the arrangement of predetermined packet data is defined, and various display modes are easily realized or the display mode is changed without performing the packet data selection processing. Make it possible. Such an embodiment is described in detail below.
[0021]
(Example 1)
FIG. 1 is a block diagram of an image encoding device and an image decoding device according to a first embodiment corresponding to various modes (LP, SP, XP) relating to image quality. FIG. 1A shows the configuration of an image encoding device, and FIG. 1B shows the configuration of an image decoding device. Note that the image encoding device and the image decoding device in FIG. 1 may be integrated (so-called codec), and recording / reproduction using a magnetic tape, a disk such as a DVD or Blu-Ray, a memory card, or the like as a recording medium. Applicable to devices and the like.
[0022]
The image encoding device 10 in FIG. 1A is configured to compress input image data according to the JPEG2000 method and output the data, and includes the following components. Reference numeral 1 denotes a band in which input image data is subjected to a wavelet transform (DWT) to divide a band into a high-frequency component and a low-frequency component, and the same position image data is position-divided into a predetermined size (precinct) in each band (sub-band). A position dividing unit, a quantizing unit that quantizes the image data subjected to the band / position dividing processing at predetermined intervals and digitalizes the quantized image data into predetermined blocks (code blocks), and an EBCOT method for each block The encoding unit 4 performs the entropy encoding of the image data, divides the image quality of the coded code block in the bit depth direction, collects the image data in units of the same resolution, position, and image quality (packet data), and , And further add the packet data attributes and arrangement information in a predetermined format to form a series of bit streams. Stream generator which forms the over arm, 5 furnished the generated bit stream into a predetermined file format of JPEG2000, an output unit to write data.
[0023]
The image decoding apparatus 20 in FIG. 1B is configured to decompress and output input encoded data, and includes the following components. Reference numeral 21 denotes a read command input unit such as a user interface or a digital interface that receives desired resolution, position, and image quality information for the encoded data. 22 denotes a corresponding part of the encoded data of the image based on the information of the input read command. An operation command unit (microcomputer) for calculating and appropriately issuing a command to the stream analyzing unit 24, an input unit 23 for inputting encoded image data, and reading encoded data of a desired image from a file format; A bit stream analysis unit that analyzes a bit stream of encoded data and cuts out necessary data according to the operation command information; a decoding unit that performs entropy decoding of the cut-out encoded data in units of code blocks according to the IEBCOT scheme , 26 are the data of the decoded image data. The inverse quantization unit 27, which performs inverse quantization by multiplying the total value by a predetermined step value, arranges the inversely quantized transform coefficient of the desired image position data at a predetermined position, performs band synthesis by inverse Weblet transform, and performs desired band synthesis. This is a band synthesis unit that outputs image data.
[0024]
First, processing of image data at the time of compression will be described with reference to FIG. In the present embodiment, a frame having a resolution of 1920 × 960 pixels as shown in FIG. 2 is used in order to include the non-inter HD 1280 × 720 as the assumed image.
[0025]
The image data for one frame captured from the image source is subjected to the horizontal-direction weblet conversion and further to the vertical-direction weblet conversion by the band / position division unit 1. The image data is divided into high-frequency components and low-frequency components (sub-bands) by the filter processing of the wavelet transform, and the coefficients are transformed.
[0026]
FIG. 2 shows a state in which the above-described two-dimensional wavelet transform has been performed and the operation of exchanging the high-frequency transform coefficient and the low-frequency transform coefficient has been performed. In FIG. 2, image data 100 for one frame is divided into transform coefficients 101 of four bands (1LL, 1HL, 1LH, 1HH). In the ordinary JPEG2000 system, the above-described wavelet conversion and coefficient exchanging operation are performed recursively on the low-frequency band (1LL). In the first embodiment of the present invention, however, a single wavelet conversion or the like is performed. Since the operation achieves the purpose, no further explanation will be given.
[0027]
Regarding the notation of a two-dimensional band (sub-band), the low band is represented by L and the high band is represented by H, and the coefficient generated by one weblet operation is 1.
[0028]
In the notation method of the number of band divisions (resolution level), the coefficient of the lowest band generated by the two-dimensional Weblet transform is set to R0, and the notation of adding +1 to the high band data with respect to the low band coefficient is also shown in FIG. It is shown in parentheses. For example, since this operation is performed once, 1LL of R0 and 1HL, 1LH, and 1HH of R1 are generated. If the weblet operation is recursively applied to 1LL, 2LL of R0, 2HL, 2LH, 2HH of R1, and 1HL, 1LH, 1HH of R2 are generated (see FIG. 16). In the case of expressing the transform coefficient obtained by dividing the band in the future, the description will be made using the above notation.
[0029]
The coefficients that have been band-divided by the above-described weblet operation are also subjected to an operation of so-called position division, which is an operation of dividing into a group (precinct) of transform coefficients at the same positions as the pixels of the image data 100 for one frame. In the case of the embodiment, the position division is not performed (one precinct).
[0030]
As shown in FIG. 3, a method of notifying a unit (precinct) by the position division is to write a resolution level in a subscript of P, and then to write a precinct. Therefore, in this embodiment, R0 is P 0 0, R1 is P 1 0.
[0031]
Returning to FIG. 1, the transform coefficient obtained by performing the band / position division operation as described above in the band / position division unit 1 is quantified by the quantization unit 2 in a predetermined step size. The step width can be set independently for each band (1LL, 1HL, 1LH, 1HH) or can be set in association with each other.
[0032]
The quantized transform coefficients are compression-coded by the coding unit 3. Regarding encoding, first, at each position (precinct), as shown in FIG. 4, the code is divided into smaller code blocks. 103 is a code block, and P 0 For 0, it is divided into 0 to 127 code blocks. Also, P 1 For 0, it is divided into 0 to 383 code blocks.
[0033]
Further, entropy encoding processing is performed on the divided code blocks. Specifically, as shown in FIG. 5, the transform coefficients of the code block 103 are arranged from the most significant bit (MSB) to the least significant bit (LSB), and the binary data of each bit plane 104 is arithmetically encoded.
[0034]
With respect to arithmetic coding, an encoding model is determined for each pixel in a square bit plane from peripheral pixel values of the target pixel and upper bits of the target pixel, and arithmetic coding is performed. This method is called an EBCOT type entropy coding method.
[0035]
As described above, data encoded in units of bit planes 104 is sent to the stream generation unit 4 in FIG.
[0036]
The stream generation unit 4 collects blocks (precincts) whose resolution and position have been divided, and then divides them at a predetermined value level in the bit depth direction. Normally, this division is determined for each code block based on the improvement contribution rate of image quality. However, in this embodiment, for simplification of explanation, division is performed at a predetermined level as shown in FIG.
[0037]
The division in the bit depth direction according to the present embodiment is performed in three blocks 105 (layers) as follows.
[0038]
Data block P of first resolution 0 For 0, the upper 6 bits are the first layer (L0), the second layer (L1) has no data, and the remaining lower 2 bits are the third layer (L2). Data block P of second resolution 1 0 is the low band data (1HL) of the vertical component, the upper 6 bits and the upper 2 bits of the other (1LH, 1HH) are the first layer (L0), and the high band data (1LH, 1HH) of the vertical component. From the upper 6 bits to the upper 3 bits (middle 4 bits) are the second layer (L1), and the remaining lower 2 bits are the third layer (L2).
[0039]
In this manner, dividing in the bit depth direction is equivalent to dividing in terms of image quality because each pixel is divided into data blocks that contribute to image quality. The data obtained by dividing the resolution / position / image quality is called packet data.
[0040]
FIG. 6 shows an image of the coded data divided into the above resolution, position, and image quality. In the figure, reference numeral 102 denotes a data block divided into resolutions and positions, and a vertical direction represents a data block divided into image quality.
[0041]
As a division method related to image quality, which is a feature of the present invention, the first image quality block (L0) includes the upper 6 bits in the horizontal direction. As a result, even in the long-time mode (LP) having the image quality of L0, it is possible to secure the same horizontal resolution as in the standard mode (SP). In the case of a television monitor, the vertical resolution is limited by the number of TVs, but the horizontal resolution can be expressed up to the TV display capability. Therefore, by maintaining the horizontal resolution, it is possible to reduce image quality degradation.
[0042]
The packet data is output as a series of stream data by the stream generation unit 4 shown in FIG.
[0043]
FIG. 7A illustrates the configuration of stream data. First, additional information is added to the generated packet data by the marker segment 131. At the beginning of a series of stream data, there is header information 121, followed by a packet data group 115 to which a marker segment has been added, and finally there is footer information 122.
[0044]
The header information 121 starts with an SOC (Start of Code stream) marker indicating the start of a stream, followed by a main header (MH). The main header is headed by an image and tile size (SIZ) marker, and adds information about pixels. This also includes information on the size of the original image. The main header includes a marker segment QD (Quantization Default) related to quantization, a marker segment COD (Coding style Default) related to how to arrange packet headers, and a POC (Progression Order Change). The former includes information on the entire series of streams, and the latter includes information for partially changing the arrangement of packets.
[0045]
After the above header information, a tile part header (TpH) follows. Although not employed in the present embodiment, it is also possible with the JPEG2000 encoding method to divide one frame image into small areas (tiles) before band division of one frame image. In the case of the present embodiment, since the tile division is not performed, one frame image is interpreted as one tile data. Information about this tile is in the tile part header.
[0046]
The tile part header starts with a marker segment SOT (Start of Tile-part) indicating the start. The SOT also has information on the length of one tile part. As other information of the tile part header, there are information COD and POC on the arrangement of packet data in the tile. The priority is higher in the tile part header. At the end of the tile part header, there is an SOD (Start of Data) indicating that subsequent packet data is started. Although there is other information in the header information, it is not relevant to the present invention, and a description thereof will be omitted.
[0047]
The packet data has an SOP (Start of Packet) marker segment indicating that it is the head of the packet, and an EPH (End of Packet Header) indicating the end of the packet is provided at the end of the packet data.
At the end of the series of stream data, there is a marker segment EOC (End of Codestream) indicating the end of the stream as footer information.
[0048]
As described above, the stream generation unit 4 generates a series of stream data by adding the above-described additional information to the encoded data of one frame image.
[0049]
Here, a method of arranging packet data, which is a feature of the present invention, will be described with reference to FIG. First, regarding the image quality, the packet data is arranged in the order of L0, L1, and L2 from the upper layer. Furthermore, the order of arrangement in packet data of the same image quality is P 0 0, P 1 Align to 0. Such an arrangement is called an image quality priority progression order, and LRCP (image quality-resolution-component-position) corresponds to the five types prepared in the JPEG2000 standard. In this embodiment, the progression order is added as information of the COD marker segment of the main header.
[0050]
Returning to FIG. 1, the stream data thus generated is sent to the output unit 5 for post-processing the output. The output unit 5 regenerates the stream data in a form suitable for the output form of the subsequent stage.
[0051]
For example, if there is a disk system having a file system at the subsequent stage, information relating to synchronization of a moving image, information relating to a copyright, and the like are added to the stream data information, and the stream data information is output as Motion JPEG2000 file format data. If the subsequent stage is a digital interface, the stream data is divided into small parts for packet transmission, and header information is appropriately added and output.
[0052]
The above is the description of the operation of the image encoding device 10 in FIG.
[0053]
Next, an operation of expanding the encoded data of the image compressed by the image encoding device 10 will be described with reference to the block diagram of FIG.
[0054]
First, an instruction is input from the read command input unit 21 as to what display form or output form the image data is to be output. If the command input source is a user, it becomes a user interface, and if it is another device, it becomes a digital interface such as digital communication.
[0055]
Further, the read method instructed by the read command is, specifically, a resolution HD or SD that can be displayed on the display unit, a wide angle of view 16: 9 (W), a standard angle of view 4: 3 ( N) or image quality XP, SP, LP.
[0056]
When the output destination is a device having another recording medium, a read command is input via a digital interface in order to read a data stream that matches the recording capacity and decoding capability of the output destination.
[0057]
In the case of this embodiment, since a plurality of modes XP, SP, and LP relating to image quality are supported, an input is performed so that the readout method matches the above-described mode according to the capability of the output destination. In response to the command input of the reading method, the operation command unit 22 issues an operation method command to the stream data operation unit 24.
[0058]
On the other hand, the encoded image data is captured by the input unit 23, and stream data is input from a file system or another transmission format. The bit stream analysis unit 24 extracts necessary packet data as shown in FIG. 7A from the input stream data.
[0059]
Subsequently, the stream data is sequentially processed from the first marker segment starting with the SOC, and the sequential packet data is also processed. For example, packet data "P 0 0 L0 ”,“ P 1 0 L0 ”, as image data, as shown in FIG. 7B, upper 2 bits of all resolutions and upper 3 bits to upper 6 bits (middle 4 bits) in the horizontal direction of all resolutions. ). Since the code amount is the most compact and the image quality includes up to the upper 6 bits of the data of the horizontal component, deterioration in the TV monitor is reduced. This is a so-called long-time mode (LP).
[0060]
Further, the packet data is changed to "P 0 0 L1 ”“ P 1 When processing is performed up to “0 L1”, as shown in FIG. 7C, image data of the upper 6 bits of all resolutions is obtained, so that a so-called standard image quality mode (SP) for obtaining standard image quality is obtained.
[0061]
Further, the remaining packet data "P 0 0 L2 ”“ P 1 0L2 ", all 8-bit image data of all resolutions are obtained, as shown in FIG. 7D, so that the high-quality mode (XP) is set.
[0062]
Thus, by arranging the packet data in the image quality priority mode, it becomes possible to extract the image data in the desired mode by only sequential processing from the head of the stream without analyzing all the header information. This is a process that can be realized even with a limited work memory and a limited processing capacity in a portable device that is forced to be downsized with limited power. Specifically, a process at the time of mode conversion (down conversion from the XP mode to SP and LP) when dubbing data to another device is assumed.
[0063]
When digital dubbing is performed as work after the packet data is extracted from the top, the following processing is performed. After the last extracted packet data, zero packet data is added so that the number of packet data in a series of stream data does not change. Further, by adding zero packet data, information on the changing packet data length is reflected in the SOT marker segment.
[0064]
This processing slightly increases the code amount, but eliminates the need to reflect information such as a change in resolution and image quality due to stream clipping in the header information, and can reduce the load of the header processing. Also, since the stream format is unified, it is easy to connect streams of different modes in editing work or the like. In other words, even when the mode is switched, no change occurs in the data reading sequence (the number of times of reading the packet, the change of the attribute of the header information, and the like), so that it is possible to smoothly switch the mode transition in which only the image quality changes. Further, since the structure of the stream data is not changed, it is possible to easily realize a system that records on a recording medium by specializing in the stream data structure.
[0065]
Although the present embodiment has been described on the premise that all the image data at the time of encoding exists (XP mode), the case where only a part of the data is present as in the LP mode is described above. If a zero packet is inserted in the above, the up-conversion operation from LP to SP and XP can be realized by the same processing as described above.
[0066]
Returning to FIG. 1 again, the packet data processed by the bit stream analysis unit 24 is sent to the decoding unit 25. The decoding unit 25 constructs the structure of the code block and the bit plane shown in FIG. 5 from the packet data, and performs entropy decoding on a code block basis. In the entropy decoding, in each bit plane, arithmetic decoding is performed in accordance with an encoding model determined at the time of encoding, and binary data is restored. Then, for each code block, the decoded bit planes are arranged from the upper bits to the lower bits, and the transform coefficients are restored. The transform coefficients are reconstructed in the transform coefficient space as shown in FIG. 4 by the resolution / position division ID.
[0067]
The reconstructed transform coefficients are sent to the inverse quantization unit 26, multiplied by a predetermined step size, and the transform coefficient values are restored. The transform coefficient value is subjected to inverse wavelet transform by the band combining unit 27, and is subjected to frequency band combining to become image data. The image data is output as decoded image data. The above is the description of the operation of the image decoding device 20 in FIG.
[0068]
As described above, according to the present embodiment, in order to realize a plurality of image quality modes, instead of mere image quality division in the bit direction, resolution / image quality division is performed, and emphasis is placed on band data in the horizontal direction. By classifying the image into the higher image quality level, it is possible to reduce the deterioration of the image quality.
[0069]
In addition, by giving priority to the image quality with respect to the arrangement of the packet data of the resolution / image quality division, data necessary for a plurality of image quality modes can be easily obtained by sequential reading from the head at the time of decoding.
[0070]
Further, by inserting zero packets, a plurality of image quality modes can be realized without changing the format format of the stream configuration, and a smooth mode transition and a reduction in processing load can be realized.
[0071]
Further, since a plurality of image quality modes are realized in a unified format, a recording format specialized for a stream structure can be easily constructed.
[0072]
In the present embodiment, the description has been made on the assumption that the resolution is the HD mode. However, the present invention is not limited to this, and is an effective technique in the SD mode and other resolutions.
[0073]
Further, in the present embodiment, the image quality division is uniformly performed with a predetermined number of bits, but a value determined by an image quality improvement contribution rate in units of code blocks actually performed is multiplied by a weight coefficient. It is preferable to realize the present invention in a different form, and this is another embodiment that further enhances the effects of the present invention.
[0074]
Further, in the present embodiment, three image quality modes have been described, but the present invention can be applied to two or four or more image quality modes.
[0075]
(Example 2)
Next, a description will be given of a second embodiment corresponding to various modes (SN, SW, HW) relating to the resolution and the angle of view according to the present invention. The basic processing blocks are the same as in the first embodiment, and a description thereof will be omitted. Hereinafter, only different portions of the processing will be described.
[0076]
In the present embodiment, as the assumed images, HD1280 × 720 (hereinafter, referred to as HW) having a 16: 9 wide field angle of non-inter and SD720 × 480 (hereinafter, SW) having 16: 9 wide field of view of non-inter are used. ) And SD720 × 480 (hereinafter, referred to as SN), which is a 4: 3 standard angle of view. However, the resolution of the HW is set so as to be included, and therefore, the description is made with a frame having a resolution of 1920 × 960 pixels (see FIG. 8).
[0077]
First, the processing at the time of compression is the same as that of the first embodiment up to the processing of performing two-dimensional weblet conversion on one frame of image data captured from an image source.
[0078]
In the present embodiment, as shown in FIG. 8, an operation of combining the transform coefficients at the same position as the position of the original image and dividing it into a position block (precinct) 202 is added.
[0079]
In FIG. 8, a band (sub-band) obtained by band division is divided into three regions (precincts). The first precinct (P 0 0, P 1 0) is a 720 × 480 area at the center of the image, and the second and third precincts (P 0 1, P 1 1, P 0 2, P 1 2) The position is divided so as to form a 120 × 480 area.
[0080]
After quantizing the transform coefficient divided into the resolution and the position as described above, it is divided into code blocks 203 shown in FIG. P 0 For 0, it is divided into 0 to 95 code blocks and P 1 For 0, it is divided into 0 to 287 code blocks. An entropy encoding process is performed on the divided code blocks as in the first embodiment.
[0081]
The coded data is collected in units of resolution / position-divided blocks (precincts) 202 in the image data 200 for one frame, and as shown in FIG. It is divided into blocks 205 (layers).
[0082]
The upper two bits are the first layer (L0), the second layer (L1) is the middle four bits, and the remaining lower two bits are the third layer (L2).
[0083]
FIG. 11 shows an image of the encoded image data divided into the above resolution, position, and image quality. In FIG. 11, reference numeral 202 denotes a data block divided by resolution and position, and a data block divided by image quality in the vertical direction.
[0084]
The feature of the present invention is a resolution method and a position division method, which are SD standard view angle 4: 3 (SN), SD wide view angle 16: 9 (SW), HD standard view angle 4: 3 (HN), and HD wide view. This is to express the display mode of the corner 16: 9 (HW). Specifically, the first precinct (P0) of the first resolution (1LL) is the SN mode of 720 × 480, and the first, second, and third precincts (P0, P1, P2) of the first resolution (1LL) are used. ) Is the SW mode of 960 × 480, the first precinct (P0) of the second resolution (1LL, 1HL, 1LH, 1HH) is the HN mode of 1440 × 960, and the second resolution (1LL, 1HL, 1LH). , 1HH), the first, second and third precincts (P0, P1, P2) are in the 1920 × 960 HW mode.
[0085]
Next, the arrangement of packet data divided into resolution, position, and image quality will be described with reference to FIG. The overall structure of the stream data is the same as in the first embodiment, and includes the header information 221, the packet data group 215, and the footer information 222 at the head.
[0086]
Since the configuration of the additional information (marker segment) is the same, the description is omitted, and only the arrangement of the packet data will be described. First, in order from the lowest resolution, P 0 0, P 1 Align with 0. Furthermore, the order of arrangement in the packet data of the same resolution is as follows. 0 0, P 0 1, P 0 Arrange in 2. In the JPEG2000 progression order, RPCL (resolution-position-component-image quality) corresponds, and is added as information of the COD marker segment of the main header.
[0087]
The stream data is output in a form according to the output mode, as in the first embodiment. The above is the description of the processing at the time of image compression.
[0088]
Subsequently, an operation of expanding the encoded data of the compressed image will be described. First, a command specifying a reading method is input to the encoded image data from the reading command input unit 21, and the operation command unit 22 instructs the stream operation unit on the operation method. The reading method in the present embodiment is HW of HD wide angle of view, SW of SD wide angle of view, and SN of SD standard angle of view in a plurality of modes related to resolution and angle of view.
[0089]
On the other hand, the encoded image data is taken in from the input unit 23, and is sent as stream data to the stream operation unit. How to extract necessary packet data from the stream data will be described with reference to FIG.
[0090]
Packet data "P 0 0 L0 ”,“ P 0 L1 "" P 0 0 L2 ", the image data becomes image data of a 4: 3 angle of view of the first resolution of the SD resolution, as shown in FIG. 12B. This is a so-called SD standard angle of view (SN), which is the mainstream display method in 480I (D1) of a digital television system.
[0091]
Further, the packet data is changed to "P 0 1 L0 "" P 0 1 L1 "" P 0 1 L2 "" P 0 2 L0 "" P 0 2 L1 "" P 0 2L2 ", image data of 16: 9 angle of view of the first resolution of the SD resolution is obtained as shown in FIG. This is a so-called SD wide angle of view (SW), which is a mainstream display method in 480P (D2) of a digital television system.
[0092]
Further, the remaining packet data "P 1 0 L0 ”,“ P 1 0 L1 ”“ P 1 0 L2 ”“ P 1 1 L0 "" P 1 1 L1 "" P 1 1 L2 "" P 1 2 L0 "" P 1 2 L1 "" P 1 When processing is performed up to 2 L2 ”, as shown in FIG. 12D, 16: 9 image angle image data up to the second resolution of the HD resolution is included. It is a so-called HD wide (HW), which is the mainstream display method in the 720P (D3) digital television system.
[0093]
Thus, by arranging the packet data in the resolution priority mode, it becomes possible to extract the image data of the desired mode only by sequential processing from the head of the stream without analyzing all the header information. This is a process suitable for a portable device as described above.
[0094]
Also in this embodiment, as in the first embodiment, the operation of inserting a zero packet can be performed, and the same effects on the recording system as in the conversion by conversion, mode transition by editing can be obtained.
[0095]
The packet data extracted as described above is processed in the same manner as in the first embodiment, and the data is decoded and output.
[0096]
The above is the description of the operation of the decompression process of this embodiment.
[0097]
As described above, according to the embodiment of the present invention, in realizing a plurality of display modes, various image display methods are realized by dividing resolution and position and adjusting the angle of view and resolution to the display mode. can do.
[0098]
In addition, by arranging the resolution / position division packet data arrangement in a priority order of resolution, it is possible to sequentially read data from the head at the time of decoding and easily obtain data necessary for a plurality of display modes.
[0099]
In addition, the JPEG2000 system includes a process of dividing an image into a plurality of tiles before band division. Even if this function is used, it is possible to switch the angle of view. In the division, image distortion occurs at the division boundary during decoding. However, in the image division of the present embodiment, image distortion does not occur at the precinct boundary, so that better image restoration can be realized.
[0100]
In this embodiment, three display modes have been described. However, the present invention can be applied to a display mode in which both the resolution (SN and HW) and the angle of view change.
[0101]
In the above two display modes, the display mode can be switched even in the position priority progression order (PRCL).
[0102]
In the present embodiment, the angle of view uses a hierarchical structure (precinct) of image positions. In the JPEG2000 system, a process of dividing an image into tiles before band division can be provided. In the present embodiment, the processing without tile division (one tile) has been described, but it is also possible to realize switching of the angle of view by this tile division processing. All of the progression orders are performed in a tile (rearrangement of packet data in a tile part stream). Therefore, the tile division is given the highest priority from the viewpoint of the progression order, so that the position-first progression order is obtained. Therefore, if the tile division + resolution priority progression order is used, the progression order is PRxx, and the above two display modes can be realized, which is another embodiment of the present invention. In this embodiment, the progression order PRCL is not prepared according to the JPEG2000 standard. However, in the present embodiment, the progression order PRCL can be realized within the JPEG2000 standard.
[0103]
(Example 3)
Next, a description will be given of a third embodiment corresponding to various modes (SN, SW, HW, LP, SP, XP) relating to resolution, angle of view, and image quality according to the present invention. The basic processing blocks are the same as in the first embodiment, and a description thereof will be omitted. Also, the assumed image in the present embodiment is the same as that in the second embodiment, and a description thereof will be omitted. Hereinafter, only different portions of the processing will be described.
[0104]
The processing at the time of compression is the same as that of the second embodiment until the entropy coding of one frame of image data taken in from the image source is omitted, and therefore the description is omitted.
[0105]
The encoded data is collected into resolution / position divided precincts in the image data 300 for one frame, and is divided into three layers 305 at a predetermined value level in the bit depth direction as shown in FIG. You.
[0106]
Data block P of first resolution 0 For 0, the upper 6 bits are the first layer (L0), the second layer (L1) has no data, and the remaining lower 2 bits are the third layer (L2). Data block P of second resolution 1 0 designates the upper 6 bits of the low-frequency data (1HL) of the vertical component and the upper 2 bits of the other (1LH, 1HH) as the first layer (L0), and the higher-level data (1LH, 1HH) of the vertical component The image quality is divided using the middle four bits as the second layer (L1) and the remaining lower two bits as the third layer (L2).
[0107]
FIG. 14 shows an image of the encoded image data divided into the above resolution, position, and image quality. The division method relating to image quality, which is a feature of the present invention, is the same as that of the first embodiment, and the division method relating to resolution and position is the same as that of the second embodiment.
[0108]
Next, an arrangement of packet data divided into resolution, position, and image quality will be described with reference to FIG.
[0109]
The overall structure of the stream data and the structure of the additional information are the same as those in the first embodiment. Only the information content is different from the arrangement of the packet data. First, the arrangement of the packet data will be described. .
[0110]
First, L0, L1, and L2 are arranged from the upper layer of image quality. Furthermore, the order of arrangement in packet data of the same image quality is P 0 0, P 1 Align with 0. Furthermore, the order of arrangement in the packet data of the same resolution is as follows. 0 0, P 0 1, P 0 Arrange in 2. This is a method of arranging LRPC (image quality-resolution-position-component) that is not included in the JPEG2000 progression order. However, there is an unassigned code in the JPEG2000 progression order, and there is room for new setting. Therefore, it is added as COD information of the main header.
[0111]
The stream data is output in a form according to the output mode, as in the first embodiment. The above is the operation of the compression encoding process of the present embodiment.
[0112]
Next, the operation of decompressing the encoded image data will be described with reference to the flowchart of FIG.
[0113]
First, for the encoded image data, a required specification regarding a read method is received from the read command input unit (step 1301), and the operation command unit calculates a packet cutout point and instructs the stream operation unit on the operation method. (Step 1302). The reading method according to the present embodiment includes a plurality of modes related to resolution, angle of view, and image quality, including an HD wide angle of view HW, an SD wide angle of view SW, an SD standard angle of view SN, a high image quality mode XP, and a standard image quality mode SP. , A long-time mode LP.
[0114]
On the other hand, the encoded image data is fetched from the input unit, becomes stream data, and is sent to the stream operation unit. The necessary packet data is extracted from the stream data, and measurement of the number of packets N is started (step 1303).
[0115]
Packet data "P 0 0 L0 ”is processed (step 1304), as shown in FIG. 15B, the image data of the upper 6 bits of the standard 4: 3 angle of view up to the first resolution of the SD resolution, as shown in FIG. Become. This is the standard image quality mode (SN / Sp) of the so-called SD standard angle of view.
[0116]
Further, the packet data is changed to "P 0 1 L0 "" P 0 2L0 "(step 1305), as shown in FIG. 15C, upper 6-bit image data of a wide 16: 9 view angle up to the first resolution of the SD resolution is obtained. This is a standard image quality mode (SW / Sp) with a so-called SD wide angle of view.
[0117]
Further, the packet data is changed to "P 1 0 L0 ”,“ P 1 1 L0 "" P 1 2 L0 ”(step 1306), as shown in FIG. 15D, the upper 2 bits of the wide 16: 9 angle of view up to the first resolution of the HD resolution and the horizontal wide 16 up to the first resolution. : Medium 4-bit image data of 9 angles of view. This is a long-time mode (HW / Lp) with a so-called HD wide angle of view.
[0118]
Further, the packet data is changed to "P 0 0 L1 ”“ P 0 1 L1 "" P 0 2 L1 "" P 1 0 L1 ”“ P 1 1 L1 "" P 1 2L1 "(step 1307), as shown in FIG. 15 (e), upper 6-bit image data of a wide angle of view 16: 9 up to the first resolution of HD resolution is obtained. This is a standard image quality mode (HW / Sp) with a so-called HD wide angle of view.
[0119]
Further, the packet data is changed to "P 0 0 L2 ”“ P 0 1 L2 "" P 0 2 L2 "" P 1 0 L2 ”“ P 1 1 L2 "" P 1 2L2 "(step 1308), as shown in FIG. 15F, all 8-bit image data with a wide angle of view 16: 9 up to the first resolution of the HD resolution is obtained. This is a high-definition mode (HW / Xp) with a so-called HD wide angle of view.
[0120]
By arranging the packet data in the image quality / resolution / position priority mode as described above, it becomes possible to extract the image data in the desired mode only by sequential processing from the head of the stream, which is suitable for the portable device described above. Processing. Also in the present embodiment, various effects can be obtained by zero packet insertion (step 1309). Thereafter, the extraction processing ends (step 1310). If the flow has an abnormal process, the process ends abnormally (step 1320).
[0121]
The packet data extracted as described above is processed in the same manner as in the first embodiment, and the data is decoded and output. The above is the operation of the decompression processing of this embodiment.
[0122]
As described above, according to the embodiment of the present invention, in order to realize a plurality of display / image quality modes, resolution, position, and image quality are divided, and a horizontal band By performing image quality division with emphasis on data, it is possible to achieve both various image display methods and an image quality mode with less deterioration.
[0123]
Also, regarding the arrangement of the packet data of the resolution / position / image quality division, the image data is sequentially read from the head at the time of decoding by prioritizing the image quality / resolution / position to easily obtain data necessary for a plurality of modes. Can be.
[0124]
Also, a plurality of display modes can be realized without changing the format format at the time of decoding. As a result, the mode switching operation becomes smooth and the processing load can be reduced.
[0125]
(Example 4)
Next, a fourth embodiment corresponding to various modes (SN, SW, HW, LP, SP, XP) relating to resolution, angle of view, and image quality according to the present invention will be described. Basic processing blocks and assumed images are the same as in the third embodiment, and a description thereof will be omitted. Hereinafter, only different portions of the processing will be described.
[0126]
First, processing at the time of compression will be described. One-frame image data 400 captured from an image source is divided into bands. The difference from the second embodiment is that, as shown in FIG. 16, low-frequency data generated by two-dimensional weblet conversion is Performs two-dimensional weblet conversion. Thereby, three band divisions are performed, the first resolution is 2LL, the second resolution is 2HL, 2LH, 2HH, and the third resolution is 1HL, 1LH, 1HH.
[0127]
Next, the band-divided sub-band is divided into three precincts 402, as shown in FIG. A first precinct (P) at the first and second resolutions 0 0, P 1 0) is a 360 × 240 pixel area at the center of the image, and the second and third precincts (P 0 1, P 1 1, P 0 2, P 1 2) The position is divided so as to form an area of 60 × 240 pixels. The first precinct (P at the third resolution) 2 0) is a region of 720 × 480 pixels at the center of the image, and the second and third precincts (P 2 1, P 2 2) The position is divided so as to form an area of 120 × 480 pixels.
[0128]
The data that has been subjected to resolution / position division as described above is divided into code blocks 403 as shown in FIG. First precinct P of second resolution 1 At 0, the code block is divided into code blocks from 0 to 71, and the entropy coding process is performed as in the first embodiment.
[0129]
The encoded data is collected into resolution / position divided precincts in the image data 400 for one frame, and is divided into three layers 405 at a predetermined value level in the bit depth direction as shown in FIG. You.
[0130]
Data block P of first resolution 0 0 (not shown) indicates that the upper 6 bits are the first layer (L0), there is no data of the second layer (L1), and the lower 2 bits are the third layer (L2). Data block P of second resolution 1 0, as shown in FIG. 19, the upper 6 bits of the low frequency data (2HL) of the vertical component and the upper 2 bits of the other (2LH, 2HH) are the first layer (L0), and the high frequency data of the vertical component The middle four bits of (1LH, 1HH) are the second layer (L1), and the remaining lower two bits are the third layer (L2). Data block P of third resolution 2 0 (not shown) conforms to the division method in the data block of the second resolution. As in the first embodiment, the image quality is divided by a uniform number of bits regardless of the image quality improvement contribution ratio for simplification of description.
[0131]
FIG. 20 shows an image of the encoded image data divided into the above resolution, position, and image quality. The division method relating to resolution / position, which is a feature of the present invention, has one more resolution hierarchy, but is basically the same as the second embodiment, and the division method relating to image quality is the same as the first embodiment. It is.
[0132]
Next, the arrangement of packet data divided into resolution, position, and image quality will be described with reference to FIG. The overall structure of the stream data and the structure of the additional information are the same as those in the first embodiment. Only the information content is different from the arrangement of the packet data. First, the arrangement of the packet data will be described. .
[0133]
First, the second resolution (P 0 0, P 1 Until 0), L0, L1, and L2 are arranged in order from the upper layer of the image quality. The packet data of the same image quality is arranged in the order of 0 0, P 0 1, P 0 Arrange in 2. Furthermore, the arrangement in the packet data at the same position is as follows: 0 0, P 1 Align with 0. It is a progression order of LPRC (image quality-position-resolution-component).
[0134]
Next, the third resolution (P 2 From 0), L0, L1, and L2 are arranged first from the upper layer of image quality. The order of arrangement in the packet data of the same image quality is P 0 0, P 1 Align with 0. Furthermore, the order of arrangement in the packet data of the same resolution is as follows. 0 0, P 0 1, P 0 Arrange in 2. That is, it is LRPC (image quality-resolution-position-component).
[0135]
As described above, when the progression order is switched in the middle, a POC marker segment is prepared in JPEG2000. The POC marker segment includes a resolution number and a position number of a start point at which the progressive order is changed (the start point of the image quality number is zero), a resolution number, a position number, and an image quality number of an end point at which the change is ended, and a progressive order to be changed. Is specified. In the case of the present embodiment, the start point resolution number 0, position number 0, the end point resolution number 1, position number 2, image quality number 0, and the progression order LPCR are specified in the POC marker segment of the main header. The resolution number 0 and the position number 0 of the next start point, the resolution number 2, the position number 2 and the image quality number 2 of the end point, and the progression order LRPC are designated.
[0136]
However, the above-mentioned progression order LPRC and LRPC are not prepared in the JPEG2000 standard, but as described above, the JPEG2000 encoding method still has unassigned progression order codes, so there is room for new setting. Is there.
[0137]
The stream data is output in a form according to the output mode, as in the first embodiment. The above is the operation of the compression encoding process of the present embodiment.
[0138]
Next, an operation of expanding the encoded image data will be described.
[0139]
First, a read method is input to the encoded image data from the read command input unit, and the operation command unit instructs the stream operation unit on the operation method.
[0140]
On the other hand, the encoded image data is fetched from the input unit, becomes stream data, and is sent to the stream operation unit. How to extract necessary packet data from the stream data will be described with reference to FIG.
[0141]
Packet data "P 0 0 L0 ”,“ P 1 0 L0 ”is processed, as shown in FIG. 21B, the upper two bits of the standard 4: 3 angle of view up to the second resolution of the SD resolution and the horizontal data up to the second resolution as shown in FIG. Orientation standard 4: 3 middle angle 4-bit image data. This is a long time mode (SN / Lp) with a so-called SD standard angle of view.
[0142]
Further, the packet data is changed to "P 0 1 L0 "" P 1 1 L0 "" P 0 2 L0 "" P 1 2L0 ”, as shown in FIG. 21C, the upper 2 bits of the wide 16: 9 angle of view up to the second resolution of the SD resolution and the wide 16: 9 image in the horizontal direction up to the second resolution Image data of the middle 4 bits of the corner is obtained. A so-called SD wide angle of view long-time mode (SW / Lp) is set.
[0143]
Further, the packet data is changed to "P 2 0 L0 ”,“ P 2 1 L0 "" P 2 2 L0 "" P 0 0 L1 ”“ P 0 1 L1 "" P 0 2 L1 "" P 1 0 L1 ”“ P 1 1 L1 "" P 1 2L1 ”, as shown in FIG. 21 (d), the upper 2 bits and the horizontal 16: 9 angle of view up to the third resolution in the wide 16: 9 angle of view up to the third resolution of the HD resolution. Becomes the middle 4-bit image data. This is a long-time mode (HW / Lp) with a so-called HD wide angle of view.
[0144]
Further, the packet data is changed to "P 2 0 L1 ”“ P 2 1 L1 "" P 2 2L1 ", as shown in FIG. 21 (e), upper 6-bit image data with a wide 16: 9 angle of view up to the third HD resolution is obtained. This is a standard image quality mode (HW / Sp) with a so-called HD wide angle of view.
[0145]
Further, the packet data is changed to "P 0 0 L2 ”“ P 0 1 L2 "" P 0 2 L2 "" P 1 0 L2 ”“ P 1 1 L2 "" P 1 2 L2 "" P 2 0 L2 ”“ P 2 1 L2 "" P 2 2L2 ", as shown in FIG. 21 (f), 8-bit image data with a wide 16: 9 angle of view up to the third HD resolution is obtained. This is a high-definition mode (HW / Xp) with a so-called HD wide angle of view.
[0146]
As described above, by switching the image quality / position / resolution priority mode and the image quality / resolution / position priority mode and arranging the packet data, the image data is sequentially shifted from the head of the stream in the mode emphasizing the image quality of the HD wide view angle. Extraction can be performed only by processing, and the processing is suitable for the portable device described above. Also in the present embodiment, various effects by zero packet insertion can be obtained.
[0147]
The packet data extracted as described above is processed in the same manner as in the first embodiment, and the data is decoded and output. The above is the operation of the decompression processing of this embodiment.
[0148]
As described above, according to the present embodiment, by changing the three band divisions and the progression order in the middle, the display processing that can switch the SD angle of view while emphasizing the image quality mode of the HD wide angle of view is emphasized. Can be easily realized by sequentially reading from the head of the stream.
[0149]
(Example 5)
Next, a description will be given of a fifth embodiment corresponding to various modes (SN, SW, HW, LP, SP, XP) relating to resolution, angle of view, and image quality according to the present invention. Basic processing blocks, assumed images, and partial data processing procedures are the same as those in the fourth embodiment, and thus description thereof will be omitted, and only different parts will be described.
[0150]
First, the processing at the time of compression is the same as that of the fourth embodiment up to the point where the packet data is arranged.
[0151]
The arrangement of the packet data divided into the resolution, the position, and the image quality will be described with reference to FIG.
[0152]
First, the second resolution (P 0 0, P 1 Until 0), L0, L1, and L2 are arranged in order from the upper layer of the image quality. The packet data of the same image quality is arranged in the order of 0 0, P 0 1, P 0 Arrange in 2. Furthermore, the arrangement in the packet data at the same position is as follows: 0 0, P 1 Align with 0. It is a progression order of LPRC (image quality-position-resolution-component).
[0153]
Next, the third resolution (P 2 From 0), L0, L1, and L2 are arranged first from the upper layer of image quality. The order of arrangement in the packet data of the same image quality is P 0 0, P 1 Align with 0. Furthermore, the order of arrangement in the packet data of the same resolution is as follows. 0 0, P 0 1, P 0 Line up with 2. LRPC (image quality-resolution-position-component).
[0154]
As described above, also in the present embodiment, the progression order is switched on the way as in the fourth embodiment. In the POC marker segment of the main header, the resolution number 0 and the position number 0 of the starting point, the resolution number 1, the position number 2 and the image quality number 2 of the ending point, and the progression order LPCR are designated. The resolution number 2, the position number 0, the resolution number 2, the position number 2, and the image quality number 2 of the end point are designated as the progress order LRPC.
[0155]
However, as in the fourth embodiment, the above-described progress order LPRC and LRPC are not JPEG2000 standards, but there is room for new setting.
[0156]
The stream data is output in a form according to the output form, as in the fourth embodiment. The above is the operation of the compression encoding process of the present embodiment.
[0157]
Next, the operation of decompressing the encoded image data will be described. However, the operation is the same as that of the fourth embodiment except for reading the packet data of the stream data, and the description is omitted. A method of extracting encoded data of stream data will be described with reference to FIG.
[0158]
Packet data "P 0 0 L0 ”,“ P 1 0 L0 ”is processed, as shown in FIG. 22B, the upper two bits of the standard 4: 3 angle of view up to the second resolution of the SD resolution and the horizontal data up to the second resolution as shown in FIG. Orientation standard 4: 3 middle angle 4-bit image data. This is a long time mode (SN / Lp) with a so-called SD standard angle of view.
[0159]
Further, the packet data is changed to "P 0 1 L0 "" P 1 1 L0 "" P 0 2 L0 "" P 1 2 L0 ”, the upper 2 bits of the wide 16: 9 angle of view up to the second resolution of the SD resolution and the wide 16: 9 image in the horizontal direction up to the second resolution as shown in FIG. The middle 4-bit image data of the corner is obtained. A so-called SD wide angle of view long-time mode (SW / Lp) is set.
[0160]
Further, the packet data is changed to "P 0 0 L1 ”“ P 1 0 L1 ”“ P 0 1 L1 "" P 1 1 L1 "" P 0 2 L1 "" P 1 2L1 ", as shown in FIG. 22D, upper six bits of image data at a wide 16: 9 angle of view up to the second resolution of the SD resolution are obtained. This is a standard image quality mode (SW / Sp) with a so-called SD wide angle of view.
[0161]
Further, the packet data is changed to "P 0 0 L2 ”“ P 1 0 L2 ”“ P 0 1 L2 "" P 1 1 L2 "" P 0 2 L2 "" P 1 2L2 ", as shown in FIG. 22 (e), image data of a total of 8 bits is obtained at a wide 16: 9 angle of view up to the second resolution of the SD resolution. The so-called SD wide angle of view high-quality mode (SW / Xp) is set.
[0162]
Further, the packet data is changed to "P 2 0 L0 ”,“ P 2 1 L0 "" P 2 2 L0 "" P 2 0 L1 ”“ P 2 1 L1 "" P 2 2 L1 "" P 2 0 L2 ”“ P 2 1 L2 "" P 2 2L2 ", as shown in FIG. 22 (f), all 8-bit image data is obtained at a wide 16: 9 angle of view up to the third resolution of the HD resolution. This is a high-definition mode (HW / Xp) with a so-called HD wide angle of view.
[0163]
As described above, if the packet data is arranged by switching the image quality / position / resolution priority mode and the resolution / image quality / position priority mode, the image data is sequentially transferred from the head of the stream in the mode emphasizing the image quality of the SD wide angle of view. Extraction can be performed only by processing, and the processing is suitable for the portable device described above. Also in the present embodiment, various effects by zero packet insertion can be obtained.
[0164]
The packet data extracted as described above is processed in the same manner as in the first embodiment, and the data is decoded and output. The above is the operation of the decompression processing of this embodiment.
[0165]
As described above, according to this embodiment, by changing the three band divisions and the progression order in the middle, the SD standard angle of view / HD wide angle of view can be emphasized while emphasizing the image quality mode of the SD wide angle of view. Switchable display processing can be easily realized by sequentially reading from the head of the stream.
[0166]
(Example 6)
Next, a description will be given of a sixth embodiment corresponding to various modes (SN, SW, HW, LP, SP, XP) relating to resolution, angle of view, and image quality according to the present invention. Basic processing blocks, assumed images, and partial data processing procedures are the same as those in the fourth embodiment, and thus description thereof will be omitted, and only different parts will be described.
[0167]
First, the processing at the time of compression is the same as that of the fourth embodiment up to the point where the packet data is arranged. The arrangement of the packet data divided into the resolution, the position, and the image quality will be described with reference to FIG.
[0168]
First, the second resolution (P 0 0, P 1 Until 0), P 0 0, P 0 1, P 0 Line up with 2. Then, in the packet data at the same position, L0, L1, and L2 are arranged in order from the upper layer of the image quality. Furthermore, the order of arrangement in packet data of the same image quality is P 0 0, P 1 Align with 0. PLRC (position-image quality-resolution-component).
[0169]
Next, the third resolution (P 2 0), P is first set in ascending order of resolution. 0 Line up with 2. The arrangement in the packet data of the same resolution is as follows: 0 0, P 0 1, P 0 Line up with 2. Further, the arrangement in the packet data at the same position is arranged in L0, L1, L2 from the upper layer of the image quality. RPLC (resolution-position-image quality-component).
[0170]
As described above, also in the present embodiment, the progression order is switched on the way as in the fourth embodiment. In the POC marker segment of the main header, the resolution number 0 and the position number 0 of the starting point, the resolution number 1, the position number 2 and the image quality number 2 of the ending point, and the progression order PLRC are designated. The resolution number 2, the position number 0, the resolution number 2, the position number 2, and the image quality number 2 of the end point are designated as the progression order RPLC.
[0171]
However, as in the fourth embodiment, the above-mentioned progress order PLRC and RPLC are not JPEG2000 standards, but there is room for new setting.
[0172]
The stream data is output in a form according to the output form, as in the fourth embodiment. The above is the operation of the compression encoding process of the present embodiment.
[0173]
Next, the operation of decompressing the coded image data will be described. However, the operation is the same as that of the fourth embodiment except for the reading of the packet data of the stream data, so that the description is omitted. A method of extracting encoded data of stream data will be described with reference to FIG.
[0174]
Packet data "P 0 0 L0 ”,“ P 1 0 L0 ”is processed, as shown in FIG. 23B, the upper two bits of the standard 4: 3 angle of view up to the second resolution of the SD resolution and the horizontal direction up to the second resolution as shown in FIG. Standard 4: 3 middle angle 4-bit image data. This is a long time mode (SN / Lp) with a so-called SD standard angle of view.
[0175]
Further, the packet data is changed to "P 0 0 L1 ”“ P 1 0 L1 ”, as shown in FIG. 23C, upper 6-bit image data at a standard 4: 3 angle of view up to the second resolution of the SD resolution. This is the standard image quality mode (SN / Sp) of the so-called SD standard angle of view.
[0176]
Further, the packet data is changed to "P 0 0 L2 ”“ P 1 0 L2 ", as shown in FIG. 23D, all 8-bit image data at a standard 4: 3 angle of view up to the second resolution of the SD resolution is obtained. This is a standard image quality mode (SN / Xp) with a so-called SD standard angle of view.
[0177]
Further, the packet data is changed to "P 0 1 L0 "" P 1 1 L0 "" P 0 1 L1 "" P 1 1 L1 "" P 0 1 L2 "" P 1 1 L2 "" P 0 2 L0 "" P 1 2 L0 "" P 0 2 L1 "" P 1 2 L1 "" P 0 2 L2 "" P 1 2L2 ", as shown in FIG. 23 (e), image data of a total of 8 bits at a wide 16: 9 angle of view up to the second resolution of the SD resolution is obtained. The so-called SD wide angle of view high-quality mode (SW / Xp) is set.
[0178]
Further, the packet data is changed to "P 2 0 L0 ”,“ P 2 0 L1 ”“ P 2 0 L2 ”“ P 2 1 L0 "" P 2 1 L1 "" P 2 1 L2 "" P 2 2 L0 "" P 2 2 L1 "" P 2 2L2 ", as shown in FIG. 23 (f), all 8-bit image data with a wide 16: 9 angle of view up to the third resolution of the HD resolution is obtained. This is a high-definition mode (HW / Xp) with a so-called HD wide angle of view.
[0179]
As described above, if the packet data is arranged by switching the image quality / position / resolution priority mode and the resolution / image quality / position priority mode, the image data is sequentially transferred from the head of the stream in the mode emphasizing the image quality of the SD standard angle of view. Extraction can be performed only by processing, and the processing is suitable for the portable device described above. Also in the present embodiment, various effects by zero packet insertion can be obtained.
[0180]
The packet data extracted as described above is processed in the same manner as in the first embodiment, and the data is decoded and output. The above is the operation of the decompression processing of this embodiment.
[0181]
As described above, according to this embodiment, it is possible to switch the SD / HD wide angle of view while emphasizing the image quality mode of the SD standard angle of view by changing the three band divisions and the progression order in the middle. Such display processing can be easily realized by sequentially reading from the head of the stream.
[0182]
(Example 7)
Next, a seventh embodiment relating to a system for storing and dubbing the stream data described in the above embodiments in a recording medium will be described with reference to FIG.
[0183]
FIG. 24A is a block diagram of an embodiment embodying the present invention.
[0184]
24A, reference numeral 10 denotes an encoding device according to the third embodiment, reference numeral 20 denotes a decoding device according to the third embodiment, reference numeral 30 denotes a disk video camera system, reference numeral 31 denotes a camera unit, reference numeral 32 denotes a buffer memory, and reference numeral 33 denotes a buffer memory. A data transfer unit, 34 is a disk medium, 35 is a digital interface, 40 is a memory card video camera system, 41 is a digital interface, 42 is a buffer memory, 43 is a data transfer unit, and 44 is a memory card medium.
[0185]
First, recording of the disc video camera system 30 will be described. When a subject image is captured from the camera unit, the data is compressed by an encoding device 10 that performs divisional encoding into an image, a position, and an image quality, and is written into a buffer memory 32. When a predetermined amount of data is accumulated in the buffer memory, the data transfer unit 33 operates to write the encoded data in the buffer memory 32 to the disk medium 34.
[0186]
Here, the relationship between the divided encoded data and the disk write area will be described with reference to FIGS.
[0187]
The stream data to be written has five hierarchical data as shown in FIG. 15 generated in the third embodiment. On the other hand, as shown in FIG. 24 (c), the disk medium of this embodiment is a single-sided, dual-layer disk system, and the write area can be divided into 34a and 34b in the thickness direction. In the circumferential direction, as shown in FIG. 24B, a lead-in area 34x, a first data area 34y, and a second data area 34z are provided. In the lead-in area, control data necessary for managing the disk is written, and data cannot be written. Therefore, the data writing area can be divided into four areas.
[0188]
Therefore, the standard image quality data (SN / Sp) of the standard angle of view of the SD resolution is recorded in the upper layer 34a of the disk inner peripheral area 34y which is fixed in length and easily accessible since it is a display method indispensable to the current TV system. The standard resolution data (SW / Sp) with the wide angle of view of the SD resolution and the long-time mode data (HW / Lp) with the wide angle of view of the HD resolution are standard display methods of the digital TV. Is recorded in the lower layer 34b of the main disk inner peripheral area 34y. Further, the standard image quality data (HW / Sp) having the wide angle of view of the HD resolution and the high image quality data (HW / Xp) having the wide angle of view of the HD resolution are divided into the upper layer 34a and the lower layer 34b of the outer peripheral area 34z while keeping the variable length. And record it.
[0189]
Here, the inner peripheral area records data necessary for displaying each resolution and angle of view, and has a fixed length, so that it is effective to search data by search, special reproduction, or the like in each display method.
[0190]
If the data in the inner recording area becomes full, the boundary of the inner recording area is moved and the data in the outer recording area is overwritten to improve the image quality of the HD wide view angle. It is possible to easily change from the high image quality mode to the long time mode recording only by rewriting.
[0191]
Next, a dubbing operation using the present system will be described.
[0192]
In FIG. 24A, the dubbing source is the disk video camera 30 and the destination is the memory card video camera 40. First, the memory card video camera 40 that can decode only SD resolution image data requests SD resolution image data via the digital interfaces 41 and 35. The disc video camera 30 sequentially reads out the standard image quality data of the standard resolution of SD resolution written in the upper layer of the inner peripheral area of the disc medium 34 into the buffer memory 32 by the data transfer unit 33. The stream is packet data for the first two packets. The decoding device 20 reads a part of the stream including the packet data. The decoding device 20 inserts the missing packet data in the high-definition mode with the HD wide angle of view as a zero packet into the read packet of the SD resolution image data, reconstructs the stream, and sends the packet to the digital interface 35. send. The stream data is sent to the memory card video camera 40 via the digital interfaces 35 and 41. Then, since the data has already been streamed, the encoding device 10 writes the data into the buffer memory 42 just to perform the file format processing. Since the dubbing data is zero packets except for the image data of the SD resolution, the data transfer unit 43 writes the data amount from the buffer memory 42 to the memory card medium 44 in a compact form.
[0193]
As described above, the mode conversion for digital dubbing can be realized by simply inserting zero packet data after the necessary stream read from the head, reducing the code amount and facilitating data transfer between devices. Can be.
[0194]
Further, since the data in the first half of the stream has a high access frequency, by recording the data on the inner side, the data transfer speed at the time of dubbing can be increased. Furthermore, by arranging the data in the latter half of the stream on the outer periphery and making it variable length, high-definition data can be recorded without leaking, and the recording area can be effectively used for changing the code length of zero packets. be able to.
[0195]
(Example 8)
Finally, an embodiment of the present invention will be described with reference to FIG. 25 with respect to the system for dividing the stream data described in the above embodiments into a plurality of recording media for recording.
[0196]
FIG. 25A is a block diagram at the time of the recording operation of the embodiment according to the present invention.
[0197]
In the figure, reference numeral 51 denotes a camera unit, 10 denotes an encoding device according to the third embodiment, 52 and 55 denote buffer memories, 53 and 56 denote data transfer units, 57 denotes a disk medium, and 54 denotes a memory card medium.
[0198]
The image input from the camera unit 51 is divided into a resolution, a position, and an image quality by the encoding device 10 to generate stream data which is an arrangement of packet data. The stream data is written to the buffer memories 52 and 55 with additional data such as header processing of the file system attached. Here, 55 is data to be written to the inner peripheral area of the disk described in the seventh embodiment, and 52 is data to be written to the outer peripheral area of the disk area. Then, the data written in the buffer memories 52 and 55 are written to the recording media 54 and 57 by the data transfer units 53 and 56. In other words, this is a system for writing high quality image data to a memory card and writing baseline data to a disk.
[0199]
Here, the reproducing operation will be described with reference to FIG. If there is a card medium at the time of reproduction, the high-quality data is read from the memory card, the baseline data is read from the disk, and the high-quality stream data of the HD wide angle of view is reconstructed by the decoding device 20, and then the data is decoded. Output to the digital television system 60 in full specifications.
[0200]
On the other hand, if the memory card medium 54 is not loaded, as shown in FIG. 25C, the base line data is read from the disk 57, and the data that is lacking due to the absence of the card is zero packet by the decoding device 20. After inserting and adjusting the stream data, decoding processing is performed, and standard image quality data of the SD standard angle of view is output and displayed on the LCD 58 in the main body.
[0201]
As described above, also in this embodiment, if the data in the first half of the stream is assigned to a medium having high priority by a decoding method capable of mode conversion by extracting from the beginning of the stream data or inserting zero packets, Data can be sorted and recorded on a medium.
[0202]
【The invention's effect】
As described above, according to the present invention, it is possible to easily generate encoded data of an image that can support various image quality modes. Also, desired image data can be extracted from the encoded data according to the image quality mode set by the system.
[Brief description of the drawings]
FIG. 1A is an overall block diagram of an encoding device 10 according to the present invention, and FIG. 1B is an overall block diagram of a decoding device 20 according to the present invention.
FIG. 2 is a conceptual diagram of band division of an image according to the first embodiment of the present invention.
FIG. 3 is a conceptual diagram of position division in Embodiment 1 of the present invention.
FIG. 4 is a conceptual diagram of code block division in Embodiment 1 of the present invention.
FIG. 5 is a conceptual diagram of image quality division according to the first embodiment of the present invention.
FIG. 6 is a conceptual diagram of hierarchical division according to the first embodiment of the present invention.
FIGS. 7A, 7B, 7C, and 7D are conceptual diagrams of stream data according to the first embodiment of the present invention.
FIG. 8 is a conceptual diagram of position division in Embodiment 2 of the present invention.
FIG. 9 is a conceptual diagram of code block division in Embodiment 2 of the present invention.
FIG. 10 is a conceptual diagram of image quality division in Embodiment 2 of the present invention.
FIG. 11 is a conceptual diagram of hierarchical division in Embodiment 2 of the present invention.
FIGS. 12A, 12B, 12C, and 12D are conceptual diagrams of stream data according to the second embodiment of the present invention.
FIG. 13 is a conceptual diagram of image quality division in Embodiment 3 of the present invention.
FIG. 14 is a conceptual diagram of hierarchical division in a third embodiment of the present invention.
FIGS. 15 (a), (b), (c), (d), (e), and (f) are conceptual diagrams of stream data according to the second embodiment of the present invention.
FIG. 16 is a conceptual diagram of band division of an image according to Embodiment 4 of the present invention.
FIG. 17 is a conceptual diagram of position division in Embodiment 4 of the present invention.
FIG. 18 is a conceptual diagram of code block division in Embodiment 4 of the present invention.
FIG. 19 is a conceptual diagram of image quality division in Embodiment 4 of the present invention.
FIG. 20 is a conceptual diagram of hierarchical division in Embodiment 4 of the present invention.
FIGS. 21 (a), (b), (c), (d), (e), and (f) are conceptual diagrams of stream data in Embodiment 4 of the present invention.
FIGS. 22 (a), (b), (c), (d), (e), and (f) are conceptual diagrams of stream data in Embodiment 5 of the present invention.
FIGS. 23 (a), (b), (c), (d), (e), and (f) are conceptual diagrams of stream data in Embodiment 6 of the present invention.
FIG. 24 is an overall block diagram of a dubbing system according to a seventh embodiment of the present invention.
FIG. 25 is an overall block diagram of a multiple media system in Embodiment 8 of the present invention.
FIG. 26 is a flowchart relating to stream data extraction processing in Embodiment 3 of the present invention.
[Explanation of symbols]
1 Band / position division unit
2 Quantization unit
3 Encoding unit
4 Stream generator
5 Output section
10. Image coding device
20 Image decoding device
21 Command input section
22 Operation command section (microcomputer)
23 Input section
24 bit stream analyzer
25 Decoding unit
26 Inverse quantization unit
27 Band synthesis unit

Claims (24)

入力した画像データを圧縮符号化する画像符号化方法において、
入力画像データを複数の周波数帯域に分割する帯域分割工程と、
前記帯域分割工程で帯域分割された各画像データの大きさを所定の閾値で複数の階層に分割する画質分割工程と、
前記帯域分割工程で帯域分割された画像データの垂直成分の程度に応じて前記画質分割工程における前記閾値を設定する設定工程とを有することを特徴とする画像符号化方法。In an image encoding method for compressing and encoding input image data,
A band dividing step of dividing the input image data into a plurality of frequency bands,
An image quality division step of dividing the size of each image data band-divided in the band division step into a plurality of layers with a predetermined threshold value,
A setting step of setting the threshold value in the image quality dividing step according to a degree of a vertical component of the image data band-divided in the band dividing step. 請求項１において、前記設定工程は前記帯域分割された画像データの前記垂直成分が低いときは前記垂直成分が高いときに比べて前記閾値を高く設定することを特徴とする画像符号化方法。2. The image coding method according to claim 1, wherein the setting step sets the threshold value higher when the vertical component of the band-divided image data is lower than when the vertical component is higher. 請求項１において、前記帯域分割工程および前記画質分割工程で分割された画像のデータブロックを並べてデータストリームを生成するストリーム生成工程をさらに有し、該ストリーム生成工程は分割された帯域順序よりも、分割された画質順序を優先して前記データブロックを並べてデータストリームを生成することを特徴とする画像符号化方法。In claim 1, further comprising a stream generation step of arranging the data blocks of the image divided in the band division step and the image quality division step to generate a data stream, the stream generation step than the order of the divided band, An image encoding method, wherein a data stream is generated by arranging the data blocks by giving priority to the divided image quality order. 請求項３において、前記ストリーム生成工程は前記データブロックをパケットデータとしてまとめ、さらに付加情報を付加して前記データストリームを生成するときに、前記パケットデータをＪＰＥＧ２０００の方式のＬＲＣＰプログレッションオーダで並べることを特徴とする画像符号化方法。4. The stream generation step according to claim 3, wherein the data blocks are arranged as packet data, and when the data stream is generated by adding additional information, the packet data is arranged in LRCP progression order according to the JPEG2000 system. Characteristic image coding method. 請求項３において、所望の画質レベルを入力する入力工程と、前記データストリームの先頭からデータの切出し地点を逐次解析するストリーム解析工程と、前記入力工程で入力された画質レベルに適合する切出し地点を算出して前記ストリーム解析工程に指示する算出工程をさらに有することを特徴とする画像符号化方法。4. The input step of inputting a desired image quality level, a stream analysis step of sequentially analyzing a data extraction point from the beginning of the data stream, and a cut point that matches the image quality level input in the input step. An image encoding method, further comprising a calculating step of calculating and instructing the stream analyzing step. 請求項５において、前記ストリーム解析工程が解析した切出し地点以降のデータブロックの数と同じ数のデータ内容が零であるデータブロックを新たに追加する零データブロック追加工程をさらに有することを特徴とする画像符号化方法。6. The method according to claim 5, further comprising a zero data block adding step of newly adding data blocks whose data contents are zero as many as the number of data blocks after the cut-out point analyzed by the stream analyzing step. Image coding method. 入力した画像データを圧縮符号化する画像符号化方法において、
入力画像データを複数の周波数帯域に分割する帯域分割工程と、
前記帯域分割工程で帯域分割された各画像データを複数の画像空間に分割する位置分割工程とを有し、
前記帯域分割工程で帯域分割された帯域データの画素数を複数の表示解像度を包含する値とし、前記位置分割工程で位置分割された帯域データの画素数を複数の表示画角を包含する値とするように符号化空間の画素数を設定することを特徴とする画像符号化方法。In an image encoding method for compressing and encoding input image data,
A band dividing step of dividing the input image data into a plurality of frequency bands,
A position division step of dividing each image data band-divided in the band division step into a plurality of image spaces,
The number of pixels of the band data divided in the band dividing step is a value including a plurality of display resolutions, and the number of pixels of the band data position-divided in the position dividing step is a value including a plurality of display angles of view. An image coding method characterized by setting the number of pixels in a coding space so as to perform coding. 請求項７において、前記位置分割工程は前記複数の表示画角のうち縦横比が１に近い画角のときは、垂直方向の画素数を固定し、水平方向は全画角の中心位置から左右均等になるよう設定して画像位置分割することを特徴とする画像符号化方法。8. The position dividing step according to claim 7, wherein, when the aspect ratio is close to one of the plurality of display angles of view, the number of pixels in the vertical direction is fixed, and the horizontal direction is left and right from the center position of the entire angle of view. An image coding method characterized by performing image position division by setting to be equal. 請求項７において、前記帯域分割工程および前記位置分割工程で分割された画像のデータブロックを並べてデータストリームを生成するストリーム生成工程をさらに有し、該ストリーム生成工程は分割された位置順序よりも、分割された帯域順序を優先して前記データブロックを並べてデータストリームを生成することを特徴とする画像符号化方法。In claim 7, further comprising a stream generation step of arranging the data blocks of the image divided in the band division step and the position division step to generate a data stream, wherein the stream generation step is more than the divided position order, An image encoding method, wherein a data stream is generated by arranging the data blocks by giving priority to the divided band order. 請求項９において、前記ストリーム生成工程は前記データブロックをパケットデータとしてまとめ、さらに付加情報を付加して前記データストリームを生成するときに、前記パケットデータをＪＰＥＧ２０００の方式のＲＰＣＬプログレッションオーダで並べることを特徴とする画像符号化方法。10. The stream generation step according to claim 9, wherein the data blocks are arranged as packet data, and when generating the data stream by adding additional information, the packet data is arranged in a JPEG2000-type RPCL progression order. Characteristic image coding method. 請求項９において、所望の解像度または画角レベルを入力する入力工程と、前記データストリームの先頭からデータの切出し地点を逐次解析するストリーム解析工程と、前記入力工程で入力された解像度又は画角レベルに適合する切出し地点を算出して前記ストリーム解析工程に指示する算出工程をさらに有することを特徴とする画像符号化方法。10. The input step of inputting a desired resolution or view angle level, a stream analyzing step of sequentially analyzing data cutout points from the beginning of the data stream, and the resolution or view angle level input in the input step. An image encoding method, further comprising a calculating step of calculating a cutout point conforming to the above and instructing the stream analyzing step. 請求項１１において、前記ストリーム解析工程が解析した切出し地点以降のデータブロックの数と同じ数のデータ内容が零であるデータブロックを新たに追加する零データブロック追加工程をさらに有することを特徴とする画像符号化方法。12. The method according to claim 11, further comprising a zero data block adding step of newly adding a data block whose data content is zero as many as the number of data blocks after the cut-out point analyzed by the stream analyzing step. Image coding method. 入力した画像データを圧縮符号化する画像符号化方法において、
入力画像データを複数の周波数帯域に分割する帯域分割工程と、
前記帯域分割工程で帯域分割された各画像データを複数の画像空間に分割する位置分割工程と
前記帯域分割工程で帯域分割された各画像データの大きさを所定の閾値で複数の階層に分割する画質分割工程とを有し、
前記帯域分割工程で帯域分割された帯域データの画素数が複数の表示解像度を包含する値となるよう設定し、前記位置分割工程で位置分割される帯域データの画素数が複数の表示画角を包含する値となるように画素数を設定し、前記帯域分割された画像データの前記垂直成分が低いときは前記垂直成分が高いときに比べて前記閾値を高くなるように設定することを特徴とする画像符号化方法。In an image encoding method for compressing and encoding input image data,
A band dividing step of dividing the input image data into a plurality of frequency bands,
A position dividing step of dividing each image data band-divided in the band dividing step into a plurality of image spaces, and dividing a size of each image data band-divided in the band dividing step into a plurality of layers by a predetermined threshold value Image quality dividing step,
The number of pixels of the band data divided in the band dividing step is set to a value including a plurality of display resolutions, and the number of pixels of the band data divided in the position dividing step is set to a plurality of display angles of view. The number of pixels is set to be a value that includes, and the threshold is set to be higher when the vertical component of the band-divided image data is low than when the vertical component is high. Image encoding method. 請求項１３において、前記帯域分割工程、前記位置分割工程及び前記画質分割工程で分割された画像のデータブロックを並べてデータストリームを生成するストリーム生成工程をさらに有し、該ストリーム生成工程は分割された帯域または位置順序よりも分割された画質順序を優先し、さらに分割された位置順序よりも分割された帯域順序を優先して前記データブロックを並べてデータストリームを生成することを特徴とする画像符号化方法。14. The stream generation step according to claim 13, further comprising a stream generation step of arranging data blocks of the images divided in the band division step, the position division step, and the image quality division step to generate a data stream. Image coding characterized in that a data stream is generated by arranging the data blocks by giving priority to a divided image quality order over a band or position order, and further giving priority to a divided band order over a divided position order. Method. 請求項１４において、所望の解像度、画角または画質レベルを入力する入力工程と、前記データストリームの先頭からデータの切出し地点を逐次解析するストリーム解析工程と、前記入力工程で入力された解像度、画角または画質レベルに適合する切出し地点を算出して前記ストリーム解析工程に指示する算出工程をさらに有することを特徴とする画像符号化方法。15. The image processing apparatus according to claim 14, wherein an input step of inputting a desired resolution, an angle of view, or an image quality level, a stream analyzing step of sequentially analyzing data cut-out points from the beginning of the data stream, and a resolution and an image input in the input step. An image encoding method, further comprising a calculating step of calculating a cutout point suitable for a corner or an image quality level and instructing the stream analyzing step. 請求項１５において、前記ストリーム解析工程が解析した切出し地点以降のデータブロックの数と同じ数のデータ内容が零であるデータブロックを新たに追加する零データブロック追加工程をさらに有することを特徴とする画像符号化方法。16. The method according to claim 15, further comprising a zero data block adding step of newly adding a data block whose data content is zero as many as the number of data blocks after the cut-out point analyzed by the stream analyzing step. Image coding method. 請求項１３において、前記帯域分割工程における分割数が、前記表示解像度数＋１であることを特徴とする画像符号化方法。14. The image encoding method according to claim 13, wherein the number of divisions in the band division step is the number of display resolutions + 1. 請求項１７において、前記帯域分割工程、前記位置分割工程及び前記画質分割工程で分割された画像のデータブロックを並べてデータストリームを生成するストリーム生成工程をさらに有し、分割された帯域・位置・画質を並べる優先順位をストリームの途中で変更することを特徴とする画像符号化方法。18. The divided band / position / image quality according to claim 17, further comprising a stream generating step of arranging data blocks of the image divided in the band dividing step, the position dividing step and the image quality dividing step to generate a data stream. An image encoding method characterized by changing the priority of arranging in the middle of a stream. 入力した画像データを圧縮符号化する画像符号化装置において、
入力画像データを複数の周波数帯域に分割する帯域分割手段と、
前記帯域分割手段で帯域分割された各画像データを複数の画像空間に分割する位置分割手段と、
前記帯域分割手段で帯域分割された各画像データの大きさを所定の閾値で複数の階層に分割する画質分割手段と、
前記帯域分割手段で帯域分割された帯域データの画素数が複数の表示解像度を包含するように分割するよう設定し、前記位置分割手段で位置分割された帯域データの画素数を複数の表示画角を包含するように画素数を設定し、前記帯域分割された画像データの前記垂直成分が低いときは前記垂直成分が高いときに比べて前記閾値を高く設定する設定手段を備えたことを特徴とする画像符号化装置。In an image encoding device that compresses and encodes input image data,
Band dividing means for dividing the input image data into a plurality of frequency bands,
Position dividing means for dividing each image data band-divided by the band dividing means into a plurality of image spaces,
Image quality dividing means for dividing the size of each image data band-divided by the band dividing means into a plurality of layers at a predetermined threshold,
The number of pixels of the band data divided by the band dividing means is set so as to include a plurality of display resolutions, and the number of pixels of the band data divided by the position dividing means is set to a plurality of display angles of view. Setting means for setting the number of pixels so as to include, and setting the threshold value higher when the vertical component of the band-divided image data is lower than when the vertical component is higher. Image encoding device. 請求項１９において、前記帯域分割手段、前記位置分割手段及び前記画質分割手段で分割された画像のデータブロックを並べてデータストリームを生成するストリーム生成手段をさらに有し、該ストリーム生成手段は分割された帯域または位置順序よりも分割された画質順序を優先し、さらに分割された位置順序よりも分割された帯域順序を優先して前記データブロックを並べてデータストリームを生成することを特徴とする画像符号化装置。20. The image processing apparatus according to claim 19, further comprising a stream generation unit configured to generate a data stream by arranging the data blocks of the image divided by the band division unit, the position division unit, and the image quality division unit. Image coding characterized in that a data stream is generated by arranging the data blocks by giving priority to a divided image quality order over a band or position order, and further giving priority to a divided band order over a divided position order. apparatus. 請求項２０において、前記データストリームを記録する記録装置において、所望の解像度、画角または画質にしたがって、前記データストリームを所定の切出し地点で分離して、分離したデータストリームの前半部分に含まれる符号化データを第１の記録エリアに記録し、分離したデータストリームの後半部分に含まれる符号化データを前記第１の記録エリアとは異なる第２の記録エリアに記録することを特徴とする記録装置。21. The recording apparatus according to claim 20, wherein the data stream is separated at a predetermined cutout point according to a desired resolution, angle of view, or image quality, and a code included in a first half of the separated data stream. Recording apparatus for recording encoded data in a first recording area and recording encoded data included in the latter half of the separated data stream in a second recording area different from the first recording area. . 請求項２１において、前記記録手段は前記第１の記録エリアに記録する前記符号化データは、固定長化して記録することを特徴とする記録装置。22. The recording apparatus according to claim 21, wherein the recording unit records the coded data to be recorded in the first recording area in a fixed length. 請求項２１または請求項２２において、前記第１の記録エリアと前記第２の記録エリアは同一の記録用ディスクに設けられ、前記記録手段は前記第１の記録エリアに記録するデータを前記ディスクの内周側のエリアに、前記第２の記録エリアに記録するデータを前記ディスクの外周側のエリアにそれぞれ記録することを特徴とする記録装置。23. The recording medium according to claim 21, wherein the first recording area and the second recording area are provided on the same recording disk, and the recording means stores data to be recorded on the first recording area on the disk. A recording apparatus, wherein data to be recorded in the second recording area is recorded in an inner peripheral area, respectively, in an outer peripheral area of the disc. 請求項２１または請求項２２において、前記第１の記録エリアと前記第２の記録エリアはそれぞれ異なる記録媒体に設けられ、前記記録手段は前記第１の記録エリアに記録するデータを大容量の記録媒体に優先して記録することを特徴とする記録装置。23. The recording medium according to claim 21, wherein the first recording area and the second recording area are provided on different recording media, respectively, and the recording means records a large amount of data to be recorded on the first recording area. A recording apparatus characterized by recording preferentially on a medium.
JP2003143464A 2003-05-21 2003-05-21 Image encoding method, image encoding apparatus, and recording apparatus Expired - Fee Related JP4143471B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003143464A JP4143471B2 (en) 2003-05-21 2003-05-21 Image encoding method, image encoding apparatus, and recording apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003143464A JP4143471B2 (en) 2003-05-21 2003-05-21 Image encoding method, image encoding apparatus, and recording apparatus

Publications (3)

Publication Number Publication Date
JP2004349939A true JP2004349939A (en) 2004-12-09
JP2004349939A5 JP2004349939A5 (en) 2006-06-29
JP4143471B2 JP4143471B2 (en) 2008-09-03

Family

ID=33531248

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003143464A Expired - Fee Related JP4143471B2 (en) 2003-05-21 2003-05-21 Image encoding method, image encoding apparatus, and recording apparatus

Country Status (1)

Country Link
JP (1) JP4143471B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006345452A (en) * 2005-06-10 2006-12-21 Canon Inc Information processing device, its controlling method, computer program, and storage medium
JP2007311999A (en) * 2006-05-17 2007-11-29 Ricoh Co Ltd Code processor, program, and information recording medium
US7456844B2 (en) 2005-04-07 2008-11-25 Ricoh Company, Ltd. Image transmission method, computer-readable image transmission program, recording medium, and image transmission apparatus
CN109478893A (en) * 2016-07-25 2019-03-15 株式会社高速屋 Data compression coding method, coding/decoding method, its device and its program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7456844B2 (en) 2005-04-07 2008-11-25 Ricoh Company, Ltd. Image transmission method, computer-readable image transmission program, recording medium, and image transmission apparatus
JP2006345452A (en) * 2005-06-10 2006-12-21 Canon Inc Information processing device, its controlling method, computer program, and storage medium
JP2007311999A (en) * 2006-05-17 2007-11-29 Ricoh Co Ltd Code processor, program, and information recording medium
CN109478893A (en) * 2016-07-25 2019-03-15 株式会社高速屋 Data compression coding method, coding/decoding method, its device and its program
CN109478893B (en) * 2016-07-25 2023-05-09 株式会社高速屋 Data compression encoding method, apparatus and storage medium

Also Published As

Publication number Publication date
JP4143471B2 (en) 2008-09-03

Similar Documents

Publication Publication Date Title
US20210385473A1 (en) Encoding and Decoding Selectively Retrievable Representations of Video Content
EP1851683B1 (en) Digital intermediate (di) processing and distribution with scalable compression in the post-production of motion pictures
US8260068B2 (en) Encoding and decoding device and associated methodology for obtaining a decoded image with low delay
KR101226748B1 (en) Remote edition system, main edition device, remote edition device, edition method, and recording medium
JP2001258031A (en) Signal processing method, image coder and image decoder
US20090189995A1 (en) Image recording device, image reproducing device, recording medium, image recording method, and program thereof
US20030099293A1 (en) Image reproducing method, and image processing method, and image reproducing device, image processing device, and television receiver capable of using the methods
JPH0865663A (en) Digital image information processor
JP3850015B2 (en) Digital video signal recording / reproducing apparatus and transmission apparatus
JP4143471B2 (en) Image encoding method, image encoding apparatus, and recording apparatus
US20040091240A1 (en) Image processing apparatus and method
JP4155566B2 (en) Image reproducing apparatus and method
EP1259073A1 (en) Image reproducing method and image processing method, and image reproducing device, image processing device, and television receiver capable of using the methods
JP2003115765A (en) Encoding device and method therefor decoding device and method therefor and editing device and method therefor
JP3800819B2 (en) Image synthesizer
US20040141653A1 (en) Image processing apparatus and method
JP2005136671A (en) Image recorder
JPH10215454A (en) Encoding device and method
JP2004165800A (en) Image processing apparatus
JPH0564144A (en) Picture memory device
JP2020072390A (en) Image encoding device, control method thereof, and program
JP2004328796A (en) Digital image information processing apparatus and digital image information processing method
JP2003125333A (en) Recorder and recording method and reproducer and reproducing method
JP2006304103A (en) Moving video recording apparatus and moving video recording/reproducing apparatus
JP2005237020A (en) Digital video processing apparatus and method

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060517

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071211

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080311

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080603

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080616

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4143471

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120620

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120620

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130620

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees