JP4565392B2 - 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム - Google Patents
映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム Download PDFInfo
- Publication number
- JP4565392B2 JP4565392B2 JP2005369544A JP2005369544A JP4565392B2 JP 4565392 B2 JP4565392 B2 JP 4565392B2 JP 2005369544 A JP2005369544 A JP 2005369544A JP 2005369544 A JP2005369544 A JP 2005369544A JP 4565392 B2 JP4565392 B2 JP 4565392B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- video signal
- resolution
- unit
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 85
- 238000012545 processing Methods 0.000 claims description 76
- 230000002123 temporal effect Effects 0.000 claims description 13
- 238000011084 recovery Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 123
- 238000001914 filtration Methods 0.000 description 52
- 230000015572 biosynthetic process Effects 0.000 description 28
- 238000003786 synthesis reaction Methods 0.000 description 28
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 21
- 238000013139 quantization Methods 0.000 description 21
- 230000015654 memory Effects 0.000 description 20
- 239000000284 extract Substances 0.000 description 15
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 230000006837 decompression Effects 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明は、映像信号の復号化、特に階層復号化に関する。
従来、映像符号化において空間解像度、時間解像度およびSNRそれぞれのスケーラビリティを実現する符号化方式が数多く提案されており、さまざまな分野でこれらの実用化がなされている。なかでも、空間解像度のスケーラビリティに関しては、静止画像の符号化を含め、その適用範囲が広い。
映像の空間解像度スケーラビリティを実現する従来技術として特許文献1がある。図11に特許文献1の符号化部1101と復号化部1103の構成例を示す。符号化部1101にはオリジナルの映像信号が入力され、符号化部1101で生成されたビットストリームが通信回線またはメディアなど1102を介して復号化部1103に伝送される。復号化部1103では供給されたビットストリームから必要な情報を取り出して、ディスプレイ等の性能に合った空間解像度のデコード映像信号を出力する。
符号化部1101は、空間デシメーション部（空間的縮小部）1104、ベースレイヤエンコード部1105、空間インターポレーション部（空間的拡大部）1106、エンハンスメントレイヤ符号化部1107および多重化部1108から構成される。
空間デシメーション部1104は、オリジナルの映像信号を入力として受け付け、入力された信号を所望の空間解像度に空間デシメーションする機能（解像度を低くする機能）を有する。また、所望の空間解像度に空間解像度デシメーションされた信号をベースレイヤエンコード部1105に出力する機能を有する。
ベースレイヤエンコード部1105は、空間デシメーション部1104の出力を入力として受け付け、入力された信号を符号化してビットストリームを生成し、多重化部1108へ出力する機能を有する。ここで、エンコードの方法には、MPEG-2などが用いられる。また、MPEG-2等におけるローカルデコード（局部復号）をおこなった信号を空間インターポレーション部1106へ出力する機能を有する。
空間インターポレーション部1106は、ベースレイヤエンコード部1105から出力されるローカルデコード信号を入力として受け付け、入力された信号をエンハンスメントレイヤの信号の解像度に空間インターポレーションする機能を有する。また、エンハンスメントレイヤの信号の解像度に空間インターポレーションされた信号をエンハンスメントレイヤエンコード部1107へ出力する機能を有する。
エンハンスメントレイヤエンコード部1107は、オリジナルの映像信号と空間インターポレーション部1106より出力される信号を入力として受け付ける機能を有する。入力されるそれぞれの信号を用いて、空間解像度間および時間の相関を利用した予測をおこない、それに伴って生じる予測誤差信号を符号化する機能を有する。また、符号化されて生成されるビットストリームを多重化部1108に出力する機能を有する。
多重化部1108は、ベースレイヤエンコード部1105およびエンハンスメントレイヤエンコード部1107より出力されるそれぞれのビットストリームを入力として受け付け、多重化してひとつのビットストリームを生成し、符号化部1101の外部、例えば通信回線やメディアなど1102へ出力する機能を有する。
復号化部1103は、エクストラクト部1109、ベースレイヤデコード部1110、空間インターポレーション部1111およびエンハンスメントレイヤデコード部1112から構成される。
エクストラクト部1109は、ビットストリームを入力として受け付ける機能を有する。復号化部1103またはディスプレイ等の性能にあわせて、ビットストリーム全体から復号に必要なものを切り出し、分割してそれぞれをベースレイヤデコード部1110およびエンハンスメントレイヤデコード部1112に出力する機能を有する。
エクストラクト部1109は、ビットストリームを入力として受け付ける機能を有する。復号化部1103またはディスプレイ等の性能にあわせて、ビットストリーム全体から復号に必要なものを切り出し、分割してそれぞれをベースレイヤデコード部1110およびエンハンスメントレイヤデコード部1112に出力する機能を有する。
ベースレイヤデコード部1110は、エクストラクト部1109で切り出されたベースレイヤのビットストリームを入力として受け付ける機能を有する。入力されたビットストリームを復号し、デコード映像信号を空間インターポレーション部1111と必要に応じてディスプレイ等への出力をおこなう機能を有する。ここで、復号にはMPEG-2デコーダなどを用いる。
空間インターポレーション部1111は、ベースレイヤデコード部1110から出力されるベースレイヤデコード信号を入力として受け付け、入力された信号をエンハンスメントレイヤの信号の解像度に空間インターポレーションする機能を有する。また、エンハンスメントレイヤの信号の解像度に空間インターポレーションされた信号をエンハンスメントレイヤデコード部1112へ出力する機能を有する。
エンハンスメントレイヤデコード部1112は、エクストラクト部1109から得られるビットストリームおよび空間インターポレーション部1111から出力される信号を入力として受け付ける機能を有する。入力されるそれぞれの信号を用いて、オリジナル映像信号の空間解像度の信号を復号する機能を有する。復号された映像信号は、ディスプレイ等へ出力される。
図11に示した符号化部1101の構成例を用いて映像信号を空間スケーラブル符号化する手順を図12に示す。
オリジナルの映像信号を、まず、空間デシメーション部1104において空間解像度のデシメーションをおこなう[ステップS1201]。空間解像度をデシメーションした信号を、ベースレイヤエンコード部1105を用いて符号化し、ビットストリームを生成する[ステップS1202]。生成されたビットストリームを多重化部1108へ送り、符号化過程で得られるベースレイヤのローカルデコード信号を空間インターポレーション部1106へ送る。ベースレイヤエンコード部1105より得られるベースレイヤのローカルデコード信号を空間インターポレーション部1106において空間解像度のインターポレーションをおこなう[ステップS1203]。そして、空間インターポレーションした信号をエンハンスメントレイヤエンコード部1107に送る。
オリジナルの映像信号を、まず、空間デシメーション部1104において空間解像度のデシメーションをおこなう[ステップS1201]。空間解像度をデシメーションした信号を、ベースレイヤエンコード部1105を用いて符号化し、ビットストリームを生成する[ステップS1202]。生成されたビットストリームを多重化部1108へ送り、符号化過程で得られるベースレイヤのローカルデコード信号を空間インターポレーション部1106へ送る。ベースレイヤエンコード部1105より得られるベースレイヤのローカルデコード信号を空間インターポレーション部1106において空間解像度のインターポレーションをおこなう[ステップS1203]。そして、空間インターポレーションした信号をエンハンスメントレイヤエンコード部1107に送る。
オリジナルの映像信号と空間インターポレーション部1106の出力信号を用いて、エンハンスメントレイヤエンコード部1107において空間解像度間および時間の相関を利用した予測を行い、それに伴って生じる予測誤差信号を符号化する[ステップS1204]。そして、符号化により生成されたビットストリームを、多重化部1108へ送る。ベースレイヤエンコード部1105およびエンハンスメントレイヤエンコード部1107より得られたそれぞれのビットストリームを多重化部1108において、多重化をおこない、ひとつのビットストリームを生成する[ステップS1205]。
図11に示した復号化部1103の構成例を用いて空間スケーラブル構成のビットストリームを復号してデコード映像信号を得る手順を図13に示す。
通信回線やメディア等1102からビットストリームをエクストラクト部1109を用いて受信する。ビットストリームを解析し、復号化部1103およびディスプレイ等の性能に合わせて必要な符号データを抽出する。そして、ベースレイヤデコード部1110、エンハンスメントレイヤデコード部1112それぞれに対応したデータに分割して出力する[ステップS1301]。
通信回線やメディア等1102からビットストリームをエクストラクト部1109を用いて受信する。ビットストリームを解析し、復号化部1103およびディスプレイ等の性能に合わせて必要な符号データを抽出する。そして、ベースレイヤデコード部1110、エンハンスメントレイヤデコード部1112それぞれに対応したデータに分割して出力する[ステップS1301]。
エクストラクト部1109で分割したベースレイヤに対応するデータをベースレイヤデコード部1110で復号する[ステップS1302]。復号したベースレイヤデコード映像信号を空間インターポレーション部1111に出力し、必要があればディスプレイ等にも出力する。ベースレイヤデコード部1110より得られるベースレイヤのデコード映像信号を空間インターポレーション部1111において空間解像度のインターポレーションをおこなう[ステップS1303]。そして、空間インターポレーションした信号をエンハンスメントレイヤデコード部1112に送る。エクストラクト部1109で分割したエンハンスメントレイヤに対応するデータおよび空間インターポレーション部1111で空間インターポレーションした信号をエンハンスメントレイヤデコード部1112で復号する[ステップS1304]。そして、復号したデコード映像信号をディスプレイ等へ出力する。
一方、画像拡大法の分野において、画像拡大時に拡大後の解像度に適切な高周波数成分を推定して付加する非特許文献1の技術がある。非特許文献1は、階層符号化におけるラプラシアンピラミッドの考え方を画像拡大法に応用したものである。階層間のラプラシアン成分の相関が強いことを利用して、注目する階層の信号のみから空間解像度がひとつ高い階層のラプラシアン成分の推定を成し遂げる方法である。
図14に非特許文献1による高周波数成分推定を伴う画像拡大部1401の構成例を示す。高周波数成分を伴う画像拡大部1401は、第1のハイパスフィルタリング部1402、第1のインターポレーション部1403、振幅制限・定数倍処理部1404、第2のハイパスフィルタリング部1405、第2のインターポレーション部1406及び信号合成部1407で構成される。
第1のハイパスフィルタリング部1402は、拡大対象のオリジナルの信号を入力として受け付け、入力信号のラプラシアン成分を抽出する機能を有する。入力信号のラプラシアン成分の抽出は次のように行う。ここで、説明を簡単にするために、1次元の信号モデルを例にして、入力信号をG0(x)、入力信号から抽出されるラプラシアン成分をL0(x)とする。
ここで、ρは、ガウシアンフィルタの帯域を調整するためのパラメータである。また、第1のハイパスフィルタリング部1402は、入力信号から抽出したラプラシアン成分の信号を第1のインターポレーション部1403へ出力する機能を有する。
第1のインターポレーション部1403は、第1のハイパスフィルタリング部1402より出力されるラプラシアン成分の信号を入力として受け付け、その信号を所望の解像度となるように、任意倍率のインターポレーションをおこなう機能を有する。任意倍率のインターポレーションは次のように行う。任意倍率rにインターポレーションされた信号(EXPAND)rL0(x)は、入力ラプラシアン成分信号をL0(x)とすると、
で与えられる。ここでint(・)は整数部分を取り出す操作を示す。また、第1のインターポレーション部1403は、インターポレーションした信号を振幅制限・定数倍処理部1404へ出力する機能を有する。
振幅制限・定数倍処理部1404は、第1のインターポレーション部1403より出力される信号を入力として受け付け、未知の高周波数成分を推定するための第1工程を実施する機能を有する。未知の高周波数成分を推定するための第1工程は、入力される信号に対して、振幅制限と定数倍処理を行うことで実現される。生成される信号Ｌrバー(x)は、入力される信号を(EXPAND)rL0(x)
とすると、
とすると、
で与えられる。ここで、振幅制限のためのパラメータT及び定数倍処理のためのパラメータαrは、非特許文献1中で実験的に求められている。なお、パラメータαrは、拡大率に応じて可変である。また、振幅制限・定数倍処理部1404は、振幅制限・定数倍処理した信号を第2のハイパスフィルタリング部1405へ出力する機能を有する。
第2のハイパスフィルタリング部1405は、振幅制限・定数倍処理部1404より出力される信号を入力として受け付け、未知の高周波数成分を推定するための第2工程を実施する機能を有する。未知の高周波数成分を推定するための第2工程は、振幅制限・定数倍処理より出力された信号から低域成分を取り除き、本来求めようとしている高周波数成分のみを得るものである。これは、入力される信号に対してハイパスフィルタリングをおこなうことで実現される。ハイパスフィルタリングされた信号、すなわち、推定された未知の高周波数成分Ｌrハット(x)は、入力される信号をＬrバー(x)とすると、
で与えられる。ここで、W(i)は式(2)に示したものである。また、第2のハイパスフィルタリング部1405は、推定された高周波数成分を信号合成部1407へ出力する機能を有する。
第2のインターポレーション部1406は、拡大対象のオリジナルの信号を入力として受け付け、その信号を所望の解像度となるように、任意倍率のインターポレーションをおこなう機能を有する。任意倍率のインターポレーションは次のように行う。任意倍率rにインターポレーションされた信号(EXPAND)rG0(x)は、入力信号をG0(x)とすると、
第2のインターポレーション部1406は、拡大対象のオリジナルの信号を入力として受け付け、その信号を所望の解像度となるように、任意倍率のインターポレーションをおこなう機能を有する。任意倍率のインターポレーションは次のように行う。任意倍率rにインターポレーションされた信号(EXPAND)rG0(x)は、入力信号をG0(x)とすると、
で与えられる。ここで、Wr(i)は式(4)と式(5)で示したものである。また、第2のインターポレーション部1406は、インターポレーションした信号を信号合成部1407へ出力する機能を有する。
信号合成部1407は、第2のハイパスフィルタリング部1405より出力される信号と第2のインターポレーション部1406より出力される信号を入力として受け付ける機能を有する。また、入力されたそれぞれの信号を足し合わせて、高周波数成分推定を伴う画像拡大部1401の外部に出力する機能を有する。
図14に示した高周波数成分推定を伴う画像拡大部1401の構成例を用いて画像信号を拡大する手順を図15に示す。
まず、拡大対象の入力信号を第2のインターポレーション部1406において所望の解像度にインターポレーションする[ステップS1501]。
まず、拡大対象の入力信号を第2のインターポレーション部1406において所望の解像度にインターポレーションする[ステップS1501]。
次に、第1のハイパスフィルタリング部1402を用いて拡大対象の入力信号からラプラシアン成分信号を抽出する[ステップS1502]。抽出したラプラシアン成分信号を第1のインターポレーション部1403において所望の解像度にインターポレーションする[ステップS1503]。インターポレーションした信号を振幅制限・定数倍処理部1404を用いて振幅制限・定数倍処理をおこなう[ステップS1504]。振幅制限定数倍処理をした信号に対して第2のハイパスフィルタリング部においてハイパスフィルタリング処理をおこない、推定された高周波数成分信号を得る[ステップS1505]。
最後に、入力信号をインターポレーションした信号と推定された高周波数成分信号を信号合成部1407を用いて足し合わせて、高周波数成分推定を伴う画像拡大処理された信号を得る[ステップS1506]。
特開平7-162870号公報
高橋靖正, 田口亮, "高周波数成分推定を伴う任意倍率可能な画像拡大法," 信学論(A), vol. J84-A, no. 9, pp1192-1201, Sep. 2001.
映像の空間解像度スケーラビリティを実現する従来技術の一般的なものは、その一例として特許文献1に示したように、ベースレイヤのローカルデコードをインターポレーションし、それをエンハンスメントレイヤ符号化における予測信号に用いている。これは、エンハンスメントレイヤに入力されるオリジナルの映像信号とベースレイヤの信号との間にある程度の相関がある、すなわち、オリジナルの映像信号の一部の周波数成分をベースレイヤの信号がもっていることを利用したものである。したがって、ベースレイヤのローカルデコード信号とエンハンスメントレイヤに入力されるオリジナルの映像信号との間の相関がより高ければ、符号化効率は高くなる。したがって、より効率的な符号化を実現する為には、ベースレイヤのローカルデコードを単純にインターポレーションして予測信号を得るのではなく、よりオリジナルの映像信号に近づけるような推定処理（高解像度化処理）をおこなって予測信号を得ることが必要であると考えられる。
ここで、非特許文献1を階層符号化の推定処理にそのまま適用することにはいろいろな問題がある。ひとつは、非特許文献1が自然画像の拡大を対象につくられていることである。ベースレイヤのローカルデコード信号は、劣化した信号であり、本来の高い周波数成分をもたない。また、量子化の程度が荒い場合には、オリジナルの信号との相関が低くなった信号となっている。したがって、自然画像用にチューニングされた非特許文献1を単純に前述の推定処理に適用した場合、期待する符号化効率の効果が得られるとは限らない。ふたつは、非特許文献1は、拡大法であるため、入力された低解像度の信号のみから未知の高周波数成分を推定しなければならない。
本発明は、予測信号の適確な高解像度化処理を行ってより効率的に映像階層符号化された符号化データに対して、効率的な映像階層復号化を実現することを目的とする。
そこで、上記課題を解決するために本発明は、以下の装置、方法、及びプログラムを提供するものである。
(1) 元となる映像信号を解像度の異なる階層に分解して得た前記元となる映像信号よりも解像度の低い第１の映像信号を符号化した第１の符号化データと、
前記第１の映像信号の符号化過程で得られた第１の局部復号信号から抽出された第１の高周波数成分信号に、前記元となる映像信号の解像度となるように拡大処理を行った後、振幅制限及び定数倍処理して得た第２の高周波数成分信号と、前記第１の局部復号信号を前記元となる映像信号の解像度となるように拡大処理して得られた第２の局部復号信号とを加算して、高解像度化拡大映像信号である第２の映像信号を生成する高解像度化処理を行う際に、生成される前記第２の映像信号と前記元となる映像信号とを比較して、比較結果が所定の条件を満たすまで、前記振幅制限及び前記定数倍処理のためのパラメータを変更しながら、前記第２の映像信号の生成及び比較を繰り返し行うことで、前記所定の条件を満たす前記第２の映像信号とその第２の映像信号を生成するための前記パラメータとを最終的に得、その最終的に得られた第２の映像信号を前記第１の映像信号から生成された予測信号とし、前記元となる映像信号の解像度における、空間方向予測の結果である空間方向予測信号と、時間方向予測の結果である時間方向予測信号と、前記第１の映像信号から生成された予測信号との３つの予測信号に対して、選択、またはそれぞれの予測信号に所定の重み付けを行った後に合成することで、前記元となる映像信号の解像度における空間解像度間予測の予測信号を生成し、前記元となる映像信号から前記空間解像度間予測の予測信号を減算後符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データと、
前記最終的に得られた前記振幅制限及び前記定数倍処理のためのパラメータを符号化した第３の符号化データと
の３つの符号化データが多重化された多重化データを、前記第１〜第３の各符号化データに分離する分離手段と、
分離された前記第１の符号化データを復号化し、解像度の低い第１の復号信号を得る第１の復号化手段と、
分離された前記第３の符号化データを復号化して前記高解像度化処理における前記振幅制限及び前記定数倍処理のためのパラメータを復元し、前記第１の復号信号から抽出された第３の高周波数成分信号に、前記元となる映像信号の解像度となるように拡大処理を行った後、復元した前記パラメータにより振幅制限及び定数倍処理して得た第４の高周波数成分信号と、前記第１の復号信号を前記元となる映像信号の解像度となるように拡大処理して得られる第２の復号信号とを加算して、高解像度化拡大映像信号である第２の映像信号を復元する復元手段と、
分離された前記第２の符号化データを復号化して復号残差信号を得、復元された前記第２の映像信号を予測信号に用いて空間解像度間予測により予測信号を復元し、その復元した予測信号と前記復号残差信号とを加算することで、前記元となる映像信号の解像度である前記元となる映像信号の復号信号を得る第２の復号化手段と、
を備えることを特徴とする映像信号階層復号化装置。
(2) 元となる映像信号を解像度の異なる階層に分解して得た前記元となる映像信号よりも解像度の低い第１の映像信号を符号化した第１の符号化データと、
前記第１の映像信号の符号化過程で得られた第１の局部復号信号から抽出された第１の高周波数成分信号に、前記元となる映像信号の解像度となるように拡大処理を行った後、振幅制限及び定数倍処理して得た第２の高周波数成分信号と、前記第１の局部復号信号を前記元となる映像信号の解像度となるように拡大処理して得られた第２の局部復号信号とを加算して、高解像度化拡大映像信号である第２の映像信号を生成する高解像度化処理を行う際に、生成される前記第２の映像信号と前記元となる映像信号とを比較して、比較結果が所定の条件を満たすまで、前記振幅制限及び前記定数倍処理のためのパラメータを変更しながら、前記第２の映像信号の生成及び比較を繰り返し行うことで、前記所定の条件を満たす前記第２の映像信号とその第２の映像信号を生成するための前記パラメータとを最終的に得、その最終的に得られた第２の映像信号を前記第１の映像信号から生成された予測信号とし、前記元となる映像信号の解像度における、空間方向予測の結果である空間方向予測信号と、時間方向予測の結果である時間方向予測信号と、前記第１の映像信号から生成された予測信号との３つの予測信号に対して、選択、またはそれぞれの予測信号に所定の重み付けを行った後に合成することで、前記元となる映像信号の解像度における空間解像度間予測の予測信号を生成し、前記元となる映像信号から前記空間解像度間予測の予測信号を減算後符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データと、
前記最終的に得られた前記振幅制限及び前記定数倍処理のためのパラメータを符号化した第３の符号化データと
の３つの符号化データが多重化された多重化データを、前記第１〜第３の各符号化データに分離する分離ステップと、
分離された前記第１の符号化データを復号化し、解像度の低い第１の復号信号を得る第１の復号化ステップと、
分離された前記第３の符号化データを復号化して前記高解像度化処理における前記振幅制限及び前記定数倍処理のためのパラメータを復元し、前記第１の復号信号から抽出された第３の高周波数成分信号に、前記元となる映像信号の解像度となるように拡大処理を行った後、復元した前記パラメータにより振幅制限及び定数倍処理して得た第４の高周波数成分信号と、前記第１の復号信号を前記元となる映像信号の解像度となるように拡大処理して得られる第２の復号信号とを加算して、高解像度化拡大映像信号である第２の映像信号を復元する復元ステップと、
分離された前記第２の符号化データを復号化して復号残差信号を得、復元された前記第２の映像信号を予測信号に用いて空間解像度間予測により予測信号を復元し、その復元した予測信号と前記復号残差信号とを加算することで、前記元となる映像信号の解像度である前記元となる映像信号の復号信号を得る第２の復号化ステップと、
を備えることを特徴とする映像信号階層復号化方法。
(3) 元となる映像信号を解像度の異なる階層に分解して得た前記元となる映像信号よりも解像度の低い第１の映像信号を符号化した第１の符号化データと、
前記第１の映像信号の符号化過程で得られた第１の局部復号信号から抽出された第１の高周波数成分信号に、前記元となる映像信号の解像度となるように拡大処理を行った後、振幅制限及び定数倍処理して得た第２の高周波数成分信号と、前記第１の局部復号信号を前記元となる映像信号の解像度となるように拡大処理して得られた第２の局部復号信号とを加算して、高解像度化拡大映像信号である第２の映像信号を生成する高解像度化処理を行う際に、生成される前記第２の映像信号と前記元となる映像信号とを比較して、比較結果が所定の条件を満たすまで、前記振幅制限及び前記定数倍処理のためのパラメータを変更しながら、前記第２の映像信号の生成及び比較を繰り返し行うことで、前記所定の条件を満たす前記第２の映像信号とその第２の映像信号を生成するための前記パラメータとを最終的に得、その最終的に得られた第２の映像信号を前記第１の映像信号から生成された予測信号とし、前記元となる映像信号の解像度における、空間方向予測の結果である空間方向予測信号と、時間方向予測の結果である時間方向予測信号と、前記第１の映像信号から生成された予測信号との３つの予測信号に対して、選択、またはそれぞれの予測信号に所定の重み付けを行った後に合成することで、前記元となる映像信号の解像度における空間解像度間予測の予測信号を生成し、前記元となる映像信号から前記空間解像度間予測の予測信号を減算後符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データと、
前記最終的に得られた前記振幅制限及び前記定数倍処理のためのパラメータを符号化した第３の符号化データと
の３つの符号化データが多重化された多重化データを、前記第１〜第３の各符号化データに分離する分離手段と、
分離された前記第１の符号化データを復号化し、解像度の低い第１の復号信号を得る第１の復号化手段と、
分離された前記第３の符号化データを復号化して前記高解像度化処理における前記振幅制限及び前記定数倍処理のためのパラメータを復元し、前記第１の復号信号から抽出された第３の高周波数成分信号に、前記元となる映像信号の解像度となるように拡大処理を行った後、復元した前記パラメータにより振幅制限及び定数倍処理して得た第４の高周波数成分信号と、前記第１の復号信号を前記元となる映像信号の解像度となるように拡大処理して得られる第２の復号信号とを加算して、高解像度化拡大映像信号である第２の映像信号を復元する復元手段と、
分離された前記第２の符号化データを復号化して復号残差信号を得、復元された前記第２の映像信号を予測信号に用いて空間解像度間予測により予測信号を復元し、その復元した予測信号と前記復号残差信号とを加算することで、前記元となる映像信号の解像度である前記元となる映像信号の復号信号を得る第２の復号化手段と、
してコンピュータを機能させるための映像信号階層復号化プログラム。
(1) 元となる映像信号を解像度の異なる階層に分解して得た前記元となる映像信号よりも解像度の低い第１の映像信号を符号化した第１の符号化データと、
前記第１の映像信号の符号化過程で得られた第１の局部復号信号から抽出された第１の高周波数成分信号に、前記元となる映像信号の解像度となるように拡大処理を行った後、振幅制限及び定数倍処理して得た第２の高周波数成分信号と、前記第１の局部復号信号を前記元となる映像信号の解像度となるように拡大処理して得られた第２の局部復号信号とを加算して、高解像度化拡大映像信号である第２の映像信号を生成する高解像度化処理を行う際に、生成される前記第２の映像信号と前記元となる映像信号とを比較して、比較結果が所定の条件を満たすまで、前記振幅制限及び前記定数倍処理のためのパラメータを変更しながら、前記第２の映像信号の生成及び比較を繰り返し行うことで、前記所定の条件を満たす前記第２の映像信号とその第２の映像信号を生成するための前記パラメータとを最終的に得、その最終的に得られた第２の映像信号を前記第１の映像信号から生成された予測信号とし、前記元となる映像信号の解像度における、空間方向予測の結果である空間方向予測信号と、時間方向予測の結果である時間方向予測信号と、前記第１の映像信号から生成された予測信号との３つの予測信号に対して、選択、またはそれぞれの予測信号に所定の重み付けを行った後に合成することで、前記元となる映像信号の解像度における空間解像度間予測の予測信号を生成し、前記元となる映像信号から前記空間解像度間予測の予測信号を減算後符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データと、
前記最終的に得られた前記振幅制限及び前記定数倍処理のためのパラメータを符号化した第３の符号化データと
の３つの符号化データが多重化された多重化データを、前記第１〜第３の各符号化データに分離する分離手段と、
分離された前記第１の符号化データを復号化し、解像度の低い第１の復号信号を得る第１の復号化手段と、
分離された前記第３の符号化データを復号化して前記高解像度化処理における前記振幅制限及び前記定数倍処理のためのパラメータを復元し、前記第１の復号信号から抽出された第３の高周波数成分信号に、前記元となる映像信号の解像度となるように拡大処理を行った後、復元した前記パラメータにより振幅制限及び定数倍処理して得た第４の高周波数成分信号と、前記第１の復号信号を前記元となる映像信号の解像度となるように拡大処理して得られる第２の復号信号とを加算して、高解像度化拡大映像信号である第２の映像信号を復元する復元手段と、
分離された前記第２の符号化データを復号化して復号残差信号を得、復元された前記第２の映像信号を予測信号に用いて空間解像度間予測により予測信号を復元し、その復元した予測信号と前記復号残差信号とを加算することで、前記元となる映像信号の解像度である前記元となる映像信号の復号信号を得る第２の復号化手段と、
を備えることを特徴とする映像信号階層復号化装置。
(2) 元となる映像信号を解像度の異なる階層に分解して得た前記元となる映像信号よりも解像度の低い第１の映像信号を符号化した第１の符号化データと、
前記第１の映像信号の符号化過程で得られた第１の局部復号信号から抽出された第１の高周波数成分信号に、前記元となる映像信号の解像度となるように拡大処理を行った後、振幅制限及び定数倍処理して得た第２の高周波数成分信号と、前記第１の局部復号信号を前記元となる映像信号の解像度となるように拡大処理して得られた第２の局部復号信号とを加算して、高解像度化拡大映像信号である第２の映像信号を生成する高解像度化処理を行う際に、生成される前記第２の映像信号と前記元となる映像信号とを比較して、比較結果が所定の条件を満たすまで、前記振幅制限及び前記定数倍処理のためのパラメータを変更しながら、前記第２の映像信号の生成及び比較を繰り返し行うことで、前記所定の条件を満たす前記第２の映像信号とその第２の映像信号を生成するための前記パラメータとを最終的に得、その最終的に得られた第２の映像信号を前記第１の映像信号から生成された予測信号とし、前記元となる映像信号の解像度における、空間方向予測の結果である空間方向予測信号と、時間方向予測の結果である時間方向予測信号と、前記第１の映像信号から生成された予測信号との３つの予測信号に対して、選択、またはそれぞれの予測信号に所定の重み付けを行った後に合成することで、前記元となる映像信号の解像度における空間解像度間予測の予測信号を生成し、前記元となる映像信号から前記空間解像度間予測の予測信号を減算後符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データと、
前記最終的に得られた前記振幅制限及び前記定数倍処理のためのパラメータを符号化した第３の符号化データと
の３つの符号化データが多重化された多重化データを、前記第１〜第３の各符号化データに分離する分離ステップと、
分離された前記第１の符号化データを復号化し、解像度の低い第１の復号信号を得る第１の復号化ステップと、
分離された前記第３の符号化データを復号化して前記高解像度化処理における前記振幅制限及び前記定数倍処理のためのパラメータを復元し、前記第１の復号信号から抽出された第３の高周波数成分信号に、前記元となる映像信号の解像度となるように拡大処理を行った後、復元した前記パラメータにより振幅制限及び定数倍処理して得た第４の高周波数成分信号と、前記第１の復号信号を前記元となる映像信号の解像度となるように拡大処理して得られる第２の復号信号とを加算して、高解像度化拡大映像信号である第２の映像信号を復元する復元ステップと、
分離された前記第２の符号化データを復号化して復号残差信号を得、復元された前記第２の映像信号を予測信号に用いて空間解像度間予測により予測信号を復元し、その復元した予測信号と前記復号残差信号とを加算することで、前記元となる映像信号の解像度である前記元となる映像信号の復号信号を得る第２の復号化ステップと、
を備えることを特徴とする映像信号階層復号化方法。
(3) 元となる映像信号を解像度の異なる階層に分解して得た前記元となる映像信号よりも解像度の低い第１の映像信号を符号化した第１の符号化データと、
前記第１の映像信号の符号化過程で得られた第１の局部復号信号から抽出された第１の高周波数成分信号に、前記元となる映像信号の解像度となるように拡大処理を行った後、振幅制限及び定数倍処理して得た第２の高周波数成分信号と、前記第１の局部復号信号を前記元となる映像信号の解像度となるように拡大処理して得られた第２の局部復号信号とを加算して、高解像度化拡大映像信号である第２の映像信号を生成する高解像度化処理を行う際に、生成される前記第２の映像信号と前記元となる映像信号とを比較して、比較結果が所定の条件を満たすまで、前記振幅制限及び前記定数倍処理のためのパラメータを変更しながら、前記第２の映像信号の生成及び比較を繰り返し行うことで、前記所定の条件を満たす前記第２の映像信号とその第２の映像信号を生成するための前記パラメータとを最終的に得、その最終的に得られた第２の映像信号を前記第１の映像信号から生成された予測信号とし、前記元となる映像信号の解像度における、空間方向予測の結果である空間方向予測信号と、時間方向予測の結果である時間方向予測信号と、前記第１の映像信号から生成された予測信号との３つの予測信号に対して、選択、またはそれぞれの予測信号に所定の重み付けを行った後に合成することで、前記元となる映像信号の解像度における空間解像度間予測の予測信号を生成し、前記元となる映像信号から前記空間解像度間予測の予測信号を減算後符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データと、
前記最終的に得られた前記振幅制限及び前記定数倍処理のためのパラメータを符号化した第３の符号化データと
の３つの符号化データが多重化された多重化データを、前記第１〜第３の各符号化データに分離する分離手段と、
分離された前記第１の符号化データを復号化し、解像度の低い第１の復号信号を得る第１の復号化手段と、
分離された前記第３の符号化データを復号化して前記高解像度化処理における前記振幅制限及び前記定数倍処理のためのパラメータを復元し、前記第１の復号信号から抽出された第３の高周波数成分信号に、前記元となる映像信号の解像度となるように拡大処理を行った後、復元した前記パラメータにより振幅制限及び定数倍処理して得た第４の高周波数成分信号と、前記第１の復号信号を前記元となる映像信号の解像度となるように拡大処理して得られる第２の復号信号とを加算して、高解像度化拡大映像信号である第２の映像信号を復元する復元手段と、
分離された前記第２の符号化データを復号化して復号残差信号を得、復元された前記第２の映像信号を予測信号に用いて空間解像度間予測により予測信号を復元し、その復元した予測信号と前記復号残差信号とを加算することで、前記元となる映像信号の解像度である前記元となる映像信号の復号信号を得る第２の復号化手段と、
してコンピュータを機能させるための映像信号階層復号化プログラム。
本発明によれば、階層符号化された映像信号の符号化データをより効率よく高品位に復号化することが可能となる。
本発明における復号の対象となる符号化データを得る符号化は、従来の階層符号化に階層間の予測効率を上げるための推定処理を導入することがまずひとつの新しい概念であり、それに加えて入力映像信号を教師データとして、入力映像信号を解像度の異なる階層に分解して得た前記入力映像信号よりも解像度の低い映像信号を符号化する過程で得られる局部復号化信号（ベースレイヤローカルデコード信号）をそれに近づけることがもうひとつの新しい概念である。これらの符号化に対応した復号を実現するための構成、方法及びプログラムの実施例を以下に示す。なお、以下に示す実施例は、説明を簡単にするために二階層の階層符号化・復号化を例に挙げているが、これを多階層で実現しても良い。
［実施例１］
図1に、本発明の実施例１を適用した空間解像度スケーラビリティを実現する階層符号化・復号化装置の構成例を示す。符号化部101にはオリジナルの映像信号が入力され、符号化部101で生成されたビットストリームが通信回線またはメディアなど102を介して復号化部103に伝送される。復号化部103では供給されたビットストリームから必要な情報を取り出して、ディスプレイ等の性能に合った空間解像度のデコード映像信号を出力する。
［実施例１］
図1に、本発明の実施例１を適用した空間解像度スケーラビリティを実現する階層符号化・復号化装置の構成例を示す。符号化部101にはオリジナルの映像信号が入力され、符号化部101で生成されたビットストリームが通信回線またはメディアなど102を介して復号化部103に伝送される。復号化部103では供給されたビットストリームから必要な情報を取り出して、ディスプレイ等の性能に合った空間解像度のデコード映像信号を出力する。
符号化部101は、空間デシメーション部（空間的縮小手段）104、ベースレイヤエンコード部（第１の符号化手段）105、高解像度推定信号生成部（空間的拡大手段、第３の符号化手段）106、エンハンスメントレイヤ符号化部（第２の符号化手段）107および多重化部108から構成される。
空間デシメーション部104は、オリジナルの映像信号を入力として受け付け、入力された信号を所望の空間解像度に空間デシメーションする機能（解像度を低くする機能）を有する。ここで、空間デシメーションの方法はいくつか考えられるが、ラプラシアンピラミッドと同様の関係を利用するために後述する高解像度推定信号生成部106で扱うフィルタに対応した方法を用いることが望ましい。そして、任意縮小率にも対応していることが望ましい。また、空間デシメーション部104は、所望の空間解像度に空間解像度デシメーションされた信号をベースレイヤエンコード部105に出力する機能を有する。
ベースレイヤエンコード部105は、空間デシメーション部104の出力を入力として受け付け、入力された信号を符号化してビットストリームを生成し、多重化部108へ出力する機能を有する。ここで、エンコードの方法は、いくつか考えられるが、例えば、MPEG-2やH.264などのクローズドループのエンコーダやなどが用いられる。時間方向のスケーラビリティやSN比スケーラビリティなどの機能を含んでいても良い。オープンループのエンコーダを用いた場合、そのエンコーダにはローカルデコード(リコンストラクト)機能を含むものとする。また、ベースレイヤエンコード部105内におけてローカルデコード（局部復号）をおこなった信号を空間インターポレーション（空間的拡大部）機能を有する高解像度推定信号生成部106へ出力する機能を有する。
高解像度推定信号生成部106は、ベースレイヤエンコード部105から出力されるローカルデコード信号及びエンハンスメントレイヤエンコード部107から出力されるオリジナルの映像信号を入力として受け付け、ベースレイヤのローカルデコード信号からオリジナルの解像度の映像信号を推定する機能を有する。詳細については後述する。また、ベースレイヤのローカルデコード信号からオリジナルの高解像度映像信号を推定した信号をエンハンスメントレイヤエンコード部107へ出力し、推定に用いたパラメータを符号化して多重化部108へ出力する機能を有する。
エンハンスメントレイヤエンコード部107は、オリジナルの映像信号と高解像度推定信号生成部106より出力される信号を入力として受け付ける機能を有する。入力されるそれぞれの信号を用いて、空間解像度間および時間の相関を利用した予測をおこない、それに伴って生じる予測誤差信号を符号化する機能を有する。詳細については後述する。また、符号化されて生成されるビットストリームを多重化部108に出力し、オリジナルの映像信号を高解像度推定信号生成部106へ出力する機能を有する。
多重化部108は、ベースレイヤエンコード部105、高解像度推定信号生成部106及びエンハンスメントレイヤエンコード部107より出力されるそれぞれのビットストリームを入力として受け付け、多重化してひとつのビットストリームを生成し、符号化部101の外部、例えば通信回線やメディアなど102へ出力する機能を有する。
復号化部103は、エクストラクト部（分離手段）109、ベースレイヤデコード部（第１の復号化手段）110、高解像度推定信号復元部（復元手段）111およびエンハンスメントレイヤデコード部（第２の復号化手段）112から構成される。
エクストラクト部109は、ビットストリームを入力として受け付ける機能を有する。復号化部103またはディスプレイ等の性能にあわせて、ビットストリーム全体から復号に必要なものを切り出し、分割してそれぞれをベースレイヤデコード部110、高解像度推定信号復元部111及びエンハンスメントレイヤデコード部112に出力する機能を有する。
ベースレイヤデコード部110は、エクストラクト部109で切り出されたベースレイヤのビットストリームを入力として受け付ける機能を有する。入力されたビットストリームを復号し、デコード映像信号を高解像度推定信号復元部111と必要に応じてディスプレイ等への出力をおこなう機能を有する。ここで、復号には、例えばMPEG-2やH.264などを用いる。また、時間方向のスケーラビリティやSN比スケーラビリティなどの機能を含んでいても良い。
高解像度推定信号復元部111は、ベースレイヤデコード部110から出力されるベースレイヤデコード信号及びエクストラクト部109から出力されるビットストリームを入力として受け付ける機能を有する。ビットストリームを復号し、高解像度推定信号を復元するためのパラメータを得る機能を有する。また、復号したパラメータを用いて、ベースレイヤデコード信号から高解像度推定信号を復元し、その信号をエンハンスメントレイヤデコード部112へ出力する機能を有する。詳細については後述する。
エンハンスメントレイヤデコード部112は、エクストラクト部109から得られるビットストリーム及び高解像度推定信号復元部111から出力される高解像度推定信号を入力として受け付ける機能を有する。ビットストリームを復号し、そこで得られる信号と、高解像度推定信号を用いて、オリジナル映像信号の空間解像度の信号を復号する機能を有する。復号された映像信号は、ディスプレイ等へ出力される。
図1に示した符号化部101の構成例を用いて映像信号を空間スケーラブル符号化する手順を図2に示す。
オリジナルの映像信号を、まず、空間デシメーション部104において空間解像度のデシメーションをおこなう[ステップS201]。空間解像度をデシメーションした信号を、ベースレイヤエンコード部105を用いて符号化し、ビットストリームを生成する[ステップS202]。生成されたビットストリームを多重化部108へ送り、符号化過程で得られるベースレイヤのローカルデコード信号を高解像度推定信号生成部106へ送る。高解像度推定信号生成部106及びエンハンスメントレイヤエンコード部107を用いてオリジナルの映像信号を推定する[ステップS203]。詳細については後述する。そして、ここで生成した高解像度推定信号をエンハンスメントレイヤエンコード部107へ送り、推定時に用いたパラメータを符号化して多重化部108へ送る。オリジナルの映像信号と高解像度推定信号を用いて、エンハンスメントレイヤエンコード部107において空間解像度間および時間の相関を利用した予測を行い、それに伴って生じる予測誤差信号を符号化する[ステップS204]。そして、符号化により生成されたビットストリームを、多重化部108へ送る。ベースレイヤエンコード部105、高解像度推定信号生成部106及びエンハンスメントレイヤエンコード部107より得られたそれぞれのビットストリームを多重化部108において、多重化をおこない、ひとつのビットストリームを生成する[ステップS205]。
オリジナルの映像信号を、まず、空間デシメーション部104において空間解像度のデシメーションをおこなう[ステップS201]。空間解像度をデシメーションした信号を、ベースレイヤエンコード部105を用いて符号化し、ビットストリームを生成する[ステップS202]。生成されたビットストリームを多重化部108へ送り、符号化過程で得られるベースレイヤのローカルデコード信号を高解像度推定信号生成部106へ送る。高解像度推定信号生成部106及びエンハンスメントレイヤエンコード部107を用いてオリジナルの映像信号を推定する[ステップS203]。詳細については後述する。そして、ここで生成した高解像度推定信号をエンハンスメントレイヤエンコード部107へ送り、推定時に用いたパラメータを符号化して多重化部108へ送る。オリジナルの映像信号と高解像度推定信号を用いて、エンハンスメントレイヤエンコード部107において空間解像度間および時間の相関を利用した予測を行い、それに伴って生じる予測誤差信号を符号化する[ステップS204]。そして、符号化により生成されたビットストリームを、多重化部108へ送る。ベースレイヤエンコード部105、高解像度推定信号生成部106及びエンハンスメントレイヤエンコード部107より得られたそれぞれのビットストリームを多重化部108において、多重化をおこない、ひとつのビットストリームを生成する[ステップS205]。
図1に示した復号化部103の構成例を用いて空間スケーラブル構成のビットストリームを復号してデコード映像信号を得る手順を図3に示す。
通信回線やメディア等102からビットストリームをエクストラクト部109を用いて受信する。ビットストリームを解析し、復号化部103およびディスプレイ等の性能に合わせて必要な符号データを抽出する。そして、ベースレイヤデコード部110、高解像度推定信号復元部111及びエンハンスメントレイヤデコード部112それぞれに対応したデータに分割して出力する[ステップS301]。
通信回線やメディア等102からビットストリームをエクストラクト部109を用いて受信する。ビットストリームを解析し、復号化部103およびディスプレイ等の性能に合わせて必要な符号データを抽出する。そして、ベースレイヤデコード部110、高解像度推定信号復元部111及びエンハンスメントレイヤデコード部112それぞれに対応したデータに分割して出力する[ステップS301]。
エクストラクト部109で分割したベースレイヤに対応するデータをベースレイヤデコード部110で復号する[ステップS302]。復号したベースレイヤデコード映像信号を高解像度推定信号復元部111に出力し、必要があればディスプレイ等にも出力する。エクストラクト部109で分割した高解像度推定信号復元用のパラメータを高解像度推定信号復元部111で復号し、復号したパラメータとベースレイヤデコード部110より得られるベースレイヤのデコード映像信号を用いて高解像度推定信号を復元する[ステップS303]。そして、復元した高解像度推定信号をエンハンスメントレイヤデコード部112に送る。エンハンスメントレイヤデコード部112において、エクストラクト部109から得られるエンハンスメントレイヤに対応するデータを復号し、そこで得られる信号と高解像度推定信号を用いてオリジナルの映像信号の解像度の再生映像をデコードする[ステップS304]。そして、復号したデコード映像信号をディスプレイ等へ出力する。
高解像度推定信号生成部106及びエンハンスメントレイヤエンコード部107の詳細な構成例を示したものが、図4である。
高解像度推定信号生成部106は、第1のハイパスフィルタリング部403、第1のインターポレーション部404、振幅制限・定数倍処理部405、第2のハイパスフィルタリング部406、第2のインターポレーション部407、信号合成部408、推定度判断部409及びエントロピー符号化部410で構成される。
高解像度推定信号生成部106は、第1のハイパスフィルタリング部403、第1のインターポレーション部404、振幅制限・定数倍処理部405、第2のハイパスフィルタリング部406、第2のインターポレーション部407、信号合成部408、推定度判断部409及びエントロピー符号化部410で構成される。
第1のハイパスフィルタリング部403は、ベースレイヤの(ローカル)デコード信号を入力として受け付け、入力信号から高周波数成分を抽出する機能を有する。高周波数成分は前述の式(1)、(2)によって求める。ここで、式(1)、(2)では、ガウシアン関数を用いて高周波数成分を抽出しているが、これを他の方法に置き換えても良い。ただし、ここで用いるフィルタや補間関数等と、空間デシメーション部104、第1のインターポレーション部404、第2のハイパスフィルタリング部406及び第2のインターポレーション部407に用いるフィルタや補間関数等の関係は、ピラミッド構成を満たすものとなっていることが望ましい。例えば、空間デシメーション部にsinc関数を用いた場合、第1のインターポレーション部404、第2のハイパスフィルタリング部406及び第2のインターポレーション部407にもsinc関数を用いることでsinc関数によるピラミッド構成の関係が構築できる。また、第1のハイパスフィルタリング部403は、ここで得た高周波数成分を第1のインターポレーション部404へ出力する機能を有する。
第1のインターポレーション部404は、第1のハイパスフィルタリング部403より出力される高周波数成分の信号を入力として受け付け、その信号をエンハンスメントレイヤに入力されるオリジナルの映像信号の解像度となるように、インターポレーションをおこなう機能を有する。インターポレーションは、前述の式(3)、(4)、(5)で実現可能である。ここでも、インターポレーションの方法(用いるフィルタ係数や補間関数など)は、式(3)、(4)、(5)以外のものを用いても良い。また、第1のインターポレーション部404は、インターポレーションした信号を振幅制限・定数倍処理部405へ出力する機能を有する。
振幅制限・定数倍処理部405は、パラメータ及び第1のインターポレーション部404より出力される信号入力として受け付け、未知の高周波数成分を推定するための第1工程を実施する機能を有する。未知の高周波数成分を推定するための第1工程は式(6)で与えられる。ここで、パラメータαrとTは、非特許文献1と同様のものを用いても良いが、本実施例では、拡大率だけではなくベースレイヤの量子化の程度にも推定精度が関わるため、最適なパラメータ算出のための試行が可能となるように、振幅制限・定数倍処理部405外部から与えることを可能としている。また、振幅制限・定数倍処理部405は、振幅制限・定数倍処理した信号を第2のハイパスフィルタリング部406へ出力する機能を有する。
第2のハイパスフィルタリング部406は、振幅制限・定数倍処理部405より出力される信号を入力として受け付け、未知の高周波数成分を推定するための第2工程を実施する機能を有する。未知の高周波数成分を推定するための第2工程は、式(7)で与えられる。ここでも、高周波数成分の抽出方法は式(7)以外のものを用いても良い。また、第2のハイパスフィルタリング部406は、推定された高周波数成分を信号合成部408へ出力する機能を有する。
第2のインターポレーション部407は、ベースレイヤの(ローカル)デコード信号を入力として受け付け、その信号をエンハンスメントレイヤに入力されるオリジナルの映像信号の解像度となるように、インターポレーションをおこなう機能を有する。インターポレーションは、前述の式(8)で実現可能である。ここでも、インターポレーションの方法(用いるフィルタ係数や補間関数など)は、式(8)以外のものを用いても良い。また、第2のインターポレーション部907は、インターポレーションした信号を信号合成部408へ出力する機能を有する。
信号合成部408は、第2のハイパスフィルタリング部406より出力される信号と第2のインターポレーション部407より出力される信号を入力として受け付ける機能を有する。また、入力されたそれぞれの信号を足し合わせて出力する機能を有する。
推定度判断部409は、信号合成部408から出力される信号及びフレームメモリ1・411から出力される信号を入力として受け付ける機能を有する。信号合成部408から出力される信号は、振幅制限・定数倍処理部405において、あるパラメータを用いたときの高解像度推定信号である。この信号とフレームメモリ1より出力されるオリジナルの映像信号との間にどの程度の相関があるかを定量化し、それを記録する機能を有する。2つの信号の相関の定量化の仕方は、例えば相互相関を算出しても良いし、例えば差分を取って2乗平均をとっても良い。推定度判定部409が設置されている目的は、2つの信号がより近くなるパラメータαrとT(またはαrのみ)を求めることであるため、任意の範囲内のパラメータを逐次更新して振幅制限・定数倍処理部405へ出力する機能ももつ。そして、オリジナル映像信号と逐次更新したパラメータを用いて生成した高解像度推定信号との間の、逐次記録した相関定量化値から、もっとも2つの信号が近くなるケースを判断し、そのときのパラメータをエントロピー符号化部410へ出力し、そのときの高解像度推定信号を予測信号選択部416へ出力する機能を有する。
エントロピー符号化部410は、推定度判断部409より出力されるパラメータを入力として受け付ける機能を有する。また、入力されたパラメータをエントロピー符号化してビットストリームを生成し、高解像度推定信号生成部106の外部へ出力する機能を有する。
エンハンスメントレイヤエンコード部107は、フレームメモリ1・411、フレームメモリ2・412、動き推定部413、動き補償部414、イントラ予測部415、予測信号選択部416、予測誤差信号生成手段417、直交変換・量子化部418、エントロピー符号化部419、逆量子化・逆直交変換部420、信号合成部421及びデブロッキングフィルタ部422で構成される。この構成例は、H.264エンコーダの一部を変更したものであり、各部分は従来技術でほぼ実現可能である。
フレームメモリ1・411は、オリジナルの映像信号を入力として受け付け、少なくとも1GOP(Group Of Picture)分の信号を格納できる機能を有する。また、格納した信号を予測信号生成部417、動き推定部413及び推定度判断部409へ、エンハンスメントレイヤエンコード部107と高解像度推定信号生成部106の処理の同期が取れるように対応するフレームの信号を出力する機能を有する。
フレームメモリ2・412は、デブロッキングフィルタ部422より出力される信号を入力として受け付け、少なくとも1フレーム分格納する機能を有する。そして、動き推定に必要なフレームの信号を動き推定部413へ、動き補償に必要なフレームの信号を動き補償部414へ出力する機能を有する。
動き推定部413は、フレームメモリ1・411及びフレームメモリ2・412より出力される信号を入力として受け付け、例えばH.264のような動き推定をおこなう機能を有する。動き推定によって得られた動き情報を動き補償部414及びエントロピー符号化部419へ出力する機能を有する。
動き補償部414は、フレームメモリ2・412より出力される信号及び動き情報を入力として受け付け、例えばH.264のような動き補償をおこなう機能を有する。また、動き補償によって得られた信号を予測信号選択部416へ出力する機能を有する。
イントラ予測部415は、信号合成部421より出力される信号を入力として受け付け、例えばH.264のようなイントラ予測をおこなう機能を有する。また、イントラ予測して得られた信号を予測信号選択部416へ出力する機能を有する。
予測信号選択部416は、動き補償部414、イントラ予測部415よりそれぞれから出力される信号及び高解像度推定信号を受け付け、入力される信号のうち、いずれかひとつを選択する、または、それぞれの信号に重みを与えて合成する機能を有する。信号の選択、合成の判断基準は任意である。例えば、符号化効率を重視する場合は、予測誤差信号の二乗平均が小さくなるように、信号を選択、合成する。また、予測信号選択部416は、選択または合成した信号を予測誤差信号生成部417及び信号合成手段421へ出力する機能を有する。
予測誤差信号生成部417は、フレームメモリ1・411より出力される信号及び予測信号選択部416より出力される予測信号を入力として受け付ける機能を有する。また、フレームメモリ1・411より出力される信号から予測信号を差し引いて予測誤差信号を生成し、それを直交変換・量子化部418へ出力する機能を有する。
直交変換・量子化部418は、予測誤差信号生成部417より出力される信号を入力として受け付け、その信号を直交変換及び量子化する機能を有する。直交変換には、DCTやウェーブレットなどが用いられる。H.264のように、直交変換と量子化を合成した手段を採用しても良い。また、直交変換及び量子化した信号をエントロピー符号化部419及び逆量子化・逆直交変換部420へ出力する機能を有する。
エントロピー符号化部419は、直交変換・量子化部418から出力される信号及び動き推定部913より出力される動き情報を入力として受け付け、それらをエントロピー符号化する機能を有する。また、エントロピー符号化の結果生成されるビットストリームをエンハンスメントレイヤエンコード部107の外部へ出力する機能を有する。
逆量子化・逆直交変換部420は、直交変換・量子化された状態の信号を入力として受け付け、その信号を逆量子化・逆直交変換する機能を有する。また、逆量子化・逆直交変換した信号を信号合成部421へ出力する機能を有する。
信号合成部421は、予測信号選択部416より出力される信号及び逆量子化・逆直交変換部420より出力される信号を入力として受け付け、2つの信号を合成する機能を有する。また、合成した信号をイントラ予測部415及びデブロッキングフィルタ部422へ出力する機能を有する。
デブロッキングフィルタ部422は、信号合成部421より出力される信号を入力として受け付け、入力された信号に対してデブロッキングフィルタ処理をおこなう機能を有する。ここで、デブロッキングフィルタは、例えばH.264で用いられているものなどがある。また、デブロッキングフィルタ処理した信号をフレームメモリ2・412へ出力する機能を有する。
図4に示した高解像度推定信号生成部106の構成例を用いて高解像度推定信号を生成する手順を図5に示す。
まず、第2のインターポレーション部407を用いて入力信号をインターポレーションする[ステップS501]。
まず、第2のインターポレーション部407を用いて入力信号をインターポレーションする[ステップS501]。
次に、第1のハイパスフィルタリング部403を用いて入力から高周波数成分信号を抽出する[ステップS502]。そして、抽出した高周波数成分信号を第1のインターポレーション部404においてインターポレーションする[ステップS503]。インターポレーションした信号に対して振幅制限・定数倍処理部405を用いて振幅制限及び定数倍処理をおこなう[ステップS504]。ここで、振幅制限及び定数倍処理に伴うパラメータは、推定度判断部409から与えられたものを用いる。第2のハイパスフィルタリング部406において、振幅制限及び定数倍処理した信号から推定した高周波数成分を抽出する[ステップS505]。信号合成部408を用いて入力信号をインターポレーションした信号と推定した高周波数成分を足し合わせ、高解像度推定信号を得る[ステップS506]。推定度判断部409において、オリジナルの映像信号と高解像度推定信号の差分をとって記録する。ここで、そのときのパラメータも記録しておく。そして、パラメータを更新する[ステップS507]。高解像度推定信号がオリジナルの映像信号に最も近づくものを試行によって求めるために、ステップS504からステップS507の手順を指定範囲内のパラメータに対して繰り返しおこなう[ステップS508]。指定範囲内の全てのパラメータで生成したそれぞれの高解像度推定信号とオリジナルの映像信号の差分の中で、もっとも差分の二乗平均が小さくなるものを選択する。そのときの高解像度推定信号をエンハンスメントレイヤエンコード部107内の予測信号選択部416へ送り、そのときのパラメータをエントロピー符号化部410でエントロピー符号化する[ステップS509]。なお、パラメータは、ブロックごとに符号化しても良いし、例えば1GOPでのパラメータの平均値を採用し、そのGOP内でパラメータを一律として高解像度推定信号を生成し、1GOPで符号化するパラメータをひとつだけにしても良い(符号化するパラメータの数、タイミング等の制限はしない)。
また、計算コスト削減のために、あらかじめ指定したパラメータを用いることで、最適パラメータ算出のための繰り返し処理を省いても良い。符号化側と復号化側でパラメータを決めておき、パラメータを符号化しない方法をとっても良い。
図4に示したエンハンスメントレイヤエンコード部107の構成例を用いてオリジナルの映像信号の解像度の信号(エンハンスメントレイヤ)を符号化する手順を図6に示す。
イントラ予測部415を用いてイントラ予測をおこなう[ステップS601]。イントラ予測した信号を予測信号選択部416へ送る。
イントラ予測部415を用いてイントラ予測をおこなう[ステップS601]。イントラ予測した信号を予測信号選択部416へ送る。
一方、動き推定部413及び動き補償部414を用いて、動き推定及び動き補償(動き補償予測)をおこなう[ステップS602]。動き補償予測した信号を予測信号選択部416へ送る。
また、高解像度推定信号生成部106を用いて高解像度推定信号を生成する[ステップS603]。詳細については前述したとおりである。生成した高解像度推定信号を予測信号選択部416へ送る。
また、高解像度推定信号生成部106を用いて高解像度推定信号を生成する[ステップS603]。詳細については前述したとおりである。生成した高解像度推定信号を予測信号選択部416へ送る。
予測信号選択部416において、イントラ予測した信号、動き補償予測した信号及び高解像度推定信号のいずれかひとつを選択、または、それぞれの信号に重みを与えて合成する[ステップS604]。選択、または、合成して生成した予測信号をフレームメモリ1・411から出力される信号から差し引いて予測誤差信号を生成する[ステップS605]。予測誤差信号を直交変換・量子化部418を用いて直交変換及び量子化する[ステップS606]。直交変換及び量子化した信号及び動き情報をエントロピー符号化部419を用いてエントロピー符号化する[ステップS607]。
符号化対象の信号を全て符号化した場合は、ここで処理を終了する。そうでない場合は、現在符号化している信号が他の信号の符号化時に参照されることが可能となるように、次に示す手順によってローカルデコード及びデブロッキング処理する[ステップS608]。
ステップS606で直交変換及び量子化した信号を逆量子化・逆直交変換部420で逆量子化及び逆直交変換する[ステップS609]。逆量子化及び逆直交変換した信号を信号合成部421を用いて、予測信号と合成し、ローカルデコード信号を得る[ステップS610]。ローカルデコード信号をイントラ予測部415及びデブロッキングフィルタ部422へ送る。そして、ローカルデコード信号をデブロッキングフィルタ部422においてデブロッキングフィルタ処理する[ステップS611]。デブロッキングフィルタ処理した信号をフレームメモリ2・412に格納する[ステップS612]。
高解像度推定信号復元部111及びエンハンスメントレイヤデコード部112の詳細な構成例を示したものが、図7である。
高解像度推定信号復元部701(111に相当)は、第1のハイパスフィルタリング部403、第1のインターポレーション部404、振幅制限・定数倍処理部405、第2のハイパスフィルタリング部406、第2のインターポレーション部407、信号合成部408、エントロピー復号化部709で構成される。ここで、エントロピー復号化部709以外の各部分が備える機能は、図4におけるものと同じもので実現できるため、同じ番号で示してある。
高解像度推定信号復元部701(111に相当)は、第1のハイパスフィルタリング部403、第1のインターポレーション部404、振幅制限・定数倍処理部405、第2のハイパスフィルタリング部406、第2のインターポレーション部407、信号合成部408、エントロピー復号化部709で構成される。ここで、エントロピー復号化部709以外の各部分が備える機能は、図4におけるものと同じもので実現できるため、同じ番号で示してある。
エントロピー復号化部709は、エクストラクト部109より出力されるビットストリームのうち、パラメータに相当するものを入力として受け付け、復号する機能を有する。また、復号したパラメータを振幅制限・定数倍処理部405へ出力する機能を有する。
エンハンスメントレイヤデコード部702は、エントロピー復号化部710、フレームメモリ2・412、動き補償部414、イントラ予測部415、予測信号選択部416、逆量子化・逆直交変換部420、信号合成部420及びデブロッキングフィルタ部422で構成される。ここで、エントロピー復号化部710以外の各部分が備える機能は、図4におけるものと同じもので実現できるため、同じ番号で示してある。
エントロピー復号化部710は、エクストラクト部109より出力されるビットストリームのうち、エンハンスメントレイヤに相当するものを入力として受け付け、復号する機能を有する。また、復号した信号を逆量子化・逆直交変換部420へ、復号した動き情報を動き補償部414へ出力する機能を有する。
図7に示したエンハンスメントレイヤデコード部702の構成例を用いてオリジナルの映像信号の解像度の信号(エンハンスメントレイヤ)を復号化する手順を図8に示す。
エクストラクト部109より得られるエンハンスメントレイヤに相当するビットストリームをエントロピー復号化部710で復号化する[ステップS801]。復号化した信号を逆量子化・逆直交変換部420で逆量子化及び逆直交変換して予測誤差信号を復元する[ステップS802]。注目するブロックが、イントラ予測、動き補償予測及び高解像度推定信号による予測のいずれが選択されていたか、または合成されていたかを解読し、それに対応する処理をおこなう[ステップS803]。イントラ予測が選択されていた場合、イントラ予測部415を用いてイントラ予測をおこなう[ステップS804]。一方、動き補償予測が選択されていた場合には、動き補償部414を用いて動き補償をおこなう[ステップS805]。また、高解像度推定信号による予測が選択されていた場合には、高解像度推定信号復元部701を用いて高解像度推定信号を復元する[ステップS806]。詳細の手順については後述する。それぞれの信号が合成されていた場合には、ステップS804、ステップS805及びステップS806をすべて実行し、重みをつけて合成する。
エクストラクト部109より得られるエンハンスメントレイヤに相当するビットストリームをエントロピー復号化部710で復号化する[ステップS801]。復号化した信号を逆量子化・逆直交変換部420で逆量子化及び逆直交変換して予測誤差信号を復元する[ステップS802]。注目するブロックが、イントラ予測、動き補償予測及び高解像度推定信号による予測のいずれが選択されていたか、または合成されていたかを解読し、それに対応する処理をおこなう[ステップS803]。イントラ予測が選択されていた場合、イントラ予測部415を用いてイントラ予測をおこなう[ステップS804]。一方、動き補償予測が選択されていた場合には、動き補償部414を用いて動き補償をおこなう[ステップS805]。また、高解像度推定信号による予測が選択されていた場合には、高解像度推定信号復元部701を用いて高解像度推定信号を復元する[ステップS806]。詳細の手順については後述する。それぞれの信号が合成されていた場合には、ステップS804、ステップS805及びステップS806をすべて実行し、重みをつけて合成する。
ステップS804、ステップS805及びステップS806のいずれか、またはそれらの合成によって得られた信号と予測誤差信号を信号合成部421で合成する[ステップS807]。合成した信号をデブロッキングフィルタ部422でデブロッキングフィルタ処理する[ステップS808]。デブロッキングフィルタ処理した信号は復号映像信号としてディスプレイ等へ出力される。復号化対象ビットストリームが残されている場合、復号映像信号を参照フレームとしてフレームメモリ2・412に蓄積する[ステップS810]。そして、ステップS801からステップS810の処理を繰り返す[ステップS809]。
図7に示した高解像度推定信号復元部701の構成例を用いて高解像度推定信号を復元する手順を図9に示す。
エクストラクト部109より得られるパラメータに相当するビットストリームをエントロピー復号化部709で復号化し、振幅制限・定数倍処理部405へ送る[ステップS901]。
エクストラクト部109より得られるパラメータに相当するビットストリームをエントロピー復号化部709で復号化し、振幅制限・定数倍処理部405へ送る[ステップS901]。
ベースレイヤのデコード信号を第2のインターポレーション部407においてエンハンスメントレイヤの解像度にインターポレーションする[ステップS902]。
第1のハイパスフィルタリング部403を用いてベースレイヤのデコード信号から高周波数成分信号を抽出する[ステップS903]。抽出した高周波数成分信号を第1のインターポレーション部404においてエンハンスメントレイヤの解像度にインターポレーションする[ステップS904]。インターポレーションした信号を振幅制限・定数倍処理部405を用いて振幅制限・定数倍処理をおこなう[ステップS905]。振幅制限定数倍処理をした信号に対して第2のハイパスフィルタリング部406においてハイパスフィルタリング処理をおこない、推定された高周波数成分信号を得る[ステップS906]。
第1のハイパスフィルタリング部403を用いてベースレイヤのデコード信号から高周波数成分信号を抽出する[ステップS903]。抽出した高周波数成分信号を第1のインターポレーション部404においてエンハンスメントレイヤの解像度にインターポレーションする[ステップS904]。インターポレーションした信号を振幅制限・定数倍処理部405を用いて振幅制限・定数倍処理をおこなう[ステップS905]。振幅制限定数倍処理をした信号に対して第2のハイパスフィルタリング部406においてハイパスフィルタリング処理をおこない、推定された高周波数成分信号を得る[ステップS906]。
入力信号をインターポレーションした信号と推定された高周波数成分信号を信号合成部408を用いて足し合わせて、高解像度推定信号を得る[ステップS907]。
図10に、本発明の実施例を適用した符号化機能および復号化機能を備えた情報処理装置1001の一例のブロック図を示す。情報処理装置1001は、外部記憶装置1002、一時記憶装置1003、通信装置1004、入力装置1005、中央処理制御装置1006および出力装置1007で構成されており、コンピュータである中央処理制御装置1006により、上述の実施例１の符号化および復号化装置の機能をプログラムにより実現させるものである。ここで、上記のプログラムは記録媒体から読み取られて中央処理制御装置1006に取り込まれても良いし、ネットワークを介して通信装置1004により受信されて中央処理制御装置1006に取り込まれても良い。
図10に、本発明の実施例を適用した符号化機能および復号化機能を備えた情報処理装置1001の一例のブロック図を示す。情報処理装置1001は、外部記憶装置1002、一時記憶装置1003、通信装置1004、入力装置1005、中央処理制御装置1006および出力装置1007で構成されており、コンピュータである中央処理制御装置1006により、上述の実施例１の符号化および復号化装置の機能をプログラムにより実現させるものである。ここで、上記のプログラムは記録媒体から読み取られて中央処理制御装置1006に取り込まれても良いし、ネットワークを介して通信装置1004により受信されて中央処理制御装置1006に取り込まれても良い。
中央処理制御装置1006は、上記プログラムにより、図10の中央処理制御装置内に示すそれぞれの手段をハードウェアまたはソフトウェア処理にて実現する。
［実施例２］
本発明の実施例２を適用した空間解像度スケーラビリティを実現する階層符号化・復号化装置について説明する。この実施例２適用した装置は、上述の実施例１を適用した高解像度推定信号生成部106(図4)および高解像度推定信号復元部701(図7)を一部変更したものである。実施例1におけるインターポレーションと高周波数成分抽出の処理の順序を変えることで、実施例1と同様の効果を得るとともに、さらにメモリ等の資源および処理量の幾分かの削減を実現する。
［実施例２］
本発明の実施例２を適用した空間解像度スケーラビリティを実現する階層符号化・復号化装置について説明する。この実施例２適用した装置は、上述の実施例１を適用した高解像度推定信号生成部106(図4)および高解像度推定信号復元部701(図7)を一部変更したものである。実施例1におけるインターポレーションと高周波数成分抽出の処理の順序を変えることで、実施例1と同様の効果を得るとともに、さらにメモリ等の資源および処理量の幾分かの削減を実現する。
実施例1では、最初にベースレイヤ(ローカル)デコード信号に対して高周波数成分の抽出をおこない、抽出した高周波数成分と、ベースレイヤ(ローカル)デコード信号それぞれにインターポレーションを実施していた。これに対して実施例2では、最初にベースレイヤ(ローカル)デコード信号に対してインターポレーションをおこない、インターポレーションした信号の高周波数成分の抽出をおこなうことで、処理量やメモリ等の資源の幾分かの削減を実現する。なお、インターポレーションおよび高周波数成分の抽出をそれぞれ線形とすることで、それらの順序を変えても結果は同じとなる。ただし、実施例2では、インターポレーションした後に高周波数成分抽出をおこなう、すなわち、サンプリング周波数が変化した信号に対してのフィルタ処理をおこなうことになるため、ここで用いるフィルタは、それに対応したものを用いることが望ましい。以下に実施例2の詳細を示す。
図16に、実施例２適用の高解像度推定信号生成部1601を示す。高解像度推定信号生成部1601は、第1のインターポレーション部1602、第1のハイパスフィルタリング部1603、振幅制限・定数倍処理部405、第2のハイパスフィルタリング部406、信号合成部408、推定度判断部409及びエントロピー符号化部410で構成される。ここで、第1のインターポレーション部1602及び第1のハイパスフィルタリング部1603以外の各部分が備える機能は、図4におけるものと同じもので実現できるため、同じ番号で示してある。
第1のインターポレーション部1602は、ベースレイヤの(ローカル)デコード信号を入力として受け付け、その信号をエンハンスメントレイヤに入力されるオリジナルの映像信号の解像度となるように、インターポレーションをおこなう機能を有する。インターポレーションは、前述の式(8)で実現可能である。ここでも、インターポレーションの方法(用いるフィルタ係数や補間関数など)は、式(8)以外のものを用いても良い。また、第1のインターポレーション部1602は、インターポレーションした信号を第1のハイパスフィルタリング部1603及び信号合成部408へ出力する機能を有する。
第1のハイパスフィルタリング部1603は、第1のインターポレーション部1602より出力された信号を入力として受け付け、入力信号から高周波数成分を抽出する機能を有する。高周波数成分は前述の式(1)、(2)によって求める。ここで、実施例2の第1のハイパスフィルタリング部1603に入力される信号は、インターポレーションによってサンプリング周波数(解像度)が高くなっているため、式(2)の帯域をそれに応じたものに設定することが望ましい。例えば、拡大率が2倍の場合には、式(2)の帯域を実施例1の場合の半分に設定する。また、式(1)、(2)をそれ以外の方法に置き換えても良い。ただし、ここで用いるフィルタや補間関数等と、空間デシメーション部104、第1のインターポレーション部1602、第2のハイパスフィルタリング部406及び第2のインターポレーション部407に用いるフィルタや補間関数等の関係は、ピラミッド構成を満たすものとなっていることが望ましい。また、第1のハイパスフィルタリング部1603は、ここで得た高周波数成分を振幅制限・定数倍処理部405へ出力する機能を有する。
図16に示した高解像度推定信号生成部1601の構成例を用いて高解像度推定信号を生成する手順を図17に示す。ここで、ステップS504からステップS509の各ステップは図5(実施例1)と同じである為、同じ番号で示してある。
まず、第1のインターポレーション部1602を用いて入力信号をインターポレーションする[ステップS1701]。そして、インターポレーションの結果得られた信号を、インターポレーションした信号を第1のハイパスフィルタリング部1603及び信号合成部408へ送る。
次に、第1のハイパスフィルタリング部1603を用いてインターポレーションした信号から高周波数成分信号を抽出する[ステップS1702]。抽出した高周波数成分信号に対して振幅制限・定数倍処理部405を用いて振幅制限及び定数倍処理をおこなう[ステップS504]。それ以降は、実施例1の[ステップS505〜S509]と同様の手順で高解像度推定信号を生成する。
図18に、実施例２適用の高解像度推定信号復元部1801を示す。高解像度推定信号復元部1801は、第1のインターポレーション部1602、第1のハイパスフィルタリング部1603、振幅制限・定数倍処理部405、第2のハイパスフィルタリング部406、信号合成部408及びエントロピー復号化部709で構成される。ここで、これらの各部分が備える機能は、図4、図7及び図16におけるものと同じもので実現できるため、同じ番号で示してある。
図18に示した高解像度推定信号復元部1801の構成例を用いて高解像度推定信号を復元する手順を図19に示す。ここで、ステップS901及びステップS905からステップS907の各ステップは図9(実施例1)と同じである為、同じ番号で示してある。
エクストラクト部109より得られるパラメータに相当するビットストリームをエントロピー復号化部709で復号化し、振幅制限・定数倍処理部405へ送る[ステップS901]。
ベースレイヤデコード信号を第1のインターポレーション部407においてエンハンスメントレイヤの解像度にインターポレーションする[ステップS1901]。
ベースレイヤデコード信号を第1のインターポレーション部407においてエンハンスメントレイヤの解像度にインターポレーションする[ステップS1901]。
第1のハイパスフィルタリング部403を用いてベースレイヤデコード信号をインターポレーションした信号から高周波数成分信号を抽出する[ステップS1902]。抽出した高周波数成分信号を振幅制限・定数倍処理部405を用いて振幅制限・定数倍処理をおこなう[ステップS905]。振幅制限定数倍処理をした信号に対して第2のハイパスフィルタリング部406においてハイパスフィルタリング処理をおこない、推定された高周波数成分信号を得る[ステップS906]。
ベースレイヤデコード信号をインターポレーションした信号と推定された高周波数成分信号を信号合成部408を用いて足し合わせて、高解像度推定信号を得る[ステップS907]。
101 符号化部
102 通信回線またはメディア
103 復号化部
104 空間デシメーション部
105 ベースレイヤエンコード部
106 高解像度推定信号生成部
107 エンハンスメントレイヤエンコード部
108 多重化部
109 エクストラクト部
110 ベースレイヤデコード部
111 高解像度推定信号復元部
112 エンハンスメントレイヤデコード部
403 第1のハイパスフィルタリング部
404 第1のインターポレーション部
405 振幅制限・定数倍処理部
406 第2のハイパスフィルタリング部
407 第2のインターポレーション部
408 信号合成部
409 推定度判断部
410 エントロピー符号化部
411 フレームメモリ1
412 フレームメモリ2
413 動き推定部
414 動き補償部
415 イントラ予測部
416 予測信号選択部
417 予測誤差信号生成部
418 直交変換・量子化部
419 エントロピー符号化部
420 逆量子化・逆直交変換部
421 信号合成部
422 デブロッキングフィルタ部
701 高解像度推定信号復元部
702 エンハンスメントレイヤデコード部
709 エントロピー復号化部
710 エントロピー復号化部
1001 情報処理装置
1002 外部記憶装置
1003 一時記憶装置
1004 通信装置
1005 入力装置
1006 中央処理制御装置
1007 出力装置
1101 符号化部
1102 通信回線またはメディア
1103 復号化部
1104 空間デシメーション部
1105 ベースレイヤエンコード部
1106 空間インターポレーション部
1107 エンハンスメントレイヤエンコード部
1108 多重化部
1109 エクストラクト部
1110 ベースレイヤデコード部
1111 空間インターポレーション部
1112 エンハンスメントレイヤデコード部
1401 高周波数成分推定を伴う画像拡大部
1402 第1のハイパスフィルタリング部
1403 第1のインターポレーション部
1404 振幅処理・定数倍処理部
1405 第2のハイパスフィルタリング部
1406 第2のインターポレーション部
1407 信号合成部
1601 高解像度推定信号生成部
1602 第1のインターポレーション部
1603 第1のハイパスフィルタリング部
1801 高解像度推定信号復元部
102 通信回線またはメディア
103 復号化部
104 空間デシメーション部
105 ベースレイヤエンコード部
106 高解像度推定信号生成部
107 エンハンスメントレイヤエンコード部
108 多重化部
109 エクストラクト部
110 ベースレイヤデコード部
111 高解像度推定信号復元部
112 エンハンスメントレイヤデコード部
403 第1のハイパスフィルタリング部
404 第1のインターポレーション部
405 振幅制限・定数倍処理部
406 第2のハイパスフィルタリング部
407 第2のインターポレーション部
408 信号合成部
409 推定度判断部
410 エントロピー符号化部
411 フレームメモリ1
412 フレームメモリ2
413 動き推定部
414 動き補償部
415 イントラ予測部
416 予測信号選択部
417 予測誤差信号生成部
418 直交変換・量子化部
419 エントロピー符号化部
420 逆量子化・逆直交変換部
421 信号合成部
422 デブロッキングフィルタ部
701 高解像度推定信号復元部
702 エンハンスメントレイヤデコード部
709 エントロピー復号化部
710 エントロピー復号化部
1001 情報処理装置
1002 外部記憶装置
1003 一時記憶装置
1004 通信装置
1005 入力装置
1006 中央処理制御装置
1007 出力装置
1101 符号化部
1102 通信回線またはメディア
1103 復号化部
1104 空間デシメーション部
1105 ベースレイヤエンコード部
1106 空間インターポレーション部
1107 エンハンスメントレイヤエンコード部
1108 多重化部
1109 エクストラクト部
1110 ベースレイヤデコード部
1111 空間インターポレーション部
1112 エンハンスメントレイヤデコード部
1401 高周波数成分推定を伴う画像拡大部
1402 第1のハイパスフィルタリング部
1403 第1のインターポレーション部
1404 振幅処理・定数倍処理部
1405 第2のハイパスフィルタリング部
1406 第2のインターポレーション部
1407 信号合成部
1601 高解像度推定信号生成部
1602 第1のインターポレーション部
1603 第1のハイパスフィルタリング部
1801 高解像度推定信号復元部
Claims (3)
- 元となる映像信号を解像度の異なる階層に分解して得た前記元となる映像信号よりも解像度の低い第１の映像信号を符号化した第１の符号化データと、
前記第１の映像信号の符号化過程で得られた第１の局部復号信号から抽出された第１の高周波数成分信号に、前記元となる映像信号の解像度となるように拡大処理を行った後、振幅制限及び定数倍処理して得た第２の高周波数成分信号と、前記第１の局部復号信号を前記元となる映像信号の解像度となるように拡大処理して得られた第２の局部復号信号とを加算して、高解像度化拡大映像信号である第２の映像信号を生成する高解像度化処理を行う際に、生成される前記第２の映像信号と前記元となる映像信号とを比較して、比較結果が所定の条件を満たすまで、前記振幅制限及び前記定数倍処理のためのパラメータを変更しながら、前記第２の映像信号の生成及び比較を繰り返し行うことで、前記所定の条件を満たす前記第２の映像信号とその第２の映像信号を生成するための前記パラメータとを最終的に得、その最終的に得られた第２の映像信号を前記第１の映像信号から生成された予測信号とし、前記元となる映像信号の解像度における、空間方向予測の結果である空間方向予測信号と、時間方向予測の結果である時間方向予測信号と、前記第１の映像信号から生成された予測信号との３つの予測信号に対して、選択、またはそれぞれの予測信号に所定の重み付けを行った後に合成することで、前記元となる映像信号の解像度における空間解像度間予測の予測信号を生成し、前記元となる映像信号から前記空間解像度間予測の予測信号を減算後符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データと、
前記最終的に得られた前記振幅制限及び前記定数倍処理のためのパラメータを符号化した第３の符号化データと
の３つの符号化データが多重化された多重化データを、前記第１〜第３の各符号化データに分離する分離手段と、
分離された前記第１の符号化データを復号化し、解像度の低い第１の復号信号を得る第１の復号化手段と、
分離された前記第３の符号化データを復号化して前記高解像度化処理における前記振幅制限及び前記定数倍処理のためのパラメータを復元し、前記第１の復号信号から抽出された第３の高周波数成分信号に、前記元となる映像信号の解像度となるように拡大処理を行った後、復元した前記パラメータにより振幅制限及び定数倍処理して得た第４の高周波数成分信号と、前記第１の復号信号を前記元となる映像信号の解像度となるように拡大処理して得られる第２の復号信号とを加算して、高解像度化拡大映像信号である第２の映像信号を復元する復元手段と、
分離された前記第２の符号化データを復号化して復号残差信号を得、復元された前記第２の映像信号を予測信号に用いて空間解像度間予測により予測信号を復元し、その復元した予測信号と前記復号残差信号とを加算することで、前記元となる映像信号の解像度である前記元となる映像信号の復号信号を得る第２の復号化手段と、
を備えることを特徴とする映像信号階層復号化装置。 - 元となる映像信号を解像度の異なる階層に分解して得た前記元となる映像信号よりも解像度の低い第１の映像信号を符号化した第１の符号化データと、
前記第１の映像信号の符号化過程で得られた第１の局部復号信号から抽出された第１の高周波数成分信号に、前記元となる映像信号の解像度となるように拡大処理を行った後、振幅制限及び定数倍処理して得た第２の高周波数成分信号と、前記第１の局部復号信号を前記元となる映像信号の解像度となるように拡大処理して得られた第２の局部復号信号とを加算して、高解像度化拡大映像信号である第２の映像信号を生成する高解像度化処理を行う際に、生成される前記第２の映像信号と前記元となる映像信号とを比較して、比較結果が所定の条件を満たすまで、前記振幅制限及び前記定数倍処理のためのパラメータを変更しながら、前記第２の映像信号の生成及び比較を繰り返し行うことで、前記所定の条件を満たす前記第２の映像信号とその第２の映像信号を生成するための前記パラメータとを最終的に得、その最終的に得られた第２の映像信号を前記第１の映像信号から生成された予測信号とし、前記元となる映像信号の解像度における、空間方向予測の結果である空間方向予測信号と、時間方向予測の結果である時間方向予測信号と、前記第１の映像信号から生成された予測信号との３つの予測信号に対して、選択、またはそれぞれの予測信号に所定の重み付けを行った後に合成することで、前記元となる映像信号の解像度における空間解像度間予測の予測信号を生成し、前記元となる映像信号から前記空間解像度間予測の予測信号を減算後符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データと、
前記最終的に得られた前記振幅制限及び前記定数倍処理のためのパラメータを符号化した第３の符号化データと
の３つの符号化データが多重化された多重化データを、前記第１〜第３の各符号化データに分離する分離ステップと、
分離された前記第１の符号化データを復号化し、解像度の低い第１の復号信号を得る第１の復号化ステップと、
分離された前記第３の符号化データを復号化して前記高解像度化処理における前記振幅制限及び前記定数倍処理のためのパラメータを復元し、前記第１の復号信号から抽出された第３の高周波数成分信号に、前記元となる映像信号の解像度となるように拡大処理を行った後、復元した前記パラメータにより振幅制限及び定数倍処理して得た第４の高周波数成分信号と、前記第１の復号信号を前記元となる映像信号の解像度となるように拡大処理して得られる第２の復号信号とを加算して、高解像度化拡大映像信号である第２の映像信号を復元する復元ステップと、
分離された前記第２の符号化データを復号化して復号残差信号を得、復元された前記第２の映像信号を予測信号に用いて空間解像度間予測により予測信号を復元し、その復元した予測信号と前記復号残差信号とを加算することで、前記元となる映像信号の解像度である前記元となる映像信号の復号信号を得る第２の復号化ステップと、
を備えることを特徴とする映像信号階層復号化方法。 - 元となる映像信号を解像度の異なる階層に分解して得た前記元となる映像信号よりも解像度の低い第１の映像信号を符号化した第１の符号化データと、
前記第１の映像信号の符号化過程で得られた第１の局部復号信号から抽出された第１の高周波数成分信号に、前記元となる映像信号の解像度となるように拡大処理を行った後、振幅制限及び定数倍処理して得た第２の高周波数成分信号と、前記第１の局部復号信号を前記元となる映像信号の解像度となるように拡大処理して得られた第２の局部復号信号とを加算して、高解像度化拡大映像信号である第２の映像信号を生成する高解像度化処理を行う際に、生成される前記第２の映像信号と前記元となる映像信号とを比較して、比較結果が所定の条件を満たすまで、前記振幅制限及び前記定数倍処理のためのパラメータを変更しながら、前記第２の映像信号の生成及び比較を繰り返し行うことで、前記所定の条件を満たす前記第２の映像信号とその第２の映像信号を生成するための前記パラメータとを最終的に得、その最終的に得られた第２の映像信号を前記第１の映像信号から生成された予測信号とし、前記元となる映像信号の解像度における、空間方向予測の結果である空間方向予測信号と、時間方向予測の結果である時間方向予測信号と、前記第１の映像信号から生成された予測信号との３つの予測信号に対して、選択、またはそれぞれの予測信号に所定の重み付けを行った後に合成することで、前記元となる映像信号の解像度における空間解像度間予測の予測信号を生成し、前記元となる映像信号から前記空間解像度間予測の予測信号を減算後符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データと、
前記最終的に得られた前記振幅制限及び前記定数倍処理のためのパラメータを符号化した第３の符号化データと
の３つの符号化データが多重化された多重化データを、前記第１〜第３の各符号化データに分離する分離手段と、
分離された前記第１の符号化データを復号化し、解像度の低い第１の復号信号を得る第１の復号化手段と、
分離された前記第３の符号化データを復号化して前記高解像度化処理における前記振幅制限及び前記定数倍処理のためのパラメータを復元し、前記第１の復号信号から抽出された第３の高周波数成分信号に、前記元となる映像信号の解像度となるように拡大処理を行った後、復元した前記パラメータにより振幅制限及び定数倍処理して得た第４の高周波数成分信号と、前記第１の復号信号を前記元となる映像信号の解像度となるように拡大処理して得られる第２の復号信号とを加算して、高解像度化拡大映像信号である第２の映像信号を復元する復元手段と、
分離された前記第２の符号化データを復号化して復号残差信号を得、復元された前記第２の映像信号を予測信号に用いて空間解像度間予測により予測信号を復元し、その復元した予測信号と前記復号残差信号とを加算することで、前記元となる映像信号の解像度である前記元となる映像信号の復号信号を得る第２の復号化手段と、
してコンピュータを機能させるための映像信号階層復号化プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005369544A JP4565392B2 (ja) | 2005-12-22 | 2005-12-22 | 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム |
| US11/613,978 US8149914B2 (en) | 2005-12-22 | 2006-12-20 | Video-signal layered coding and decoding methods, apparatuses, and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005369544A JP4565392B2 (ja) | 2005-12-22 | 2005-12-22 | 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007174283A JP2007174283A (ja) | 2007-07-05 |
| JP4565392B2 true JP4565392B2 (ja) | 2010-10-20 |
Family
ID=38193689
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005369544A Expired - Fee Related JP4565392B2 (ja) | 2005-12-22 | 2005-12-22 | 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8149914B2 (ja) |
| JP (1) | JP4565392B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2440004A (en) * | 2006-07-10 | 2008-01-16 | Mitsubishi Electric Inf Tech | Fine granularity scalability encoding using a prediction signal formed using a weighted combination of the base layer and difference data |
| EP2452501B1 (en) * | 2009-07-10 | 2020-09-02 | Samsung Electronics Co., Ltd. | Spatial prediction method and apparatus in layered video coding |
| DE102010010736A1 (de) * | 2010-03-09 | 2011-09-15 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Verfahren zur Kompression von Bilddaten |
| KR20130011994A (ko) * | 2011-07-22 | 2013-01-30 | 삼성전자주식회사 | 송신 장치, 수신 장치 및 그 송수신 방법 |
| JP5474887B2 (ja) | 2011-08-01 | 2014-04-16 | 株式会社ソニー・コンピュータエンタテインメント | 動画データ生成装置、動画像表示装置、動画データ生成方法、動画像表示方法、および動画像ファイルのデータ構造 |
| EP2603000B1 (en) | 2011-12-08 | 2017-11-01 | Dolby Laboratories Licensing Corporation | Guided prediction-filtering in layered vdr image coding |
| JP5900024B2 (ja) * | 2012-03-02 | 2016-04-06 | 沖電気工業株式会社 | 動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システム |
| KR101835360B1 (ko) | 2012-10-01 | 2018-03-08 | 지이 비디오 컴프레션, 엘엘씨 | 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩 |
| JP2014225718A (ja) * | 2013-05-15 | 2014-12-04 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| KR102085270B1 (ko) * | 2013-08-12 | 2020-03-05 | 삼성전자 주식회사 | 가장 작은 왜곡 값을 갖는 해상도를 선택하는 이미지 처리 방법과 상기 방법을 수행하는 장치들 |
| KR102624027B1 (ko) | 2019-10-17 | 2024-01-11 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06205397A (ja) * | 1992-12-28 | 1994-07-22 | Toshiba Corp | 動画像符号化装置 |
| JP2005507586A (ja) * | 2001-10-26 | 2005-03-17 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 空間的鮮明度拡張技術を用いた空間拡張可能圧縮の機構 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2127151A1 (en) | 1993-09-21 | 1995-03-22 | Atul Puri | Spatially scalable video encoding and decoding |
| DE69535800D1 (de) * | 1994-06-08 | 2008-09-11 | Matsushita Electric Ind Co Ltd | Bildumsetzungsvorrichtung |
| WO2005055605A1 (en) * | 2003-12-03 | 2005-06-16 | Koninklijke Philips Electronics N.V. | System and method for improved scalability support in mpeg-2 systems |
| CN1939067B (zh) * | 2004-04-02 | 2011-07-20 | 汤姆森许可贸易公司 | 用于复杂度可伸缩视频编码器的方法和设备 |
-
2005
- 2005-12-22 JP JP2005369544A patent/JP4565392B2/ja not_active Expired - Fee Related
-
2006
- 2006-12-20 US US11/613,978 patent/US8149914B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06205397A (ja) * | 1992-12-28 | 1994-07-22 | Toshiba Corp | 動画像符号化装置 |
| JP2005507586A (ja) * | 2001-10-26 | 2005-03-17 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 空間的鮮明度拡張技術を用いた空間拡張可能圧縮の機構 |
Also Published As
| Publication number | Publication date |
|---|---|
| US8149914B2 (en) | 2012-04-03 |
| US20070147494A1 (en) | 2007-06-28 |
| JP2007174283A (ja) | 2007-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2479939C2 (ru) | Способ кодирования и декодирования видеосигнала с использованием взвешенного предсказания и устройство для его осуществления | |
| KR100664929B1 (ko) | 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치 | |
| JP5369893B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム | |
| US7864219B2 (en) | Video-signal layered coding and decoding methods, apparatuses, and programs with spatial-resolution enhancement | |
| JP2007174634A (ja) | 階層符号化装置、階層復号化装置、階層符号化方法、階層復号方法、階層符号化プログラム及び階層復号プログラム | |
| US8149914B2 (en) | Video-signal layered coding and decoding methods, apparatuses, and programs | |
| US20060120448A1 (en) | Method and apparatus for encoding/decoding multi-layer video using DCT upsampling | |
| KR20190088042A (ko) | 복수의 보간 필터링 방법 및 이를 적용한 부호화 장치 | |
| JP4844455B2 (ja) | 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム | |
| JP4870120B2 (ja) | 動画像階層符号化装置、動画像階層符号化方法、動画像階層符号化プログラム、動画像階層復号化装置、動画像階層復号化方法、および動画像階層復号化プログラム | |
| JP4844456B2 (ja) | 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム | |
| KR102345770B1 (ko) | 비디오 부호화 및 복호화 방법, 그를 이용한 장치 | |
| JP4565393B2 (ja) | 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム | |
| JP4404157B2 (ja) | 動画像符号化装置および動画像符号化方法 | |
| JP4251291B2 (ja) | 動画像符号化装置、動画像符号化方法 | |
| JP2008136037A (ja) | 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム | |
| JP4835855B2 (ja) | 動画像符号化の装置、方法及びプログラムと、動画像復号の装置方法及びプログラム | |
| JP4780139B2 (ja) | 映像階層符号化装置、映像階層符号化方法、映像階層符号化プログラム、映像階層復号装置、映像階層復号方法、および映像階層復号プログラム | |
| JP2008136038A (ja) | 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム | |
| JP2008011009A (ja) | 映像信号符号化装置、映像信号復号化装置、映像信号符号化プログラム及び映像信号復号化プログラム | |
| JP4870143B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法 | |
| de Oliveira et al. | Bipredictive video super-resolution using key-frames | |
| Liu et al. | Model-based low bit-rate video coding for resource-deficient wireless visual communication | |
| JP4403565B2 (ja) | 動画像復号装置および動画像復号方法 | |
| JP2009267573A (ja) | 動画像階層符号化装置、動画像階層復号化装置、動画像階層符号化方法、動画像階層復号方法、動画像階層符号化プログラム及び階層復号プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071228 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100709 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100722 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4565392 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130813 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130813 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130813 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |