JP2013524659A - ハンドヘルド及びモバイル用途に適した低減された記憶容量及び処理要求を有するブロードキャストビデオレコーダ - Google Patents
ハンドヘルド及びモバイル用途に適した低減された記憶容量及び処理要求を有するブロードキャストビデオレコーダ Download PDFInfo
- Publication number
- JP2013524659A JP2013524659A JP2013503007A JP2013503007A JP2013524659A JP 2013524659 A JP2013524659 A JP 2013524659A JP 2013503007 A JP2013503007 A JP 2013503007A JP 2013503007 A JP2013503007 A JP 2013503007A JP 2013524659 A JP2013524659 A JP 2013524659A
- Authority
- JP
- Japan
- Prior art keywords
- block
- value
- video
- boundary strength
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title description 4
- 238000001914 filtration Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 13
- 230000000903 blocking effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 5
- 238000013139 quantization Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims 2
- 238000005549 size reduction Methods 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000000872 buffer Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本願は、ブロック−ベースのビデオデコーディングシステムに用いられるための動的画像を有するプログラム可能なビデオサイズの縮小のための装置に関する。本発明は、少ない必要ビデオ記憶容量での画像の質を向上させ、低い解像度の表示装置に表示される高い解像度のビデオを効果的にデコード可能になる。
【選択図】図1
【選択図】図1
Description
本願は、ビデオデコーディングについてのものであり、それのみではないが、ブロックベースビデオデコーディングシステムで用いるための動的画像フィルタリングを有するプログラムで制御可能なビデオサイズの低減のための装置に関するものである。本願で概説される装置は、また、画質を向上させ、任意のビデオサイズを低減するときのブロッキングアーティファクト(blocking artefacts)を低減することを可能にする。本発明が組み込まれるビデオデコーディングシステムは、高解像度ビデオを効果的にデコードでき、低電力、少ないメモリ及び低い処理要求である一方で、低い解像度の表示装置に高画質の画像を出力できる。
モバイルTVの採用は、一般的に、モバイルTV受信をサポートするためのビジネスモデル及び新たなインフラストラクチャーを構築する費用により妨げられている。DVB−Hのような新たなモバイルTV標準を採用した結果、予測よりも普及が遅く、日本のISDB−T 1−seg及び韓国のT−DMB標準のみが商業的成功のレベルで楽しまれている。
その一方で、地上波デジタルTV DVB−Tの採用は、欧州での法律の制定及び放送スペクトルの再割り当てによって急速に駆り立てられている。本発明は、家庭でのTV受信に主に対象とされる既存のフリー・トゥ・エア(free−to−air)地上波デジタルTV放送信号を、携帯電話及び他のハンドヘルド装置で受信及び表示可能にすることにより、地上波デジタルTV放送のインフラストラクチャーを活用することを試みている。
このような信号の受信による主な欠点は、家庭のディスプレイの解像度が携帯機器に表示できるものよりも高いことである。よって、このような放送の処理及び表示は、放送信号が、より低い解像度で対象となるディスプレイに表示できるように、現在の家庭の通常のTV受信機よりも潜在的に1/4又はそれ以下の解像度に放送信号を適応させることを含む。
携帯電話のような携帯機器のためのブロックベースビデオデコーダーのデザインにおける一つの既知の制限は、高い入力解像度をサポートし、同時に低い解像度出力に高画質ビデオデコーディングを提供することである。典型的なデザインが、デコードされた基準フレームが外部メモリ(通常SDRAM)に高解像度で保存されたと仮定する場合、不可避な頻繁なメモリアクセスは、また、モバイルデコーダーには不適切な高い電力消費をもたらす。
再構築の後に基準フレームを圧縮し、その後の使用のためにそれらをバッファに記憶することは可能である。効率的に動作するために、このようなビデオコーディングシステムは、効率的かつ低い複雑性コストのフレームコンプレッサー及びデコンプレッサーを必要とする。しかしながら、高い圧縮率を実現することを対象にしたランダムデータアクセスによる画像圧縮システムを開発する場合には、不可逆圧縮(lossy compression)法を採用する必要がある。これは、デコードされたフレームが互いに正確な一時依存性を有する場合、ビデオコーディングシステムに対して常に可能とはならない。現在の基準フレーム圧縮システムは、高解像度入力を受けて低解像度出力する要求に応じるための特別な条件を含んでいない。
ここで、最も有効アプローチは、デコード処理中にできるだけ早くビデオをダウンサンプルすることである。よって、このようなビデオデコーディングシステムのモーション補償ブロックは、高い入力解像度ではなく低い対象出力解像度でフレームを扱う必要がある。この解像度は、高解像度出力ではなく、対象となる低解像度出力から導かれる必要メモリを有する利点がある。また、高解像度ビデオは、低解像度ディスプレイには余分である多くのディティールを含む。
ダウンサンプリングがデコーディング処理で行われることに依存する二つのカテゴリに分かれうるMPEG等のデコーダーのために多くのアプローチが提案されてきた。特に、ダウンサンプリングは、米国特許第5,708,732号のような追加的な複雑性の低減を提供する、未だ圧縮されたドメイン(すなわち、IDCT)にあるデータに行われうる。しかしながら、これらは、IDCT−ドメイン使用であること及び固定ダウンサンプリング因子を有することの欠点に悩まされている、つまり、明確に設計された、例えば、MPEG−2 8×8 IDCTは、よって、他のビデオデコーダーにより使用されない、又は任意のダウンサンプリング因子のためにプログラムされない。
第2のカテゴリは、モーション補償処理の前、つまり、変更されないIDCTを通過した後の実際のダウンサンプリングを想定する。その場合、低い演算複雑性から高い演算複雑性までの範囲で取得可能なダウンサンプリングアルゴリズムの広い選択肢が存在するが、これらのいずれかを採用することは、ダウンサンプリング法の性質による可視のビデオデコーディングアーティファクト(artefacts)の出現を招く。
提案される発明は、‘オン・ザ・フライ’ポスト−IDCTダウンサンプリング(‘On the fly’ post−IDCT downsampling)を採用し、かつ出力ビデオの知覚される質を向上するためのフィルタを使用することにより、基準フレームメモリの課題の両方を解決する二つの利点を有する。デコードされたビデオの高い質は、出力ビデオの質を非常に向上させる方法により生成されるブロッキングアーティファクト(blocking artefacts)を補償する高速かつ効果的な動的画像フィルタリング技術を採用することにより実現される。また、読み出される必要のあるデータが少なくなるため、メモリアクセス頻度が低減される。本発明は、また、例えば、環境及びバッテリ寿命を含む理由のために低消費電力の利点を有する。ダウンサンプリング因子がプログラムマブルであるため、本発明は、低い電力のモバイルブロードキャストビデオデコーディング、HDTVのための‘ピクチャー・イン・ピクチャー’シナリオ等の広い応用分野を有する。
したがって、本願は、独立請求項に記載される装置及び方法を提供すると共に、有利な特徴及び従属請求項に記載される実施形態を提供する。
本発明は、添付の図面を参照しながら説明される。
図1は、動的画像フィルタリングを有するプログラムマブルなビデオサイズの低減のために提案された装置を利用するビデオデコーダーの例示的な実施形態のハイレベルなブロック図である。
図2は、図1のビデオデコーダーの二つのダウンサンプリング因子を実現するために任意のダウンサンプリング比を用いることが可能なプログラマブルダウンサンプリングモジュールを示す。
図3は、図1のフィルタリングのためのプログラマブル動的画像フィルタモジュール及びYUVサンプルのブロック配置を示す。
図4は、図3のフィルタのための境界強度算出条件を示す。
図5は、本発明の例示的なプログラマブル動的画像フィルタリングモジュールにより用いられるフィルタリングアルゴリズムを示すフローチャートである。
図6は、フィルタリングアルゴリズムにより求められる閾値のために用いられる例示的なテーブルセットである。
以下に開示される実施形態は、図示により選択されるが、これに制限されない。実際、開示される実施形態に対して多数のわずかな変更が特定の実際の実装のために適切な場合もある。
図1は、本発明が使用されるモジュール110内の典型的なブロック−ベースビデオデコーダー100を示す。なお、実際のビデオデコーディングシステムでの本発明の使用を示すことのみを目的としているため、ビデオデコーダーは、図1に示されない他のモジュールを含んでもよい。
従来技術のデコーダーのように、デコーダーは、解像度X×Yでの元のビデオから、エンコードされたYUVサンプルを表す入力ストリームINを受け付ける。従来技術とは対照的に、デコーダーは、解像度X/N×Y/Mでの再構成された、デコードされたYUVサンプルを表す出力ビデオOUTを生成する。ここで、因子N及びMによるビデオサイズの縮小は、本発明の提案されたリサンプリング(re−sampling)装置110によるマクロブロック(MB)デコード処理中に行われる。従来技術のように、デコーダー110は、可変長デコーダー(VLD)モジュール101と、逆走査モジュール102と、逆量子化モジュール103と、逆DCTモジュール104と、を含む。これらの機能は、当業者によく知られており、さらなる説明は不要である。従来技術のように、デコーダーは、フレームメモリ105と、モーション補償モジュール106とを含む。これらの機能は、従来技術と同様の手法であり、よって、これらの操作の詳細な説明は不要である。しかしながら、従来技術とは対照的に、これらの機能は、ダウンサンプリングされ、ダウンスケールされたデータを運用する。
本発明は、主として、モーションベクトルリスケーリングモジュール111と、動的画像フィルタ112と、変換値ダウンサンプリングモジュール113と、を含むセクション110を対象とする。モジュール111、112及び113は、プログラマブルダウンサンプリング因子N及びMを考慮に入れる。ここで、示された実施形態が特定の値N及びMのために本発明を説明するという事実は、本発明がこれらの特定のダウンサンプリング因子のみに使用される制限を有することを仮定するものではなく、異なる数値が使用されてもよいことが理解されるであろう。
当業者は、本発明の主な利点が任意のフレームメモリサイズの低減からもたらされることがわかるであろう。例えば、これは、二つのN及びM因子に対して75%でありうる。なぜなら、その場合、本発明がモーション補償モジュール106の大きさを半分に低減したマクロブロックにより動作可能にするためである。
一方、最も一般的に使用されるビデオリサイズ技術は、完全にデコードされた後にのみビデオフレームが特定の因子(通常固定値)によりダウンサンプリングされると考えられる。実際、この従来技術の方法は、高い質を可能にするが、フルサイズフレームメモリバッファの利用によるコストを招くと共に、同様に高い処理要求及び電力消費要求を招く。1080pのHD解像度(すなわち、1920×1088)でMPEG−2ビデオをデコードし、これをVGA(すなわち、640×480)で表示しようとする場合、従来技術の方法は、フレームストレージにRAMの約9.5Mbを要求するが、本発明は、同様の結果をフレームメモリの約1Mbで実現できる。
モーションベクトルリスケーリングモジュール111は、任意のダウンサンプリング因子のためにプログラム化されてもよい。これは、対応する因子N及びMにより元のモーションベクトルMVX及びMVyをダウンスケールする一連のディバイダーからなる。これは、ビデオコーディングに使用されるモーションベクトル値が、本来、整数であるため、リアルディビジョン(real division)に続く整数切り捨てを用いて実現される。
ダウンサンプリングモジュール113によるこのようなリスケーリング方法を使用することは、ブロッキングアーティファクトの出現、つまり、表示される画像に重畳される四角の“モザイク”として視認できる、デコードされたビデオのデータの知覚的に顕著な損失を導く。本発明は、モジュール111及び113を単独では使用せず、モジュール111及び113に加えて、動的画像フィルタリングモジュール112を含む。動的画像フィルタは、ブロッキングアーティファクト(blocking artefacts)を除去するための試みによるモジュール111及び113により生成される損失を補償する。その結果は、上述したポスト−デコード(post−decoded)ビデオリサイズ技術と比べたときでさえも、この著しい画質の向上及び知覚されるデコードされたビデオの質の向上を示している。
VLD101の出力は、限定されないが、特に、逆走査モジュール102へ移るマクロブロックデータであってもよく、又はセクション110のモーションベクトルリスケーリングモジュール111のための出力であるモーションベクトル(MVs)であってもよく、又は動的画像フィルタ112及び変換値ダウンサンプリングモジュール113のために要求される他のマクロブロック情報(例えば、マクロブロックタイプ、マクロブロッククワント等)であってもよい。モジュール102、103及び104を含むマクロブロックデータデコーディングチェーンは、本発明のダウンサンプリングモジュール113のための出力である逆変換値S2を生成する役割を果たす。113を経た後、ダウンサンプリングされた逆変換値S4は、YUVサンプルのフィルタされないビデオ出力予測値S7を形成するためにS6と組み合わせられる。これは、残差合成モジュール107により行われる。予測値S6を生成するために、モーション補償モジュール106は、リスケールされたモーションベクトルS1と共に、フレームメモリ105に記憶される、事前にデコードされたフレームS5を要求する。最後に、フィルタされない出力S7は、本発明の構成部分を形成する動的画像フィルタ112へ移り、フィルタされたYUVサンプルS3は、モーション補償モジュール106によるさらなる使用のためにフレームメモリ105に位置する。S3の値は、また、ビデオ出力OUTを表し、ビデオフレーム全体が完全に再構築されたときに、ディスプレイへ移りうる。
図2は、N及びMが2の場合が示された場合にプログラムされる任意のサイズのダウンサンプリングモジュール113の例を示す。ここで、入力ごとに8×8ブロックS2の逆変換値X0..X63、出力4×4ブロックS4のダウンサンプリング値Y0..Y16が生成される。このようなダウンサンプリングモジュールは、4で割るようにプログラムされた除算モジュール216..231に接続する出力を有する一連の加算器200...215と、シフティングモジュールの結果と“THRU”モードオン/オフスイッチに基づく毎回“初めの(first)”X値との選択を提供するマルチプレクサ232..247とのセットを含む。このため、ダウンサンプラーは、隣接するX値を4で平均すること、又はそれに替えて、“THRU”がセットされた場合には、2×2ブロックごとにコーナーのX値を取ることのいずれかによりYを生成する。他のダウンサンプリング因子のために、モジュール113は、モジュール200のような加算器に接続される入力Xを加算/除算し、モジュール216のような除算器の異なる除算因子を選択することにより再プログラムされうる。
“THRU”モードは、高いフレームレートでのデコーディング又は高い入力解像度を有するときに、追加の計算複雑性低減を実現するために用いられうる。これらのモードを切り替えるオプションは、省略されてもよく、一つ又は他のモードがデコーダーに実装されてもよいことが理解されるであろう。“THRU”モードの場合には、逆DCTモジュール104において、これらの得られた逆変換値がダウンサンプラーにより要求されないときに、ある行のIDCTがスキップされてもよい。
図3は、例示的なプログラムマブルな動的画像フィルタを示す。フィルタされないフレーム300のフィルタされない入力サンプルS7は、(16/N)×(16/M)の輝度ブロック301を、304のような二つの(8/N)×(8/M)の対応する彩度ブロック(U及びV)にするシーケンスにより構成される。ブロックS7の実際のサイズは、プログラマブルであってもよく、固定であってもよい。例えば、N及びMの両方が因子2を有することは、画像フィルタ装置のために8×8の輝度ブロック及び4×4の輝度ブロックの入力のシーケンスをもたらす。フィルタリングアルゴリズムの特性により、S7ブロックに対して許可される最も小さいサイズは、4×4輝度サンプル及び2×2彩度サンプルである。ブロックサイズの式における数16及び8は、与えられたサンプルタイプ(例えば、YUV4:2:0)に対して現在のブロックベースビデオデコーダーにより使用される最大マクロブロックサイズから導かれる。
現在のブロック301ごとに二つの隣接するブロックとの二つの境界:左のブロック303との垂直境界306、及び上のブロック302との水平境界305が存在することを理解しうる。例示的なフィルタリング動作は、現在及び隣接するブロックの境界の各側の二つのサンプルのみが影響を受ける。画像の最も上の列の(すなわち、水平な場合)又は画像の最も左の行(すなわち、垂直の場合)には隣接するブロックが物理的に存在しないため、対応する水平境界又は垂直境界は、フィルタされない。フィルタリングされる量は、輝度(Luma)サンプルのみの対応する境界305及び306に対して個々に演算される境界強度(BS)値BSH及びBSVに依存する。彩度(chroma)フィルタリングの場合、事前に演算されるBS値が再度使用される。
実際の動的画像フィルタ112の装置は、適切な二つの境界強度算出モジュール312,313、二つの境界フィルタリングモジュール314,315、及びメモリ311からなる。メモリ311の目的は、現在のブロックの上及び左の行及びブロックのためのMB情報及びリスケールしたMVS S1を記憶することである。この情報は、BS値を算出するため、及びフィルタパラメータを選択するためにも用いられる。特に、MVSとは別に、これらの情報は、マクロブロックモード並びにマクロブロック量子化値QPp及びQPqである。これらの値は、量子化器スケールから導かれてもよく、ビデオデコーダー100により使用される特定のビデオデコーディング標準に依存してもよい。
図4は、例示的な境界強度算出モジュールを示す。これは、テーブル410に応じて境界強度(BS)値を算出するモジュール401からなる。最も大きなBS値「2」は、最も強いフィルタリングに対応し、両方のブロックがイントラコード化された場合に選択される。中程度のフィルタリングは、これらのブロックのモーションベクトルが異なる又は異なるピクチャーが基準フレームとして用いられる場合に、モーション補償ブロック(P−及びB−タイプ)に対して要求される。この場合は、BS値「1」に対応する。残りの場合には、ブロッキングアーティファクトは、BS値「0」に対応する、モーションの欠如又はブロック間でのイントラコーディングにより生じない。
図5は、例示的なフィルタリングアルゴリズムを示す。このアルゴリズムは、現在のブロック502の境界サンプルq0..2及び隣接するブロック501のサンプルp0..p2のための入力S7で動作する。フローチャート510は、p及びqサンプルの一つのセットのフィルタリングを示す。フィルタリングブロックがプログラムマブルであり、かつN及びM値に依存するため、全ての境界は、16/N及び16/Mの輝度サンプル又は8/N及び8/Mの彩度サンプルからなり、このため、アルゴリズム510は、各境界の画素ごとに繰り返し実行されることを留意すべきである。フィルタリングが二つの境界(垂直及び水平)で同時に行われるため、サンプルフィルタリングの好ましい方向は、505として示される。アルゴリズムのための他の入力は、QPc及びQPq値を含み、事前にモジュール312又は313により計算されるBS値も含む。
フィルタリングアルゴリズムの目的は、境界画素間での差がブロッキングアーティファクト又は自然な画像画素度合いによるものであるかどうかを求めることである。この目的のために、二つの閾値α及びβは、QPcとQPqとの平均であるインデックスに基づいて、統計的に事前に算出されたテーブル600から選択される。実際のフィルタ強度は、インデックス及びBSに基づいて、テーブル601から選択されるc0により求められる。BSが1の場合に対するサンプルp0及びq0がフィルタされるが、BSが2の場合に対するサンプルは、p1及びq1を含む。彩度入力ブロックは、BSが1の場合と同様である。フィルタされたサンプルn_p, n_qは、アルゴリズムの出力S3を形成するために、式511(1)及び(2)に示すように、適切な範囲に切り取られる。
図6は、フィルタリングアルゴリズム510により用いられる例示的なテーブルを示す。テーブル600は、α及びβの閾値を得るために用いられ、一方でc0は、テーブル601から求められる。いずれの場合にも、同じインデックス値が用いられる。テーブル601の適切なc0は、インデックス及びBS値の組み合わせに基づいて選択される。図6の例は、MPEG−2ビデオコーティング標準(本方法は、使用される放送標準とは独立)が与えられ、ここで、量子化器_スケール_コード(すなわち、マクロブロック量子化パラメータ)は、1から31までの範囲を有し、よって、テーブル600及び601のインデックス値に正確に対応することを留意すべきである。しかし、量子化パラメータが異なる範囲を有する他の標準に対して、610(3)で示される式を実装した変換モジュールが用いられてもよい。この場合、600及び601とは異なるテーブルの内容が受信される放送標準に応じて選択される。ここで、新たな値は、元のテーブル600及び601の二つの“境界”値の間での線形近似として得られうる。テーブル600のいくつかの行の変換例は、テーブル603のように図6に示される。
本発明を実施形態に基づいて説明したが、これらに限定するものではなく、また、特許請求の範囲に記載されるように、本発明の精神及び範囲から逸脱することなく様々な変更を加えることを理解されたい。
Claims (29)
- ブロックデータ及びモーションベクトルを含むビデオデータをダウンサンプリングする装置であって、
a)前記モーションベクトルをダウンスケールするモーションベクトルスケーラと、
b)変換されたブロックデータを生成するブロックデータデコーダ(102,103,104)と、
c)前記変換されたブロックデータをダウンサンプリングするブロックダウンサンプラーと、
d)前記ビデオの少なくとも一つのダウンサンプリングされたフレームを記憶するフレームメモリと、
d)前記ビデオの後続のダウンサンプリングされたフレームを生成するために、前記ダウンスケールされたモーションベクトル、前記ビデオのダウンサンプリングされたブロックデータ、及び前記フレームメモリからの前記少なくとも一つのダウンサンプリングされたフレームを用いるフレームモジュール(106;107)と、
e)前記ビデオの後続のダウンサンプリングされたフレームをフィルタリングし、前記フレームメモリにフィルタリングされた前記ダウンサンプリングされたフレームを記憶するフィルタと、を含む装置。 - 前記モーションベクトルのダウンスケールは、プログラマブルである請求項1に記載の装置。
- 前記ブロックダウンサンプラーのダウンサンプリングは、プログラムマブルである請求項1に記載の装置。
- 前記データブロックは、16×16のデータ値のマトリックスを含み、前記ダウンサンプリングされたデータブロックは、16/N×16/Mのデータ値のマトリックスを含み、N及びMは、ゼロではない整数である請求項1から3のいずれか一項に記載の装置。
- 前記ブロックダウンサンプラーは、加算器及び除算器を含み、前記変換されダウンサンプリングされたブロックのサブブロックの平均値を生成する請求項1から4のいずれか一項に記載の装置。
- 前記フィルタは、動的フィルタであり、当該フィルタは、画像に存在するブロッキングアーティファクト又は固有の度合いを区別するように構成されると共に、フィルタリングの度合いを調整して、前記ダウンサンプリングされたフレームのブロッキングアーティファクトを低減するように構成される請求項1から5のいずれか一項に記載の装置。
- 前記フィルタは、少なくとも一つの境界強度値を用いて前記ブロッキングアーティファクトと前記固有の度合いとを区別するように構成され、ブロックのための少なくとも一つの境界強度値は、一又はそれ以上の隣接したブロックに対して求められ、増加したフィルタリングは、高い境界強度に適用される請求項6に記載の装置。
- 垂直境界強度及び水平境界強度が算出される請求項1から7のいずれか一項に記載の装置。
- ブロックのための前記垂直境界強度は、一つの垂直に隣接するブロックに対して算出される請求項8に記載の装置。
- 前記水平境界強度は、一つの水平に隣接するブロックに対して算出される請求項9に記載の装置。
- 第1のフィルタは、前記垂直境界強度に基づいて行われる請求項8に記載の装置。
- 第2のフィルタは、前記水平境界強度に基づいて行われる請求項11に記載の装置。
- 彩度データブロックのために、境界強度は、事前に算出された輝度境界強度から算出される請求項1から12のいずれか一項に記載の装置。
- ダウンサンプリング比は、調整可能である請求項1から13のいずれか一項に記載の装置。
- ダウンサンプリング比は、水平又は垂直方向において因子が2又は4である請求項1から14のいずれか一項に記載の装置。
- 前記装置は、前記フレームを表示するためのスクリーンをさらに含む請求項1から15のいずれか一項に記載の装置。
- 前記装置は、ハンドヘルド装置である請求項1から16のいずれか一項に記載の装置。
- 前記装置は、携帯電話若しくは携帯電話と同様の電池式又は携帯機器である請求項1から17のいずれか一項に記載の装置。
- 前記装置は、TVであり、ダウンサンプリングされた画像は、前記TVの‘ピクチャー・イン・ピクチャー’機能を生成するために用いられる請求項1から18のいずれか一項に記載の装置。
- 前記ビデオは、MPEGフォーマットに応じてコード化される請求項1から19のいずれか一項に記載の装置。
- 前記フィルタは、インデックス値を生成するためにマクロブロック量子化値を使用し、第1の閾値は、前記インデックス値を用いて第1のルックアップテーブルから読み出され、前記フィルタは、境界の両側の隣接する画素間の差が前記第1の閾値以下には適用されない請求項6に記載の装置。
- 前記第1のルックアップテーブルの値は、実質的に図6のテーブル600の列αに記載されている値である請求項21に記載の装置。
- 第2の閾値は、前記インデックス値を用いて第2のルックアップテーブルから読み出され、前記フィルタは、境界の両側の隣接する画素に隣接する対応する画素間の差が前記第2の閾値以下には適用されない請求項21に記載の装置。
- 前記第2のルックアップテーブルの値は、実質的に図6のテーブル600の列βに記載されている値である請求項21に記載の装置。
- 第3の閾値は、少なくとも前記インデックス値を用いて第3のルックアップテーブルから読み出され、前記第3の値は、前記フィルタ内の少なくとも一つのクリッピング機能に用いられる請求項23又は請求項24に記載の装置。
- 境界強度値も前記第3のルックアップテーブルから前記第3の閾値の読み出しに用いられる請求項25に記載の装置。
- 前記第3のルックアップテーブルの値は、実質的に図6のテーブル601に記載されている値である請求項26に記載の装置。
- 添付の明細書に示される図5に表される方法を行うフィルタリング装置。
- 添付の図面に示す及び/又は図示される本明細書に記載の方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2010/054594 WO2011124254A1 (en) | 2010-04-07 | 2010-04-07 | Broadcast video decoder with reduced memory and processing requirements suitable for handheld and mobile applications |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013524659A true JP2013524659A (ja) | 2013-06-17 |
Family
ID=42830144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013503007A Pending JP2013524659A (ja) | 2010-04-07 | 2010-04-07 | ハンドヘルド及びモバイル用途に適した低減された記憶容量及び処理要求を有するブロードキャストビデオレコーダ |
Country Status (6)
Country | Link |
---|---|
US (1) | US9509994B2 (ja) |
EP (1) | EP2556669A1 (ja) |
JP (1) | JP2013524659A (ja) |
KR (1) | KR20130095179A (ja) |
CN (1) | CN102972021A (ja) |
WO (1) | WO2011124254A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015502714A (ja) * | 2012-01-09 | 2015-01-22 | インフォブリッジ ピーティーイー. エルティーディー. | ブロッキングアーチファクトを除去する方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9516358B2 (en) | 2013-11-26 | 2016-12-06 | At&T Intellectual Property I, L.P. | Method and apparatus for providing media content |
EP4162335A4 (en) * | 2020-07-21 | 2024-01-24 | Siemens Aktiengesellschaft | DYNAMIC MULTIPARAMETER SCANNING METHOD AND DYNAMIC MULTIPARAMETER SCANNING APPARATUS |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000041258A (ja) * | 1997-11-20 | 2000-02-08 | Hitachi Ltd | 低解像度ビデオ・デコーダで画質を改善するための方法及び装置 |
JP2000156858A (ja) * | 1998-10-09 | 2000-06-06 | Matsushita Electric Ind Co Ltd | ダウンコンバ―ジョンシステム用アップサンプリングフィルタ |
JP2002518916A (ja) * | 1998-06-19 | 2002-06-25 | イクエーター テクノロジーズ インコーポレイテッド | 第1の解像度を有する符号化された形式の画像を第2の解像度を有するデコードされた形式の画像に直接にデコードする回路及び方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5828421A (en) * | 1994-10-11 | 1998-10-27 | Hitachi America, Ltd. | Implementation efficient digital picture-in-picture decoding methods and apparatus |
US5708732A (en) | 1996-03-06 | 1998-01-13 | Hewlett-Packard Company | Fast DCT domain downsampling and inverse motion compensation |
US6489956B1 (en) * | 1998-02-17 | 2002-12-03 | Sun Microsystems, Inc. | Graphics system having a super-sampled sample buffer with generation of output pixels using selective adjustment of filtering for implementation of display effects |
US6044178A (en) * | 1998-03-10 | 2000-03-28 | Seiko Epson Corporation | LCD projector resolution translation |
US7227901B2 (en) * | 2002-11-21 | 2007-06-05 | Ub Video Inc. | Low-complexity deblocking filter |
US7342962B2 (en) * | 2003-09-17 | 2008-03-11 | Texas Instruments Incorporated | Transcoders and methods |
US7457362B2 (en) * | 2003-10-24 | 2008-11-25 | Texas Instruments Incorporated | Loop deblock filtering of block coded video in a very long instruction word processor |
US7110352B2 (en) * | 2003-12-09 | 2006-09-19 | Nokia Corporation | Direct-sequence CDMA method and device |
US20050175099A1 (en) * | 2004-02-06 | 2005-08-11 | Nokia Corporation | Transcoder and associated system, method and computer program product for low-complexity reduced resolution transcoding |
KR100943591B1 (ko) * | 2004-07-20 | 2010-02-24 | 콸콤 인코포레이티드 | 움직임 벡터 처리를 위한 방법 및 장치 |
US7725691B2 (en) * | 2005-01-28 | 2010-05-25 | Analog Devices, Inc. | Method and apparatus for accelerating processing of a non-sequential instruction stream on a processor with multiple compute units |
US8023729B2 (en) * | 2006-08-03 | 2011-09-20 | Tektronix, Inc. | Apparatus and method of reducing color smearing artifacts in a low resolution picture |
US8565310B2 (en) * | 2008-01-08 | 2013-10-22 | Broadcom Corporation | Hybrid memory compression scheme for decoder bandwidth reduction |
US8532199B2 (en) * | 2008-01-24 | 2013-09-10 | Panasonic Corporation | Dynamic image compression device |
-
2010
- 2010-04-07 EP EP10716783A patent/EP2556669A1/en not_active Withdrawn
- 2010-04-07 JP JP2013503007A patent/JP2013524659A/ja active Pending
- 2010-04-07 CN CN2010800672263A patent/CN102972021A/zh active Pending
- 2010-04-07 US US13/639,917 patent/US9509994B2/en active Active
- 2010-04-07 WO PCT/EP2010/054594 patent/WO2011124254A1/en active Application Filing
- 2010-04-07 KR KR1020127029014A patent/KR20130095179A/ko not_active Application Discontinuation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000041258A (ja) * | 1997-11-20 | 2000-02-08 | Hitachi Ltd | 低解像度ビデオ・デコーダで画質を改善するための方法及び装置 |
JP2002518916A (ja) * | 1998-06-19 | 2002-06-25 | イクエーター テクノロジーズ インコーポレイテッド | 第1の解像度を有する符号化された形式の画像を第2の解像度を有するデコードされた形式の画像に直接にデコードする回路及び方法 |
JP2000156858A (ja) * | 1998-10-09 | 2000-06-06 | Matsushita Electric Ind Co Ltd | ダウンコンバ―ジョンシステム用アップサンプリングフィルタ |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015502714A (ja) * | 2012-01-09 | 2015-01-22 | インフォブリッジ ピーティーイー. エルティーディー. | ブロッキングアーチファクトを除去する方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2011124254A1 (en) | 2011-10-13 |
US9509994B2 (en) | 2016-11-29 |
EP2556669A1 (en) | 2013-02-13 |
CN102972021A (zh) | 2013-03-13 |
KR20130095179A (ko) | 2013-08-27 |
US20130202040A1 (en) | 2013-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7907789B2 (en) | Reduction of block effects in spatially re-sampled image information for block-based image coding | |
US20040213470A1 (en) | Image processing apparatus and method | |
EP1292154A2 (en) | A method and apparatus for implementing reduced memory mode for high-definition television | |
US8548062B2 (en) | System for low resolution power reduction with deblocking flag | |
TWI549483B (zh) | 用來動態地調整視訊解碼複雜度之裝置與方法 | |
JP5529161B2 (ja) | ビデオストリームをブラウジングする方法及び装置 | |
US8767828B2 (en) | System for low resolution power reduction with compressed image | |
KR100323676B1 (ko) | 디지털 동영상 수신 장치 | |
JP2013524659A (ja) | ハンドヘルド及びモバイル用途に適した低減された記憶容量及び処理要求を有するブロードキャストビデオレコーダ | |
JP2005278168A (ja) | 圧縮された入力ビデオを処理する方法及びシステム | |
JP2013539276A (ja) | ビデオ信号処理 | |
US9313523B2 (en) | System for low resolution power reduction using deblocking | |
US8767831B2 (en) | Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream | |
US20120014445A1 (en) | System for low resolution power reduction using low resolution data | |
EP1751984B1 (en) | Device for producing progressive frames from interlaced encoded frames | |
KR102281154B1 (ko) | 비디오 데이터의 통합된 공간 다운샘플링 | |
EP2594074A1 (en) | Video decoder for low resolution power reduction using low resolution data | |
KR100323688B1 (ko) | 디지털 동영상 수신 장치 | |
KR20090076022A (ko) | 썸네일 생성 장치 및 이를 포함한 멀티코덱 디코더 장치 | |
Basavaraju et al. | Modified pre and post processing methods for optimizing and improving the quality of VP8 video codec | |
US20120014447A1 (en) | System for low resolution power reduction with high resolution deblocking | |
GB2467766A (en) | Video downsampling with reduced memory and processing requirements. | |
Yang et al. | A unified metric for digital video processing and its applications in home video systems | |
KR20070023732A (ko) | 인터레이스 인코딩 프레임으로부터 프로그레시브 프레임을생성하는 장치 | |
KR19990081409A (ko) | 디지탈 티브이 수신 디코더 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131029 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140325 |