JP2008544621A - ビデオエラー隠蔽を向上させる符号化及び復号の方法及び装置 - Google Patents
ビデオエラー隠蔽を向上させる符号化及び復号の方法及び装置 Download PDFInfo
- Publication number
- JP2008544621A JP2008544621A JP2008516465A JP2008516465A JP2008544621A JP 2008544621 A JP2008544621 A JP 2008544621A JP 2008516465 A JP2008516465 A JP 2008516465A JP 2008516465 A JP2008516465 A JP 2008516465A JP 2008544621 A JP2008544621 A JP 2008544621A
- Authority
- JP
- Japan
- Prior art keywords
- macroblock
- boundary
- smooth
- replacement
- smoothness information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000009499 grossing Methods 0.000 claims abstract description 19
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 15
- 238000013139 quantization Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
ビデオエラー隠蔽を向上させる符号化及び復号の方法及び装置が、本発明において開示される。当該符号化方法は、ビデオストリームにおけるマクロブロックのマクロブロック平滑度情報を得るステップであって、前記マクロブロック平滑度情報が、前記マクロブロックの境界が滑らかであるか否かを示す、ステップと、前記マクロブロック平滑度情報を符号化ビデオストリームへ符号化するステップと、を含む。当該復号方法は、失われたマクロブロックの境界が滑らかであるか否かを、ビデオストリームにおける前記失われたマクロブロックのマクロブロック平滑度情報に従い、決定するステップと、前記境界が滑らかである場合、前記失われたマクロブロックに関する置換マクロブロックを平滑化するステップと、を含む。平滑化された置換マクロブロックは、元のマクロブロックにより類似しているので、全体画像は、少ない符号化費用ながらより高く向上された画像品質を有して、より自然であり、更には、計算量は小さく、これを実現するための費用は比較的低い。
Description
本発明は、ビデオ符号化及び復号の方法及び装置に関し、特に、ビデオエラー隠蔽(error concealment)を向上させる符号化及び復号の方法及び装置に関する。
デジタルテレビ(SDTV/HDTV)及びマルチメディアアプリケーションにおいて、様々な用件を満足させるために、MPEG(Motion Picture Experts Group)、H.263又はQuicktime規格などの、多数のビデオ圧縮規格が存在する。これらの規格の主な目的は、圧縮後により低いビットレート及びより優れた品質を有するビデオストリームを実現することである。しかし、符号化されたビデオストリームにおいて個別の、すなわちインパルスビットエラー(すなわち、ビットストリームエラー)が原因で、復号装置の同期は、通常失敗し、これにより、復号ステップが、次の同期化点が到達されるまで実行され得ず、画像の一部分の変形を生じさせる。
このような不所望な画像変形を避ける一つの可能な手法は、復号装置においてエラー隠蔽技術を用いることによって、復号画像におけるこれらの変形部分を補うことである。しかし、復号装置におけるエラー隠蔽技術の効果は制限される。
ある種類のエラー隠蔽技術が、「"Error control and concealment for video communication: A review," by Y. Wang and Q.-F. Zhu, Proc. IEEE, vol. 86, no. 5, pp. 975-775, May 1998」において開示されている。前記ある種類のエラー隠蔽は、符号化装置において冗長性を加えることによって、符号化ビデオストリームのエラー復元性を向上させる方法を含む。しかし、前記の種類のエラー隠蔽は、符号化装置を調整すること、及びビットストリームの追加的な情報を大幅に増加させる必要とする。更に、従来のビデオ符号化装置は、エラー隠蔽の後処理に関してあまり考慮されていなかったので、上記のエラー隠蔽技術を通じて満足のいく画像品質を得ることは困難である。
従来のビデオ復号装置においてエラー隠蔽を実施するときに、あるマクロブロックが連続するマクロブロックにおいて失われている場合、復号装置は、動きベクトルを作成し、参照画像における動きベクトルによって向けられる領域を用いて失われたマクロブロックを置換し、したがって、エラー隠蔽を完了する。しかし、多くの場合、失われたマクロブロックに関する置換マクロブロックの境界と、失われたマクロブロックの周囲の他のマクロブロックの境界との変動は大きく、これにより、置換マクロブロックは、画像全体においてかなり目立ち、エラー隠蔽の効果に著しく影響を及ぼす。したがって、置換マクロブロックの明らかな境界の問題を解決する方法が焦点になる。
本発明は、エラー隠蔽に関して向上された符号化及び復号の方法及び装置を提供し、これらの方法及び装置は、失われたマクロブロックが置換マクロブロックによって置換された後に、置換マクロブロックが、失われた元のマクロブロックにより類似するようにさせるために使用され得、これにより、全体としてより自然な画像を生成するようにされ得る。
本発明のある実施例に従うと、ビデオエラー隠蔽を向上させる符号化方法が、提供され、当該符号化方法は、ビデオストリームにおけるマクロブロックのマクロブロック平滑度情報を得るステップであって、前記マクロブロック平滑度情報が、前記マクロブロックの境界が滑らかであるか否かを示す、ステップと、前記マクロブロック平滑度情報を符号化ビデオストリームへ符号化するステップと、を含む。
本発明の別の実施例に従うと、ビデオエラー隠蔽を向上させる復号方法が更に提供され、当該復号方法は、失われたマクロブロックの境界が滑らかであるか否かを、ビデオストリームにおける前記失われたマクロブロックのマクロブロック平滑度情報に従い、決定するステップと、前記境界が滑らかである場合、前記失われたマクロブロックに関する置換マクロブロックを平滑化するステップと、を含む。
本発明の更に別の実施例に従うと、符号化装置が提供され、当該符号化装置は、ビデオストリームにおけるマクロブロックのマクロブロック平滑度情報を得るための入手装置であって、前記マクロブロック平滑度情報が、前記マクロブロックの境界が滑らかであるか否かを示す、装置と、前記マクロブロック平滑度情報を符号化ビデオストリームへ符号化する書き込み装置ステップと、を備える。
本発明の更に別の実施例に従うと、復号装置が提供され、当該復号装置は、失われたマクロブロックの境界が滑らかであるか否かを、ビデオストリームにおける前記失われたマクロブロックのマクロブロック平滑度情報に従い、決定する決定装置と、前記境界が滑らかである場合、前記失われたマクロブロックに関する置換マクロブロックを平滑化する平滑化装置と、を有する。
本発明の実施例に従うと、平滑化された置換マクロブロックは、元のマクロブロックにより類似し、これにより、全体画像は、少ない符号化費用ながらより高く向上された画像品質を有して、より自然であり、更には、計算量は小さく、これを実現するための費用は比較的低い。更に、ハードウェアに対してほとんど修正が必要とされず、したがって、費用は比較的低い。
本発明の他の目的及び達成するものは、添付の図面、詳細な説明及び請求項を参照にして、明らかであり、また完全に理解される。
同一の参照符号は、図面を通じて、同一、類似、又は対応する特徴又は機能を表す。
本発明は、失われたマクロブロックが、符号化する際にスライスヘッダへ符号化されたマクロブロック境界平滑度情報を用いて、置換マクロブロックにより置換された後で、置換マクロブロックの境界を処理する、向上されたエラー隠蔽を提供し、これにより、置換マクロブロックが、失われた元のマクロブロックにより類似し、全体画像がより自然になるようにされる。
図1は、本発明の実施例に従うエラー隠蔽を向上させる符号化方法のフロー図を示し、符号化されたビデオストリームは、実際に、全ての符号化マクロブロックの境界とこれらに隣接するマクロブロックの境界が滑らかであるか否かを示すマクロブロック平滑度情報を含む。
ステップS110において、ビデオデータは、所定の規格(例えば、MPEG、H.263又はQuicktime規格など)に従い符号化される。例えば、MPEGにおいて、全体画像は、複数のN×N画素ブロックに分割され、N×N画素ブロックのそれぞれは、1つずつDCT(離散コサイン変換)変換され、その後、量子化及び可変長符号化が実行される。
各画像が符号化されるときに、可変長符号化が実行される場合、ステップS120において、各マクロブロックは、境界が滑らかであるか否かを決定するために、隣接するマクロブロックと比較される。その後、マクロブロックが滑らかであるか否かに関する情報が、この決定に従い得られる。例えば、図1に示される実施例において、図1において、マクロブロックの境界が滑らかである場合、フラッグ値を0に設定し、そうでない場合、ステップS140において、フラッグ値を1に設定する。ステップS150において、これらのフラッグ値、すなわちマクロブロックの境界が滑らかであるか否かに関する情報は、符号化ビデオストリームに符号化される。
本発明に従うと、各マクロブロックの4つの境界が滑らかであるか否かを示すマクロブロック平滑度情報は、1ビットフラッグ値である。フラッグ値は、0又は1であり得る。最も連続するマクロブロックの境界が連続するので、本発明の実施例に従うと、フラッグ値が0である場合、それが、マクロブロックの3つ又は4つの境界が滑らかであることを示し、フラッグ値が1である場合、マクロブロックの1つ又は2つの境界が滑らかであることを示すように規定され得、したがって、符号化効率性を向上させる。
他のフラッグ値も、マクロブロックの境界が滑らかであるか否かを特徴付けるのに用いられ得ることは明らかである。例えば、フラッグ値は、00、01、10及び11であり得る2ビットであり得、ここで、00は、マクロブロックの4つの境界が全て滑らかであることを示し、11は4つの境界が滑らかでないことを示す一方で、01は左及び右の境界が滑らかでないことを示し、10は上部及び底部の境界が滑らかでないことを示す。フラッグ値が長ければ長いほど、符号化効率性は低くなる。したがって、一般的に、置換マクロブロックの境界処理に関して、1ビット長のフラッグ値が十分である。
本発明の実施例に従うと、マクロブロックの境界が滑らかであるか否かは、マクロブロックの離散コサイン変換係数を用いて決定され得る。隣接するマクロブロックに対応する2つのDCT係数間の差が所定のしきい値よりも大きい場合、このことは、2つの連続するマクロブロック間の平滑度及び均一性が比較的低く、また境界が滑らかでないことを示す。このときに、フラッグ値は1に設定され、そうでない場合は、フラッグ値は直接0に設定される。
マクロブロック(16×16画素)は、4つのDCTブロック(8×8画素)を含み、DCTブロックは、64個の係数を含む。大抵の画像の高周波数成分が比較的低いので、画像の高周波数成分に対応する係数は、0である傾向にある。更に、人間の眼は、高周波数成分の歪みにあまり敏感でないので、荒い量子化が用いられ得、したがって、変換係数を転送するのに用いられるデジタルレートは、画像画素を転送するのに用いられるデジタルレートよりもかなり少ない。計算量及び画像品質の用件に応じて、第1DCT係数のみを用いて、又は低周波数の10個の先立つDCT係数を用いて、決定がなされ得る。
本発明の別の実施例に従うと、決定は、DCT係数を使用することなく画素ドメインにおいても直接なされ得る。例えば、隣接するマクロブロックの境界領域の画素値が、それぞれ隣接するマクロブロックの境界領域の画素値間の差を決定の規準として採用して、分析される。P0…P15及びp0…p15が、隣接するマクロブロックの境界領域における画素値の輝度成分を表すと仮定するときに、
が32より小さい場合、境界が滑らかであり、そうでない場合、境界は滑らかでないと決定され得る。
が32より小さい場合、境界が滑らかであり、そうでない場合、境界は滑らかでないと決定され得る。
以下において、符号化装置においてマクロブロック平滑度情報をビデオストリームへ符号化する方法の処理が、MPEGを例として用いることによって例示される。図2は、MPEG符号化画像の統語構造の概略図を示す。図2に示されるように、完全なビデオ情報であるマクロブロックに加えて、各画像は、更に、画像ヘッダセクション、スライスヘッダセクション、及びマクロブロックヘッダセクションを含む。
図3に示されるように、本発明の実施例に従うと、スライスにおける全てのマクロブロックが滑らかであるか否かを示す情報は、各スライスのスライスヘッダ情報へ符号化される。MPEG規格に従うと、スライスヘッダセクションは、規格によって規定される必要な情報に加えて、更に、所望に他の情報を符号化する保持フィールドを含む。本実施例において、保持フィールドは、スライスにおける各マクロブロックの4つの境界が滑らかであるか否かを示すマクロブロック平滑度情報を、ビデオストリームへ符号化するのに使用される。
図4は、1ビット長のマクロブロック平滑度情報を、スライスヘッダセクションに符号化するステップの概略図を示す。マクロブロック平滑度情報の全ては、バイナリシーケンスを形成し、各8ビットは、追加情報スライスを形成する1バイトを構成し、8ビットより少ない最後のバイトは、詰めビット(0など)を用いて満たされる。例えば、1ビット長マクロブロック平滑度情報にそれぞれ対応する45個のマクロブロックを含むスライス、すなわち45ビット、は、48ビットを形成するために、3つの詰めビット(0など)を用いて補われ得、これにより、全体で6バイトまでになる。その後、これは、MPEGの構文(syntax)に従い、スライスヘッダ情報へ符号化される。追加情報スライス及び関連する構文に関しては、MPEGの関連規格を参照されたい。
対応するマクロブロック平滑度情報をビデオストリームへ収容する方法は、例証のために、特定のMPEG規格を参照にして上記において例示された。当然、上述の実施例において、マクロブロック平滑度情報は、画像ヘッダセクション又はマクロブロックヘッダセクションのいずれかにおいてへも符号化され得る。しかし、規格自体の制限及びマクロブロックヘッダセクションがマクロブロック平滑度情報と同時に失われ得るという事実が理由により、マクロブロック平滑度情報は、一般的に、MPEG規格に関するスライスヘッダセクションへ符号化される。例えば、H.263又はQuicktimeなどの、異なる構文及び関連する用件を有する他のビデオ圧縮規格に関して、マクロブロック平滑度情報は、異なる規格に従い、ビデオストリームにおける異なる位置へ符号化され得る。
図5は、本発明の実施例に従うビデオ復号の方法のフロー図を示し、置換マクロブロックの境界は、従来のエラー隠蔽スキームに基づき、ビデオストリームにおけるマクロブロック平滑度情報に従い平滑化される。
ステップS510において、圧縮ビデオデータは、所定の規格に従い復号され、マクロブロック平滑度情報は、圧縮されたビデオストリームをVLD復号した後で入手され得、エラー隠蔽が実行される。例えば、マクロブロックが失われる場合、復号装置は、動きベクトルを作成し、失われたマクロブロックは、画像における動きベクトルによって向けられる領域(置換マクロブロック)によって置換される。
ステップS530において、マクロブロック平滑度情報が、ビデオストリームから入手され、失われたマクロブロックのフラッグ値がチェックされ、フラッグ値が0に設定される場合、このことは、マクロブロックの境界が滑らかであることを示す。ステップS540において、失われたマクロブロックのフラッグ値が0であるか否かが決定され、すなわち、置換マクロブロックの位置における失われた元のマクロブロックの境界が滑らかであるか否かが決定される。フラッグ値が0である場合、逆量子化(IQ)及び逆離散コサイン変換(IDCT)に従うビデオ画像シーケンスにおける置換マクロブロックの境界は、ステップS550において平滑化される。一方で、マクロブロックの境界が滑らかでない場合、すなわち、フラッグ値が1に設定される場合、直接S560へ進められる。ステップS560において平滑化されている又はされていない、全てのマクロブロックは、新しい復号画像を形成するために受信される。
図6は、本発明に従う、マクロブロック境界の平滑化処理の概略図を示す。図6に示されるように、置換マクロブロックの境界画素600は、マクロブロックに従い、例えば上部マクロブロック、底部マクロブロック、左マクロブロック、及び右マクロブロックなどの置換マクロブロックの周囲において平滑化される。平滑化の処理は、境界において隣接する画素へのフィルタ補間を行わせる。異なるフィルタ係数が、異なる処理において用いられる。
図6を参照すると、本発明の実施例に従うと、平滑化処理は、元の置換マクロブロックの境界画素600を、置換マクロブロックの境界の画素600と置換マクロブロックの周囲のマクロブロックの境界の画素610との平均値を用いて置換することである。例えば、置換マクロブロックの境界画素の輝度が30であり、マクロブロックの隣接する境界画素の輝度が70である場合、2つの平均値である50が、元の置換マクロブロックの境界画素を置換するのに用いられる。したがって、マクロブロックにおいて70の輝度を有する画素に隣接する置換マクロブロックにおける画素の輝度値は、50へ変わる。したがって、境界の平滑度は増加され、置換マクロブロックは、失われたマクロブロックにより類似し、エラー隠蔽の効果は、更に強化される。人間の眼は輝度信号に対して敏感であるが、色度信号に対してあまり敏感でないので、輝度信号Yのみが平滑化される必要がある一方で、残りの2つの色度信号U及びVは、比較及び平滑化され得ない。
本発明の実施例に従うと、マクロブロックの境界の平滑化処理は、置換マクロブロックにおける画素及び置換マクロブロックの外側の画素の重み付け平均によって達成され得る。代替的に、平均化アルゴリズムは、置換マクロブロックにおけるより多くの画素及び置換マクロブロックの外側の画素を含む。
図7は、本発明の実施例に従う、符号化装置の構造図を示す。符号化装置700は、入手装置710及び書き込み装置720を含む。入手装置710は、元のビデオシーケンスから、各マクロブロックの境界が滑らかであるか否かを示すマクロブロック平滑度情報を入手するのに使用される。書き込み装置720は、前記マクロブロック平滑度情報を、符号化ビデオストリームへ符号化するのに使用される。
本発明の実施例に従うと、入手装置710は、更に、決定装置730を含み得、また設定装置740も含み得る。図7における点線を参照すると、所定の規格に従い各画像の符号化を完了した後で、決定装置730は、境界が滑らかであるか否かを決定するために、各マクロブロックを隣接するマクロブロックと比較し、そしてマクロブロックが滑らかであるか否かを示すマクロブロック平滑度情報が、この決定に従い入手される。決定装置730は、マクロブロックのDCT係数若しくはマクロブロックの画素ドメイン分析又は他の対処法を用いて、マクロブロックの境界が滑らかであるか否かを決定し、上記において詳細に説明されたようにされるので、ここでは繰り返されない。
設定装置740は、決定装置730から、マクロブロックの境界が滑らかであるか否かに関する決定に従い、マクロブロック平滑度情報を設定するのに用いられ得る。例えば、マクロブロック平滑度情報は、1ビットフラッグ値であり得、マクロブロックの境界が滑らかである場合、フラッグ値が0に設定され、そうでない場合、フラッグ値は1に設定される。そして、本発明の実施例に従い、書き込み装置720は、全てのフラッグ値、すなわち、マクロブロックの境界が滑らかであるか否かを示す情報を、ビデオストリームへ符号化し、例えば、ビデオストリームの各スライスに含まれる全てのマクロブロックのマクロブロック平滑度情報を、前記スライスのスライスヘッダセクションへ連続的に符号化し、画像の符号化を終了させる。
符号化装置700は、更に、(DCTとして示される)離散コサイン変換装置750、(Qとして示される)量子化器760及び(VLCとして示される)可変長符号化器770を含み、離散コサイン変換装置750は、元のビデオ画像シーケンスを受信し。離散コサイン変換を実行し、また各マクロブロックのDCT係数を決定装置730へ転送するのに使用される。
量子化器760は、異なる要件に従い、入手されたDCT係数に対する異なる量子化レベルを設定し、これにより、デジタルレートを低減するのに用いられる。しかし、量子化の後で、特に、人間の眼の生理学的特性に従い、異なる量子化を低周波数成分及び高周波数成分へ設定した後で、最も高い周波数成分の係数は、0になる。一般的に、人間の眼は、比較的、低周波数成分に対してはより敏感であるが、高周波数成分に対してはあまり敏感でない。したがって、より細かい量子化が低周波数成分に関して実行される一方で、荒い量子化が、高周波数成分に関して実行される。
可変長符号化装置770は、量子化器からの量子化係数を可変長符号(例えば、ハフマン符号)へ、量子化器760によって提供される量子化の大きさに従い変換し、これにより、符号レートを減少させる。一方で、書き込み装置720は、前記マクロブロック平滑度情報を圧縮ビデオストリームへ書き込む。可変長符号装置770に書き込み装置770も含まれ得ることを、当業者にとって理解されるべきである。
図8は、本発明に従う、復号装置の構造図を示す。復号装置800は、空間的冗長性を、フレーム間の空間的相関を用いて低減する動き補償装置810を含む。動き補償が本発明の重要な点ではないので、動き補償技術の関連する詳細は、ここでは、説明されない。
動き補償装置810は、置換マクロブロックを決定するのに用いられるエラー隠蔽装置820を含む。例えば、あるマクロブロックが失われる場合、エラー隠蔽装置820は、動きベクトルを作成し、そして失われたマクロブロックを参照画像において動きベクトルによって向けられる領域を用いて置換することによって、エラー隠蔽を実施する。
エラー隠蔽装置820は、失われたマクロブロックを置換マクロブロックを用いて置換する挿入装置830と、失われたマクロブロックの入手されたマクロブロック平滑度情報に従い、元の失われたマクロブロックの境界が滑らかであるか否かを決定する決定装置840と、を含む。
エラー隠蔽装置820は、置換マクロブロックの境界を平滑化する平滑化装置850を更に含み得る。失われたマクロブロックの境界が滑らかである場合、置換マクロブロックの境界は、平滑化装置850によって平滑化される。失われたマクロブロックの境界が滑らかでない場合、置換マクロブロックに関して何の処理も必要とされない。平滑化装置850は、境界画素をフィルタ補間することによって又は他の手段によって、置換マクロブロックの境界を平滑化する、(示されない)フィルタを含み得る。このことは、上記に詳細に説明されているので、ここでは繰り返されない。
復号装置800は、更に、可変長復号装置(VLD)860、逆量子化器(IQ)870及び逆離散コサイン変換装置(IDCT)880を含む。復号機能は、図7における符号化器の可変長符号化装置770、量子化器760及び離散コサイン変換装置750に対応し、ここでは繰り返されない。圧縮されたビデオストリームが可変長復号装置860によって復号された後で、決定装置830は、元の失われたマクロブロックの境界が滑らかであるか否かを決定するために、マクロブロックを入手する。境界が滑らかである場合、平滑化装置850は、逆量子化及び逆離散コサイン変換に従い、ビデオ画像シーケンスを平滑化し、最終的に、平滑化されたビデオ画像シーケンスが出力され、(図示されない)表示装置によってユーザへ提示される。
上述の技術的な内容及び特徴は上述のように開示される一方で、当業者が、本発明の精神からから逸脱することなく、本発明の教示及び開示に基づき、様々な代替態様及び修正態様がなされる。したがって、本発明の保護範囲は、上述の実施例の開示に制限されるべきではないが、添付の請求項に規定されるように、前記様々な代替態様及び修正態様も含む。
Claims (21)
- ビデオエラー隠蔽を向上させる符号化方法であって、
(a)ビデオストリームにおけるマクロブロックのマクロブロック平滑度情報を得るステップであって、前記マクロブロック平滑度情報が、前記マクロブロックの境界が滑らかであるか否かを示す、ステップと、
(b)前記マクロブロック平滑度情報を符号化ビデオストリームへ符号化するステップと、
を含む、符号化方法。 - 請求項1に記載の方法であって、前記マクロブロック平滑度情報が、1ビットのフラッグ値である、方法。
- 請求項2に記載の方法であって、更に、
前記マクロブロックの境界が滑らかである場合に、前記フラッグ値を0に設定するステップと、
前記マクロブロックの境界が滑らかでない場合に、前記フラッグ値を1に設定するステップと、
を含む、方法。 - 請求項1に記載の方法であって、前記マクロブロックの前記境界が滑らかであるか否かを、前記マクロブロック及びそれに隣接するマクロブロックの離散コサイン変換(DCT)係数を通じて、決定するステップを更に含む、方法。
- 請求項1に記載の方法であって、前記マクロブロックの前記境界が滑らかであるか否かを、前記マクロブロック及びそれに隣接するマクロブロックへの画素ドメイン分析を通じて、決定するステップを更に含む、方法。
- 請求項1に記載の方法であって、前記ステップ(b)が、前記マクロブロック平滑度情報を、前記マクロブロックを含むスライスのスライスヘッダセクションへ符号化するステップを有する、方法。
- ビデオエラー隠蔽を向上させる復号方法であって、
失われたマクロブロックの境界が滑らかであるか否かを、ビデオストリームにおける前記失われたマクロブロックのマクロブロック平滑度情報に従い、決定するステップと、
前記境界が滑らかである場合、前記失われたマクロブロックに関する置換マクロブロックを平滑化するステップと、
を有する、方法。 - 請求項7に記載の方法であって、前記置換マクロブロックを前記失われたマクロブロックの位置へ挿入するステップを更に有する、方法。
- 請求項7に記載の方法であって、前記マクロブロック平滑度情報を得るステップを更に有する、方法。
- 請求項9に記載の復号方法であって、前記平滑化するステップが、前記置換マクロブロックの境界において、隣接する画素をフィルタ補間するステップを有する、復号方法。
- 請求項9に記載の復号方法であって、前記平滑化するステップが、前記置換マクロブロックの境界の画素を、前記置換マクロブロックの前記境界の画素と前記置換マクロブロックの周囲のマクロブロックの境界の画素との平均値を用いて置換するステップを有する、復号方法。
- 符号化装置であって、
ビデオストリームにおけるマクロブロックのマクロブロック平滑度情報を得るための入手装置であって、前記マクロブロック平滑度情報が、前記マクロブロックの境界が滑らかであるか否かを示す、装置と、
前記マクロブロック平滑度情報を符号化ビデオストリームへ符号化する書き込み装置と、
を備える、装置。 - 請求項12に記載の装置であって、前記マクロブロック平滑度情報が、1ビットのフラッグ値である、装置。
- 請求項13に記載の装置であって、前記入手装置が、
前記マクロブロック平滑度情報が滑らかである場合に、前記フラッグ値を0に設定し、
前記マクロブロック平滑度情報が滑らかでない場合に、前記フラッグ値を1に設定する、
設定装置を備える、装置。 - 請求項12に記載の装置であって、前記入手装置が、前記マクロブロックの境界が滑らかであるか否かを、前記マクロブロック及びそれに隣接するマクロブロックの離散コサイン変換(DCT)係数を通じて、決定する決定装置を備える、装置。
- 請求項12に記載の装置であって、前記入手装置が、前記マクロブロックの境界が滑らかであるか否かを、前記マクロブロック及びそれに隣接するマクロブロックへの画素ドメイン分析を通じて、決定する決定装置を備える、装置。
- 請求項12に記載の装置であって、前記書き込み装置が、前記マクロブロック平滑度情報を、前記マクロブロックを含むスライスのスライスヘッダセクションへ符号化するように使用される、装置。
- 復号装置であって、
失われたマクロブロックの境界が滑らかであるか否かを、ビデオストリームにおける前記失われたマクロブロックのマクロブロック平滑度情報に従い、決定する決定装置と、
前記境界が滑らかである場合、前記失われたマクロブロックに関する置換マクロブロックを平滑化する平滑化装置と、
を有する、装置。 - 請求項18に記載の装置であって、前記置換マクロブロックを前記失われたマクロブロックの位置へ挿入する挿入装置を更に有する、装置。
- 請求項18に記載の装置であって、前記平滑化装置が、前記置換マクロブロックの境界において、隣接する画素をフィルタ補間するように用いられる、装置。
- 請求項18に記載の装置であって、前記平滑化装置が、前記置換マクロブロックの境界の画素を、前記置換マクロブロックの前記境界の画素と前記置換マクロブロックの周囲のマクロブロックの境界の画素との平均値を用いて置換するように用いられる、装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200510077545 | 2005-06-17 | ||
PCT/IB2006/051835 WO2006134525A1 (en) | 2005-06-17 | 2006-06-09 | Coding and decoding method and device for improving video error concealment |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008544621A true JP2008544621A (ja) | 2008-12-04 |
Family
ID=37075829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008516465A Pending JP2008544621A (ja) | 2005-06-17 | 2006-06-09 | ビデオエラー隠蔽を向上させる符号化及び復号の方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20080199153A1 (ja) |
EP (1) | EP1894416A1 (ja) |
JP (1) | JP2008544621A (ja) |
CN (1) | CN101223785A (ja) |
WO (1) | WO2006134525A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2152009A1 (en) * | 2008-08-06 | 2010-02-10 | Thomson Licensing | Method for predicting a lost or damaged block of an enhanced spatial layer frame and SVC-decoder adapted therefore |
CN103124356A (zh) * | 2013-01-17 | 2013-05-29 | 浙江工业大学 | 基于方向信息的自适应空域差错掩盖方法 |
US20160329928A1 (en) * | 2015-05-07 | 2016-11-10 | Elster Solutions, Llc | System and method for efficient data compression in a communication system |
CN109982093B (zh) * | 2017-12-28 | 2021-05-18 | 展讯通信(上海)有限公司 | 视频解码错误补偿方法及装置、存储介质、终端 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08251418A (ja) * | 1995-03-10 | 1996-09-27 | Kawasaki Steel Corp | ブロック歪低減装置および低減方法 |
JPH11220729A (ja) * | 1998-02-03 | 1999-08-10 | Sony Corp | 映像符号化装置、映像復号化装置及び歪み検出装置 |
JP2003169337A (ja) * | 2001-09-18 | 2003-06-13 | Matsushita Electric Ind Co Ltd | 画像符号化方法および画像復号化方法 |
WO2004064396A1 (en) * | 2003-01-10 | 2004-07-29 | Thomson Licensing S.A. | Decoder apparatus and method for smoothing artifacts created during error concealment |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5745169A (en) * | 1993-07-19 | 1998-04-28 | British Telecommunications Public Limited Company | Detecting errors in video images |
US5926226A (en) * | 1996-08-09 | 1999-07-20 | U.S. Robotics Access Corp. | Method for adjusting the quality of a video coder |
US5864681A (en) * | 1996-08-09 | 1999-01-26 | U.S. Robotics Access Corp. | Video encoder/decoder system |
US6810086B1 (en) * | 2001-06-05 | 2004-10-26 | At&T Corp. | System and method of filtering noise |
US6950473B2 (en) * | 2002-06-21 | 2005-09-27 | Seiko Epson Corporation | Hybrid technique for reducing blocking and ringing artifacts in low-bit-rate coding |
US7212571B2 (en) * | 2003-01-31 | 2007-05-01 | Seiko Epson Corporation | Method and apparatus for DCT domain filtering for block based encoding |
US20060062304A1 (en) * | 2004-09-17 | 2006-03-23 | Shih-Chang Hsia | Apparatus and method for error concealment |
-
2006
- 2006-06-09 EP EP06756094A patent/EP1894416A1/en not_active Withdrawn
- 2006-06-09 US US11/917,223 patent/US20080199153A1/en not_active Abandoned
- 2006-06-09 JP JP2008516465A patent/JP2008544621A/ja active Pending
- 2006-06-09 WO PCT/IB2006/051835 patent/WO2006134525A1/en not_active Application Discontinuation
- 2006-06-09 CN CN200680021618.XA patent/CN101223785A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08251418A (ja) * | 1995-03-10 | 1996-09-27 | Kawasaki Steel Corp | ブロック歪低減装置および低減方法 |
JPH11220729A (ja) * | 1998-02-03 | 1999-08-10 | Sony Corp | 映像符号化装置、映像復号化装置及び歪み検出装置 |
JP2003169337A (ja) * | 2001-09-18 | 2003-06-13 | Matsushita Electric Ind Co Ltd | 画像符号化方法および画像復号化方法 |
WO2004064396A1 (en) * | 2003-01-10 | 2004-07-29 | Thomson Licensing S.A. | Decoder apparatus and method for smoothing artifacts created during error concealment |
Also Published As
Publication number | Publication date |
---|---|
US20080199153A1 (en) | 2008-08-21 |
WO2006134525A1 (en) | 2006-12-21 |
EP1894416A1 (en) | 2008-03-05 |
CN101223785A (zh) | 2008-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4334768B2 (ja) | 圧縮映像のブリージングアーチファクトを低減する方法および装置 | |
US7379496B2 (en) | Multi-resolution video coding and decoding | |
JP6701391B2 (ja) | 改良情報を用いてダウンサンプリング/アップサンプリングすることによるデジタルフレームの符号化/復号化 | |
JP5854439B2 (ja) | 適応セグメンテーションを用いた動画符号化システムおよび方法 | |
JP4393875B2 (ja) | 複雑さの軽減された復号化に適したシングルレイヤビデオ符号化されたビットストリームを供給するシステム及び方法 | |
EP1513349B1 (en) | Bitstream-controlled post-processing video filtering | |
US9900599B2 (en) | High frequency emphasis in decoding of encoded signals | |
US6853752B2 (en) | Method and apparatus for dynamic loop and post filtering | |
US20040179610A1 (en) | Apparatus and method employing a configurable reference and loop filter for efficient video coding | |
KR101482896B1 (ko) | 최적화된 디블록킹 필터 | |
WO2006041305A1 (en) | Deblocking filter | |
WO2007111292A1 (ja) | 画像符号化装置および画像復号化装置 | |
WO2009010515A1 (en) | Method for processing images and the corresponding electronic device | |
JP2008544621A (ja) | ビデオエラー隠蔽を向上させる符号化及び復号の方法及び装置 | |
KR20050068687A (ko) | 움직임 모델을 이용한 매쉬 기반의 움직임 보상방법을제공하는 영상의 부호화 방법 및 그 부호화 장치 | |
US20060133490A1 (en) | Apparatus and method of encoding moving picture | |
JP4762486B2 (ja) | マルチ・リゾルーション・ビデオ符号化および復号化 | |
EP1484925A2 (en) | Method and device for compressing image data | |
JP4592562B2 (ja) | 画像復号装置 | |
CN116982262A (zh) | 视频编码中依赖性量化的状态转换 | |
JP2009510822A (ja) | ビデオ誤り隠蔽を改善するための符号化/復号化方法及び装置 | |
US20090046783A1 (en) | Method and Related Device for Decoding Video Streams | |
JP2001078187A (ja) | 画像復号化装置 | |
CN101437160A (zh) | 用来解码视频信号的方法及相关装置 | |
KR20040095399A (ko) | 가중 예측에서의 가중요소 결정방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110802 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120105 |