[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP3923898B2 - 画像符号化方法及び装置 - Google Patents

画像符号化方法及び装置 Download PDF

Info

Publication number
JP3923898B2
JP3923898B2 JP2003010135A JP2003010135A JP3923898B2 JP 3923898 B2 JP3923898 B2 JP 3923898B2 JP 2003010135 A JP2003010135 A JP 2003010135A JP 2003010135 A JP2003010135 A JP 2003010135A JP 3923898 B2 JP3923898 B2 JP 3923898B2
Authority
JP
Japan
Prior art keywords
image signal
encoding
reference image
code string
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003010135A
Other languages
English (en)
Other versions
JP2003284078A (ja
Inventor
剛 永井
健 中條
晋一郎 古藤
義浩 菊池
渉 浅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2003010135A priority Critical patent/JP3923898B2/ja
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to EP20070006029 priority patent/EP1793616A2/en
Priority to MXPA03008163A priority patent/MXPA03008163A/es
Priority to EP20070006027 priority patent/EP1811788A2/en
Priority to BR0302718A priority patent/BR0302718A/pt
Priority to EP20070006024 priority patent/EP1811787A2/en
Priority to EP20070006025 priority patent/EP1793614A2/en
Priority to AU2003203271A priority patent/AU2003203271B2/en
Priority to KR20037012414A priority patent/KR100564896B1/ko
Priority to EP20070006023 priority patent/EP1793613A2/en
Priority to EP20070006022 priority patent/EP1793612A2/en
Priority to PCT/JP2003/000426 priority patent/WO2003067894A1/ja
Priority to CNB03800156XA priority patent/CN1253014C/zh
Priority to EP20070006028 priority patent/EP1793615A2/en
Priority to EP20030701800 priority patent/EP1469681A1/en
Priority to KR1020057020080A priority patent/KR100628494B1/ko
Priority to CA002440154A priority patent/CA2440154C/en
Priority to US10/661,697 priority patent/US7212576B2/en
Priority to NO20034137A priority patent/NO20034137L/no
Publication of JP2003284078A publication Critical patent/JP2003284078A/ja
Priority to US11/685,827 priority patent/US20070153894A1/en
Priority to US11/685,810 priority patent/US20070153893A1/en
Priority to US11/685,842 priority patent/US20070153895A1/en
Priority to US11/686,380 priority patent/US20070153913A1/en
Priority to US11/686,373 priority patent/US20070153912A1/en
Priority to US11/686,372 priority patent/US20070153911A1/en
Priority to US11/686,376 priority patent/US20070160141A1/en
Publication of JP3923898B2 publication Critical patent/JP3923898B2/ja
Application granted granted Critical
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を少ない情報量で圧縮符号化する画像符号化及び圧縮符号化により得られた符号列を復号して画像を再生する画像復号化技術に係り、特に誤りの発生しやすい伝送路を介して符号化データの伝送／蓄積を行う場合に、符号化効率を損なうことなく誤りによる影響を出来るだけ早急に回復できる画像符号化方法及び装置並びに画像復号化方法及び装置に関する。
【０００２】
【従来の技術】
ＴＶ電話、ＴＶ会議システム、携帯情報端末、ディジタルビデオディスクシステム及びディジタルＴＶ放送システムのような画像を伝送または蓄積するシステムにおいては、画像を伝送または蓄積のために画像を少ない情報量で圧縮符号化することが必要である。
【０００３】
このような圧縮符号化技術として、動き補償、離散コサイン変換、サブバンド符号化及びピラミッド符号化等の方式、さらにこれらを組み合わせた方式など様々な方式が開発されている。動画像の圧縮符号化の国際標準方式として、ＩＳＯ・ＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４、さらにＩＴＵ−Ｔ・Ｈ．２６１、Ｈ．２６２及びＨ．２６３などが規定されている。
【０００４】
これら方式はいずれも動き補償適応予測と離散コサイン変換を組み合わせた圧縮符号化方式であり、文献１（安田浩編著、“ＭＰＥＧ／マルチメディア符号化の国際標準”、丸善、）等に詳細が述べられている。
【０００５】
従来の画像符号化／復号化装置には、以下のような問題点がある。第１に、無線通信路のような誤りが混入する可能性のある通信路では、符号化を行っただけでは、誤りが生じた場合に復号画像品質が著しく劣化する。特に、同期信号、モード情報及び動きベクトル情報といった信号が誤った場合の画質劣化は著しい。
【０００６】
第２に、画像符号化に用いられる動き補償適応予測符号化ではフレーム間の差分のみが符号化される。このため、誤りが生じると、そのフレームが誤るだけではなく、誤った画像がフレームメモリに蓄えられる。その誤った画像を用いて予測画像が作成され、その予測画像に残差が加えられる。この結果、これ以降のフレームが正しく復号されたとしても、フレーム間差分を用いずにフレーム内のみで画像を符号化する符号化モード（ＩＮＴＲＡモード）で情報が送られてくるか、徐々に誤りの影響が減衰して元の画像に戻るかのどちらか以外、それ以降のフレームも正しい復号画像は得られなくなる。
【０００７】
誤りにより１フレーム分の情報が失われたとすると、２番目のフレームは全く復号されず、例えば１番目のフレームがそのまま出力される。３番目のフレームでは、２番目のフレームに加えることによって初めて正しく復号できる残差が１番目のフレームに加えられてしまう。３番目のフレームは全く別の画像となってしまう。これ以降、誤った画像に残差が加えられていくため、基本的に誤りが消えず正しい復号画像が再生できなくなる。
【０００８】
この問題を解決するため、従来では一定周期毎にイントラモードで符号化するリフレッシュと呼ばれる手法が一般に用いられている。イントラモードで符号化すると、符号量が増加するので、誤りのない画像の画質が著しく低下する。このため、画面全体を一度にリフレッシュするのではなく、１フレームに数マクロブロックずつリフレッシュする周期リフレッシュ等の方法が通常用いられる。しかしながら、この周期リフレッシュでは符号量の増加は抑えられる反面、正常な状態に回復するまでに長い時間がかかる。
【０００９】
他の誤り対策としては、誤り訂正符号の利用がある。しかしながら、この方式はランダムに生じる誤りを訂正できても、バースト的に連続して生じる数百ビットの誤りには対処が難しい。たとえ対処出来たとしても、かなりの冗長度が生じる。
【００１０】
ネットワークの誤り情報などをシステムから受け取ることにより、サーバ側が誤り情報などを適応的に処理することが検討されている。具体的には、誤り情報を受け取ってから再符号化を行ったり、複数のファイルを切り替えたりするという方法が取られる。この方法では、サーバに符号化の機能や、複数のファイルを適応的に切り替えるなどの機能を持たせる必要があり、余計な処理を増やすことになる。
【００１１】
【非特許文献】
安田浩編著、“ＭＰＥＧ／マルチメディア符号化の国際標準”、丸善、平成６年９月３０日発行、Ｐ．１２〜１５
【００１２】
【発明が解決しようとする課題】
上述したように従来の画像符号化技術では、誤りによる情報の消失が大きな画質劣化の要因となる。さらに、誤りによって消失した情報を回復する周期リフレッシュのような手法は、符号化効率を考えるとエラー回復までに長い時間を要する。回復に要する時間を短縮しようとすると符号量が増加して符号化効率が低下する。
【００１３】
【課題を解決するための手段】
本発明は、誤りにより情報が失われた場合でも早期に回復可能で、かつ符号化効率が高く、再符号化の必要もない画像符号化方法及び装置並びに画像復号化方法及び装置を提供することも目的とする。
【００１４】
本発明の第１局面は、入力される動画像信号を符号化する際に、参照画像信号を用いて動画像信号を符号化して動画像符号列を生成し、参照画像信号を符号化して参照画像符号列を生成し、これら動画像符号列及び参照画像符号列を多重化して出力符号列を生成する動画像符号化方法を提供する。
【００１５】
本発明の第２局面は、動画像信号を符号化して得られた動画像符号列及び参照画像信号を符号化して得られた参照画像符号列を含む入力符号列を復号して動画像信号を再生する際には、入力符号列に含まれる参照画像符号列を復号して第１の参照画像信号を生成し、再生画像信号から得られる第２の参照画像信号及び第１の参照画像信号のいずれかを選択的に用いて、入力符号列に含まれる動画像符号列を復号して再生画像信号を生成する動画像復号化方法を提供する。
【００１６】
本発明の第３局面は、入力される動画像信号を符号化する画像符号化処理をコンピュータに実行させるためのプログラムであって、参照画像信号を用いて前記動画像信号を符号化して動画像符号列を生成する処理と、参照画像信号を符号化して参照画像符号列を生成する処理と、動画像符号列及び参照画像符号列を多重化して出力符号列を生成する処理とをコンピュータに実行させるためのプログラムを提供する。
【００１７】
本発明の第４局面は、動画像信号を符号化して得られた動画像符号列及び参照画像信号を符号化して得られた参照画像符号列を含む入力符号列を復号して動画像信号を再生する処理をコンピュータに実行させるためのプログラムであって、入力符号列に含まれる参照画像符号列を復号して第１の参照画像信号を生成する処理と、再生画像信号から得られる第２の参照画像信号及び第１の参照画像信号のいずれかを選択的に用いて、入力符号列に含まれる動画像符号列を復号して再生画像信号を生成する処理とをコンピュータに実行させるためのプログラムを提供する。
【００１８】
【発明の実施の形態】
（第１の実施形態）
図１に、本発明の第１の実施形態に係る画像符号化装置の基本構成を示す。
【００１９】
入力動画像信号１３１は、まず領域分割器１０１で予め定められた複数の領域に分割された後、以下のように動き補償適応予測にかけられる。動き補償適応予測器１１１において、フレームメモリ１１０中に蓄えられており、既に符号化及び局部復号化が行われた前フレームの参照画像信号１４１と入力画像信号１３２との間の動きベクトル１４３が検出される。この動きベクトルを用いて参照画像信号１４１に対して動き補償が行われる。これによって、予測画像信号（動き補償後の参照画像信号）１４２が生成される。動き補償適応予測器１１１は、動き補償予測モードと入力画像信号１３２をそのまま符号化に用いるイントラ符号化（予測画像信号＝０）モードのうち、好適な方の予測モードを選択し、選択した予測モードに対応する予測画像信号１４２を出力する。
【００２０】
減算器１０２は、入力画像信号１３２から予測画像信号１４２を減算し、予測残差信号１３３を出力する。予測残差信号１３３は、第１の離散コサイン変換器１０３において一定の大きさのブロック単位で離散コサイン変換（ＤＣＴ）される。離散コサイン変換により得られたＤＣＴ係数１３４は、第２の量子化器１０４で量子化される。量子化されたＤＣＴ係数１３５は、一方において第１の可変長符号化器１０５で符号化されることにより、ＤＣＴ係数符号列１３６が得られる。ＤＣＴ係数符号列１３６は、多重化器１０６において第２の可変長符号化器１１２により動きベクトル情報を符号化した動きベクトル符号列１４４と多重化され、動画像符号列１３７として出力される。
【００２１】
他方においてＤＣＴ係数１３５は、逆量子化器１０７で逆量子化された後、さらに逆離散コサイン変換（逆ＤＣＴ）される。逆離散コサイン変換器１０８からの出力１３９は、加算器１０９で適応予測画像信号１４２と加算されて局部復号画像信号１４０が生成される。この復号画像信号は１４０はフレームメモリ１１０に参照画像信号として記憶される。
【００２２】
一方、フレームメモリ１１０から出力される前フレームの参照画像信号１４１は、参照符号１１３〜１１５で示されるブロックからなる参照画像符号化部によって符号化される。すなわち、参照画像信号１４１は動き補償適応予測器１１１に入力されると共に第２の離散コサイン変換器１１３に入力される。第２の離散コサイン変換器１１３において、参照画像信号１４１は一定の大きさのブロック単位で離散コサイン変換（ＤＣＴ）される。これにより得られた変換係数１４５は第２の量子化部１１４で量子化され、量子化された変換係数は第３の可変長符号化器１１５で符号化される。第３の可変長符号化器１１５によって得られた符号列（以下、参照画像符号列という）１４７は、動画像符号列１３７とは別のフレームとして出力される。
【００２３】
図２は、図１にフレームヘッダを付加するためのヘッダ多重化部１１７を含んだ構成を示す。制御部１１６は画像符号化装置全体の動作を管理するが、特にここでは例えば動画像符号列１３７のみを出力する符号化モード、動画像符号列１３７と参照画像符号列１４７の両方を出力する符号化モードのいずれかを選択する。制御部１１６では、フレームヘッダ用符号列１４８も生成される。ヘッダ多重化部１１７においては動画像符号列１３７、参照画像符号列１４７及びフレームヘッダ符号列１４８が多重化され、出力符号列１４９が生成される。出力符号列１４９は、図示しない伝送系または蓄積系へ送出される。
【００２４】
図３に、図２の画像符号化装置から出力される出力符号列１４９中の画像に係る部分のデータ構造を示す。従来の画像符号化装置では、参照画像信号は符号化されず、入力の動画像信号のみが符号化されるため、出力符号列１４９中の画像に係る部分は図３（ａ）に示すような各フレームの動画像符号列１３７（…Frame #n，Frame #n+1，Frame #n+2，…）のみからなるデータ構造となる。これに対して、図２の画像符号化装置では、図３（ｂ）に示すように任意フレーム、例えば第ｎ＋１フレームにおける参照画像符号列１４７（Ref-Frame #n+1）が例えば動画像符号列１３７における第ｎ＋１フレーム（Frame #n+1）の前に挿入されることによってフレームが多重化され、出力符号列１４９が生成される。
【００２５】
図３（ｂ）とは逆にn+1フレーム（１３７）後に参照画像（１４７）を挿入しても良い。
【００２６】
図４は、出力符号列１４９に含まれるフレームヘッダ符号列１４８の構造の一例を示す。符号列のモード情報としてPic-type（ピクチャタイプ）情報が定義される。ピクチャタイプとして、通常のI-Picture、P-Picture及びB-Pictureに加え、本実施形態に特有の参照画像符号列１４７のフレームタイプであるR-Pictureが別途定義されている。参照画像符号列１４７を認識するために他の方法をとることも可能であり、それにより同様の効果を得ることができる。
【００２７】
フレームの表示時間等を示すタイムスタンプ（Timestamp）については、R-Pictureにはこれが利用されるフレームのTimestamp、つまり次のフレームのTimestampが記述されることが望ましい。参照画像符号列１４７が誤りにより欠落してしまったり、参照画像符号列１４７を使うフレームが誤りにより欠落してしまったりした場合に、このようなタイムスタンプは参照画像符号列１４７とフレームとの関連付けを識別するための有効な情報となる。さらに通常のフレームと同じ符号列構造をとることにより、特殊な付加回路を必要とせず、通常の回路を使用できる。
【００２８】
このようにモード情報で区別する方式を使った場合には、本実施形態で利用している参照画像信号を符号化しておくだけでなく、例えば誤りから回復できるようにするターゲットのフレームそのものをイントラ符号化し、二重化することで回復機能を実現することも可能である。P-Pictureなどのように動き補償予測符号化されるフレームをイントラモードでも符号化しておき、モード情報だけをR-Pictureなどに指定をしておくことで回復機能が実現できる。この場合、送信側でR-Pictureを伝送することが決定されると、それに対応した通常のフレーム（主にP-PictureやB-Picture）の符号列は送る必要がなくなる。このため、本実施形態は伝送路の効率的利用にも役立つ。
【００２９】
図５を用いて本実施形態の画像符号化装置に対応した画像復号化装置の基本構成を説明する。図２に示した画像符号化装置から出力された出力符号列１４９は、伝送系または蓄積系を経て図５の画像復号化装置に入力符号列として入力される。画像復号化装置では、ヘッダ逆多重化部２００により、入力符号列から動画像符号列２３１と参照画像符号列２４１が分離される。逆多重化器２０１においては、動画像符号列２３１からＤＣＴ係数符号列２３２及び動きベクトル符号列２３７が分離される。ＤＣＴ係数符号列２３２は、可変長復号化器２０２、逆量子化器２０３及び逆離散コサイン変換器２０４を経て復号され、予測誤差信号２３５に再生される。動きベクトル符号列２３７は、可変長復号化器２０６で復号され、これによって再生された動きベクトル情報２３８が動き補償予測器２０７に入力される。
【００３０】
一方、図示しないヘッダ逆多重化部により入力符号列から分離された参照画像符号列２４１は、可変長復号化器２０９、逆量子化器２１０及び逆離散コサイン変換器２１１を経て参照画像信号２４４に変換され、フレームメモリ２０８に格納される。動き補償予測器２０７では、動きベクトル情報２３８を用いてフレームメモリ２０８から読み出された前フレームの参照画像信号２３９に対して動き補償が行われ、予測画像信号（動き補償後の参照画像信号）２４０が生成される。加算器２０５によって予測誤差信号２３５と予測画像信号２４０が加算され、再生画像信号２３６が生成される。再生画像信号２３６は、装置外へ出力されると共にフレームメモリ２０８に参照画像信号として記憶される。
【００３１】
本実施形態では画像符号化装置から参照画像の情報を参照画像符号列として動画像符号列とは別途に伝送系または蓄積系に送出し、画像復号化装置では参照画像符号列を復号して参照画像の情報を再生することで、誤りの発生に対応することができる。このように本実施形態によると、誤り発生時の画像回復能力を高めることが可能となる。
【００３２】
この効果をさらに具体的に説明すると、例えば図６に示すような予測を利用した動画像符号化では、図７に示すように途中で誤りが発生すると、以後の予測を使っているフレームについては誤りが伝播する。そこで、通常は誤りが発生してもそこで回復できるフレーム、すなわち予測を使わないイントラ符号化フレーム(I-Picture)を周期的に挿入する周期的リフレッシュの手法がとられているが、これは符号化効率が悪くなる欠点があった。
【００３３】
これに対し、本実施形態では例えば図５に示した画像復号化装置において、参照画像符号列を復号して得られた参照画像信号を図８に示すように誤り発生時に用いる参照画像信号のデータとしてフレームメモリ２０８に別途保持しておく。誤りがあった場合のみ該データを動画像符号列の復号に用いる。すなわち、誤りのない場合は符号化効率の高い予測符号化に基づく参照画像信号を用い、誤りのある場合だけ参照画像符号列を復号して再構成した参照画像信号を用いることにより、誤りから回復することを可能とする。また誤りが発生した場合には、参照画像符号列から復号された参照画像でフレームメモリ２０８の内容を強制的に置き換える構成を採用しても良い。
【００３４】
本実施形態の構成では、画像符号化装置のトータルの発生符号量は、参照画像信号を別途符号化している分だけ多くなるが、これは参照画像符号列を必要なときだけ出力することによって解決できる。例えば、フレームの先頭などに当該フレームのタイプを示すフレームタイプ情報として、参照画像符号列であることを示すモード情報を記しておく。画像符号化装置側で該モード情報を解析して参照画像符号列を出力するのかしないかの判定を行う。通常モードでは参照画像符号列を出力しないようにする。
【００３５】
図９は、このような参照画像符号列のための出力判定装置の基本構成を示している。この出力判定装置は、例えば図２中のヘッダ多重化部１１７内に備えられる。図９において、入力符号列４３１は付加情報判定部４０１に入力され、ここで通常のフレームを示す情報か、補助的に付加された情報かの判定が行われる。本実施形態の場合、入力符号列４３１は動画像符号列１３７と参照画像符号列１４７を含む符号列であり、付加情報判定部４０１では付加情報である参照符号列１４７か否かの判定が行われる。
【００３６】
付加情報判定部４０１からの判定結果４３２は付加情報出力判定部４０３に入力され、現在の状態を示す状態情報４３３に従って、参照符号列１４７を出力すべきか否かの判定が行われる。例えば、状態情報４３３は現在が誤り発生状態かどうかを示す情報であるとすると、付加情報出力判定部４０３では誤りが発生していれば参照符号列１４７を出力すべきと判定され、そうでない通常の状態であれば参照符号列１４７を出力すべきでないと判定される。
【００３７】
付加情報出力判定部４０３の判定結果４３４は、出力部４０２へ渡される。出力部４０２は、付加情報判定部４０１を介して入力される符号列４３５に含まれる参照符号列１４７を付加情報出力判定部４０３からの判定結果４３４に従って出力符号列４３６として出力する。これにより適応的に参照符号列１４７を出力することができ、通常の誤りのない状態で余分な情報が出力されない。
【００３８】
一方、図５に示した画像復号化装置においては、通常の状態でも入力符号列として参照符号列２４１が入力される場合がある。例えば、ローカルのファイルを再生する場合や、送信側が適応的な送信をサポートしていない場合などがある。そのような場合、画像復号化装置側で参照画像符号列２４１を復号すべきかどうか判定することも可能である。
【００３９】
図１０は、このように参照画像符号列を復号すべきかどうかを判定して復号を行う復号化判定装置の基本構成を示す。この復号化判定装置は、例えば図５の前段に設けられる前記ヘッダ逆多重化部２００に備えられる。図１０において、入力符号列５３１は付加情報判定部５０１に入力され、付加情報か否かを判定される。本実施形態の場合、入力符号列５３１は動画像符号列２３１と参照画像符号列２４１を含む符号列であり、付加情報判定部５０１では入力符号列５３１が参照画像符号列２４１か否かが判定される。この判定は、例えばフレームタイプ情報に記された参照画像符号列であることを示すモード情報を用いて行われる。
【００４０】
付加情報判定部５０１の判定結果５３２は、復号方法判定部５０３に入力され、参照画像符号列２４１を復号すべき否かの判定に利用される。復号方法判定部５０３には、状態情報５３３として現在の復号がローカル再生かどうかや、誤りの発生があったかどうかといった情報が与えられる。復号方法判定部５０３からは、付加情報判定部５０１の判定結果５３２と状態情報５３３とから、付加情報判定部５０１を介して入力される符号列５３５に含まれる参照符号列２４１を復号すべきか否かが判定される。復号部５０２は、復号方法判定部５０３の判定結果５３４に従って復号を行い、再生信号５３６を出力する。これにより、ローカル再生などの場合には、付加情報を復号しないように画像復号化装置を制御することが可能となる。例えば、伝送路誤りが生じない通常の送受信状態においては、参照画像符号列２４１は復号されることなく、復号方法判定部５０３で廃棄されるが、伝送路に誤りが発生した結果、参照すべきフレームが欠落する、正常に復号されない等の場合には、再生画像の復号に必要な参照画像がフレームメモリにされていないため、参照符号列２４１を復号することにより、フレームメモリ内に蓄積される画像を置き換える。これにより誤り混入によるう再生画像の劣化を防止する。また誤りが発生した場合にのみ参照符号列を復号して、参照画面を置き換える手法も可能であり、参照画面を置き換えるか否かに拘わらず、参照符号列を受信した場合には全て復号するように受信側を構成することも可能である。
【００４１】
本実施形態では参照フレームが一つの場合を前提に説明を行ったが、これを複数参照フレームに拡張することも可能である。その場合、複数のフレームの画像を全部付加するのでは、符号量が多くなってしまい実用に沿わない可能性がある。そこで、複数ある参照フレームの中で動き補償の際に参照される小領域（ここではマクロブロックを例として用いる）だけを選択し、それを参照画像符号列241として出力する。この場合には、図３（ｂ）のフレーム単位のデータ構造の代わりにマクロブロック単位のデータ構造となる。この方式を採用することで、利用されないマクロブロックも符号化して符号量が増大してしまうことが避けられ、符号量を節約することが可能となる。その際、付加情報として出力するマクロブロック情報がどのフレームのどの位置のマクロブロックかを示す情報と一緒に記述する。
【００４２】
（第２の実施形態）
図１１は、本発明の第２の実施形態に係る画像符号化装置の構成を示す。第１の実施形態では、参照画像符号列が動画像符号列とは別フレームとして出力されている。第２の実施形態では参照画像符号列は動画像符号列のフレームに対する付加情報として出力される。図１１において図１と相対応する部分に同一符号を付して第１の実施形態に係る画像符号化装置との相違点のみ説明する。本実施形態では、参照画像符号列１４７は多重化器１０６に入力され、量子化及び可変長符号化されたＤＣＴ係数１３６及び動きベクトル情報１４４と共に多重化されて出力される。
【００４３】
こうすることで、動画像符号列の特定のフレームに対して、そのフレームの符号化・復号化に必要な参照画像信号を付加する。すなわち図１２に示されるように第ｎ＋１フレームの参照画像符号列１４７（Ref-Frame #n+1）を動画像符号列１３７における同じ第ｎ＋１フレーム（Frame #n+1）内の付加情報という位置付けにすることができる。
【００４４】
前記第１の実施形態で述べたように小領域（マクロブロック）単位で参照画像符号列を付加する方式の場合、動画像符号列137と参照画像符号列147をマクロブロック単位で多重化し、どのマクロブロックに対して参照画像符号列147が付加されたか否かを示す判定フラグ情報をつけて記述する方式も可能である。
【００４５】
図１３は、図１１の画像符号化装置に対応する画像復号装置の構成を示している。図１３において図５と相対応する部分に同一符号を付して第１の実施形態に係る画像復号化装置との相違点を説明する。本実施形態では逆多重化部２０１によって、ＤＣＴ係数符号列２３１及び動きベクトル符号列２３７とは別に、動画像符号列２３１のフレームに対する付加情報として挿入された参照画像符号列２４１が動画像符号列２３１から分離される。分離された参照画像符号列２４１は、第１の実施形態と同様に可変長復号化器２０９、逆量子化器２１０及び逆離散コサイン変換器２１１を経て復号され、参照画像信号２４４が再生される。参照画像符号列を復号して得られた参照画像信号を誤り発生時用に用いる参照画像信号のデータとしてフレームメモリ２０８に保持しておき、誤りがあった場合該参照画像データを動画像符号列の復号に用いる。また誤りが発生した場合には、参照画像符号列から復号された参照画像でフレームメモリ２０８の内容を強制的に置き換える構成を採用しても良い。
【００４６】
（第３の実施形態）
図１４は、本発明の第３の実施形態に係る画像符号化装置の構成を示す。第１及び第２の実施形態では、フレームメモリ１１０に記憶された参照画像信号を符号化して参照符号列１４７が生成されている。第３の実施形態では動き補償後の参照画像信号（予測画像信号）を符号化して参照画像符号列１４７を生成する。すなわちこの動き補償では、フレームメモリに記憶された参照画像信号の中から通常小領域単位毎（主にマクロブロック単位毎）に最適な部分が選択された参照画像がフレームメモリに記憶される。そのため、動き補償後の参照画像信号１４２はフレームメモリに記憶された参照画像信号１４１に対し、マクロブロック単位に参照画像信号を選択した信号である。
【００４７】
すなわち、図１４においては動き補償適応予測器１１１から出力される動き補償後の（マクロブロック単位に選択された）参照画像信号１４２が離散コサイン変換器１１３、逆量子化器１１４及び可変長符号化器１１５を経て符号化され、参照画像符号列１４７が生成される。こうして生成された参照画像符号列１４７は、第１の実施形態と同様に動画像符号列１３７と別フレームで出力されるか、あるいは第２の実施形態と同様に動画像符号列１３７のフレーム中に付加情報として挿入されて出力される。
【００４８】
図１５は、図１４の画像符号化装置に対応する本実施形態に係る画像復号化装置の構成を示す。ヘッダ逆多重化部によって入力符号列から分離された動き補償後の参照画像符号列２１４は、図１４で説明したように動き補償後の参照画像信号を符号化して得られた符号列である。可変長符号化器２０９、逆量子化器２１０及び逆離散コサイン変換器２１１を経て復号されることにより、動き補償後の参照画像信号２４４が再生される。再生された動き補償後の参照画像信号２４４は、第１及び第２の実施形態のようにフレームメモリ２０８にではなく、動き補償予測器２０７に入力される。
【００４９】
動き補償器２０７では、誤り発生時等には入力された動きベクトル情報２３８とフレームメモリ２０８からの参照画像信号２３９ではなく、上記のようにして再生された動き補償後の参照画像信号２４４を予測画像信号２４０として出力することができる。
【００５０】
本実施形態によると、参照画像が複数枚であったり、参照画像になんらかの加工を加えながら利用する場合においても、領域分割後の入力動画像信号１３２から減算器１０２で直接減算される予測画像信号である動き補償後の参照画像信号１４２を符号化し、誤り発生時の復元用信号として使用することでこの問題を解決することが可能となる。
【００５１】
また、予測符号化される画像フレームにおいては、小領域のマクロブロック単位で予測符号化(INTERモード)を行うか、フレーム内符号化(INTRAモード)を行うか選択しながら動作している場合が多い。その際、フレーム内符号化しているマクロブロックに関しては予測画像信号が存在しないため、参照画像信号を一つのフレームとして出力するのでは無駄な部分が生じてしまう可能性がある。そこで、参照画像信号をフレーム単位で格納する以外に、復号時に必要となるマクロブロック単位で参照画像符号列１４７を選択し、蓄積するよう構成することも可能である。
【００５２】
（第４の実施形態）
第１〜第３の実施形態では、動き補償予測、離散コサイン変換、量子化及び可変長符号化を組み合わせた動画像符号化を例に説明してきたが、本発明はこのような符号化方式に限定されるものではない。例えば、ウェーブレット符号化などの次世代符号化でも、本発明を適用することが可能である。
【００５３】
図１６に、このような種々の画像符号化方式を考慮して一般化した画像符号化装置の基本構成を示す。図１６において、画像符号化部１９０１は参照画像信号を利用して入力画像信号（主に動画像信号）１９３１を符号化して画像符号化列１９３２を出力する。画像符号化部１９０１は、参照画像信号を用いる方式であれば、符号化方式は問わない。画像符号化部１９０１で用いられる参照画像信号１９３３は、参照画像符号化部１９０２で符号化され、参照画像符号列１９３４として出力される。
【００５４】
一方、図１６の画像符号化装置に対応する画像復号装置の基本構成を図１７に示す。入力された符号列から分離された参照画像符号列２０３２は参照画像復号化部２００２で復号され、参照画像信号２０３３が再生される。一方、入力された符号列から分離された画像符号列２０３１は、画像復号化部２００１で復号されるが、その際の参照画像信号として参照画像復号化部２００２で再生された参照画像信号２０３３が存在すれば、これを適宜用いることができる。
【００５５】
（第５の実施形態）
通常、INTRAモードで参照画像を符号化した場合、量子化により元の参照画像との間に誤差が生じてしまう。そこで、符号化時に予測信号として参照画像信号を利用するのではなく、一旦変換符号化を行い量子化まで行った後の画像符号化信号を参照用に利用する。これを付加参照画像符号化信号として復号装置側に伝送することで、量子化による誤差のないシステムを実現することが可能となる。
【００５６】
本発明は、ＲＴＰ（Real-time Transport Protocol）などが実装するフィードバック情報ＲＴＣＰなどと組み合わせて用いることにより、効果をより発揮することができる。ネットワークの誤り情報が受信側から送信側に送られてくることにより、それを付加情報の送信・非送信の判断条件として利用することができるからである。例えば、ＲＴＣＰにより誤りがあったと判定された場合は、次に存在するフレームの参照画像符号列を受信側に送信することになる。
【００５７】
上述した本発明の画像符号化及び復号化は、ハードウェアにより実現してもよいし、処理の一部または全部をコンピュータを用いてソフトウェアにより実行することも可能である。かかるソフトウェア（コンピュータプログラム）は半導体メモリ、ＣＤ−ＲＯＭ等の記録媒体に記録されて流通させても良いし、また無線、有線等の伝送媒体を経由して流通させることも可能である。
【００５８】
【発明の効果】
以上説明したように、本発明によれば伝送効率を損なうことなく、誤り時の回復能力を高めることが可能となる。また、符号化の枠組みの中で処理し、符号化時に全てのデータを用意することにより、再符号化や送信時での複雑な処理などが不必要となり、簡易な画像送受信システムを構築することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像符号化装置の構成を示すブロック図
【図２】同実施形態に係るヘッダ多重化部及び制御部を付加した画像符号化装置の構成を示すブロック図
【図３】同実施形態に係る画像符号化装置から出力される出力符号列中の画像に係る部分のデータ構造の例を説明する図
【図４】同実施形態に係る画像符号化装置から出力される出力符号列中のフレームヘッダ符号列の構造の一例を示す図
【図５】本発明の第１の実施形態に係る画像復号化装置の構成を示すブロック図
【図６】予測符号化の予測構造を示す図
【図７】予測符号化による誤り伝播を示す図
【図８】同実施形態による誤り対処法を説明する図
【図９】同実施形態に係る参照画像符号列のための出力判定装置の構成を示すブロック図
【図１０】同実施形態に係る参照画像符号列の復号のための復号化判定装置の構成を示すブロック図
【図１１】本発明の第２の実施形態に係る画像符号化装置の構成を示すブロック図
【図１２】同実施形態に係る画像符号化装置から出力される出力符号列中の画像に係る部分のデータ構造を示す図
【図１３】本発明の第２の実施形態に係る画像復号化装置の構成を示すブロック図
【図１４】本発明の第３の実施形態に係る画像符号化装置の構成を示すブロック図
【図１５】本発明の第３の実施形態に係る画像復号化装置の構成を示すブロック図
【図１６】本発明の第４の実施形態に係る画像符号化装置の構成を示すブロック図
【図１７】本発明の第４の実施形態に係る画像復号化装置の構成を示すブロック図
【符号の説明】
１０１乃至１２…動画像符号化部、１１３〜１１５…参照画像符号化部、１１７…ヘッダ多重化部、１３１…入力動画像信号、１３７…動画像符号化列、１４７…参照画像符号化列、１４９…出力符号化列、２０１〜２０８…動画像復号化部、２０９〜２１１…参照画像復号化部、２３１…動画像符号化列、２３６…再生画像信号（第２の参照画像信号）、２４１…参照画像符号化列、２４４…参照画像信号（第１の参照画像信号）

Claims (6)

  1. 入力される動画像信号を符号化する画像符号化方法において、
    記憶部に記憶された参照画像信号を用いて前記動画像信号を動き補償適応予測符号化することにより、動画像符号列を生成する第１符号化ステップと、
    前記動画像信号の符号化の過程で生成される局部復号画像信号を前記参照画像信号として前記記憶部に記憶する参照画像信号記憶ステップと、
    前記記憶部に記憶された前記参照画像信号を符号化することにより、参照画像符号列を生成する第２符号化ステップと、
    前記動画像符号列及び前記参照画像符号列を多重化して出力符号列を生成する多重化ステップと、
    を具備する画像符号化方法。
  2. 前記参照画像信号は前記符号化された動画像を局部復号した複数枚の画像信号からなる請求項１または２記載の画像符号化方法。
  3. 入力される動画像信号を符号化する画像符号化装置において、
    動画像信号の符号化の過程で生成される局部復号画像信号を参照画像信号として記憶する記憶部を有し、前記参照画像信号を用いて前記動画像信号を動き補償適応予測符号化して動画像符号列を生成する第１の符号化手段と、
    前記記憶部から読み出される前記参照画像信号を符号化して参照画像符号列を生成する第２の符号化手段と、
    前記動画像符号列及び参照画像符号列を多重化して出力符号列を生成する多重化手段と、
    を具備する画像符号化装置。
  4. 前記参照画像は前記符号化された動画像を局部復号した複数枚の画像からなる請求項３記載の画像復号化装置。
  5. 前記第１の符号化手段は、前記動画像信号の符号化の過程で生成される局部復号画像信号を前記参照画像信号として記憶するフレームメモリ及び該フレームメモリから読み出された前記参照画像信号に対して動き補償を行う動き補償手段を有し、前記第２の符号化手段は、該動き補償手段による動き補償後の参照画像信号を符号化する請求項３記載の画像符号化装置。
  6. 入力される動画像信号を符号化する画像符号化処理をコンピュータに実行させるためのプログラムであって、
    記憶部に記憶された参照画像信号を用いて前記動画像信号を動き補償適応予測符号化することにより、動画像符号列を生成する処理と、
    前記動画像信号の符号化の過程で生成される局部復号画像信号を前記参照画像信号として前記記憶部に記憶する処理と、
    前記記憶部に記憶された前記参照画像信号を符号化することにより、参照画像符号列を生成する処理と、
    前記動画像符号列及び前記参照画像符号列を多重化して出力符号列を生成する処理とを前記コンピュータに実行させるためのプログラム。
JP2003010135A 2002-01-18 2003-01-17 画像符号化方法及び装置 Expired - Fee Related JP3923898B2 (ja)

Priority Applications (26)

Application Number Priority Date Filing Date Title
JP2003010135A JP3923898B2 (ja) 2002-01-18 2003-01-17 画像符号化方法及び装置
CA002440154A CA2440154C (en) 2002-01-18 2003-01-20 Picture encoding method and apparatus and picture decoding method and apparatus
MXPA03008163A MXPA03008163A (es) 2002-01-18 2003-01-20 Metodo y aparato para codificacion de imagen y metodo y aparato para decodificacion de imagen.
BR0302718A BR0302718A (pt) 2002-01-18 2003-01-20 Método e aparelho de codificação de imagem e método e aparelho de decodificação de imagem
EP20070006024 EP1811787A2 (en) 2002-01-18 2003-01-20 Picture encoding method and apparatus and picture decoding method and apparatus
EP20070006025 EP1793614A2 (en) 2002-01-18 2003-01-20 Picture encoding method and apparatus and picture decoding method and apparatus
AU2003203271A AU2003203271B2 (en) 2002-01-18 2003-01-20 Image coding method and apparatus and image decoding method and apparatus
KR20037012414A KR100564896B1 (ko) 2002-01-18 2003-01-20 화상부호화방법 및 장치와 기록매체
EP20070006023 EP1793613A2 (en) 2002-01-18 2003-01-20 Picture encoding method and apparatus and picture decoding method and apparatus
EP20070006022 EP1793612A2 (en) 2002-01-18 2003-01-20 Picture encoding method and apparatus and picture decoding method and apparatus
PCT/JP2003/000426 WO2003067894A1 (en) 2002-01-18 2003-01-20 Image coding method and apparatus and image decoding method and apparatus
CNB03800156XA CN1253014C (zh) 2002-01-18 2003-01-20 图像编码方法及设备和图像解码方法及设备
EP20070006028 EP1793615A2 (en) 2002-01-18 2003-01-20 Picture encoding method and apparatus and picture decoding method and apparatus
EP20030701800 EP1469681A1 (en) 2002-01-18 2003-01-20 Image coding method and apparatus and image decoding method and apparatus
EP20070006029 EP1793616A2 (en) 2002-01-18 2003-01-20 Picture encoding method and apparatus and picture decoding method and apparatus
EP20070006027 EP1811788A2 (en) 2002-01-18 2003-01-20 Picture encoding method and apparatus and picture decoding method and apparatus
KR1020057020080A KR100628494B1 (ko) 2002-01-18 2003-01-20 화상복호화방법 및 장치와 기록매체
US10/661,697 US7212576B2 (en) 2002-01-18 2003-09-15 Picture encoding method and apparatus and picture decoding method and apparatus
NO20034137A NO20034137L (no) 2002-01-18 2003-09-17 Apparater for bildekoding og bildedekoding
US11/685,810 US20070153893A1 (en) 2002-01-18 2007-03-14 Picture encoding method and apparatus and picture decoding method and apparatus
US11/685,842 US20070153895A1 (en) 2002-01-18 2007-03-14 Picture encoding method and apparatus and picture decoding method and apparatus
US11/685,827 US20070153894A1 (en) 2002-01-18 2007-03-14 Picture encoding method and apparatus and picture decoding method and apparatus
US11/686,373 US20070153912A1 (en) 2002-01-18 2007-03-15 Picture encodng method and apparatus and picture decoding method and apparatus
US11/686,380 US20070153913A1 (en) 2002-01-18 2007-03-15 Picture encoding method and apparatus and picture decoding method and apparatus
US11/686,372 US20070153911A1 (en) 2002-01-18 2007-03-15 Picture encoding method and apparatus and picture decoding method and apparatus
US11/686,376 US20070160141A1 (en) 2002-01-18 2007-03-15 Picture encoding method and apparatus and picture decoding method and apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002-10875 2002-01-18
JP2002010875 2002-01-18
JP2003010135A JP3923898B2 (ja) 2002-01-18 2003-01-17 画像符号化方法及び装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007011825A Division JP2007151163A (ja) 2002-01-18 2007-01-22 画像復号化方法及び装置

Publications (2)

Publication Number Publication Date
JP2003284078A JP2003284078A (ja) 2003-10-03
JP3923898B2 true JP3923898B2 (ja) 2007-06-06

Family

ID=27736416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003010135A Expired - Fee Related JP3923898B2 (ja) 2002-01-18 2003-01-17 画像符号化方法及び装置

Country Status (11)

Country Link
US (8) US7212576B2 (ja)
EP (8) EP1793612A2 (ja)
JP (1) JP3923898B2 (ja)
KR (2) KR100628494B1 (ja)
CN (1) CN1253014C (ja)
AU (1) AU2003203271B2 (ja)
BR (1) BR0302718A (ja)
CA (1) CA2440154C (ja)
MX (1) MXPA03008163A (ja)
NO (1) NO20034137L (ja)
WO (1) WO2003067894A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US8634413B2 (en) * 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
US7634148B2 (en) 2005-01-07 2009-12-15 Ntt Docomo, Inc. Image signal transforming and inverse-transforming method and computer program product with pre-encoding filtering features
US8290057B2 (en) * 2005-02-18 2012-10-16 Mediatek Incorporation Method of decoding a digital video sequence and related apparatus
EP1713283A2 (en) * 2005-04-15 2006-10-18 Sony Corporation Video decoder with random access technique
KR100729824B1 (ko) * 2005-11-03 2007-06-18 주식회사 칼라짚미디어 이미지 코드 생성 장치 및 그 방법과 이미지 코드 디코딩장치 및 그 방법
WO2007116551A1 (ja) 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
US7746961B2 (en) * 2006-04-11 2010-06-29 Telefonaktiebolaget L M Ericsson (Publ) Efficient detection of predetermined sequences
ATE535520T1 (de) * 2006-08-23 2011-12-15 Eisai R&D Man Co Ltd Salz eines phenoxypyridinderivats oder kristall davon und verfahren zu dessen herstellung
JP2009203226A (ja) * 2008-01-31 2009-09-10 Eisai R & D Management Co Ltd ピリジン誘導体およびピリミジン誘導体を含有するレセプターチロシンキナーゼ阻害剤
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
EP2475174A4 (en) 2009-09-03 2016-04-27 Nec Corp VIDEO CODING DEVICE, VIDEO CODING METHOD AND VIDEO CODING PROGRAM
JP2010009624A (ja) * 2009-10-07 2010-01-14 Ntt Docomo Inc 画像信号変換方法、画像信号逆変換方法、画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び、画像復号プログラム
US8503528B2 (en) 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
JP5367687B2 (ja) * 2010-12-27 2013-12-11 株式会社フォーラムエイト データ配信システム、データ配信装置、及びデータ配信方法
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
EP3474551B1 (en) 2011-09-22 2022-03-09 LG Electronics Inc. Inter prediction method performed by a decoding apparatus, video encoding method performed by an encoding apparatus and decoder-readable storage medium storing an encoded video information
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
WO2013162980A2 (en) 2012-04-23 2013-10-31 Google Inc. Managing multi-reference picture buffers for video data coding
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding
US9332309B2 (en) 2012-06-08 2016-05-03 Apple Inc. Sync frame recovery in real time video transmission system
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US9491487B2 (en) * 2012-09-25 2016-11-08 Apple Inc. Error resilient management of picture order count in predictive coding systems
US9264737B2 (en) 2012-10-01 2016-02-16 Apple Inc. Error resilient transmission of random access frames and global coding parameters
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
CN107820095B (zh) * 2016-09-14 2020-01-03 北京金山云网络技术有限公司 一种长期参考图像选择方法及装置
CN111837396B (zh) 2018-04-03 2023-05-09 华为技术有限公司 基于子图像码流视角相关视频编码中的误差抑制
CN111279694A (zh) * 2018-11-28 2020-06-12 深圳市大疆创新科技有限公司 Gdr码流编码方法、终端设备、机器可读存储介质
CN112866712B (zh) * 2019-11-12 2023-05-23 杭州海康威视数字技术股份有限公司 一种图像码流数据的显示控制方法、以及解码设备
CN112770179B (zh) * 2021-01-05 2023-06-16 武汉球之道科技有限公司 一种用于在线赛事转播的高效传输系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2877906B2 (ja) * 1990-06-29 1999-04-05 日本電信電話株式会社 フレーム間符号化における伝送符号誤り検出方式
JPH04170184A (ja) * 1990-10-12 1992-06-17 Mitsubishi Electric Corp 画像伝送装置
NL9201593A (nl) * 1992-09-14 1994-04-05 Nederland Ptt Systeem omvattende een eerste encoder voor het coderen van een eerste digitaal signaal, een tweede encoder voor het coderen van een tweede digitaal signaal en ten minste één decoder voor het decoderen van gecodeerde digitale signalen, en encoder en decoder voor toepassing in het systeem.
CN1058362C (zh) * 1993-03-15 2000-11-08 索尼公司 图像信号的传输和解码
JPH08508378A (ja) * 1993-03-26 1996-09-03 ブリテイッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー トランスコーダ
JPH0730896A (ja) * 1993-06-25 1995-01-31 Matsushita Electric Ind Co Ltd 動きベクトル符号化及び復号化方法
US5940130A (en) * 1994-04-21 1999-08-17 British Telecommunications Public Limited Company Video transcoder with by-pass transfer of extracted motion compensation data
DE69535800D1 (de) * 1994-06-08 2008-09-11 Matsushita Electric Ind Co Ltd Bildumsetzungsvorrichtung
US6111596A (en) * 1995-12-29 2000-08-29 Lucent Technologies Inc. Gain and offset correction for efficient stereoscopic coding and improved display
JP2848326B2 (ja) 1996-03-28 1999-01-20 日本電気株式会社 Ｍｐｅｇ符号化画像復号装置
EP0931420A4 (en) * 1996-10-11 2002-06-26 Sarnoff Corp METHOD AND DEVICE FOR CODING AND DECODING STEREOSCOPIC VIDEO SIGNALS
JPH10191356A (ja) * 1996-12-27 1998-07-21 Oki Electric Ind Co Ltd 画像符号化装置
US6005523A (en) * 1997-12-11 1999-12-21 Ericsson Inc. Antenna rod disconnect mechanisms and associated methods
US6434196B1 (en) * 1998-04-03 2002-08-13 Sarnoff Corporation Method and apparatus for encoding video information
DE69928798T2 (de) 1999-08-31 2006-07-27 Lucent Technologies Inc. Fehlererkennungssystem für Videosignal
US20020122491A1 (en) * 2001-01-03 2002-09-05 Marta Karczewicz Video decoder architecture and method for using same
US6920175B2 (en) 2001-01-03 2005-07-19 Nokia Corporation Video coding architecture and methods for using same
US7532808B2 (en) * 2002-03-15 2009-05-12 Nokia Corporation Method for coding motion in a video sequence
US7447264B2 (en) * 2002-11-07 2008-11-04 Victor Company Of Japan, Ltd. Moving-picture temporal scalable coding method, coding apparatus, decoding method, decoding apparatus, and computer program therefor
US6857776B2 (en) * 2002-12-12 2005-02-22 Ametek, Inc. Connectorized high-temperature thermocouple

Also Published As

Publication number Publication date
MXPA03008163A (es) 2004-01-22
KR100628494B1 (ko) 2006-09-26
NO20034137D0 (no) 2003-09-17
US20070153893A1 (en) 2007-07-05
CA2440154A1 (en) 2003-08-14
US7212576B2 (en) 2007-05-01
US20070153913A1 (en) 2007-07-05
EP1793614A2 (en) 2007-06-06
EP1793613A2 (en) 2007-06-06
US20070153911A1 (en) 2007-07-05
EP1793616A2 (en) 2007-06-06
EP1793615A2 (en) 2007-06-06
US20070153895A1 (en) 2007-07-05
JP2003284078A (ja) 2003-10-03
US20070153894A1 (en) 2007-07-05
CN1253014C (zh) 2006-04-19
US20040080669A1 (en) 2004-04-29
BR0302718A (pt) 2004-03-23
WO2003067894A1 (en) 2003-08-14
NO20034137L (no) 2003-10-15
US20070153912A1 (en) 2007-07-05
EP1469681A1 (en) 2004-10-20
KR20050107529A (ko) 2005-11-11
EP1793612A2 (en) 2007-06-06
AU2003203271A1 (en) 2003-09-02
EP1811787A2 (en) 2007-07-25
AU2003203271B2 (en) 2005-11-24
US20070160141A1 (en) 2007-07-12
KR100564896B1 (ko) 2006-03-30
CN1507750A (zh) 2004-06-23
KR20030090688A (ko) 2003-11-28
CA2440154C (en) 2008-01-08
EP1811788A2 (en) 2007-07-25

Similar Documents

Publication Publication Date Title
JP3923898B2 (ja) 画像符号化方法及び装置
US20050012647A1 (en) Variable length encoding method, variable length decoding method, storage medium, variable length encoding device, variable length decoding device, and bit stream
JP5090158B2 (ja) 映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体
JP2004007753A (ja) 画像復号化方法及び装置
JP3852366B2 (ja) 符号化装置および方法、復号装置および方法、並びにプログラム
KR101345073B1 (ko) 각 그룹이 인트라 인코딩된 픽처와 둘 이상의 예측 인코딩된 픽처를 포함하는, 비디오 시퀀스의 픽처들의 그룹들을 인코딩하기 위한 방법 및 장치
US20050265444A1 (en) Moving image encoding/decoding apparatus and method
JP4203036B2 (ja) 動画像復号装置とこの装置を備えた移動体端末
KR20150024930A (ko) 동화상 예측 부호화 및 복호 장치, 방법, 그리고 프로그램
JP3245496B2 (ja) 画像符号化方法、画像符号化回路、画像符号化装置及び再生装置
JP2007151163A (ja) 画像復号化方法及び装置
JP3756902B2 (ja) 動画像復号化装置及び動画像復号化方法
JP3756901B2 (ja) 動画像復号化装置及び動画像復号化方法
JP2005124241A (ja) 再符号化装置及び方法、復号装置及び方法、符号化装置及び方法、並びに伝送装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061121

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100302

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110302

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees