JP2004328511A - 画像復号化装置及び画像復号化方法 - Google Patents
画像復号化装置及び画像復号化方法 Download PDFInfo
- Publication number
- JP2004328511A JP2004328511A JP2003122472A JP2003122472A JP2004328511A JP 2004328511 A JP2004328511 A JP 2004328511A JP 2003122472 A JP2003122472 A JP 2003122472A JP 2003122472 A JP2003122472 A JP 2003122472A JP 2004328511 A JP2004328511 A JP 2004328511A
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- image
- picture
- frame
- playback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【解決手段】所定の符号化方式に準拠した復号化処理を行う画像復号化装置及び画像復号化方法において、高速再生モード時、符号化方式で符号化された画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出するようにした。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は画像復号化装置及び画像復号化方法に関し、例えばJVT(Joint Model of Enhanced−Compression Video Coding)符号化方式に準拠した画像復号化装置及び画像復号化方法に適用して好適なものである。
【0002】
【従来の技術】
近年、画像情報をディジタル化して取り扱い、その際、効率の高い情報の伝達及び蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償とにより圧縮するMPEG(Moving Picture Experts Groupe )などの方式に準拠した装置が、放送局などの情報配信及び一般家庭における情報受信の双方において普及しつつある。
【0003】
特にMPEG2(ISO/IEC 13818−2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。
【0004】
かかるMPEG2圧縮方式を用いることにより、例えば720×480画素をもつ標準解像度の飛び越し走査画像であれば4〜8〔Mbps〕、1920×1088画素をもつ高解像度の飛び越し走査画像であれば18〜22〔Mbps〕の符号量(ビットレート)を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【0005】
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量(ビットレート)、すなわちより高い圧縮率の符号化方式には対応していなかった。
【0006】
携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496−2としてその規格が国際標準に承認された。
【0007】
さらに近年、当初テレビ会議用の画像符号化を目的として、H.26L(ITU−T Q6/16 VCEG)という標準の規格化が進んでいる。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
【0008】
また現在、MPEG4の活動の一環として、このH.26Lをベースに、当該H.26Lではサポートされていない機能をも取り入れ、より高い符号化効率を実現する標準化がJVT符号化方式として行われている。標準化のスケジュールとしては、2003年3月にはH.264及びMPEG−4 Part10(Advanced Video Coding)という名の元に国際標準となる予定である。
【0009】
ここでJVT符号化方式について説明する。入力される画像信号は、まずA/D変換されてディジタル化された後、出力となる画像圧縮情報のGOP(Group of Pictures)構造に応じて、フレーム画像の並べ替えを行う。
【0010】
イントラ符号化が行われる画像に関しては、入力画像と、イントラ予測により生成される画素値の差分情報が離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された後、その結果得られる変換係数に対して量子化処理が施される。
【0011】
量子化された変換係数は、可変長符号化及び算術符号化等の可逆符号化が施された後、蓄積されて画像圧縮情報として出力される。かかる量子化処理は当該蓄積状態に応じてフィードバック的にレート制御される。
【0012】
一方、量子化された変換係数は、逆量子化処理及び逆直交変換処理が施されて復号化画像情報となり、デブロックフィルタ処理によりブロック歪の除去が施された後、その情報がフレームメモリに蓄積されながら、イントラ予測処理に供される。
【0013】
このイントラ予測処理において、ブロック/マクロブロックに対して適用されたイントラ予測モードに関する情報は、可逆符号化処理に供されて、画像圧縮情報におけるヘッダ情報の一部として符号化される。
【0014】
またインタ符号化が行われる画像に関しては、まず画像情報は動き予測・補償処理されると同時に、参照となる画像情報がフレームメモリから読み出されて、動き予測・補償処理を施された後、参照画像情報が生成される。参照画像情報は当該画像情報との差分信号へ変換される。
【0015】
動き補償・予測処理では、同時に動きベクトル情報を可逆符号化処理を施して、画像圧縮情報のヘッダ部に挿入される情報を形成する。その他の処理はイントラ符号化が施される画像圧縮情報と同様である。
【0016】
このJVT符号化方式においては、入力となる画像情報が飛び越し走査である場合には、2つのマクロブロックをペア(Pair)(以下、マクロブロックペアと呼ぶ)として、それぞれのマクロブロックペアに対して、フィールドモード又はフレームモードにより符号化することが可能である。
【0017】
以下では、JVT符号化方式において定められているイントラ予測の方法について述べる。
【0018】
イントラ予測処理において入力となるパラメータは、当該マクロブロックのmb_type、prev_intra4×4_pred_mode_flag(if available)、rem_intra4×4_pred_mode(if available)、intra_chroma_pred_mode(if available)、隣接マクロブロック(又は隣接マクロブロックペア)の画素値である。また、出力となるパラメータは、当該マクロブロック(又は当該マクロブロックペア)に対する予測画素値である。イントラ予測は、デブロックフィルタ処理前の画素値を用いて行われる。
【0019】
以下では、まず、輝度信号に対するイントラ予測方式について述べる。輝度信号に対する処理は、以下に述べるように、当該マクロブロックが、イントラ4×4モードであるか、イントラ16×16モードであるかによって、その処理が異なる。
【0020】
まず、イントラ4×4モードにおける処理は以下の通りである。
【0021】
この処理は、mb_part_pred_mode(mb_type、0)が、Intra_4×4に等しい時に適用され、入力となるパラメータは、prev_intra4×4_pred_mode_flag、rem_intra4×4_pred_mode(if available)、周辺輝度blockの、De‐blocking filtering処理前の画素値(if available)であり、出力は、当該マクロブロックに対する輝度信号の予測値である。輝度信号4×4ブロックのスキャン順は、図4に示す通りである。
【0022】
以下では、まず、adaptive_frame_field_flagの値が0の時、当該ブロックのイントラ予測が”available”か、”not available”かの判定を行う処理について述べる。この処理の入力は、当該輝度ブロックの位置、隣接ブロックに含まれる、復号化処理処理済みの輝度画素値(デブロックフィルタ処理前のもの)であり、出力は、図5に示されるA〜Mの画素値が”available”であるかどうかである。4×4LumaBlkLocを、4×4LumaBlkIdxにより指し示される。4×4輝度ブロックの、左上部の画素値の位置と定義する。4×4LumaBlkIdxにより指し示される、4×4輝度ブロックに含まれるそれぞれの画素値は、図5におけるa〜pであり、これらは隣接する画素値A〜Mにより予測される。画素値の位置は、4×4LumaBlkLocにより指し示される。例えばdの位置は、
【0023】
【数1】
【0024】
で表される。
【0025】
またAの位置は、
【0026】
【数2】
【0027】
のように示される。
【0028】
画素値A〜Mは、以下の第1〜第3のいずれか一つでも成り立つ時、”not available”であるとする。第1に、当該画素が、ピクチャ外、若しくはスライス外である時、第2に、復号化処理において、当該画素が、当該ブロックより後に処理されるブロックに属する時、第3に、constrainde_intra_pred_flag=0で、当該ブロックがインターマクロブロックに属する時である。
【0029】
E〜Hが”not available”であるが、Dが”available”の時、E〜Hを”available”であるとして、その値はDで代用する。
【0030】
次に、mb_adaptive_frame_filed_flagの値が1で、field_pic_flagの値が0の時の処理について述べる。図5に示された画素値a〜pに対して、隣接画素A〜Mが以下のように定義される。すなわち、当該マクロブロックがframe decoding modeの場合、mb_adaptive_field_flagの値が0である場合と同様の処理が行われる。
【0031】
当該マクロブロックが、field decoding modeで、top macroblockである場合には、
【0032】
【数3】
【0033】
のように隣接画素値が定義される。
【0034】
また当該マクロブロックが、field decoding modeで、bottom field macroblockである場合には、
【0035】
【数4】
【0036】
のように隣接画素値が定義される。
【0037】
次に、イントラ予測値の生成処理について述べる。本処理の入力は、prev_inrta4×4_pred_flag、rem_intra4×4_pred_mode、4×4LumaBlkIdxによって指し示される4×4輝度ブロックの位置、LumaBlkLoc[4×4LumaBlkIdx]であり、出力は、Intra4×4LumaPredMode[4×4LumaBlkIdx]である。図6にntra4×4LumaPredMode[4×4LumaBlkIdx]及びそれに対応する予測モードの名称を示す。
【0038】
Intra4×4LumaPredMode[4×4LumaBlkIdx]の値が0、1、3、4、5、6、7、8の時、予測方向はそれぞれ図7に示す通りである。
【0039】
adaptive_frame_field_flagが0の時、若しくは、field_pic_flagが1の時、隣接マクロブロックのアドレス検出並びに、”availability”の検出は以下のように行われる。この処理の入力は、MbAddress(当該マクロブロックのアドレス)であり、出力は、MbAddressA(当該マクロブロックの左に位置するマクロブロックのアドレス)、MbAddressB(当該マクロブロックの上に位置するマクロブロックのアドレス)及び、これら2つのマクロブロックのアドレス”availability”である。
【0040】
あるマクロブロックのアドレスMbAddressに対して、第1に、MbAddress<0、第2に、MbAddress>Max MbAddress−1、第3に、MbAddressにより指定されるマクロブロックが異なるスライスに属するものである、第4に、MbAddressにより指定されるマクロブロックが復号化済みではない、でなる第1〜第4のいずれかが成り立つ時、このMbAddressで指定されるマクロブロックは、”not available”であるとされる。
【0041】
この処理が、隣接するマクロブロックA及びBに以下のように適用される。すなわち、第一の処理に関しては、入力はMbPairAddressA=MbPairAddress−1であり、出力はMbPairAddressAが”available”であるかどうかである。第二の処理に関しては、入力はMbPairAddressB=MbPairAddress−(frame_width_in_mbs_minus1+1)であり、出力はMbPairAddressBが”available”であるかどうかである。
【0042】
adaptive_frame_field_flagが0、若しくは。Field_pic_flegが1の時、隣接のマクロブロックのアドレス検出並びに”availability”の検出は以下のように行われる。この処理の入力パラメータは、MbAddressAであり、出力は変数”ExIntra4×4LumaPred”の値(4つ)である。
【0043】
まず、当該マクロブロックの左部に位置するマクロブロックに関してであるが、MbAddressAで指し示されるマクロブロックが”available”で、MbAddressAで指し示されるマクロブロックのmb_typeが、I_4×4若しくはSIの時、ExIntra4×4LumaPredModeの値は
【0044】
【数5】
【0045】
のように得られる。
【0046】
ここで、Intra4×4LumaPredModeは、MbAddressAにより指し示されるマクロブロックに対して割り当てられた値である。
【0047】
MbAressAで指し示されるマクロブロックが”available”でないか、若しくは、そのmb_typeがI_4×4でもSIでもない場合、ExIntra4×4LumaPredModeの値は、
【0048】
【数6】
【0049】
の処理により得られる。
【0050】
次に、当該マクロブロックの上部に位置するマクロブロックに関してであるが、入力となるパラメータは、MbAddressB出力となるパラメータは、変数”ExtIntra4×4LumaPred”の値(4つ)となる。
【0051】
MbAddressBで指し示されるマクロブロックが、”available”で、MbAddressBで指し示されるマクロブロックmb_type_が、I_4×4若しくはSIの時、ExIntra4×4LumaPredModeの値は、
【0052】
【数7】
【0053】
の処理により得られる。
【0054】
ここで、Intra4×4LumaPredModeは、MbAddressBにより指し示されるマクロブロックに対して割り当てられた値である。
【0055】
MbAddressBで指し示されるマクロブロックが”avaiable”でないか、若しくは、そのmb_typeがI_4×4でもSIでもない場合、ExIntra4×4LumaPredModeの値は、
【0056】
【数8】
【0057】
の処理により得られる。
【0058】
次に、上述したようなマクロブロックレベルのフィールド/フレーム適応型符号化を行う際の、隣接マクロブロックペアのイントラ予測モードに関する情報の抽出方法について述べる。
【0059】
当該マクロブロックのmb_adaptive_field_flagが1で、field_pic_flagが0の時適用される処理について述べる。
【0060】
まず、当該マクロブロックペアが、frame modeの時であるが、入力となる情報は、MbPairAddressA及びMbPairAddressBであり、出力となる情報は、top macroblock、bottom macroblockそれぞれに対して、当該マクロブロックに対するExIntra4×4LumaPredModeTop及びExIntra4×4LumaPredModeBottom(合計8個)である。
【0061】
Top macroblockに関しては、上述の式(5)に記述された処理の、MbAddressAとして、MbPairAddressAが入力され、この結果、ExIntra4×4LumaPredModeTopが出力される。また、上述の式(7)に記述された、MbAddressBとして、MbPairAddressBが入力され、この結果、ExIntra4×4PredModeTopが出力される。
【0062】
次に、Bottpm Macroblockに関しては、上述の式(5)に記述された処理の、MbAddressAとして、MbPairAddressAが入力され、この結果ExIntra4×4LumaPredModeBottomが出力される。また上述の式(7)に記述された処理の、MbAddressBとして、MbPairAddressBが入力され、この結果、ExIntra4×4LumaPredModeBottomが出力される。
【0063】
まず、当該マクロブロックペアが、field modeの時であるが、入力となる情報は、MbPairAddressA及びMbPairAddressBであり、出力となる情報は、top macroblock、bottom macroblockそれぞれに対して、当該マクロブロックに対するExIntra4×4LumaPredModeTop及びExIntra4×4LumaPredModeBottom(合計8個)である。
【0064】
隣接マクロブロックペアのMbPairAddressAに対する処理は、以下の通りである。すなわち、8.3.1.2.3.1に記述された処理の、MbAddressAとして、MbPairAddressAが入力され、この結果、ExIntra4×4PredModeTopが出力される。また、上述の式(5)に記述された処理の、MbPairAddressAが入力され、この結果ExIntra4×4LumaPredModeBottomが出力される。
【0065】
隣接マクロブロックペアのMbPairAddressBがfiled modeである時、若しくは、”available”ではない時、以下の処理が適用される。すなわち、当該MB Pairにおけるtop macroblockに関しては、上述の式(7)に述べられている処理が適用され、その入力は、MbPairAddressBで指し示されるMB Pairのtop macroblockが、MBAddressBとして用いられる。その出力はExIntra4×4LumaPredModeTopとなる。また、当該MBPairAddressBで指し示されるMBPairのbottom macroblockが、MBAddressBとして用いられる。その出力はExIntra4×4LumaPredModeBottomとなる。
【0066】
隣接マクロブロックペアMbPairAddressBがframe modeである時、以下の処理が適用される。すなわち、当該MB Pairにおけるtop macroblockに関しては、上述の式(7)に述べられている処理が適用され、その入力は、MBPairAddressBで指し閉めされるMB Pairのbottom macroblockが、MBAddressBとして用いられる。その出力はExIntra4×4LumaPredModeTopとなる。また、当該MB Pairにおけるbottom macroblockに関しては、上述の式(7)に述べられている処理が適用され、その入力は、MBPairAddressBで指し示されるMB Pair のbottom macroblockが、MBAddressBとして用いられる。その出力はExIntra4×4LumaPredModeBottomとなる。
【0067】
図8に、当該マクロブロックペアがfield modeの際の、上述の処理を図示する。
【0068】
次に、当該マクロブロックに対するIntra4×4LumaPredModeの復号化処理について述べる。
【0069】
この処理は、adaptive_frame_field_flagが1、若しくは、field_pic_flagが1の時適用される。入力となる情報は、prev_intra4×4_pred_mode_flag、rem_intra4×4_pred_mode並びにExIntra4×4LumaPredModeであり、出力となる情報は、当該macroblock(MbAddressにより指定される)に対するIntra_4×4LumaPredModeである。その処理は、
【0070】
【数9】
【0071】
の擬似コードにより記述される通りである。
【0072】
次に、上述したような、マクロブロックペア(MB Pair)に対するIntra4×4LumaPredModeの復号化処理について述べる。
【0073】
この処理は、mb_adaptive_frame_field_flagが1で、field_pic_flagが0の時適用される。
【0074】
当該マクロブロックペアのtop macroblcokに対するprev_intra4×4_pred_mode_flag、rem_intra4×4_pred_mode、ExIntra4×4LumaModePredTopが、式(8)に記述された処理の入力となり、その出力である、Intra4×4LumaPredModeが、当該マクロブロックペアのtop macroblockに対して割り当てられる。
【0075】
当該マクロブロックぺアのbottom macroblockに対するprev_intra4×4_pred_mode_flag、rem_intra4×4_pred_mode、ExIntra4×4LumaPredModeが、式(8)に記述された処理の入力となり、その出力である、Intra4×4LumaPredModeが、当該マクロブロックペアのbottom macroblockに対して割り当てられる。
【0076】
次に、イントラ4×4モードにおける、イントラ予測の復号化処理にして述べる。
【0077】
入力となるパラメータは、図5において示された隣接画素値A〜M及び当該4×4ブロックに対して定義されるIntra4×4LumaPredMode[4×4LumaBlkIdx]であり、出力となるパラメータは、4×4LumaBlkIdxによって指定される4×4ブロックに対する予測画素値である。Intra4×4LumaPredMode[4×4LumaBlkIdx]の値に応じて、以下に述べる。いずれかのイントラ予測モードが用いられる。
【0078】
以下では、Vertical予測の方法について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が0の時適用される。A、B、C、Dが”available”の場合のみ適用される。それぞれの予測値は、
【0079】
【数10】
【0080】
の通りである。
【0081】
以下では、Horizontal予測の方法について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が1の時適用される。I、J、K、Lが”available”の場合のみ適用される。それぞれの予測値は、
【0082】
【数11】
【0083】
の通りである。
【0084】
以下では、DC予測の方法について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が2の時適用される。画素a〜pの全てに対する予測値として、以下の値が用いられる。
【0085】
すなわち、A、B、C、D、I、J、K、Lが全て”available”である時、予測値は、
【0086】
【数12】
【0087】
とする。
【0088】
A、B、C、Dが全て”unavailable”である時、予測値は、
【0089】
【数13】
【0090】
とする。
【0091】
I、J、K、Lが全て”unavailable”である時、予測値は、
【0092】
【数14】
【0093】
とする。
【0094】
A、B、C、D、I、J、K、Lが全て”available”である時、128を予測値として用いる。
【0095】
以下では、Diagonal_Down_Left予測について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が3の時適用される。A、B、C、D、I、J、K、L、Mが全て”available”の場合のみ適用される。それぞれの予測値は、
【0096】
【数15】
【0097】
の通りである。
【0098】
以下では、Diagonal_Down_Right予測について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が4の時適用される。A、B、C、D、I、J、K、L、Mが”available”の場合のみ適用される。それぞれの予測値は、
【0099】
【数16】
【0100】
の通りである。
【0101】
以下では、Diagonal_Vertical_Right予測について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が5の時適用される。A、B、C、D、I、J、K、L、Mが”available”の場合のみ適用される。それぞれの予測値は、
【0102】
【数17】
【0103】
の通りである。
【0104】
以下では、Horizontal_Downについて述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が6の時適用される。A、B、C、D、I、J、K、L、Mが”available”の場合のみ適用される。それぞれの予測値は、
【0105】
【数18】
【0106】
以下の通りである。
【0107】
以下では、Vertical_Left予測値について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が7の時適用される。A、B、C、D、I、J、K、L、Mが”available”の場合のみ適用される。それぞれの予測値は、
【0108】
【数19】
【0109】
の通りである。
【0110】
以下では、Horizontal_Up予測について述べる。この予測方法は、Intra4×4LumaPredMode[4×4LumaBlkIdx]が8の時適用される。A、B、C、D、I、J、K、L、Mが”available”の場合のみ適用される。それぞれの予測値は、
【0111】
【数20】
【0112】
の通りである。
【0113】
次に、当該輝度信号が、イントラ16×16モードであるマクロブロックに属する場合の、イントラ予測の方法について述べる。この処理は、mb_part_pred_mode(mb_type、0)が、Intra16×16と等しい時、適用される。入力となるパラメータは、当該マクロブロックに対するmb_type及び当該マクロブロックの隣接画素値の、De−blocking filtering処理前の値であり、出力となるパラメータは、当該マクロブロックに対する予測画素値である。
【0114】
以下では、当該マクロブロックに属する画素値を、P(x、y);x、y=0..15で表す。また、隣接画素値は、P(x、−1)及びP(−1、y);=−1..15で表す。
【0115】
P(x、−1)及びP(−1、y)について、以下のいずれかが成り立つ時、”unavailable”であるとする。すなわち、当該ピクチャ又は当該スライス内に存在しない時、隣接画素値が非イントラマクロブロックに所属し、かつconstrained_intra_pred_flagが1の時である。
【0116】
イントラ16×16モードの時、以下に述べる4通りのいずれかの方法によりイントラ予測が行われる。
【0117】
Mode0はvertaicl予測であり、P(x、−1);x、y=−1..15が”available”である時にのみ適用される。生成される予測値は、
【0118】
【数21】
【0119】
の通りである。
【0120】
Mode1はhorizontal予測であり、P(−1、y);x、y=−1..15が”available”である時にのみ適用される。生成される予測値は、
【0121】
【数22】
【0122】
の通りである。
【0123】
Mode2はDC予測であり、予測値は以下のように生成される。すなわち、P(x、−1)及びP(−1、y);x、y=−1..15が全て”available”である場合には、
【0124】
【数23】
【0125】
となる。
【0126】
P(x、−1);x、y=−1..15が”not available”である場合には、
【0127】
【数24】
【0128】
となる。
【0129】
P(−1、y);x、y=−1..15が”not available”である場合には、
【0130】
【数25】
【0131】
となる。
【0132】
P(x、−1)及びP(−1、y);x、y=−1..15が全て”notavailable”である場合には、予測値として128を用いる。
【0133】
Mode3はplane予測である。この予測モードは、P(x、−1)及びP(−1、y);x、y=−1..15が全て”availeble”の場合のみ適用される。予測値の生成は、
【0134】
【数26】
【0135】
に示す通りである。ここでClip1は0〜255の範囲でのクリップ処理を表す。
【0136】
次に、色差信号に対するイントラ予測について述べる。この処理は、Iマクロブロック並びにSIマクロブロックに対してのみ適用される。入力となるパラメータは、intra_chroma_pred_mode及びデブロックフィルタ処理前の、隣接画素値であり、出力となるパラメータは、当該マクロブロックの色差信号に対する予測値である。
【0137】
以下では、当該マクロブロックに属する画素値を、P(x、y);x、y=0..7で表す。また、隣接画素値は、P(x、−1)及びP(−1、y)=−1..7で表す。
【0138】
色差信号に対するイントラ予測モードは、輝度信号に対するそれとは独立に設定することが可能である。
【0139】
P(x、−1)及びP(−1、y)について、以下のいずれかが成り立つ時、”unavailable”であるとする。すなわち、当該ピクチャ又は当該スライス内に存在しない時、隣接画素値が非イントラマクロブロックに所属し、かつconstrained_intra_pred_flagが1の時である。
【0140】
Mode0はDC予測であり、その予測値は以下の通りである。すなわち、P(x、−1)及びP(−1、y)が”available”である場合には、
【0141】
【数27】
【0142】
が成り立つ。
【0143】
P(−1、y)が”not available”である場合には、
【0144】
【数28】
【0145】
が成り立つ。
【0146】
P(x、−1)が”not available”である場合には、
【0147】
【数29】
【0148】
が成り立つ。
【0149】
P(x、−1)及びP(−1、y)が”not available”である場合には、予測値として128を用いる。
【0150】
Mode1はhorizontal予測であり、P(−1、y)が”not available”である場合にのみ適用される。その予測値は、
【0151】
【数30】
【0152】
に示す通りである。
【0153】
Mode2はvertical予測であり、P(x、−1)が”available”である場合にのみ適用される。その予測値は、
【0154】
【数31】
【0155】
に示す通りである。
【0156】
Mode3はplane予測であり、P(x、−1)及びP(−1、y)が”available”である場合にのみ適用される。その予測値は、
【0157】
【数32】
【0158】
に示す通りである。
【0159】
ところでJVT符号化方式では、図9に示すように、単一のマクロブロックを、16×16、16×8、8×8の大きさの単一又は複数の動き予測ブロックに分割し、動き補償処理を行うことが可能である。8×8動き予測ブロックのそれぞれに関しては、図9に示す通り、さらに8×8、8×4、4×8又は4×4のサブブロックに分割し、動き補償処理を行うことが可能である。
【0160】
【発明が解決しようとする課題】
ところで、DVDに代表される画像再生装置では、メディアから通常の再生速度での再生のみならず、高速早送り再生や高速巻戻し再生にも対応している。図10に画像再生装置1の概略構成を示す。
【0161】
この画像再生装置1では、メディア2から再生されたMPEG2方式の画像情報に付加されたビットストリームの読込み位置情報S1が読込み位置指定器3に供給される。この読込み位置指定器3は、外部から高速早送り再生や高速巻戻し再生等の再生モード信号S2を受け取ると、読込み位置情報S1に基づいて、指定された再生モードに適する読込み位置を読込み器4に指定させる。この読込み器4では、読込み位置指定器3によって指定された読込み位置に従って、メディア2からMPEG2方式の画像情報S1のビットストリームを非連続的に読み込む。
【0162】
画像復号器5は、読込み器4から供給されるビットストリームに基づいてMPEG2方式に応じた復号処理を行うことにより、当該ビットストリームから高精細度の画像に復元するようになされている。
【0163】
その際、かかる構成の画像再生装置1では、読込み位置指定器3は、読込み器4の出力がMPEG2方式のビットストリームとして矛盾なく復号処理し得るように、読込み位置を指定する必要がある。
【0164】
すなわち、MPEG2方式における通常の画像圧縮情報の各GOPの先頭のIピクチャ(イントラ符号化画像、すなわちフレーム内符号化画像)及びその後に続く数枚のPピクチャ(フレーム間順方向予測符号化画像)のビットストリームを元のMPEG2方式の画像情報のビットストリームから抜き出す。MPEG2方式では、Pピクチャは直前のIピクチャ又はPピクチャを予測フレームとして使用するため、高速再生のために抜き出したストリームでもMPEG2方式のストリームとして矛盾なく復号化し得るようになされている。
【0165】
例えば図11(A)に示すように、MPEG2方式のビットストリームが、GOP単位で所定周期でIピクチャ(I0、I1、…)及びPピクチャ(P0、P1、…)が符号化された後、その間にBピクチャ(双方向予測符号化画像)(B0、B1、…)が後で符号化されて挿入される。すなわち図11(B)に示すように、通常再生におけるI0、B1、B2、P3、B4、B5、P6、……、In、Bn+1、Bn+2、Pn+3のビットストリームから、高速再生では、I0、P3、P6、……、In、Pn+3のビットストリームが抜き出される。
【0166】
ところが、JVT符号化方式の場合には、Pピクチャであっても複数の予測フレームを使用することが可能になっていると共に、MPEG2方式では使用できないBピクチャを予測フレームとして使用できるものの、従来のMPEG2方式の場合と同様にIピクチャ及びPピクチャを抜き出したとしても、予測関係が成り立たないため、予測フレームを容易にすることができず、抜き出し後のストリームを正常に復号化することができないという問題があった。
【0167】
すなわちJVT符号化方式のビットストリームでは、図12(A)に示すように、GOP単位で所定周期で現れるIピクチャ(I0、I1、…)及びPピクチャ(P0、P1、…)のみならず、その間にBピクチャ(B0、B1、…)もPピクチャの予測画像として挿入される。すなわち図12(B)に示すように、通常再生におけるI0、B1、B2、P3、B4、B5、P6、……、In、Bn+1、Bn+2、Pn+3のビットストリームから、高速再生では、I0、P3、P6、……、In、Pn+3のビットストリームが抜き出されても、Pピクチャの予測画像が存在しないため、正常な復号化を行うことが困難となる問題があった。
【0168】
本発明は以上の点を考慮してなされたもので、簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化装置及び画像復号化方法を提案しようとするものである。
【0169】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、所定の符号化方式に準拠した復号化処理を行う画像復号化装置において、符号化方式で符号化された画像データに対して復号化処理を施す復号化手段と、復号化手段を制御する制御手段とを設け、高速再生モード時、制御手段は、画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出するように復号化手段を制御するようにした。
【0170】
この結果この画像復号化装置では、高速再生モード時に画像データを全て復号化することなく、そのうちの一部又は全部を簡易再生フレームとして復号化するようにしたことにより、通常再生モード時よりも短い時間で復号化処理を行うことができる。
【0171】
また本発明においては、所定の符号化方式に準拠した復号化処理を行う画像復号化方法において、高速再生モード時、符号化方式で符号化された画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出するようにした。
【0172】
この結果この画像復号化方法では、高速再生モード時に画像データを全て復号化することなく、そのうちの一部又は全部を簡易再生フレームとして復号化するようにしたことにより、通常再生モード時よりも短い時間で復号化処理を行うことができる。
【0173】
【発明の実施の形態】
以下図面について、本願発明の一実施の形態について説明する。
【0174】
(1)本実施の形態におけるJVT符号化方式に準拠した画像復号化装置の構成図1において、10は本実施の形態におけるJVT符号化方式に準拠した画像復号化装置を示し、外部入力されるビットストリームでなる画像圧縮情報S10を、外部指定された再生モードに応じた復号方法で順次復号処理しながら、表示用の高精細度の画像に復元するようになされている。
【0175】
まず外部入力される画像圧縮情報S10は、蓄積バッファ11に格納された後、所定タイミングで読み出されて可逆復号化部12に送出される。可逆復号化部12では、予め定められた画像圧縮情報のフォーマットに基づき、可変長復号化及び算術復号化等の処理が行われる。
【0176】
その際、可逆復号化部12は、画像圧縮情報S10に基づくフレーム画像がイントラ符号化又はインタ符号化のいずれの符号化方法で行われたものかを判断する。可逆復号化部12は、イントラ符号化であると判断した場合には、画像圧縮情報S10のヘッダ部に書き込まれているイントラ予測モード情報S11Aをも復号化してイントラ予測部13に送出する一方、インタ符号化であると判断した場合には、画像圧縮情報S10のヘッダ部に書き込まれている動きベクトル情報S11Bをも復号化して動き予測・補償部14に送出する。
【0177】
この可逆復号化部12の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数S11Cは、逆量子化部15において逆量子化された後、逆直交変換部16に送出される。この逆直交変換部16では、与えられた変換係数S11Cは、所定方式に基づく4次の逆直交変換が施された後、加算器17の一入力端に与えられる。
【0178】
ここで可逆復号部12においてイントラ符号化であると判断された場合、加算器17の他入力端には、イントラ予測部13において生成された予測画像が入力される。この加算器17において、逆直交変換された画像情報と予測画像とが合成された後、当該合成結果がデブロックフィルタ18に与えられてブロック歪が除去される。
【0179】
このデブロックフィルタ18を介して得られた加算器17の出力は、画面並べ替えバッファ19に一時的に保持された後、D/A変換部20においてアナログ変換される一方、フレームメモリ21に一時的に格納された後、イントラ予測部13において上述した予測画像が生成される。
【0180】
これに対して可逆復号部12においてインタ符号化であると判断された場合、加算器17の他入力端には、動き予測・補償部14において生成された参照画像が入力される。この加算器17において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がデブロックフィルタ18に与えられてブロック歪が除去される。
【0181】
このデブロックフィルタ18を介して得られた加算器17の出力は、画面並べ替えバッファ19に一時的に保持された後、D/A変換部20においてアナログ変換される一方、フレームメモリ21に一時的に格納された後、動き予測・補償部14において、当該フレームメモリ21に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【0182】
かかる構成に加えて、本実施の形態による画像復号化装置10では、再生モード制御部22が設けられており、外部から指定された再生モードに応じて、画像圧縮情報S10のビットストリームの復号化方法を変更し得るようになされている。例えば、通常再生を表す再生モードの場合、画像復号化装置10では、JVT符号化方式に準拠した復号化方法で画像の復号化を行う。
【0183】
これに対して再生モードが早送りや巻戻し等の特殊な再生モードである場合、本実施の形態の場合、JVT符号化方式に準拠する復号化方法ではなく、画像圧縮情報S10のビットストリームの簡易再生を行うようになされている。
【0184】
この画像復号化装置10では、再生モード制御部22は、外部から各種再生モードを表す再生モード信号S12が入力されると共に、可逆復号化部12から復号化された画像、スライス(マクロブロックの集合体)、マクロブロックの復号タイプ、フレーム番号及びマクロブロック位置等が復号画像情報S11Dとして入力される。
【0185】
再生モード制御部22は、再生モード信号S12に基づく再生モードに応じて、ビット読込み位置信号S13Aを可逆復号化部12に送出すると共に、変換係数制御信号S13Bを逆量子化部15に送出し、さらに画像表示信号S13Cを画像並べ替えバッファ19に送出する。
【0186】
(2)高速再生時における簡易再生方法
実際に再生モード制御部22において、再生モード信号S12に基づいて、早送り再生又は巻戻し再生を表す再生モードが指定されると、先頭のIピクチャから復号化の順番での先頭数フレームを簡易再生し、その中の一部又は全部の画像を高速再生用の画像として利用するようになされている。
【0187】
すなわち再生モード制御部22は、画像圧縮情報S10のビットストリームにおけるランダムアクセスポイント直後のフレームであるIピクチャI0から次のIピクチャInの直前までのビットストリームにおいては、IピクチャI0及びPピクチャP3、P6の3フレームのみ(以下、これを簡易再生フレームと呼ぶ)を再生モードに応じた変則再生に使用することとする。この簡易再生フレームを得るためには、予測画像の問題より、I0、B1、B2、P3、B4、B5、P6のビットストリームを復号化する必要がある。
【0188】
再生モード制御部は、再生モードが「早送り」を表す場合には、表示画像が含まれないPピクチャP6の復号化後であってIピクチャInの直前までのビットストリーム(以下、これを読飛ばしストリームと呼ぶ)を復号化する必要がなく、その旨を表すビット読込み信号を可逆復号化部に送出することにより、この可逆復号化部において読飛ばしストリームを復号化することなく読み飛ばさせる。
【0189】
このとき再生モード制御部22は、簡易再生フレームを形成するIピクチャI0及びPピクチャP3、P6のフレームをその順番で順次表示させる旨の画像表示信号S13Cを画像並べ替えバッファ19に送出することにより、この画像並べ替えバッファ19において当該フレーム表示順序に従った早送り再生用の簡易再生フレームを後段のD/A変換部20に送出させる。
【0190】
これに対して再生モード制御部22は、再生モードが「巻戻し」を表す場合には、IピクチャI0の前に位置するランダムアクセスポイントまで、画像圧縮情報S10のビットストリームを遡る旨のビット読込み信号S13Aを可逆復号化部12に送出することにより、この可逆復号化部12において簡易再生フレームの前のランダムアクセスポイントまで戻らせる。
【0191】
このとき再生モード制御部22は、簡易再生フレームを形成するIピクチャI0及びPピクチャP3、P6のフレームをその逆の順番で順次表示させる旨の画像表示信号S13Cを画像並べ替えバッファ19に送出することにより、この画像並べ替えバッファ19において当該フレーム表示順序に従った早巻戻し再生用の簡易再生フレームを後段のD/A変換部20に送出させる。
【0192】
また再生モード制御部22は、再生モードが「早送り」又は「巻戻し」のいずれの場合においても、可逆復号化部12から得られる画像、スライス、マクロブロックの符号化タイプ及びその位置に基づき、変換係数の復号化が必要ない旨又は変換係数のDC(直流)成分のみを復号化する旨を表す変換係数制御信号S13Bとして逆量子化部15に送出することにより、この逆量子化部15において逆量子化処理を行わずに変換係数0又はDC成分のみを後段の逆直交変換部16に送出させる。
【0193】
この結果、逆直交変換部16及び続く加算器17は、入力される変換係数が全て0又はDC成分のみである場合には、逆直交変換処理及び加算処理を簡略化することが可能であり、これによりフレーム内のデコード時間を短縮化することができる。実際に逆直交変換部16は、変換係数のDC成分のみの復号時には、4次の逆直交変換を変換係数のDC成分の乗算に置き換えるようになされている。
【0194】
(2−1)イントラ符号化画像の簡易再生方法
図2(A)〜(D)において、第1〜第4の簡易再生方法に対応して、イントラ符号化された画像から簡易再生フレームを抽出して再生する場合の詳細方法について説明する。このイントラ符号化された画像の1スライスSL分を複数のマクロブロックMBから形成した概略図を示す。これらの図中の斜線部分が復号化されるマクロブロックを表している。
【0195】
(2−1−1)第1の簡易復号化方法
イントラ符号化された画像の復号時に、全てのマクロブロックを復号化せずに、画面中心部分などの予め設定された一部分をスライス単位で復号化する方法である(図2(A))。
【0196】
なお復号化を行わないスライスに関しては、過去に復号化した画像についての同位置の情報をコピーしたり、続いて説明する第2〜第4の簡易復号化を適用することが可能である。
【0197】
(2−1−2)第2の簡易復号化方法
イントラ符号化された画像の復号時に、各スライス内の一部のマクロブロックのみをJVT符号化方式に従って復号化する一方、それ以外のマクロブロックを空間予測(spatial prediction)方式により簡易的に復号化する方法である(図2(B))。
【0198】
JVT符号化方式に従って復号化するマクロブロックは、スライスの先頭により1マクロブロックライン分相当のマクロブロックとする。また、これ以外のマクロブロックに関しては、空間予測方式のみを実行して変換係数の復号化を行わない。
【0199】
(2−1−3)第3の簡易復号化方法
上述した第2の簡易復号化方法に加えて、イントラ符号化された画像の復号時に、JVT符号化方式に従って復号化するマクロブロック以外のマクロブロックを空間予測方式で復号化すると共に変換係数のDC成分のみを再構成することにより簡易的に復号化する方法である(図2(C))。
【0200】
この第3の簡易復号化方法においては、変換係数のAC(交流)成分は全て0として処理を行うことにより、復号化処理の軽減を図るようになされている。
【0201】
(2−1−4)第4の簡易復号化方法
イントラ符号化された画像の復号時に、各スライス内の全てのマクロブロックを空間予測方式で復号化すると共に変換係数のDC成分のみを再構成することにより簡易的に復号化する方法である(図2(D))。この場合も第3の簡易復号化方法と同様に、変換係数のAC係数については全て0として処理を行うことにより、復号化処理の軽減を図るようになされている。
【0202】
上述の第1〜第4の簡易復号化方法を、再生モードに応じて選択的に切換え制御し得るようにしても良い。実際に第2、第3及び第4の簡易復号化方法の順に画質が向上するようになされている。
【0203】
(2−2)インタ符号化画像の簡易再生方法
またインタ符号化された画像の復号時には、図3に示すように、動きベクトルを用いた動き補償による処理のみを復号化を行い、変換係数の再構成は行わない(すなわち変換係数に関してはDC成分及びAC成分にかかわらず全て0であるとして処理を行う)方法である。
【0204】
このとき予測に用いる参照画像は、JVT符号化方式に準拠した復号化画像であっても、このフレーム以前に過去に簡易復号化を行った再構成画像であっても問題はない。
【0205】
(3)本実施の形態による動作及び効果
以上の構成において、JVT符号化方式に準拠した復号化処理を行う画像復号化装置10では、通常再生から高速再生に再生モードが切り換えられると、画像圧縮情報S10のビットストリームにおけるランダムアクセスポイント直後のIピクチャからBピクチャを除いた数ピクチャ分でなる簡易再生フレームについて復号化する。
【0206】
そして「早送り」を表す高速再生モードである場合には、簡易再生フレーム以降の読飛ばしストリームを復号化しないように読み飛ばした後、当該簡易再生フレームを形成するIピクチャ及びPピクチャをその順番で表示させる。
【0207】
これに対して「巻戻し」を表す高速再生モードである場合には、簡易再生フレームの前に位置するランダムアクセスポイントまでビットストリームを遡らせた後、当該簡易再生フレームを形成するIピクチャ及びPピクチャをその逆の順番で表示させる。
【0208】
このように高速再生モード時に画像圧縮情報S10のビットストリームを全て復号化することなく、そのうちの一部又は全部を簡易再生フレームとして復号化することにより、通常再生モード時よりも短い時間で復号化処理を行うことができる。
【0209】
さらに画像復号化装置10において、イントラ符号化された画像の復号時に、簡易再生フレーム内の各ピクチャを形成する複数のスライスについて、当該各スライス単位で、一部又は全部のマクロブロックのみJVT符号化方式に従って復号化し、当該復号対象とならないマクロブロックについては空間予測方式に従う復号化及び又は変換係数のDC成分のみの再構成を実行するようにしたことにより、復号化処理に要する処理時間を短縮化することができる。
【0210】
このことはインタ符号化された画像の復号時には、動きベクトルを用いた動き補償による処理のみを復号化を行って変換係数の再構成は行わないようにしてことでも、同様に復号化処理に要する処理時間を短縮化することができる。
【0211】
以上の構成によれば、JVT符号化方式に準拠した復号化処理を行う画像復号化装置10において、外部入力される再生モードに応じて復号化方法を変更する再生モード制御部22を設け、高速再生モード時に画像圧縮情報S10のビットストリームを全て復号化することなく、そのうちの一部又は全部を簡易再生フレームとして復号化するようにしたことにより、通常再生モード時よりも短い時間で復号化処理を行うことができ、かくして簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化装置10を実現できる。
【0212】
(4)他の実施の形態
なお上述の本実施の形態においては、JVT符号化方式(所定の符号化方式)に準拠した復号化処理を行う画像復号化装置として、図1に示す構成のものを適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成のものを広く適用するようにしても良い。
【0213】
また上述の本実施の形態においては、JVT符号化方式で符号化された画像圧縮情報(画像データ)S10に対して復号化処理を施す復号化手段を可逆復号化部12から構成し、当該可逆復号化部(復号化手段)12を制御する制御手段を再生モード制御部22から構成するようにした場合について述べたが、本発明はこれに限らず、 高速再生モード時、画像圧縮情報(画像データ)S10におけるランダムアクセスポイント(所望位置)のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出することができれば、この他種々の構成のものや一体構成のものなど広く適用することができる。
【0214】
さらに上述の本実施の形態においては、高速再生モードが早送り再生の場合、簡易再生フレーム以降を復号化することなく、当該簡易再生フレームを形成するIピクチャ及び各Pピクチャを順番に復号化する一方、高速再生モードが巻戻し再生の場合、簡易再生フレームの前まで遡らせた後、当該簡易再生フレームを形成するIピクチャ及び各Pピクチャを順次復号化した後、当該復号順序と逆順に簡易再生フレームを出力するようにした場合について述べたが、本発明はこれに限らず、高速再生モードに応じた変則再生時に復号化処理に要する処理時間を短縮化し得れば、この他種々の方法を適用するようにしても良い。
【0215】
さらに上述の本実施の形態においては、JVT符号化方式のうちイントラ符号化(フレーム内符号化)された画像圧縮情報(画像データ)S10における簡易再生フレーム内のIピクチャ及び各Pピクチャについて、スライス単位(所定の情報単位)で当該スライス(情報)内の一部又は全部を復号化する一方、復号化しない部分については、なにもしない第1の処理(図2(A))、空間予測符号化(可逆符号化)により得られた予測方式の信号に準拠して空間予測のみを復号化する第2の処理(図2(B))、DCT変換符号化(変換符号化)による変換係数のDC(直流)成分のみ復号化する第3の処理(図2(C))、又は第2及び第3の処理を組み合わせた第4の処理(図2(D))のいずれかを選択的に行うようにした場合について述べたが、本発明はこれに限らず、これら第1〜第4の処理を再生モードに応じて自動的に選択するようにしても良い。
【0216】
この場合、第2の処理よりも第3及び第4の処理の方が画質が良いことと、第2の処理よりも第3及び第4の処理の方が復号化に要する処理時間が遅いこととバランスを考慮するようにすれば良い。
【0217】
また第2の処理における可逆符号化として空間予測符号化を適用すると共に、第3及び第4の処理における変換符号化としてDCT変換符号化を適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の符号化を広く適用するようにしても良い。
【0218】
さらに上述の実施の形態においては、JVT符号化方式の画像圧縮情報S10が限定された予測フレームを使用している場合、可逆復号化部12(図1)によりビットストリームを形成するフレーム数をさらに減らすことが可能である。例えば、高速再生モード時に用いるフレームがPピクチャであった場合、直前のI又はPピクチャのみから予測を行うようにして予測関係を限定することにより、表示に用いることのないフレームの復号化を行う必要がなくなり、より短時間で復号化処理を行うことができる利点がある。
【0219】
【発明の効果】
上述のように本発明によれば、所定の符号化方式に準拠した復号化処理を行う画像復号化装置において、符号化方式で符号化された画像データに対して復号化処理を施す復号化手段と、復号化手段を制御する制御手段とを設け、高速再生モード時、制御手段は、画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出するように復号化手段を制御するようにしたことにより、通常再生モード時よりも短い時間で復号化処理を行うことができ、かくして簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化装置を実現できる。
【0220】
また本発明によれば、所定の符号化方式に準拠した復号化処理を行う画像復号化方法において、高速再生モード時、符号化方式で符号化された画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出するようにしたことにより、通常再生モード時よりも短い時間で復号化処理を行うことができ、かくして簡易な構成で短時間かつ正確に復号化処理を行い得る画像復号化方法を実現できる。
【図面の簡単な説明】
【図1】本実施の形態による画像復号化装置の構成を示すブロック図である。
【図2】イントラ符号化画像の簡易再生方法の説明に供する略線的な概念図である。
【図3】インタ符号化画像の簡易再生方法の説明に供する略線的な概念図である。
【図4】イントラ4×4モード処理の説明に供する略線的な平面図である。
【図5】イントラ4×4モード処理の説明に供する略線的な平面図である。
【図6】イントラ予測値の生成処理の説明に供する略線的な平面図である。
【図7】イントラ予測値の生成処理の説明に供する略線的な平面図である。
【図8】隣接マクロブロックペアのイントラ予測モードの説明に供する略線的な平面図である。
【図9】JVT符号化方式による動き補償処理の説明に供する略線的な平面図である。
【図10】従来の画像再生装置の構成を示すブロック図である。
【図11】MPEG2方式による復号化方法の説明に供する略線的な概念図である。
【図12】JVT符号化方式による復号化方法の説明に供する略線的な概念図である。
【符号の図面の簡単な説明】
10……画像復号化装置、12……可逆復号化部、13……イントラ予測部、14……動き予測・補償部、15……逆量子化部、16……逆直交変換部、17……加算器、18……デブロックフィルタ、19……画面並べ替えバッファ、21……フレームメモリ、22……再生モード制御部。
Claims (6)
- 所定の符号化方式に準拠した復号化処理を行う画像復号化装置において、
上記符号化方式で符号化された画像データに対して上記復号化処理を施す復号化手段と、
上記復号化手段を制御する制御手段と
を具え、
高速再生モード時、上記制御手段は、上記画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出するように上記復号化手段を制御する
ことを特徴とする画像復号化装置。 - 上記制御部は、
上記高速再生モードが早送り再生の場合、上記簡易再生フレーム以降を復号化することなく、当該簡易再生フレームを形成する上記Iピクチャ及び各上記Pピクチャを順番に復号化するように上記復号化手段を制御する一方、
上記高速再生モードが巻戻し再生の場合、上記簡易再生フレームの前まで遡らせた後、当該簡易再生フレームを形成する上記Iピクチャ及び各上記Pピクチャを順次復号化した後、当該復号順序と逆順に上記簡易再生フレームを出力するように上記復号化手段を制御する
ことを特徴とする請求項1に記載の画像復号化装置。 - 上記制御手段は、
上記符号化方式のうちフレーム内符号化された上記画像データにおける上記簡易再生フレーム内の上記Iピクチャ及び各上記Pピクチャについて、所定の情報単位で当該情報内の一部又は全部を復号化するように上記復号化手段を制御する一方、
当該復号化しない部分については、なにもしない第1の処理、可逆符号化により得られた予測方式の信号に準拠して空間予測のみを復号化する第2の処理、変換符号化による変換係数の直流成分のみ復号化する第3の処理、又は上記第2及び第3の処理を組み合わせた第4の処理のいずれかを選択的に行うように上記復号化手段を制御する
ことを特徴とする請求項1に記載の画像復号化装置。 - 所定の符号化方式に準拠した復号化処理を行う画像復号化方法において、
高速再生モード時、上記符号化方式で符号化された画像データにおける所望位置のIピクチャを基準として当該Iピクチャ及び後続する所定数のPピクチャからなる簡易再生フレームを抽出する
ことを特徴とする画像復号化方法。 - 上記高速再生モードが早送り再生の場合、上記簡易再生フレーム以降を復号化することなく、当該簡易再生フレームを形成する上記Iピクチャ及び各上記Pピクチャを順番に復号化する一方、
上記高速再生モードが巻戻し再生の場合、上記簡易再生フレームの前まで遡らせた後、当該簡易再生フレームを形成する上記Iピクチャ及び各上記Pピクチャを順次復号化した後、当該復号順序と逆順に上記簡易再生フレームを出力する
ことを特徴とする請求項4に記載の画像復号化方法。 - 上記符号化方式のうちフレーム内符号化された上記画像データにおける上記簡易再生フレーム内の上記Iピクチャ及び各上記Pピクチャについて、所定の情報単位で当該情報内の一部又は全部を復号化する一方、
当該復号化しない部分については、なにもしない第1の処理、可逆符号化により得られた予測方式の信号に準拠して空間予測のみを復号化する第2の処理、変換符号化による変換係数の直流成分のみ復号化する第3の処理、又は上記第2及び第3の処理を組み合わせた第4の処理のいずれかを選択的に行う
ことを特徴とする請求項4に記載の画像復号化方法。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003122472A JP4324844B2 (ja) | 2003-04-25 | 2003-04-25 | 画像復号化装置及び画像復号化方法 |
EP20040728261 EP1619893B1 (en) | 2003-04-25 | 2004-04-19 | Image decoding devcie and image decoding method |
US10/553,960 US7672522B2 (en) | 2003-04-25 | 2004-04-19 | Image decoding device and image decoding method |
CNB2004800105065A CN100479513C (zh) | 2003-04-25 | 2004-04-19 | 图像解码设备和图像解码方法 |
PCT/JP2004/005544 WO2004098184A1 (ja) | 2003-04-25 | 2004-04-19 | 画像復号化装置及び画像復号化方法 |
KR20057020193A KR101057863B1 (ko) | 2003-04-25 | 2004-04-19 | 화상 복호화 장치 및 화상 복호화 방법 |
CN200910005064XA CN101500116B (zh) | 2003-04-25 | 2004-04-19 | 图像解码设备和图像解码方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003122472A JP4324844B2 (ja) | 2003-04-25 | 2003-04-25 | 画像復号化装置及び画像復号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004328511A true JP2004328511A (ja) | 2004-11-18 |
JP4324844B2 JP4324844B2 (ja) | 2009-09-02 |
Family
ID=33410079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003122472A Expired - Fee Related JP4324844B2 (ja) | 2003-04-25 | 2003-04-25 | 画像復号化装置及び画像復号化方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7672522B2 (ja) |
EP (1) | EP1619893B1 (ja) |
JP (1) | JP4324844B2 (ja) |
KR (1) | KR101057863B1 (ja) |
CN (2) | CN101500116B (ja) |
WO (1) | WO2004098184A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007099580A1 (ja) * | 2006-02-28 | 2007-09-07 | Matsushita Electric Industrial Co., Ltd. | マルチメディアデータ再生装置および方法 |
WO2008007758A1 (en) | 2006-07-14 | 2008-01-17 | Sony Corporation | Reproduction device, reproduction method, and program |
US8279928B2 (en) | 2006-05-09 | 2012-10-02 | Canon Kabushiki Kaisha | Image encoding apparatus and encoding method, image decoding apparatus and decoding method |
JP2013214996A (ja) * | 2005-04-13 | 2013-10-17 | Thomson Licensing | ビデオ符号化のための方法および装置 |
US8731065B2 (en) | 2008-01-24 | 2014-05-20 | Nec Corporation | Dynamic image stream processing method and device, and dynamic image reproduction device and dynamic image distribution device using the same |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100282147B1 (ko) * | 1998-11-13 | 2001-02-15 | 구자홍 | 압축 영상 복원 방법 |
TWI266541B (en) * | 2005-06-08 | 2006-11-11 | Via Tech Inc | Computing method of motion vector |
WO2007148088A2 (en) * | 2006-06-21 | 2007-12-27 | Ge Healthcare Limited | Radiopharmaceutical products |
US8532199B2 (en) * | 2008-01-24 | 2013-09-10 | Panasonic Corporation | Dynamic image compression device |
JP5206070B2 (ja) * | 2008-03-28 | 2013-06-12 | 富士通株式会社 | 復号装置および復号方法 |
US9190110B2 (en) | 2009-05-12 | 2015-11-17 | JBF Interlude 2009 LTD | System and method for assembling a recorded composition |
JP5640979B2 (ja) * | 2009-09-03 | 2014-12-17 | 日本電気株式会社 | 動画像符号化装置、動画像符号化方法および動画像符号化プログラム |
US11232458B2 (en) | 2010-02-17 | 2022-01-25 | JBF Interlude 2009 LTD | System and method for data mining within interactive multimedia |
US9607655B2 (en) | 2010-02-17 | 2017-03-28 | JBF Interlude 2009 LTD | System and method for seamless multimedia assembly |
US10165276B2 (en) * | 2010-09-30 | 2018-12-25 | Texas Instruments Incorporated | Method and apparatus for frame coding in vertical raster scan order for HEVC |
JP5781313B2 (ja) * | 2011-01-12 | 2015-09-16 | 株式会社Nttドコモ | 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム |
US9706227B2 (en) * | 2011-03-10 | 2017-07-11 | Qualcomm Incorporated | Video coding techniques for coding dependent pictures after random access |
WO2012134046A2 (ko) * | 2011-04-01 | 2012-10-04 | 주식회사 아이벡스피티홀딩스 | 동영상의 부호화 방법 |
KR101383775B1 (ko) * | 2011-05-20 | 2014-04-14 | 주식회사 케이티 | 화면 내 예측 방법 및 장치 |
US20120314767A1 (en) * | 2011-06-13 | 2012-12-13 | Qualcomm Incorporated | Border pixel padding for intra prediction in video coding |
US9009619B2 (en) | 2012-09-19 | 2015-04-14 | JBF Interlude 2009 Ltd—Israel | Progress bar for branched videos |
US9257148B2 (en) | 2013-03-15 | 2016-02-09 | JBF Interlude 2009 LTD | System and method for synchronization of selectably presentable media streams |
HRP20211705T1 (hr) * | 2013-03-29 | 2022-02-04 | Jvckenwood Corporation | Uređaj za dekodiranje slike, postupak za dekodiranje slike i program za dekodiranje slike |
US10448119B2 (en) | 2013-08-30 | 2019-10-15 | JBF Interlude 2009 LTD | Methods and systems for unfolding video pre-roll |
US9520155B2 (en) * | 2013-12-24 | 2016-12-13 | JBF Interlude 2009 LTD | Methods and systems for seeking to non-key frames |
US9653115B2 (en) | 2014-04-10 | 2017-05-16 | JBF Interlude 2009 LTD | Systems and methods for creating linear video from branched video |
US9792026B2 (en) | 2014-04-10 | 2017-10-17 | JBF Interlude 2009 LTD | Dynamic timeline for branched video |
US9792957B2 (en) | 2014-10-08 | 2017-10-17 | JBF Interlude 2009 LTD | Systems and methods for dynamic video bookmarking |
US11412276B2 (en) | 2014-10-10 | 2022-08-09 | JBF Interlude 2009 LTD | Systems and methods for parallel track transitions |
US10582265B2 (en) | 2015-04-30 | 2020-03-03 | JBF Interlude 2009 LTD | Systems and methods for nonlinear video playback using linear real-time video players |
US9672868B2 (en) | 2015-04-30 | 2017-06-06 | JBF Interlude 2009 LTD | Systems and methods for seamless media creation |
US10460765B2 (en) | 2015-08-26 | 2019-10-29 | JBF Interlude 2009 LTD | Systems and methods for adaptive and responsive video |
US11128853B2 (en) | 2015-12-22 | 2021-09-21 | JBF Interlude 2009 LTD | Seamless transitions in large-scale video |
US11164548B2 (en) | 2015-12-22 | 2021-11-02 | JBF Interlude 2009 LTD | Intelligent buffering of large-scale video |
US10462202B2 (en) | 2016-03-30 | 2019-10-29 | JBF Interlude 2009 LTD | Media stream rate synchronization |
US11856271B2 (en) | 2016-04-12 | 2023-12-26 | JBF Interlude 2009 LTD | Symbiotic interactive video |
US10218760B2 (en) | 2016-06-22 | 2019-02-26 | JBF Interlude 2009 LTD | Dynamic summary generation for real-time switchable videos |
US11050809B2 (en) | 2016-12-30 | 2021-06-29 | JBF Interlude 2009 LTD | Systems and methods for dynamic weighting of branched video paths |
US10257578B1 (en) | 2018-01-05 | 2019-04-09 | JBF Interlude 2009 LTD | Dynamic library display for interactive videos |
US11601721B2 (en) | 2018-06-04 | 2023-03-07 | JBF Interlude 2009 LTD | Interactive video dynamic adaptation and user profiling |
US11490047B2 (en) | 2019-10-02 | 2022-11-01 | JBF Interlude 2009 LTD | Systems and methods for dynamically adjusting video aspect ratios |
US12096081B2 (en) | 2020-02-18 | 2024-09-17 | JBF Interlude 2009 LTD | Dynamic adaptation of interactive video players using behavioral analytics |
US11245961B2 (en) | 2020-02-18 | 2022-02-08 | JBF Interlude 2009 LTD | System and methods for detecting anomalous activities for interactive videos |
US12047637B2 (en) | 2020-07-07 | 2024-07-23 | JBF Interlude 2009 LTD | Systems and methods for seamless audio and video endpoint transitions |
US11882337B2 (en) | 2021-05-28 | 2024-01-23 | JBF Interlude 2009 LTD | Automated platform for generating interactive videos |
US11934477B2 (en) | 2021-09-24 | 2024-03-19 | JBF Interlude 2009 LTD | Video player integration within websites |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR0134871B1 (ko) * | 1992-07-17 | 1998-04-22 | 사또오 후미오 | 고능률 부호화 복호화 시스템 |
US5786858A (en) * | 1993-01-19 | 1998-07-28 | Sony Corporation | Method of encoding image signal, apparatus for encoding image signal, method of decoding image signal, apparatus for decoding image signal, and image signal recording medium |
JP2661541B2 (ja) | 1993-03-29 | 1997-10-08 | 松下電器産業株式会社 | 光ディスク装置 |
US5787225A (en) * | 1993-03-29 | 1998-07-28 | Matsushita Electric Industrial Co., Ltd. | Optical disk apparatus for the reproduction of compressed data |
JP3089160B2 (ja) * | 1994-05-20 | 2000-09-18 | シャープ株式会社 | ディジタル記録再生装置 |
JP3254924B2 (ja) * | 1994-09-05 | 2002-02-12 | ソニー株式会社 | データ再生方法およびデータ再生装置 |
JP3491366B2 (ja) * | 1995-01-31 | 2004-01-26 | ソニー株式会社 | 符号化データの特殊再生方法および特殊再生装置 |
JP3635712B2 (ja) * | 1995-04-08 | 2005-04-06 | ソニー株式会社 | 画像情報復号化装置及び画像情報再生装置 |
JPH08331567A (ja) * | 1995-06-02 | 1996-12-13 | Sony Corp | 画像情報符号化装置、画像情報復号化装置及び画像情報記録再生システム |
US6169843B1 (en) * | 1995-12-01 | 2001-01-02 | Harmonic, Inc. | Recording and playback of audio-video transport streams |
JP3772451B2 (ja) * | 1997-03-19 | 2006-05-10 | ソニー株式会社 | 画像復号装置及び画像復号方法 |
JPH10276365A (ja) * | 1997-03-31 | 1998-10-13 | Hitachi Ltd | 映像データ圧縮装置、映像記録再生装置および映像データの圧縮符号化方法 |
US7149248B2 (en) * | 2001-09-12 | 2006-12-12 | Broadcom Corporation | Command packet system and method supporting improved trick mode performance in video decoding systems |
-
2003
- 2003-04-25 JP JP2003122472A patent/JP4324844B2/ja not_active Expired - Fee Related
-
2004
- 2004-04-19 WO PCT/JP2004/005544 patent/WO2004098184A1/ja active Application Filing
- 2004-04-19 CN CN200910005064XA patent/CN101500116B/zh not_active Expired - Fee Related
- 2004-04-19 EP EP20040728261 patent/EP1619893B1/en not_active Expired - Lifetime
- 2004-04-19 CN CNB2004800105065A patent/CN100479513C/zh not_active Expired - Fee Related
- 2004-04-19 KR KR20057020193A patent/KR101057863B1/ko not_active IP Right Cessation
- 2004-04-19 US US10/553,960 patent/US7672522B2/en not_active Expired - Fee Related
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013214996A (ja) * | 2005-04-13 | 2013-10-17 | Thomson Licensing | ビデオ符号化のための方法および装置 |
JP2013214994A (ja) * | 2005-04-13 | 2013-10-17 | Thomson Licensing | ビデオ符号化のための方法および装置 |
JP2013214997A (ja) * | 2005-04-13 | 2013-10-17 | Thomson Licensing | ビデオ復号化のための方法および装置 |
JP2013214995A (ja) * | 2005-04-13 | 2013-10-17 | Thomson Licensing | ビデオ復号化のための方法および装置 |
US10123046B2 (en) | 2005-04-13 | 2018-11-06 | Thomson Licensing | Method and apparatus for video decoding |
WO2007099580A1 (ja) * | 2006-02-28 | 2007-09-07 | Matsushita Electric Industrial Co., Ltd. | マルチメディアデータ再生装置および方法 |
US8279928B2 (en) | 2006-05-09 | 2012-10-02 | Canon Kabushiki Kaisha | Image encoding apparatus and encoding method, image decoding apparatus and decoding method |
WO2008007758A1 (en) | 2006-07-14 | 2008-01-17 | Sony Corporation | Reproduction device, reproduction method, and program |
JP2008022475A (ja) * | 2006-07-14 | 2008-01-31 | Sony Corp | 再生装置および再生方法、並びにプログラム |
US8731065B2 (en) | 2008-01-24 | 2014-05-20 | Nec Corporation | Dynamic image stream processing method and device, and dynamic image reproduction device and dynamic image distribution device using the same |
Also Published As
Publication number | Publication date |
---|---|
KR20060006823A (ko) | 2006-01-19 |
US7672522B2 (en) | 2010-03-02 |
WO2004098184A1 (ja) | 2004-11-11 |
US20070003149A1 (en) | 2007-01-04 |
CN100479513C (zh) | 2009-04-15 |
JP4324844B2 (ja) | 2009-09-02 |
CN101500116B (zh) | 2011-02-23 |
CN1778110A (zh) | 2006-05-24 |
KR101057863B1 (ko) | 2011-08-19 |
EP1619893A1 (en) | 2006-01-25 |
CN101500116A (zh) | 2009-08-05 |
EP1619893B1 (en) | 2013-01-09 |
EP1619893A4 (en) | 2009-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4324844B2 (ja) | 画像復号化装置及び画像復号化方法 | |
US11064199B2 (en) | Method and system for generating a transform size syntax element for video decoding | |
US7324595B2 (en) | Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction | |
US7894530B2 (en) | Method and system for dynamic selection of transform size in a video decoder based on signal content | |
JP2004140473A (ja) | 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法 | |
KR20060109290A (ko) | 화상 복호 장치 및 화상 복호 방법과 화상 복호 프로그램 | |
JP2004328634A (ja) | 画像復号化装置及び方法 | |
JPH0818979A (ja) | 画像処理装置 | |
JP2008219205A (ja) | 画像情報符号化装置及び画像情報符号化方法 | |
JP4264811B2 (ja) | 画像復号化装置及び画像復号化方法 | |
JPH11252561A (ja) | 動画像復号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090403 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090514 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090527 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4324844 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |