[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4490261B2 - イントラ符号化に基づく空間予測 - Google Patents

イントラ符号化に基づく空間予測 Download PDF

Info

Publication number
JP4490261B2
JP4490261B2 JP2004512067A JP2004512067A JP4490261B2 JP 4490261 B2 JP4490261 B2 JP 4490261B2 JP 2004512067 A JP2004512067 A JP 2004512067A JP 2004512067 A JP2004512067 A JP 2004512067A JP 4490261 B2 JP4490261 B2 JP 4490261B2
Authority
JP
Japan
Prior art keywords
prediction mode
prediction
group
mode
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004512067A
Other languages
English (en)
Other versions
JP2005529527A (ja
Inventor
カルクツェビッツ,マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=29741013&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP4490261(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority claimed from US10/171,467 external-priority patent/US20030231795A1/en
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2005529527A publication Critical patent/JP2005529527A/ja
Application granted granted Critical
Publication of JP4490261B2 publication Critical patent/JP4490261B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41Bandwidth or redundancy reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は一般に画像の符号化に関し、特に、ビデオフレームの符号化用ブロックに関する。
ビデオ画像、TV画像、静止画像またはビデオレコーダやコンピュータにより作成される画像などのデジタル画像は、水平および垂直に配設された画素から構成される。単一画像内の画素数は一般に数万である。個々の画素には通常輝度情報と色差情報とが含まれる。圧縮を行わないと、画像エンコーダから画像デコーダへ伝送するべき情報量が非常に大きくなるため、リアルタイムの画像伝送が不可能となる。この伝送情報量を減らすために、JPEG、MPEGおよびH.263規格などの複数の異なる圧縮方法が開発されている。典型的なビデオエンコーダでは、オリジナルのビデオシーケンスのフレームは矩形領域すなわちブロックに分割され、これらのブロックは、イントラモード(Iモード)またはインタモード(Pモード)で符号化される。上記ブロックは、DCT符号化などのある種の変換符号化を用いて独立に符号化される。しかし、純粋なブロックベースの符号化では、ブロック間における画素の相関関係について考慮することなく、ある特定ブロックの範囲内の画素間の相関関係が減少するにすぎないが、それでもこのブロックベースの符号化によって、伝送用の高いビットレートが生成される。現在のデジタル画像の符号化規格では、ブロック間の画素値の相関関係を減らす或る種の方法も利用される。
一般に、Pモードで符号化されたブロックは前もって符号化され伝送されたフレームのうちの1つのフレームから予測される。ブロックの予測情報は2次元(2D)モーション(動き)ベクトルにより表される。Iモードで符号化されたブロックの場合、予測対象ブロックは、空間予測を用いて同一フレーム内のすでに符号化された隣接ブロックから形成される。予測誤差すなわち符号化中のブロックと予測済みのブロックとの間の差分は或る離散変換の重み付き基底関数の集合として表される。この変換は典型的には8×8または4×4ブロックをベースにして実行される。これらの重み付け−変換係数は後で量子化される。量子化によって情報の損失が生じ、したがって、量子化係数の精度がオリジナルのものよりも低くなる。
量子化変換係数は、動きベクトルおよび何らかの制御情報と共に、完全な符号化済みシーケンスの表現を形成し、シンタックス要素と呼ばれる。エンコーダからデコーダへの伝送に先行して、すべてのシンタックス要素をエントロピ符号化して、これら要素の表現に必要なビット数を減らすようにする。
エンコーダでの場合と同様、デコーダでは、現フレーム内のブロックは、ブロックの予測値をまず構成することにより、次いで、圧縮された予測誤差を予測値に加算することにより取得される。上記圧縮された予測誤差は、量子化係数を用いて変換基底関数に重み付けを施すことにより得られる。再構成されたフレームと原フレームとの間の差分は再構成誤差と呼ばれる。
圧縮比、すなわち、I−ブロックとP−ブロックの双方の場合の原シーケンスと圧縮済みシーケンスとを表すために用いられるビット数の比率は、変換係数の量子化に利用される量子化パラメータ値の調整により制御される。この圧縮比は採用するエントロピ符号化方法にも依存する。
JVTコーダの作業ドラフト番号2(WD2)で用いられる空間予測の例について以下説明する。空間予測を実行するために、JVTコーダは、DC予測(モード0)と8つの指向性モードを含む4×4ブロックの予測用として9つのモードを提供し、図1に示すように1から7のラベルがつけられている。この予測処理が図2に示されている。図2に示すように、aからpまでの画素が符号化の対象となり、隣接ブロックから得られるAからQまでのすでに符号化済みの画素が予測用として用いられる。例えば、モード1を選択した場合、画素a、e、i、mは、これらの画素を画素Aに等しくなるようにセットすることにより予測され、画素b、f、j、nはこれらの画素を画素Bに等しくなるようにセットすることにより予測される、等々。同様に、モード2を選択した場合、画素a、b、c、dは、これらの画素を画素Iに等しくなるようにセットすることにより予測され、画素e、f、f、hは、これらの画素を画素Jに等しくなるようにセットすることにより予測される、等々。したがって、モード1は垂直方向の予測子であり、モード2は水平方向の予測子である。これらのモードについては、ビデオ符号化専門家グループ(VCEG)のITU通信標準化セクタにより2001年9月に出版されている文献VCEG−N54、並びに、ISO/IEC MPEGとITU−T VCEGのジョイントビデオチームにより2002年3月に出版されている文献JVDーB118r2に記載されている。
モード0:DC予測
一般に、すべてのサンプルは(A+B+C+D+I+J+K+L+4)>>3により予測される。これらサンプルのうち4つのサンプルが画像の外側にある場合、残りの4つのサンプルの平均値が予測用として用いられる。8つのサンプルすべてが画像の外側にある場合、ブロック内のすべてのサンプルに対する予測は128である。このようにして、上記モードでブロックを常に予測することができる。
モード1:垂直方向予測
A、B、C、Dが画像の内部にある場合、
− a、e、i、mはAにより予測される。
− b、f、j、nはBにより予測される。
− c、g、k、oはCにより予測される。
− d、h、l、pはDにより予測される。
モード2:水平方向予測
E、F、G、Hが画像の内部にある場合、
− a、b、c、dはEにより予測される。
− e、f、g、hはFにより予測される。
− i、j、k、lはGにより予測される。
− m、n、o、pはHにより予測される。
モード3:右下対角方向予測
このモードは、A、B、C、D、I、J、K、L、Qのすべてが画像の内部にある場合にのみに用いられる。これは“対角”予測である。
− mは (J+2K+L+2)>>2により予測される。
− i、nは (I+2J+K+2)>>2により予測される。
− e、j、oは (Q+2I+J+2)>>2により予測される。
− a、f、k、pは (A+2Q+I+2)>>2により予測される。
− b、g、lは (Q+2A+B+2)>>2により予測される。
− c、hは (A+2B+C+2)>>2により予測される。
− dは (B+2C+D+2)>>2により予測される。
モード4:左下対角方向予測
このモードは、A、B、C、D、I、J、K、L、Qのすべてが画像の内部にある場合にのみに用いられる。これは“対角”予測である。
− aは (A+2B+C+I+2J+K+4)>>3により予測される。
− b、eは (B+2C+D+J+2K+L+4)>>3により予測される。
− c、f、iは (C+2D+E+K+2L+M+4)>>3により予測される。
− d、g、j、mは (D+2E+F+L+2M+N+4)>>3により予測される。
− h、k、nは (E+2F+G+M+2N+O+4)>>3により予測される。
− l、oは (F+2G+H+N+2O+P+4)>>3により予測される。
− pは (G+H+O+P+2)>>3により予測される。
モード5:垂直−左方向予測
このモードは、A、B、C、D、I、J、K、L、Qのすべてが画像の内部にある場合にのみに用いられる。これは“対角”予測である。
− a、jは (Q+A+1)>>1により予測される。
− b、kは (A+B+1)>>1により予測される。
− c、lは (B+C+1)>>1により予測される。
− dは (C+D+1)>>1により予測される。
− e、nは (I+2Q+A+2)>>2により予測される。
− f、oは (Q+2A+B+2)>>2により予測される。
− g、pは (A+2B+C+2)>>2により予測される。
− hは (B+2C+D+2)>>2により予測される。
− iは (Q+2I+J+2)>>2により予測される。
− mは (I+2J+K+2)>>2により予測される。
モード6:垂直−右方向予測
このモードは、A、B、C、D、I、J、K、L、Qのすべてが画像の内部にある場合にのみに用いられる。これは“対角”予測である。
− aは (2A+2B+J+2K+L+4)>>3により予測される。
− b、iは (B+C+1)>>1により予測される。
− c、jは (C+D+1)>>1により予測される。
− d、kは (D+E+1)>>1により予測される。
− lは (E+F+1)>>1により予測される。
− eは (A+2B+C+K+2L+M+4)>>3により予測される。
− f、mは (B+2C+D+2)>>2により予測される。
− g、nは (C+2D+E+2)>>2により予測される。
− h、oは (D+2E+F+2)>>2により予測される。
− pは (E+2F+G+2)>>2により予測される。
モード7:水平−上方向予測
このモードは、A、B、C、D、I、J、K、L、Qのすべてが画像の内部にある場合にのみに用いられる。これは“対角”予測である。
− aは (B+2C+D+2I+2J+4)>>3により予測される。
− bは (C+2D+E+I+2J+K+4)>>3により予測される。
− c、eは (D+2EF+2J+2K+4)>>3により予測される。
− d、fは (E+2F+G+J+2K+L+4)>>3により予測される。
− g、iは (F+2G+H+2K+2L+4)>>3により予測される。
− h、jは (G+3H+K+3L+4)>>3により予測される。
− l、nは (L+2M+N+2)>>3により予測される。
− k、mは (G+H+L+M+2)>>2により予測される。
− oは (M+N+1)>>1により予測される。
− pは (M+2N+O+2)>>2により予測される。
モード8:水平−下方向予測
このモードは、A、B、C、D、I、J、K、L、Qのすべてが画像の内部にある場合にのみに用いられる。これは“対角”予測である。
− a、gは (Q+I+1)>>1により予測される。
− b、hは (I+2Q+A+2)>>2により予測される。
− cは (Q+2A+B+2)>>2により予測される。
− dは (A+2B+C+2)>>2により予測される。
− e、kは (I+J+1)>>1により予測される。
− f、lは (Q+2I+J+2)>>2により予測される。
− i、oは (J+K+1)>>1により予測される。
− j、pは (I+2J+K+2)>>2により予測される。
− mは (K+L+1)>>1により予測される。
− nは (J+2K+L+2)>>2により予測される。
デコーダへ伝送される割り当てられた予測モードを個々のブロックが持つ必要があるため、直接符号化を行う場合、上記予測法は少なからぬビット数を必要とすることになる。伝送対象の情報量を減らすために、隣接ブロックの予測モードの相関関係を利用することができる。例えば、Vahteri等(WO01/54416A1、“画像を符号化する方法および画像コーダ”、以後Vahteriと呼ぶ)には、ブロック内の画像の方向性情報を利用して複数の空間予測モードを分類するブロックベースの符号化法が開示されている。少なくとも1つの隣接ブロックの方向性情報によりブロックの空間予測モードが決定される。
JVTコーダでは、隣接するすでに符号化済みのブロックUとLの予測モードが既知のとき、最も確率の高い予測モード、次に最も確率の高い予測モードなどのブロックCに対する順序付けが行われる(図3)。UとLの予測モードの個々の組み合わせに対してモードの順序付けが指定される。最も確率の高い予測モードから最も確率の低い予測モードへ順序づけられたブロックC用の予測モードのリストとして上記順序付けを指定することができる。VCEG−N54に開示されているように、JVTコーダのWD2の形で使用されるこの順序づけられたリストを下記に示す:
Figure 0004490261
ここで、UとLの双方に対する予測モードが2であるとき、JVTコーダのWD2に指定されているようなブロックCに対する予測モードの1例を示す。ストリング(2、8、7、1、0、6、4、3、5)は、モード2がブロックCに対して最も確率の高いモードであることをも示すものである。モード8は次に最も確率の高いモードである、等々。n番目に最も確率の高いモードをブロックCに対して使用することを示す情報がデコーダへ伝送される。個々のモードの順位(順位が高いほど、予測方法の確率が低い)をリストすることによりブロックCに対するモードの順序付けを指定することも可能である。上記例の場合、順位リストは(5、4、1、8、7、9、6、3、2)となる。モード(0、1、2、3、4、5、6、7、8)が順位リスト(5、4、1、8、7、9、6、3、2)に関連するとき、モード0は順位5を持ち、モード1は順位4を持つなどと言うことができる。
より効率のよい符号化を行うために、2つの4×4ブロックのイントラ予測に関する情報を1つのコードワードで符号化することができる。
上述の方法には、ブロックUとLの予測モードが与えられている場合、ブロックCに対する予測モードの順序付けを保持するために必要なメモリに対する要求が厳しいという1つの主要な欠点がある。JVTコーダのWD2では、9つのモードが予測用として用いられるので、ブロックUとLとに対して9×9通りの可能なモードの組み合わせが存在する。個々の組み合わせに対して、9通りの可能なモードの順序付けを指定しなければならない。これは、予測モードの順序付けを指定するのに9×9×9バイト(ここでは、1つの数が1バイトを必要とすることが仮定されている)が必要となることを意味する。さらに、例えば、ブロックUとLの一方または双方が利用可能でない場合のような特別のケースを指定するのにさらに多くのメモリが必要となる。
したがって、符号化効率の損失を最小にしながら、メモリ要件を減らすデジタル画像の符号化方法および装置を提供することが好都合であり、望ましい。
イントラモードのブロック予測を用いてデジタル画像を符号化する方法および装置が提供される。隣接ブロックの予測モードの個々の組み合わせに対する予測モードリストが取得される。予測モードの個々の組み合わせに対して割り当てられたモードを2つのグループに分けることができる。第1のグループにはm個の最も確率の高い予測モード(但し、mは利用可能なモードの全個数nよりも小さな数である)が含まれ、第2のグループには残りのモードが含まれる。第1のグループ内のモードはそのグループの確率に従って順序づけられる。最も確率の高い予測モードから最も確率の低い予測モードへ順序づけられたモードのリストとして上記順序付けを指定してもよい。第2のグループに属するモードは、何らかの予め決定した方法で順序づけられたものであってもよく、この方法は、すでに利用可能な情報に応じてデコーダに対して指定することができる。所定のブロックに対して選択されたモードが、第1のグループに属するか、第2のグループに属するかに関する情報がデコーダへ伝送される。モードが第1のグループに属する場合、ブロックUとL用のモードの組み合わせが与えられていれば、ブロックCに対してi番目の最も確率の高いモードを使用すべき旨を示す情報が伝送される。モードが第2のグループに属する場合、このグループのj番目のモードを使用すべき旨を示す情報が伝送される。
本発明は図4a〜図8と共に以下に記す説明を読むとき明らかになろう。
本発明の一実施形態は、別の組み合わせに対する予測モードの関数として隣接ブロックの予測モードの1つの組み合わせに対する予測モードの順序づけられたリストを取得することができる特性を利用するものである。例示を目的として、現在のブロックCの予測を推論するために図3に示すような2つの隣接ブロックUとLの予測モードを用いることにする。図4bに示すように予測モードを対角線にフリップすることにより図4aの予測モードの組み合わせを取得できることに留意されたい。したがって、図4aのモードの組み合わせを利用するとき、ブロックCに対するn番目に最も確率の高い予測モードが、図4bのモードの組み合わせに対する“対角線にフリップされた”n番目に最も確率の高い予測モードと同じになる。この結果、隣接ブロックUとLとが“垂直方向”と“垂直方向”のモードを有する場合、現在のブロックCの予測モードは最も“垂直方向の”ものとなる(図4b)。したがって、これらのブロックが対角(“右下”方向)に対して“フリップされる”、すなわち、鏡映されるとき、“水平方向”と“水平方向”とから、現在のブロックに対して“水平方向”をとるべきであることが認知される(図4a)。同様に、図5aに示すように、隣接ブロックUとLとがモード2と3のブロックである場合、図5bに示すようにブロックUとLとはモード3と1とになる。
本例をさらに例示するために、以下のように予測方向iをj,j=f(i)にマッピング(写像)する関数fを定義することにする。個々の予測モードiは、ブロックの左上隅からブロックの右下隅へ進む対角線について予測モードiを鏡映することにより予測モードjに割り当てられる。図1の予測モードの場合、結果として得られる割当てが表IIに要約されている。
Figure 0004490261
上記のように関数を定義すると、組み合わせ(i,j)に対する順序づけられたリストに基づいてモード(k,l)の組み合わせに対する予測モードの順序づけられたリストの決定が可能となり、その結果i=f(l)およびj=f(k)となる。すなわち、予測モードpは組み合わせ(i,j)に対してn番目に最も確率の高いモードとなり、組み合わせ(k,l)に対するn番目のモードはf(p)に等しくなる。一例として、ブロックCに対する順序づけられたリストモードが(1、6、2、5、3、0、4、8、7)で割り当てられているモード(1、1)の組み合わせについて考えることにする。関数f:(2、7、1、8、3、0、4、6、5)を利用する写像によって、組み合わせ(2、2)に対する予測モードの順序づけられたリストを上記順序づけられたリストから得ることができることが望ましい。同様に、組み合わせ(2、3)に対する予測モードの順序づけられたリストは(2、0、8、1、3、7、5、4、6)であり、モードf(2、3)=(3、1)の順序づけられたリストはf(2、0、8、1、3、7、5、4、6)=(1、0、5、2、3、6、8、4、7)である。(k,l)に対する予測モードの順序づけられたリストは、(i,j)用のリストに対してほぼ左右対称にすることができることに留意されたい。このように、鏡映関数として写像関数fを記述することが可能となる。
本発明の主目的は、すでに符号化済みの隣接ブロックの予測モードの関数として予測モードを指定する表(表Iなど)のサイズを小さくすることである。この表はトレーニング処理中に得られる。隣接ブロックが組み合わせの対象とするある多数のブロックCに対するモード(i,j)の組み合わせ用の予測モードの順序づけられたリストを見つけるために、所定の選択基準(最小予測誤差など)にしたがって個々の予測モードの選択回数がカウントされる。組み合わせ(i,j)に対して割り当てられた予測モードのリストでの予測モードの順位が上記回数によって決定され、このモードが頻繁に選択されればされるほど、予測モードのリストでこのモードが持つ順位は高くなる。
トレーニング処理中、上述の予測モードのマッピングを利用するとき、結果として得られる、予測モードを指定する表はより小さなものとなる。組み合わせ(i,j)用の順序づけられたリストから組み合わせ(k,l)用の順序づけられたリストを取得できる場合、組み合わせ(i,j)用の順序づけられたリストのみを格納する必要がある。トレーニング中、マッピングを以下のように導入することができる。i=f(l)かつj=f(k)となるような組み合わせ(k,l)と(i,j)に対する個々の予測モードの発生頻度がまとめてカウントされる。すなわち、組み合わせ(k,l)用として予測モードpが選択された場合、組み合わせ(i,j)用の予測モードf(p)も選択されたものとしてカウントされる。同様に、組み合わせ(i,j)に対する予測モードsが選択された場合、組み合わせ(k,l)に対する予測モードf(s)が選択されたものとしてカウントされる。
本発明による簡略化された予測テーブルが表IIIに示されている。
Figure 0004490261
ある組み合わせ(U,L)用の表IIIには、予測モードの順序づけられたリストは与えられていない。現在のブロックを予測するために“復元された”要素を必要とするとき、予測テーブル内に保持されている対応する当該要素のマッピングを行うことにより当該組み合わせ用の順序づけられたリストを“復元する”ことが可能となる。したがって、一般に、予測テーブル内の要素の取得または復元がマッピングによって予測テーブル内の別の要素から可能である限り、前者の要素を省くことができる。言い換えれば、第1のグループの要素と第2のグループの要素とを有する予測テーブルにおいて、第1のグループ内の対応する要素から第2のグループの要素の各々を写像関数により復元可能である場合、第2のグループの要素を省くことが可能となる。
図6は、予測テーブル内の対称を利用する場合の復号化段階を示すフローチャートである。図示のように、方法100はステップ110で複数の画像ブロックを受け取る。現在のブロックを処理するとき、マッピングを行わずに、隣接ブロックの予測モードから現在のブロック用の予測モードを取得できるかどうかがステップ120で判定される。取得が可能であれば、隣接ブロックの予測モードに基づいて現在のブロックの空間予測モードがステップ132で決定される。取得が可能でなければ、隣接ブロックの相補型予測モードがステップ130で提供され、現在のブロックの相補型予測モードが隣接ブロックの相補型予測モードに基づいてステップ140で決定される。ステップ150で、現在のブロックの相補型予測モードが現在のブロックの予測モード内へマップ化される。
代わりに、予測モードを用いてブロックCに対する予測モードを指定する前に、ブロックUとLの異なる予測モード(これらの予測モードをまとめてグループ化する)に対して同じラベルを割り当てることが可能である。例えば、JVTコーダの場合、モード1、5、6を一緒にグループ化して1のラベルをつけることが可能であり、さらに、モード2、7、8を一緒にグループ化して2のラベルをつけることが可能である。図1からわかるように、モード7と8の方向はモード2の方向に近く、モード5と6の方向はモード1の方向に近い。このグループ化後、ブロックUとLの各々は、0、1、2、3、4のラベルがつけられた5つのモードのうちの1つのモードを持つことができる。したがって、UとLの予測モードの9×9通りの可能な組み合わせの代わりに、5×5通りだけの上記のような組み合わせが生じることになる。このように、ブロックUとLの予測モードが与えられている場合、(1つの数を保持するのに1バイトのメモリを必要とすると仮定すると)ブロックCに対する予測モードの順序付けを指定するのに必要なメモリは、9×9×9バイトの代わりに、5×5×9バイトになる。さらに、順序づけられたリストの“フリッピング”を行うために写像関数fを利用する場合、予測テーブルをさらに単純化することが可能となる。
これらの方法の双方を連携して使用する場合のビットストリームの形で信号化された順序付け関数として予測モードが指定される表の一例を表IVに示す。
Figure 0004490261
さらに、ブロックUとLの予測モードが与えられている場合、ブロックCに対する予測モードの個数を制限することも可能である。JVTコーダの場合、UとLの予測モードの9×9通りの可能な組み合わせが依然として存在することになる。しかし、これらの組み合わせの各々に対して、m個のモードのみが割り当てられる(但しmは9よりも小さい数である)。したがって、確率の高い予測モードの数は(9×9×m)<(9×9×9)まで減少することになる。同様に、順序づけられたリストの“フリッピング”用として写像関数fを用いる場合、予測テーブルをさらに単純化することができる。
これらの方法は、まとめてまたは別々に利用することが可能である。
本発明による空間的、予測ベースのイントラ符号化は、図7に示すように、デジタルによる画像ブロック転送システム内へ容易に組み込むことが可能である。あるイントラ予測形式を用いて、イントラフォーマットでフレームの符号化を行うと仮定すると、フレームの符号化は以下のように進行する。符号化対象フレームのブロックは、図7に示されているビデオ転送システムのエンコーダ(符号器)50へ1つずつ送られる。上記フレームのブロックは、画像転送システムの入力部27でカメラやビデオレコーダ(図示せず)などのデジタル画像ソースから受信される。公知の方法で、デジタル画像ソースから受信したブロックには画像画素値が含まれる。上記フレームはフレームメモリ(図示せず)内に一時的に格納することができる。あるいは、上記とは別に、エンコーダが直接入力データをブロック毎に受け取る。
これらのブロックは、予測方法選択ブロック35へ1つずつ送られ、その選択ブロック35によって、以前にイントラ符号化されたブロックに基づいて、同じフレームまたはセグメントの範囲内で現在の符号化対象ブロックの画素値の予測が可能かどうかの判定が行われる。この判定を行うために、予測方法選択ブロック35は、エンコーダ33のフレームバッファから入力を受取る。この入力には以前に符号化され、次いで復号化され、再構成されたイントラブロックのレコードが含まれている。このようにして、予測方法選択ブロックによって、以前に復号化され、再構成されたブロックに基づいて現在のブロックの予測が実行できるかどうかの判定が可能となる。さらに、2以上のこのような方法を選択できる場合、適切な復号化済みブロックが利用可能であれば、予測方法選択ブロック35は、現在のブロックの画素値を予測する最も適切な方法を選択することが可能となる。場合によっては、現在のブロックの予測が可能でない場合があると理解すべきである。というのは、予測時に使用する適切なブロックがフレームバッファ33で利用できないからである。2以上の予測方法が入手可能な状況では、選択された予測方法に関する情報がマルチプレクサ13へ供給され、さらにデコーダへの伝送が行われる。ある予測方法では、予測の実行に必要な或るパラメータがデコーダへ伝送されることも付記しておく。言うまでもなく、これは採用される正確な実施構成に依存するものであり、決して本発明による予測ベースのイントラ符号化の適用を少しも限定するものではない。
現在のブロックの画素値はイントラ予測ブロック34で予測される。イントラ予測ブロック34は、選択された予測方法に関する入力を予測方法選択ブロック35から受け取り、予測時に使用する利用可能なブロックに関する情報をフレームバッファ33から受け取る。この情報に基づいて、イントラ予測ブロック34は現在のブロックの予測を構成する。予測対象の現在のブロックの画素値と、入力部27から受取った現在のブロックの実際の画素値との間の差分をとることにより、現在のブロックの予測済みピクセル値が予測誤差ブロックを生成する差動加算器28へ伝送される。次に、予測対象ブロックに対するエラー情報が、例えば、離散余弦変換(DCT)などを用いて、伝送用として予測誤差符号化ブロックで効率良く符号化される。符号化済み予測誤差ブロックはマルチプレクサ13へ伝送され、さらにデコーダへ伝送される。デジタル画像伝送システムのエンコーダは復号化機能も備える。現在のブロックの符号化済み予測誤差は予測誤差復号化ブロック30で復号化され、その後加算器31において現在のブロックの予測ピクセル値と加算される。このようにして、現在のブロックの復号化バージョンが得られる。次いで、復号化済みの現在のブロックはフレームバッファ33へ送られる。
またここでは、受信器が伝送チャネルから1つずつデジタル画像フレームを形成するブロックを受取るものと仮定されている。
受信器60では、デマルチプレクサは、多重分離と符号化とが施された予測誤差ブロックと、エンコーダ50から伝送された予測情報とを受取る。当該予測方法に依存して、予測情報は予測処理で使用されるパラメータを含むものであってもよい。ただ一つのイントラ予測方法を用いるケースでは、ブロックの符号化に利用する予測方法に関する情報は不必要であると理解すべきである。但し、この情報は予測処理時に使用されるパラメータの伝送には依然必要である。図7に、点線を用いて予測方法情報および/または予測パラメータのオプションの送受信が表されている。2以上のイントラ予測方法を利用できるものと仮定すると、復号化されている現在のブロックを予測する方法の選択肢に関する情報がイントラ予測ブロック41へ供給される。イントラ予測ブロック41は、フレームバッファ39の内容をチェックして、現在のブロックの画素値の予測時に使用される以前に復号化されたブロックが存在するかどうかを判定する。このような画像ブロックが存在する場合、イントラ予測ブロック41は、受信した予測方法情報が示す予測方法を用いて現在のブロックの内容およびエンコーダから受信される可能な予測関連パラメータを予測する。現在のブロックと関連づけられた予測誤差情報が、予測誤差復号化ブロック36により受信され、適切な方法を用いてこのブロック36により予測誤差ブロックの復号化が行われる。例えば、離散余弦変換を用いて予測誤差情報を符号化した場合、上記予測誤差復号化ブロックは離散余弦逆変換(インバースDCT)を実行して、エラー情報の検索を行う。次いで、予測誤差情報が、加算器37で現在の画像ブロックの予測値と加算され、加算器の出力がフレームバッファ39に加えられる。さらに、個々のブロックは、復号化されるにつれて、デコーダ40の出力部へ送られ、例えば、何らかの形の表示手段に表示される。これとは別に、フレーム全体が復号化され、フレームバッファ39内に累積された後、画像フレームが表示される場合もある。
以前に符号化され、次に、復号化され、次いで再構成されたイントラブロックであって、フレームバッファ33により提供されるようなイントラブロックに基づいて、イントラ予測ブロック34により現在のブロックの予測が構成されることに留意されたい。特に、以前に再構成されたイントラブロックの空間予測モードから、表IIIまたは表IVに示すような予測テーブル(図7には示さず)を用いて現在のブロックの予測が決定される。しかし、以前に再構成されたイントラブロックの予測モード(i,j)用の順序づけられたリストが予測テーブルから抜け落ちているとき、マッピングブロック32を用いて以前に再構成されたブロックの空間予測モードを相補形の空間予測モード(k,l)または鏡映された空間予測モード(k,l)内へマップ化することができる。この時点で、イントラ予測ブロック34は、現在のブロック用として相補形予測モードf(p)か鏡映された予測モードf(p)かの判定を行うことができる。再度、相補型予測モードf(p)のマッピングを行うことにより、マッピングブロック32を利用して現在のブロックの予測モードpが得られる。同様に、必要な場合、マッピングブロック38がマッピングに使用される。
(k,l)に対する(i,j)のマッピングと、pに対するf(p)のマッピングとを実行するために利用されるマッピングアルゴリズムは、ソフトウェアプログラム69で符号化することができる。ソフトウェアプログラム69には、本発明による方法を実行するためのマシンが実行可能なステップまたは擬似コードが含まれる。好適には、このソフトウェアプログラムは格納媒体に格納されたものであることが望ましい。例えば、このソフトウェアプログラムは、図8に示すように、CPU70内に設けられたメモリユニットまたは別個のメモリユニット(MEM)68の中に格納される。図8は、本発明の予測モードマッピング方法が組み込まれた携帯用ビデオ通信装置として利用するように意図された移動端末装置90の簡略化した概略図を示す図である。移動端末装置90は、少なくとも画像表示用の表示モジュール76と、画像キャプチャ装置72と、オーディオ入力装置82からオーディオ情報を取得し、オーディオ発生装置80でオーディオ情報を再生するオーディオモジュール74とを備える。好適には、移動端末装置90は、データとコマンドとの入力用キーボード78と、移動通信ネットワークと通信するための無線周波数用部品(RF)64と、通信装置の作動を制御するための信号/データ処理ユニット70とをさらに備えることが望ましい。好適には、デジタル画像ブロック転送システム(50、60)がプロセッサ70内に実装されることが望ましい。
本発明の別の実施形態によれば、符号化効率を達成しながらメモリ要件に制限を設けることも可能である。
ブロックUとL用のモードの個々の組み合わせに対して、高い発生確率を有する、ブロックC用のわずか2、3のモードの存在が観察されている。残りのモードの発生確率はずっと低くなる。さらに、これら残りのモードの発生確率は同じ様な確率であり、したがって、順序づけられたモードの集合内でのこれら残りモードの順序は符号化効率に対して強い影響力を持たない。
UとLの予測モードの個々の組み合わせに対して割り当てられたモードを2つのグループに分けてもよい。第1のグループにはm個の最も確率の高い予測モード(但しmは利用可能なモードの全個数nよりも小さな数である)が含まれ、第2のグループには残りのモードが含まれる。第1のグループのモードはその確率にしたがって順序づけられる。上述したように、この順序は最も確率の高いモードからもっとも確率の低いモードへ順序づけられたモードのリストとして指定してもよい。第2のグループに属するモードは何らかの所定の方法で順序づけられたものであってもよい。この所定の方法はデコーダがすでに利用可能な情報により指定することができる。例えば、小さな数を用いてラベルをつけた予測モードの方が大きな数を用いてラベルをつけた予測モードより先行するようにしてもよい。
言い換えれば、予測モードは、並べられ、順序づけられた集合Sに整理される。UとL用の予測モードの組み合わせに対して割り当てられる順序づけられたモードの集合Rが、2つの順序づけられたモードの集合T={t1,t2,…,tk}とV={v1,v2,…,vl}との組み合わせにより作成される:
R={t1,t2,…,tk,v1,v2,…,vl}
隣接ブロックUとL用のモードの組み合わせに対するモードの予想発生確率にしたがって、第1の順序づけられた集合Tにおけるモードが順序づけられる。このモードの発生頻度が高いことが予想されればされるほど、このモードを信号で送るビット数はより少なくなる。第2の順序づけられたモードの集合Vは、集合Sから第1の集合Tの要素を取り除き、残りの要素の順序を保持することにより作成される。例えば、予測モードiが、順序づけられた集合Sの中で予測モードjに先行する場合、予測モードiは集合Vにおいても予測モードjに先行すべきである。
一例として、JVTコーダで利用可能なモードについて考え、ブロックUとLとに対する個々のモードの組み合わせに対して、最も確率の高いモードのみが第1のグループに割り当てられるものと仮定する。残りの8個のモードはこれらモードの番号の昇順にリストされる。この例をさらに示すために、最も確率の高いモードとしてモード1が割り当てられるモード(1、1)の組み合わせについて考えることにする。モード1は第1の順序づけられた集合Tを構成する。第2の順序づけられた集合Vは順序づけられた集合S、すなわちV={0、2、3、4、5、6、7、8}からモード1を取り除くことにより作成される。ここで、集合Sは上記番号の昇順に9個の予測モードをリストすることにより作成される。すなわち、S={0、1、2、3、4、5、6、7、8}である。
所定のブロック用の選択モードが第1のグループに属するか、第2のグループに属するかに関する情報がデコーダへ伝送される。このモードが第1のグループに属する場合、ブロックUとLとに対するモードの組み合わせが与えられていれば、ブロックCに対してi番目に最も確率の高いモードが使用される旨の情報が伝送される。この例では、第1のグループが選択される旨の情報をデコーダが受け取った場合、別の情報は不要となる。というのは、このグループには1つしかモードが属していないからである。このモードが第2のグループに属する場合、このグループのj番目のモードを使用すべき旨を示す情報が伝送される。この例では、第1のモードを選択すべき旨の情報を受け取った場合、モード0を選択すべきである。
実施構成の代替例:
1.集合Sでモードを順序づける際に準拠する規則は異なるものであってもよい。
2.第1の集合Tの要素を指定する方法は隣接ブロックUとLの予測モードに依存する。この集合の要素は、例えばエンコーダとデコーダ双方のメモリに格納された表として指定してもよい。あるいは、モードUとL自身とから上記要素を推論してもよい。
3.どのモードが選択されたかについての信号をデコーダへ送る処理は多くの方法で行うことが可能である。例えば、
− 順序づけられた集合Rにおける予測モードの順位に関する情報を伝送することができる。
− どの集合TまたはVが選択されたかに関する情報は選択集合内のモードの順位に従う。
JVTコーダにおいて指定される予測モードのための望ましい実施構成について以下に説明する。
ブロックCに対して予測モードを指定するために、ブロックUとLの異なる予測モードを用いる前に、これらの異なる予測モードに同じラベルを割り当ててもよい。対角モード3、5、8は一緒にグループ化され、3のラベルがつけられ、対角モード4、6、7は一緒にグループ化され、4のラベルがつけられる。このグループ化を行った後、ブロックUとLの各々は、0、1、2、3、4のラベルがつけられた5個のモードのうちの1つのモードを持つようにしてもよい。したがって、UとLの予測モードの9×9通りの可能な組み合わせの代わりに、上記のような5×5通りの組み合わせのみが存在することになる。
順序づけられた集合Sはモード番号の昇順に9個の予測モードをリストすることにより作成される。すなわち、S={0、1、2、3、4、5、6、7、8}である。UとLとに対する予測モードの個々の組み合わせに対して、ただ1つの最も確率の高いモードが割り当てられる。すなわち、個々の組み合わせに対する順序づけられた集合Tはただ1つの要素から構成される。この割当てを表Vに示す。
Figure 0004490261
最も確率の高いモードを使用するかどうかに関する第1の情報がデコーダへ伝送される。この情報は下表に示すように2つの4×4のブロックに対して一緒に符号化される。
Figure 0004490261
Xは、最も確率の高いモードを使用すべきことを示す。最も確率の高いモードmが使用されないブロックに対しては、残りのモードのうちどのモードを使用すべきを示す0〜7のコード番号が伝送される。残りのモードはモードの個数によって順序づけられるため、より低い番号を持つモードの方がより高い番号を持つモードに先行し、コード番号qを受信したとき、使用する予測モードは下記に等しくなる:
q<mならば、q、
そうでなければ、q+1
コード番号qは、対応するコード番号の2進表示である3ビットのコードワードとして伝送される。
本発明による方法を実行するためのメモリの節減は、ブロックUとLのモードの個々の組み合わせを行うためのデコーダが多くても順序づけられた集合SとTとを格納しなければならないのに対して、SはブロックUとLのモードのすべての組み合わせに対して同一であるという事実から生じる。
要約すると、本発明は、イントラモードのブロック予測のための複数の空間予測モードを用いて、複数の画像ブロックを含む画像情報をビットストリーム内に符号化し、及びビットストリームから復号化する方法、装置およびシステムを提供するものである。現在のブロック(C)の空間予測モードは、現在のブロック(C)の複数の隣接ブロック(U,L)の空間予測モードから導き出される複数の導出済み予測モードに基づいて決定することが可能である。複数のn個の導出済みの予測モードは、m<nであるm個の第1の予測モードの第1のグループ、及び第2の予測モードの第2のグループにグループ化される。第1の予測モードの方が第2の予測モードよりも高い発生確率を有する。第1の予測モードがこれらの発生確率に従い順序づけられ、一方、第2の予測モードはデコーダに知られている所定の方法で並べられる。この結果、復号化装置に対して順序づけられた集合が提供され、復号化装置が、提供された順序づけられた集合に基づいて第2の予測モードの順序を決定できるようになる。この順序づけられた集合は、現在のブロック(C)の隣接ブロック(U,L)の空間予測モードの1または2以上のグループと関連づけられる。さらに、最も高い発生確率を持つ導出済みの予測モードを選択して、現在のブロック(C)の符号化の際に用いるとき、上記ビットストリームは、第1の予測モードのうちどのモードが最も高い発生確率を有するかを示す符号化された情報を含むものであってもよい。また本発明は、複数の導出済み予測モードを第1と第2のグループにグループ化する際に、並びに、第1の予測モードの中での発生確率により第1の予測モードの順序付けを行う際に用いる擬似コードを有するコンピュータプログラムを提供するものである。
本発明の好ましい実施形態を参照しながら本発明について説明したが、本発明の範囲から逸脱することなく、本発明の形態と細部における前述のおよび種々の別の変更、省略並びに逸脱が可能であることは当業者の理解するところであろう。
空間予測モードとして用いる8個の指向性モードを示す概略表示図である。 現在の4×4ブロックの画素の予測に用いる画素を示す概略表示図である。 現在のブロックの予測に用いる2つの隣接ブロックを示す概略表示図である。 現在のブロックの予測に用いる2つの隣接ブロックの空間予測モードを示す概略表示図である。 図4aのブロックに関して鏡映関係を有する2つの隣接ブロックの空間予測モードを示す概略表示図である。 別の空間予測モードの対を示す概略表示図である。 鏡映モードの対を示す概略表示図である。 空間予測の方法を示すフローチャートである。 本発明の一実施形態による方法を実行するデジタル画像ブロック転送システムを示すブロック図である。 本発明の一実施形態による方法を実施する携帯用ビデオ通信装置を示すブロック図である。

Claims (29)

  1. イントラモードのブロック予測のための複数の空間予測モードを用いて、複数の画像ブロックを含む画像を符号化する方法であって、現在のブロックのすぐ上の隣接ブロック、及びすぐ左の隣接ブロックの空間予測モードに基づいて導き出された複数の導出済み予測モードに基づいて、該現在のブロックの空間予測モードが決定され、前記方法は、
    前記複数の導出済み予測モードを第1のグループと第2のグループとにグループ化するステップであって、該第1のグループは第1の個数の第1の予測モードを有し、該第2のグループは第2の個数の第2の予測モードを有し、該第1の個数の方が前記導出済み予測モードの個数よりも少なく、さらに、該第1の予測モードの方が該第2の予測モードよりも高い発生確率を有するステップと、
    ビットストリーム内に情報を符号化し、符号化情報を供給するステップであって、該符号化情報は、前記現在のブロックの前記空間予測モードが前記第1のグループに属するか、前記第2のグループに属するかを示すステップと、
    を備えたことを特徴とする符号化方法。
  2. 前記第1の予測モード間の発生確率により前記第1の予測モードの順序付けを行うステップをさらに備えることを特徴とする、請求項1に記載の方法。
  3. 復号化装置に知られている順序で前記第2の予測モードを並べるステップをさらに備えることを特徴とする、請求項1に記載の方法。
  4. 前記現在のブロックを符号化する際に、発生確率が最も高い前記導出済み予測モードが選択されるとき前記符号化情報は、どの前記第1の予測モードが最も高い発生確率を有するかを更に示す、請求項1に記載の方法。
  5. 予測モードの順序付けられた集合が復号化装置に知られており、これにより、該復号化装置が、順序付けられた集合に基づいて前記第2の予測モードの順序を決定する、請求項1に記載の方法。
  6. 前記順序付けられた集合が、前記現在のブロックのすぐ上の隣接ブロック、及びすぐ左の隣接ブロック前記空間予測モードの2以上のグループと関連付けられる、請求項5に記載の方法。
  7. 複数の異なる整数によって前記導出済み予測モードを表すことが可能であり、復号化装置に知られている前記整数の順序により前記第2の予測モードが順序付けられる、請求項1に記載の方法。
  8. 複数の異なる整数によって前記導出済み予測モードを表すことが可能であり、個々の整数が1つの導出済み予測モードに対応し、順序付けられた集合を提供するために、前記整数が整数の昇順に並べられ、前記方法は、
    前記順序付けられた集合から前記第1の予測モードに対応する整数を取り除き、変更された順序付けられた集合を提供し、復号化装置が、該変更された順序付けられた集合に基づいて前記第2のグループの順序を決定することを可能にするステップをさらに備えたことを特徴とする、請求項1に記載の方法。
  9. 前記現在のブロックを符号化する際に、前記複数の導出済み予測モードのうちの1つが選択され、前記方法は、
    組み合わされた予測モードのうちの選択された1つのモードが前記第2のグループ内にある場合、前記第2の予測モードの中でi番目のモードを示す情報を復号化装置に提供するステップをさらに備えたことを特徴とする、請求項1に記載の方法。
  10. 前記現在のブロックの前記すぐ上の隣接ブロック、及びすぐ左の隣接ブロックの前記空間予測モードを所定の関数を用いて該空間予測モードと相補的関係にある相補型予測モードにマッピングするステップと、
    前記マッピングされた隣接ブロックの前記相補型予測モードに基づいて、前記現在のブロックの相補型予測モードを決定するステップと、
    前記決定された現在のブロックの相補型予測モードを前記所定の関数を用いて空間予測モードにマッピングし、前記現在のブロックの空間予測モードを得るステップと、
    をさらに備えたことを特徴とする、請求項1に記載の方法。
  11. 前記マッピングにおいて使用される前記所定の関数は、前記現在のブロックの対角線に関して、該現在のブロック内で、又は前記すぐ上の隣接ブロックとすぐ左の隣接ブロックの間で、予測モードを鏡映させる関数である、請求項10に記載の方法。
  12. イントラモードのブロック予測のための複数の空間予測モードを用いて、複数の画像ブロックを含む画像を符号化する符号化装置であって、現在のブロックのすぐ上の隣接ブロック、及びすぐ左の隣接ブロックの空間予測モードに基づいて導き出された複数の導出済み予測モードに基づいて、該現在のブロックの空間予測モードが決定され、前記符号化装置は
    前記複数の導出済み予測モードを第1のグループと第2のグループとにグループ化する手段であって、該第1のグループは第1の個数の第1の予測モードを有し、該第2のグループは第2の個数の第2の予測モードを有し、該第1の個数の方が前記導出済み予測モードの個数よりも少なく、該第1の予測モードの方が該第2の予測モードよりも高い発生確率を有し、かつ該第2の予測モードは復号化装置に知られている順序で並べられる手段、及び
    ビットストリーム内に情報を符号化し、符号化情報を供給するための手段であって、該符号化情報は、前記現在のブロックの前記空間予測モードが前記第1のグループに属するか前記第2のグループに属するかを示す手段
    を備えたことを特徴とする符号化装置。
  13. 前記第1のグループに応じて、順序付けられた集合を提供するために、前記第1の予測モードの中での発生確率に従い、前記第1の予測モードを順序付けするための手段をさらに備えたことを特徴とする、請求項12に記載の符号化装置。
  14. 前記順序付けられた集合内の最も高い発生確率を有する前記予測モードを示す情報を前記復号化装置に提供する手段をさらに備えたことを特徴とする、請求項12に記載の符号化装置。
  15. 前記現在のブロックの前記すぐ上の隣接ブロック、及びすぐ左の隣接ブロックの前記空間予測モードを所定の関数を用いて該空間予測モードと相補的関係にある相補型予測モードに変換する手段と
    前記変換された隣接ブロックの前記相補型予測モードに基づいて、前記現在のブロックの相補型予測モードを決定する手段と
    前記決定された現在のブロックの相補型予測モードを前記所定の関数を用いて空間予測モードに変換し、前記現在のブロックの空間予測モードを得る手段と
    をさらに備えたことを特徴とする請求項12に記載の符号化装置。
  16. イントラモードのブロック予測のための複数の空間予測モードを用いて、複数の画像ブロックを含む画像を復号化する方法であって、現在のブロックのすぐ上の隣接ブロック、及びすぐ左の隣接ブロックの空間予測モードに基づいて導き出された複数の導出済み予測モードに基づいて、該現在のブロックの空間予測モードが決定され、前記方法は、
    前記複数の導出済み予測モードを第1のグループと、第2のグループとにグループ化するステップであって、該第1のグループは第1の個数の第1の予測モードを有し、該第2のグループは第2の個数の第2の予測モードを有し、該第1の個数の方が前記導出済み予測モードの個数よりも少なく、さらに、該第1の予測モードの方が該第2の予測モードよりも高い発生確率を有するステップと、
    ビットストリームから情報を復号化し、復号情報を供給するステップであって、該復号情報に基づいて、復号化装置が前記現在のブロックの前記空間予測モードを決定できるように、該復号情報は該現在のブロックの空間予測モードが前記第1のグループに属するか、前記第2のグループに属するかを示すステップと、
    を備えたことを特徴とする復号化方法。
  17. 前記第1の予測モードは、該第1の予測モードの中の発生確率により順序付けられる、請求項16に記載の方法。
  18. 前記第2の予測モードは、前記復号化装置に知られている順序で並べられる、請求項16に記載の方法。
  19. 前記現在のブロックを符号化および復号化する際に、発生確率が最も高い組み合わされた予測モードが選択されるとき、前記復号情報は、前記第1の予測モードのどのモードが最も高い発生確率を有するかについてもまた示す、請求項16に記載の方法。
  20. 順序付けられた集合が前記復号化装置に供給され、該復号化装置が該順序付けられた集合に基づいて前記第2の予測モードの順序を決定できるようにする、請求項16に記載の方法。
  21. イントラモードのブロック予測のための複数の空間予測モードを用いて、複数の画像ブロックを含む画像を復号化するための復号化装置であって、現在のブロックのすぐ上の隣接ブロック、及びすぐ左の隣接ブロックの空間予測モードに基づいて導き出された複数の導出済み予測モードに基づいて、該現在のブロックの空間予測モードが決定され、前記復号化装置は、
    前記複数の導出済み予測モードを第1のグループと第2のグループとにグループ化する手段であって、該第1のグループは第1の個数の第1の予測モードを有し、該第2のグループは第2の個数の第2の予測モードを有し、該第1の個数の方が前記導出済み予測モードの個数よりも少なく、該第1の予測モードの方が該第2の予測モードよりも高い発生確率を有する手段と、
    ビットストリームから情報を復号化することで復号情報を供給し、及び復号情報に基づいて、前記現在のブロックの前記空間予測モードが、前記第1のグループに属するか、前記第2のグループに属するかを判定する手段と、
    前記判定に基づいて前記空間予測モードを選択する手段と、
    を備えたことを特徴とする復号化装置
  22. 前記第1の予測モードは、該第1の予測モードの中の発生確率により順序付けられる、請求項21に記載の復号化装置
  23. 前記第2の予測モードが前記復号化装置に知られた順序で並べられ前記復号化装置は、
    前記順序を示す情報を格納する手段をさらに備えたことを特徴とする、請求項21に記載の復号化装置
  24. 前記現在のブロックを復号化する際に、発生確率が最も高い前記導出済み予測モードが選択されるとき、前記復号情報に基づいて、前記判定手段が前記第1の予測モードのうちのどのモードが最も高い発生確率を有するかを判定する、請求項21に記載の復号化装置
  25. イントラモードのブロック予測のための複数の空間予測モードを用いて、複数の画像ブロックを含む画像を符号化、及び復号化する画像符号化システムであって、現在のブロックのすぐ上の隣接ブロック、及びすぐ左の隣接ブロックの空間予測モードに基づいて導き出された複数の導出済み予測モードに基づいて、現在のブロックの空間予測モードが決定され、前記画像符号化システムは
    前記複数の導出済み予測モードを第1のグループと第2のグループとにグループ化する手段であって、該第1のグループは第1の個数の第1の予測モードを有し、該第2のグループは第2の個数の第2の予測モードを有し、該第1の個数の方が前記導出済み予測モードの個数よりも少なく、該第1の予測モードの方が該第2の予測モードよりも高い発生確率を有する手段と、
    ビットストリームにグループ情報を符号化することで、符号化グループ情報を供給し、該符号化グループ情報は、前記現在のブロックの空間予測モードが前記第1のグループに属するか、前記第2のグループに属するかを示す手段と、
    前記ビットストリームから前記符号化グループ情報を復号化することで、復号情報を供給し、該復号情報に基づいて、復号化装置が前記現在のブロックの前記空間予測モードを決定できるようにする手段と、
    を備えたことを特徴とする画像符号化システム
  26. 前記第1のグループに応じて、前記第1の予測モードの中での発生確率に従い前記第1の予測モードを順序付ける手段をさらに備えたことを特徴とする、請求項25に記載の画像符号化システム
  27. 前記第2のグループに応じて、前記復号化装置に知られている順序で前記第2の予測モードを並べる手段をさらに備えたことを特徴とする、請求項25に記載の画像符号化システム
  28. イントラモードのブロック予測のための複数の空間予測モードを用いて、複数の画像ブロックを含む画像を符号化するために、画像符号化システムで使用するコンピュータプログラムを記録するコンピュータ読み取り可能記録媒体であって、ブロックのすぐ上の隣接ブロック、及びすぐ左の隣接ブロックの予測モードに基づいて導き出された複数の導出済み予測モードに基づいて、ブロックの空間予測モードが決定され、前記コンピュータプログラムは、コンピュータを、
    前記複数の導出済み予測モードを第1のグループと第2のグループとにグループ化する手段であって、該第1のグループは第1の個数の第1の予測モードを有し、該第2のグループは第2の個数の第2の予測モードを有し、該第1の個数の方が前記導出済み予測モードの個数よりも少なく、該第1の予測モードの方が該第2の予測モードよりも高い発生確率を有する手段、及び
    前記第1の予測モードの中での発生確率により該第1の予測モードを順序付ける手段
    として機能させる、コンピュータ読み取り可能記録媒体
  29. 前記コンピュータプログラムが、更にコンピュータを、復号化装置に知られている順序で前記第2の予測モードを並べる手段として機能させる、請求項28に記載のコンピュータ読み取り可能記録媒体
JP2004512067A 2002-06-11 2003-06-10 イントラ符号化に基づく空間予測 Expired - Lifetime JP4490261B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US38806102P 2002-06-11 2002-06-11
US10/171,467 US20030231795A1 (en) 2002-06-12 2002-06-12 Spatial prediction based intra-coding
US39111202P 2002-06-21 2002-06-21
US39517802P 2002-07-09 2002-07-09
PCT/IB2003/002202 WO2003105070A1 (en) 2002-06-01 2003-06-10 Spatial prediction based intra coding

Publications (2)

Publication Number Publication Date
JP2005529527A JP2005529527A (ja) 2005-09-29
JP4490261B2 true JP4490261B2 (ja) 2010-06-23

Family

ID=29741013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004512067A Expired - Lifetime JP4490261B2 (ja) 2002-06-11 2003-06-10 イントラ符号化に基づく空間予測

Country Status (11)

Country Link
EP (1) EP1512115B1 (ja)
JP (1) JP4490261B2 (ja)
KR (1) KR101017094B1 (ja)
CN (1) CN100380984C (ja)
AU (1) AU2003240172B2 (ja)
CA (1) CA2488266C (ja)
DE (1) DE60345459C5 (ja)
MX (1) MXPA04012133A (ja)
MY (1) MY137061A (ja)
TW (1) TWI239207B (ja)
WO (1) WO2003105070A1 (ja)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7792188B2 (en) * 2004-06-27 2010-09-07 Apple Inc. Selecting encoding types and predictive modes for encoding video data
JP4501631B2 (ja) * 2004-10-26 2010-07-14 日本電気株式会社 画像符号化装置及び方法、画像符号化装置のコンピュータ・プログラム、並びに携帯端末
CN100348051C (zh) * 2005-03-31 2007-11-07 华中科技大学 一种增强型帧内预测模式编码方法
KR100716999B1 (ko) 2005-06-03 2007-05-10 삼성전자주식회사 영상의 대칭성을 이용한 인트라 예측 방법, 이를 이용한영상의 복호화, 부호화 방법 및 장치
JP5089878B2 (ja) * 2005-10-28 2012-12-05 パナソニック株式会社 画像符号化装置
WO2008056923A1 (en) * 2006-11-07 2008-05-15 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding based on intra prediction
JP2010135864A (ja) * 2007-03-29 2010-06-17 Toshiba Corp 画像符号化方法及び装置並びに画像復号化方法及び装置
US8189676B2 (en) * 2007-04-05 2012-05-29 Hong Kong University Of Science & Technology Advance macro-block entropy coding for advanced video standards
JP5188875B2 (ja) 2007-06-04 2013-04-24 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
CN101690235B (zh) * 2007-06-29 2013-05-01 夏普株式会社 图像编码装置、图像编码方法、图像译码装置、图像译码方法、程序以及记录介质
JP5004180B2 (ja) * 2007-11-07 2012-08-22 Kddi株式会社 動画像符号化装置および復号装置
EP2106148A3 (en) * 2008-03-28 2010-11-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding information about intra-prediction mode of video
JP2009272969A (ja) * 2008-05-09 2009-11-19 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
WO2010021664A1 (en) * 2008-08-20 2010-02-25 Thomson Licensing Depth coding
BRPI0916963A2 (pt) 2008-08-20 2015-11-24 Thomson Licensing mapa de profundidade refinado
JP4995789B2 (ja) * 2008-08-27 2012-08-08 日本電信電話株式会社 画面内予測符号化方法,画面内予測復号方法,これらの装置,およびそれらのプログラム並びにプログラムを記録した記録媒体
KR101567974B1 (ko) 2009-01-05 2015-11-10 에스케이 텔레콤주식회사 블록 모드 부호화/복호화 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치
KR20110126103A (ko) 2009-01-07 2011-11-22 톰슨 라이센싱 조인트 깊이 추정
WO2010090749A1 (en) * 2009-02-06 2010-08-12 Thomson Licensing Methods and apparatus for implicit and semi-implicit intra mode signaling for video encoders and decoders
CN101505428B (zh) 2009-03-24 2012-10-03 威盛电子股份有限公司 帧内预测方法及其装置
TWI407797B (zh) * 2009-03-27 2013-09-01 Via Tech Inc 幀內預測方法及其裝置
US9154798B2 (en) 2009-09-14 2015-10-06 Thomson Licensing Methods and apparatus for efficient video encoding and decoding of intra prediction mode
KR101807886B1 (ko) 2009-10-14 2017-12-11 돌비 인터네셔널 에이비 깊이 맵 처리를 위한 방법 및 디바이스
KR101441879B1 (ko) * 2009-12-09 2014-09-23 에스케이텔레콤 주식회사 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법
WO2011078562A2 (ko) * 2009-12-21 2011-06-30 한국전자통신연구원 인트라 예측 부호화 방법 및 부호화 방법, 그리고 상기 방법을 수행하는 인트라 예측 부호화 장치 및 인트라 예측 복호화 장치
US8902978B2 (en) 2010-05-30 2014-12-02 Lg Electronics Inc. Enhanced intra prediction mode signaling
CN107277527B (zh) 2010-07-15 2020-02-18 威勒斯媒体国际有限公司 解码装置、解码方法、编码装置以及编码方法
KR101373814B1 (ko) 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
US10136130B2 (en) 2010-08-17 2018-11-20 M&K Holdings Inc. Apparatus for decoding an image
US11284072B2 (en) 2010-08-17 2022-03-22 M&K Holdings Inc. Apparatus for decoding an image
KR101854489B1 (ko) * 2010-08-17 2018-05-03 엠앤케이홀딩스 주식회사 인트라 예측 모드 복호화 방법
US9025661B2 (en) 2010-10-01 2015-05-05 Qualcomm Incorporated Indicating intra-prediction mode selection for video coding
US8913662B2 (en) 2011-01-06 2014-12-16 Qualcomm Incorporated Indicating intra-prediction mode selection for video coding using CABAC
JP5781313B2 (ja) * 2011-01-12 2015-09-16 株式会社Nttドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
CN102611885B (zh) * 2011-01-20 2014-04-30 华为技术有限公司 一种编解码方法和装置
WO2012113197A1 (zh) * 2011-02-24 2012-08-30 中兴通讯股份有限公司 一种预测模式的编码或解码方法及装置
US9654785B2 (en) 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
US20130016769A1 (en) 2011-07-17 2013-01-17 Qualcomm Incorporated Signaling picture size in video coding
GB2494468B (en) 2011-09-12 2014-01-15 Canon Kk Method and device for encoding or decoding information representing prediction modes
KR101611409B1 (ko) 2011-09-28 2016-04-14 한국전자통신연구원 인트라 예측 모드 부호화/복호화 방법 및 장치
WO2013048033A1 (ko) 2011-09-28 2013-04-04 한국전자통신연구원 인트라 예측 모드 부호화/복호화 방법 및 장치
US9154796B2 (en) 2011-11-04 2015-10-06 Qualcomm Incorporated Intra-mode video coding
EP3512197B8 (en) 2012-01-20 2020-10-21 Dolby Laboratories Licensing Corporation Intra prediction mode mapping method
WO2013111977A1 (ko) * 2012-01-26 2013-08-01 한국전자통신연구원 화면 내 예측을 수행한 블록에 대한 디블록킹 방법 및 장치
CN103369315B (zh) * 2012-04-06 2016-08-24 华为技术有限公司 色度分量的帧内预测模式的编码、解码方法、设备及系统
WO2013155666A1 (en) * 2012-04-16 2013-10-24 Mediatek Singapore Pte. Ltd. Methods and apparatuses of intra mode coding for hevc
GB2509901A (en) * 2013-01-04 2014-07-23 Canon Kk Image coding methods based on suitability of base layer (BL) prediction data, and most probable prediction modes (MPMs)
JP5775959B2 (ja) * 2014-11-07 2015-09-09 株式会社Nttドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
US20180048915A1 (en) * 2015-02-27 2018-02-15 Lg Electronics Inc. Method and apparatus for encoding/decoding a video signal
JP6038243B2 (ja) * 2015-07-15 2016-12-07 株式会社Nttドコモ 画像予測復号方法及び画像予測復号装置
JP6310992B2 (ja) * 2016-11-01 2018-04-11 株式会社Nttドコモ 画像予測復号方法及び画像予測復号装置
CN116896627A (zh) 2017-01-16 2023-10-17 世宗大学校产学协力团 影像解码/编码方法以及传送比特流的方法
JP6486528B2 (ja) * 2018-03-19 2019-03-20 株式会社Nttドコモ 画像予測復号方法及び画像予測復号装置
EP3562158A1 (en) * 2018-04-27 2019-10-30 InterDigital VC Holdings, Inc. Method and apparatus for combined intra prediction modes
CN118042126A (zh) * 2018-09-13 2024-05-14 弗劳恩霍夫应用研究促进协会 用于预测图片的块的方法、装置和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1058362C (zh) * 1993-03-15 2000-11-08 索尼公司 图像信号的传输和解码
CN1134993C (zh) * 1996-04-18 2004-01-14 诺基亚流动电话有限公司 视频数据编码器和解码器、传输和保存视频数据的系统及其方法
US5974184A (en) * 1997-03-07 1999-10-26 General Instrument Corporation Intra-macroblock DC and AC coefficient prediction for interlaced digital video
US6275533B1 (en) * 1997-06-20 2001-08-14 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and data recording medium
FI116819B (fi) * 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
EP1347649A1 (en) * 2002-03-18 2003-09-24 Lg Electronics Inc. B picture mode determining method and apparatus in video coding system

Also Published As

Publication number Publication date
KR20050007607A (ko) 2005-01-19
MY137061A (en) 2008-12-31
KR101017094B1 (ko) 2011-02-25
EP1512115A4 (en) 2009-06-03
EP1512115A1 (en) 2005-03-09
JP2005529527A (ja) 2005-09-29
DE60345459C5 (de) 2022-11-17
TWI239207B (en) 2005-09-01
TW200407031A (en) 2004-05-01
AU2003240172B2 (en) 2009-09-10
CA2488266A1 (en) 2003-12-18
MXPA04012133A (es) 2005-04-19
CN1659580A (zh) 2005-08-24
EP1512115B1 (en) 2013-12-18
AU2003240172A1 (en) 2003-12-22
WO2003105070A1 (en) 2003-12-18
CN100380984C (zh) 2008-04-09
CA2488266C (en) 2013-08-13

Similar Documents

Publication Publication Date Title
JP4490261B2 (ja) イントラ符号化に基づく空間予測
US7289674B2 (en) Spatial prediction based intra coding
RU2314656C2 (ru) Внутреннее кодирование, основанное на пространственном прогнозировании
US20060188165A1 (en) Spatial prediction based intra-coding
US6765964B1 (en) System and method for intracoding video data
US8885958B2 (en) Method and apparatus for encoding images and method and apparatus for decoding images
US8165411B2 (en) Method of and apparatus for encoding/decoding data
US20100220792A1 (en) Encoding device and decoding device
US11695955B2 (en) Image encoding device, image decoding device and program
US7177356B2 (en) Spatially transcoding a video stream
US20080107175A1 (en) Method and apparatus for encoding and decoding based on intra prediction
US11979563B2 (en) Method for coding intra-prediction mode, and device for same
US11876966B2 (en) Transform-based image coding method and device therefor
US20230412843A1 (en) Method for coding image on basis of secondary transform and device therefor
JP6502739B2 (ja) 画像符号化装置、画像処理装置、画像符号化方法
US11991367B2 (en) Device and method for allocating code amounts to intra prediction modes
JPH08214169A (ja) フラクタル画像符号化方式
US20240357091A1 (en) Systems and methods for transform selection of extrapolation filter based intra prediction mode
JP7444541B2 (ja) 画像符号化装置、画像復号化装置、撮像装置、画像符号化方法、画像復号化方法、及びプログラム
JPH0487473A (ja) 画像処理装置
KR20240090206A (ko) 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
KR20040020306A (ko) 겹치는 사각 슬라이스 구조를 이용한 영상 부호화 및복호화 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090804

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091102

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100302

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100401

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4490261

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140409

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term