[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JPH10248064A - 輝度評価による符号化の方法及び装置 - Google Patents

輝度評価による符号化の方法及び装置

Info

Publication number
JPH10248064A
JPH10248064A JP10027156A JP2715698A JPH10248064A JP H10248064 A JPH10248064 A JP H10248064A JP 10027156 A JP10027156 A JP 10027156A JP 2715698 A JP2715698 A JP 2715698A JP H10248064 A JPH10248064 A JP H10248064A
Authority
JP
Japan
Prior art keywords
image
luminance
motion
circuit
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10027156A
Other languages
English (en)
Other versions
JP4859265B2 (ja
Inventor
Jean Christophe Dusseux
デュス ジャン−クリストフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vantiva SA
Original Assignee
Thomson Multimedia SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Multimedia SA filed Critical Thomson Multimedia SA
Publication of JPH10248064A publication Critical patent/JPH10248064A/ja
Application granted granted Critical
Publication of JP4859265B2 publication Critical patent/JP4859265B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/99Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals involving fractal coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 本発明は、低ビットレートの場合でも所定の
品質が得られるディジタルデータの符号化方法の提供を
目的とする。 【解決手段】 本発明は、符号化されるべき画像のセグ
メントと、基準画像から予測された対応した画像のセグ
メントとの間の輝度差の符号化を実行してビデオ画像の
シーケンスからディジタルデータを符号化する方法にお
いて、上記対応した画像は上記基準画像の輝度の値の輝
度補償の関数として予測されることを特徴とする。本発
明はディジタルビデオデータの圧縮に適用される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はディジタルビデオ画
像シーケンスの符号化に係る。
【0002】
【従来の技術】この分野における現在の問題は、圧縮の
コスト及び品質を調整するパラメータの組を利用するこ
とにより視覚的情報を圧縮することである。これによ
り、意図されたアプリケーションに本質的に依存するあ
る程度の数の拘束条件に適合させることが可能になる。
品質規準は、最終的な再現性を損なうことなく圧縮され
るべき情報に従う。これは、例えば、遠隔検出又は再生
アプリケーション及び記録アプリケーションの場合に当
てはまる。
【0003】一方、品質要求が、要求された最低限度を
上回ればよいというあまり厳しい要求ではない場合に
は、所定の伝送チャネルの容量に従って情報を圧縮する
という要求に取って代われれる。このような状況は、例
えば、ISDN(統合化サービスディジタル網)若しく
はSTN(交換式電話網)を経由するテレビ電話応用の
場合、又は、戦場の通信応用の場合に生ずる。
【0004】最後に、最も一般的な場合には、品質の劣
化と圧縮性能とのバランスが問題となる。この状況は、
例えば、放送アプリケーション、又は、ビデオ配布アプ
リケーション(ディジタルビデオディスクのようなコン
パクトディスク上のビデオ)の場合に生ずる。これらの
拘束条件の他に、実用的性質の制約条件がある。
【0005】主要な符号化方法は、幾つかの技術が特質
に基づいて使用される技術の組合せであると考えられ
る。従って、主要な符号化方法は(1)評価を与え、評
価誤差を考慮して評価を修正することからなる予測によ
る符号化と、(2)表現空間の変更を通じて情報の相関
を取り除くことによって、情報をより簡潔にすることが
できる変換による符号化と、(3)情報を他の所定又は
少なくとも簡略化された情報と置換する近似による符号
化とに区別される。
【0006】この分野における最新の開発は、動きによ
る予測に基づいている。一方で、離散コサイン変換(D
CT)は、イントラモードで画像の冗長性を位置的に低
下させることが可能である。これに対し、動き補償の目
的は時間的冗長性を削減することである。動き情報は、
いわゆる“参照”画像と、現時に調査されている画像と
の間の位置的な類似つなぎ線に対応し、基調となるシー
ンの実際の動きの概念を通して解釈される。かくして、
画像のブロックへの分割を考える場合に、上記の各ブロ
ックに対し、最も類似したブロックの探索が他の調査対
象の画像内で行われる。動き(水平方向、垂直方向)
は、最初の位置に対する(行方向、列方向の)ブロック
間の位置の差であり、1ブロック毎に符号化される。こ
の動き情報は、この予測からの不動部分と関係したデー
タ(動き全体の予測の誤差の値)で補足される。この処
理はイントラ画像のデータと同様に行われる。
【0007】画像シーケンスを符号化する最新のスキー
ムは、予測を介した動きデータを利用する。MPEG2
の方式は、このスキームの優れた一例である。
【0008】
【発明が解決しようとする課題】しかし、従来、データ
圧縮で達成された改良は不適当であると考えられ、所定
のビットレート又はより低いビットレート、即ち、低い
符号化コストの場合に、所定の最終的な品質が求められ
る。本発明は上記の欠点の解決を目的とする。
【0009】
【課題を解決するための手段】上記目的を達成するた
め、本発明は、符号化されるべき画像セグメントと、い
わゆる基準画像から予測された対応した画像のセグメン
トとの間の輝度差の符号化を実行してビデオ画像のシー
ケンスからディジタルデータを符号化する処理におい
て、予測が基準画像の輝度の値の輝度補償の関数として
行われることを特徴とする。
【0010】また、本発明は、2枚の画像間の動きベク
トルを計算する動き評価回路と、基準画像に基づいて予
測画像を計算する動き補償回路と、符号化されるべき不
動部分を計算するため予測画像を現時の画像から減算す
る減算器とにより構成され、上記方法を実施してビデオ
シーケンスからディジタルデータを符号化する装置であ
って、この装置は、2枚の同じ画像間で輝度を評価する
回路と、上記輝度を評価する回路及び上記動き評価回路
から情報を受け、上記予測画像を計算する輝度補償回路
とを更に有することを特徴とする。
【0011】また、本発明は、上記方法に従って符号化
されたディジタルデータを復号化し、不動部分及び予測
画像から再生された画像を計算する装置であって、予測
画像を計算するため輝度評価情報項目である輝度ベクト
ルの関数として輝度を補償する回路からなることを特徴
とする装置。本発明の方法は、動き補償を通じて所謂輝
度補償を用いて予測を改良する。
【0012】また、動き、輝度及び不動データに基づく
インタ補償と同一の機構を用いて所謂自動補償された画
像によってイントラ画像を置換することが可能である。
提案された本発明によれば、輝度の評価の前に使用され
た動き解析の方法とは無関係に、不動部分に含まれる情
報の量を減少させることが可能である。所謂輝度アプロ
ーチによる動きのモデルの改良は不動部分を著しく減少
させ、この不動情報の削減は、対応した輝度情報の追加
よりも多く、新規のインタ画像の符号化がより強力にな
る。
【0013】その上、本発明は、イントラ画像に対する
アプローチと、インタ画像に対するアプローチとの間の
差が小さい統一符号化スキームを提案する。これによ
り、本発明の実施は、簡単化され、ハードウェアの観点
から複雑さの程度の低い方法を組み込むことにより、既
存のスキームのエレメントとは異なるエレメントを利用
することに起因して価格が低下する。
【0014】本発明は、情報項目の各タイプ(動き、輝
度、不動)の具体的な符号化とは無関係である。使用さ
れた方法は、輝度に関するデータが標準的なデータの他
に符号化されるとしてもMPEG2符号化スキームに組
み込むことができる。輝度補償技術は、従来技術の場合
に高価なイントラ符号化を一般的を行わしめたシーン照
明の変化が生じたとき、必ず有効である。
【0015】本発明の他の特徴及び利点は、その例に限
定されることなく、添付図面と共に与えられた以下の説
明から明らかになる。
【0016】
【発明の実施の形態】以下、図1に示された符号化装置
の概略図を参照して本発明による符号化方法を説明す
る。符号化装置は、第1の入力及び第2の入力を有す
る。ある画像が時点tで第1の入力に与えられ、時点t
+1で第2の入力に与えられる。第1の入力は、フィル
タリング回路1の入力と、2入力1出力のスイッチ2の
第1の入力と、2入力1出力のスイッチ3の第1の入力
と並列接続される。フィルタリング回路1の出力は、サ
ブサンプリング回路4の入力に接続され、サブサンプリ
ング回路4の出力はスイッチ2の第2の入力に接続され
る。
【0017】符号化装置の第2の入力はスイッチ3の第
2の入力に接続される。スイッチ2及びスイッチ3は、
2段切換スイッチであり、図1に点線で示された第1ポ
ジションは第1の入力に対応し、同図に実線で示された
第2ポジションは第2の入力に対応する。従って、スイ
ッチ2の第1ポジションはその第1の入力に対応し、ス
イッチ3の第1ポジションはスイッチ2の第2の入力に
対応する。以下に説明する全てのスイッチは第1ポジシ
ョン及び第2ポジションの2個のポジションを有し、こ
れらのスイッチは同図に夫々点線又は実線で示されてい
るように同時に同じ第1ポジション又は第2ポジション
にある。
【0018】スイッチ2及び3の出力は、動き及び輝度
評価回路5の2個の入力と、並びに、2入力1出力のス
イッチ6の第1ポジションに対応した第1の入力と、加
算回路7の第1の入力とに夫々接続される。動き及び輝
度評価回路5の第1の出力は、動き符号化回路8の入力
に接続され、第2の出力は輝度符号化回路9の入力に接
続される。各符号化回路の夫々の出力S2及びS3は符
号化装置の出力に対応する。
【0019】また、各符号化回路の夫々の出力は、動き
復号化回路10及び輝度復号化回路11に接続され、動
き復号化回路10及び輝度復号化回路11の各出力は動
き及び輝度補償回路12の第1の入力及び第2の入力に
接続される。スイッチ6の出力は動き及び輝度補償回路
12の第3の入力に接続される。動き及び輝度補償回路
12の出力は、1入力2出力のスイッチ13の入力に接
続される。スイッチ13の第2ポジションと対応した第
1の入力は、反復計算回路14の入力に接続され、反復
計算回路14の第1の出力は、2入力1出力のスイッチ
15の第2ポジションと対応した第1の入力に接続さ
れ、反復計算回路14の第21の出力は、フィルタ16
の入力に接続される。フィルタ16の出力は、サブサン
プリング回路17を介してスイッチ6の第2の入力に接
続される。スイッチ13の第2の出力はスイッチ15の
第2の入力に接続される。スイッチ15の出力は加算回
路7の第2の入力に接続される。加算回路7の出力は不
動部分符号化回路18の入力に接続され、不動部分符号
化回路18の出力S1は符号化装置の第3の出力であ
る。
【0020】時点t及びt+1に対応するディジタル画
像I(t)及びI(t+1)は符号化装置の入力に与え
られる。例えば、画像のシーケンスには2枚の連続した
画像が含まれる。第1の符号化モードは、図1に点線で
示される如くのスイッチの第1ポジションと対応したイ
ンタモードである。第1の符号化モードにおいて、画像
I(t)はスイッチ2を介して動き及び輝度評価器5の
第1の入力に伝送され、画像I(t+1)はスイッチ3
を介して動き及び輝度評価回路5の第2の入力に伝送さ
れる。動き及び輝度評価回路5は、画像I(t)と画像
I(t+1)との間の動きの評価を行い、例えば、ブロ
ックマッチングのような従来の方法に従って動きベクト
ルを計算する。動き評価が画像ブロック1個について行
われるこの方法は、例えば、最小二乗法を利用する。
【0021】輝度の評価値は後述する評価パラメータ
(又は予測パラメータ)Cs 及びboを用いて、この動
き及び輝度評価回路5により計算された動き評価の関数
として各画像ブロックに対し計算される、所謂輝度補償
は、動き補償の補足として現れる。輝度補償は、動き補
償並びに動きの結果の性質とは無関係である。実際上、
輝度補償は、統計学的に2個のブロック又は2個の隣接
域の間で動きを通して検出されたつなぎ線を完全に利用
する。実際には、この輝度補償方法は、ブロック又は隣
接域のグレイレベルと、動き解析を通して先に関連付け
られた他のブロック又は隣接域のグレイレベルとの間に
在る線形関係を経験的に評価する。
【0022】以下、動き解析問題の定式化を説明する。
点(x,y,z)、隣接域、ブロック、領域等のような
基準画像Iの要素を考える。調査された画像I’内の同
種の他の要素であり、最小二乗法、勾配法のような公知
の方法を用いて対応付け規準に適合し、かつ、動きの概
念により解釈された点(x’,y’,z’)、隣接域、
ブロック、領域等を関連付ける必要がある。
【0023】表記z及びz’は、画像I及びI’内の座
標(x,y)及び(x’,y’)に夫々対応するグレイ
レベルの値を示す。動きと関連した変換が線形(線形2
次元運動のモデリング)であるように選定されたとき、
評価されるべきパラメータは以下の通り表わされる。
【0024】
【数2】
【0025】パラメータ(a,b,c,d)は回転と関
連し、パラメータ(tx ,ty ,0)は並進と関連す
る。この定式化において、回転は実際上無視することが
可能であり、第1の動きモデルの表現に戻る。輝度解析
問題の定式化は以下の通りである。画像要素の対を定め
る2枚の画像の要素の間の対応付けに関するデータであ
る先行データから始めて、動きの係数に相補的な係数を
評価することが必要であり、この係数はグレイレベルと
関連する。実際上、関連した要素のグレイレベルを予測
するため、画像要素のグレイレベルを変換することが可
能であり、従って輝度補償と称される。上記の値を評価
する一つの方法は最小二乗法である。他の解法を用いて
もよく、この例に限定する必要はない。輝度変換が線形
であるように選定された場合、関連した係数はコントラ
ストスケーリングcs 及び輝度オフセットbo と称され
る。以下の例では、このような選定を考慮している。
【0026】かくして、値a,b,c,dは、tx 及び
y と同様に分かっている。
【0027】
【数3】
【0028】従って、e,f,g,h、並びに、cs
びbo は未だ評価されていない。最初のe,f,g,h
は、グレイレベルと空間位置との間の相関に対応する。
これらは、一般的に非常に零に近く、 e=f=g=h=0.0 と置くことが可能である。従って、最終的に、実質的に
輝度補償と対応しているcs 及びbo を評価する必要が
ある。以上から、作業行列の等式は以下の通り表され
る。
【0029】
【数4】
【0030】cs 及びbo の値は、動き補償が画像ブロ
ック、画素又は領域の中のいずれについて行われるかに
依存して画像ブロック、画素又は領域と関係する。輝度
補償は動き補償と同じ画像ゾーンに関して行われる。動
きが完全に評価され、照明の影響を無視できるという仮
定(シーンの照明の変化が無いモデルのように従来の動
き補償の利用において実際に行われた仮定)が成立する
理想的な場合、或いは、輝度補償が無視される場合、c
s 及びbo の値は、1.0及び0.0に一致する。実際
上、動きが1ブロック毎に評価されるとき、動き、例え
ば、対象のエッジの動きがが完全に評価されていない
か、又は、照明影響の仮定が完全には有効でないことが
判明する。さらに、例えば、2個の巧く合わされた要素
(ブロック等)の間に存在する統計学的な相関が簡単に
確認される。その結果として、cs 及びbo を評価する
ことにより輝度補償を得る有用性が明瞭に示される。
【0031】それにも係わらず、この点に関して定性的
な説明を加える。ブラーリングの影響、即ち、輝度補償
中のグレイレベルの平滑化は、特に急勾配のゾーンで、
或いは、評価された動きが実際の動きに対し僅かな偏移
を含む場合に観察される。この場合、輝度補償は、この
偏移による誤差のためシーンの実際の動きに完全には対
応しない画素に関して行われる。従って、不動部分誤差
が輝度補償によって常により小さい状態を維持する場合
でも、輝度補償の用途はアプリケーションによって制限
される(例えば、評価された動きの中に偏移がかなり頻
繁に観察されるが、非常に良好な画像の補間が得られる
画像を減衰させる場合)。この場合、ブロック、所定の
隣接域又は領域に対し輝度データを使用するか否かを判
定する規準は、不動部分の定性的な面と関連付けられる
べきである。勿論、不動部分のデータを伝送することに
より、輝度補償を用いて予測画像へのブラーリングの影
響を除去することが可能であるが、伝送されるべき情報
量はこのブラーリングの影響に直接関係する。例えば、
画像ブロック内のエネルギーの計算のような判定規準
は、符号化のモードの中から最も適切な符号化のモード
を判定することによりこの問題を解決することが可能で
ある。、実現可能な一つの評価器は最小二乗評価器であ
る。線形変換を仮定するため、この評価器は、巧く適合
した対の中の各要素のグレイレベルから作成された値の
二つの組の間で線形回帰を行う。(φu )が画像Iの要
素E1 のグレイレベルの組であり、(ψu )が画像I’
の要素E2 のグレイレベルの組であるとする。E 1 及び
2 は、動き評価器により巧く適合されたことが分か
る。次に、
【0032】
【数5】
【0033】が得られるようにcs 及びbo の評価を決
める必要がある。統計学的に使用される用語Eは平均値
に対応し、上式(4)はブロック全体に関する差の平方
の平均値が最小化されることを意味する。具体的に言う
と、現時の画像の画像ブロックE1がn画素により構成
され、第i行第j列の画素が輝度値pi,j を有する場合
を想定する。このブロックには、計算された動きベクト
ルに基づいて関係した予測ブロックE2が関連付けられ
る。この画像ブロックE2の第k行第l列の画素k,l
の実際の輝度値をqk,l で表わし、この画素が動き評価
(MPEG2に準拠した回転及び並進又は並進のみ)に
よって画素i,jと巧く適合され、
【0034】
【外3】
【0035】が予測値を表わす場合を想定する。このと
き、
【0036】
【数6】
【0037】が得られる。
【0038】
【数7】
【0039】となるようなcs 及びbo が求められる。
適合した要素E1 及びE2 に関して統計学的データを計
算することによりcs及びbo が評価され得る。この場
合、次の結果
【0040】
【数8】
【0041】が得られる。不動部分を計算するため利用
された予測ブロックは、現時の画像の現時のブロックの
輝度値と、動き及び輝度評価回路5によりこの現時のブ
ロックに対し計算された値cs 及びbo との関数として
計算される。動き及び輝度評価回路5により計算された
動きベクトル情報は、動きベクトル符号化回路8に伝送
され、パラメータcs 及びbo のような輝度情報は輝度
符号化回路9に伝送される。
【0042】これらの情報は符号化され、符号化回路の
出力S2及びS3を介して復号化回路に伝送され、或い
は、例えば、MPEG2の枠組みの範囲内で単一のリン
クだけが各復号化回路に関して求められる場合に、符号
化されると共に不動データと多重化され、符号化回路の
出力S1に与えられる。後者の場合に、図示されないマ
ルチプレクサは、符号化回路の出力S1,S2,S3で
利用可能な全ての情報を回復し、その情報を混合し、デ
ータストリーム又は“ビットストリーム”の通常の方法
で対応した復号化回路の組に伝送する。
【0043】動き及び輝度補償回路12は、予測画像を
計算するため、動き復号化回路及び輝度復号化回路によ
って出力された復号化された情報cs 及びbo 、並び
に、復号化された動きベクトルを回復する。このように
して、動き及び輝度補償回路によって利用される動き及
び輝度情報は符号化のため使用される量子化間隔を考慮
し、画像復号化側で利用される補償回路により使用され
る動き及び輝度情報と同じであり、動き復号化回路及び
輝度復号化回路は画像復号化側の動き復号化回路及び輝
度復号化回路と同じになるように選定される。
【0044】動き及び輝度補償回路12は、インタモー
ドにおいて入力に画像I(t)を受信する。予測画像は
この入力された画像と、動きベクトルと、パラメータc
s 及びbo とから計算され、動き及び輝度補償回路12
の出力から減算器7に伝送される。画像I(t)は減算
器7の第1の入力に受信され、動き及び輝度補償回路1
2からの予測画像が減算され、減算器の出力に不動部分
が得られる。この不動部分データは、例えば、離散コサ
イン変換を用いることにより通常の方法で符号化されて
出力S1に伝送され、妥当であれば、上記の動き及び輝
度情報を多重化される。
【0045】符号化のイントラモードは、画像Iが先行
する画像とは独立に復号化される場合に対応する。この
符号化の第2のモードは、図1に実線で示される如くの
スイッチの第2ポジションに対応する。画像I(t)
は、このモードの場合、線形フィルタリングを行うフィ
ルタ1に伝送され、例えば、2によるサブサンプリング
を行うサブサンプリング回路4に伝送され、その結果と
して画像I’(t)が得られる。サブサンプリングの程
度は、先験的に巧く均等に固定されるか、又は、動作が
行われる都度固定される。後者の場合、その値は復号化
器に知らされる(記憶又は伝送される)必要がある。画
像は、引き続く処理のため、画像Iと同じ寸法を有する
べきであり、実質的には、サブサンプリング回路4を用
いて、サンプリングされた画像に零値が空間的に追加さ
れ、これにより画像I’(t)が生成される。得られた
画像は、動き及び輝度評価回路5の入力に伝送される。
動き及び輝度評価回路5は、第2の入力に画像I(t)
を受信し、画像Iと関連した画像I’との間で動きMの
評価を行い、より詳細に言うと、画像Iと画像I’との
間で動きとして解釈された相関を行う。理想的にはズー
ムモーションであるこの動き評価の後、輝度評価が2枚
の画像に基づいて行われ、動きデータが得られる。
【0046】上記の如く、本発明の一面において、イン
トラ画像に関してインタ方式が利用される。このため、
動きデータ、輝度データ及び不動データが使用される。
事実上、この方式はバナッハの不動点定理によって動機
付けされている。従って、例えば、M. H. Hayes による
技術論文“画像及びビデオ符号化用の反復関数システム
(Iterated Function System for image and video codi
ng) ”、通信学会誌、第XLV 巻、1994年5-6 月に記載さ
れたフラクタル技術及びIFSに類似している。
【0047】一例を挙げると、現時の画像は画像ブロッ
クに分割され、サンプリングされ、フィルタリングさ
れ、フィルタリングされた画像は現時の画像と同じサイ
ズの画像ブロックに分割される。次に、現時の画像の現
時のブロックと、フィルタリングされた画像の中の(例
えば、探索ウィンドウに属する)全てのブロック又は現
時のブロックの隣接域との間で相関がとられる。
【0048】イントラ画像の再生は、以下に説明するよ
うにバナッハの理論を適用することにより積み重ねられ
た補償により得られる。フラクタル理論によれば、再生
は、理論的に無限回繰り返されるべき動き及び輝度補償
として解釈されるに過ぎない。このため、IFSによる
画像表現の結果が利用される。実際上、収束がかなり素
早く達成され、反復回数はせいぜい3乃至10回であ
る。同一の恣意的又は経験的な選定は、符号化中に不動
部分を判定し、画像再生中に一貫した結果を得るため、
符号化器と復号化器の双方で固定される必要がある。
【0049】インタモードの場合と同様に、動き情報
(動きベクトル)及び輝度情報(成分cs とbo とを有
する輝度ベクトル)は、符号化された不動データと多重
化されるべく符号化され、動き及び輝度補償回路12に
伝送されるべく復号化される。イントラモードの場合、
動き及び輝度補償回路12は、第1回目の反復を除い
て、画像I(t)ではなく先行する反復の間に計算され
た画像を第3の入力に受ける。第1回目の画像は、動き
及び輝度情報から計算され、出力として、反復回数を計
算し、経路を決定する回路14に伝送される。反復計算
回路14は、計算された画像を受け、受けた画像をフィ
ルタ16及びサブサンプリング回路17を介して動き及
び輝度補償回路12の入力に再伝送する。所定の反復回
数後、このように再生された画像は、反復計算回路14
を経由して減算器7に送信される予測画像であり、この
予測画像は減算器7において画像I(t)から減算され
る。
【0050】従って、動き及び輝度補償回路12からの
出力は、ループを介して入力に接続されているので、リ
ーパスタイプの線形フィルタリングと、たとえば、2に
よる空間分割であるサブサンプリングとを含む演算子f
()と関連したc()で示された数回の連続した補償が
行える。補償c()は、動き補償と輝度補償に全く同じ
程度に依存する。
【0051】「反復法」補償は、以下のアルゴリズムを
実行する。但し、I0 は任意であり、反復回数は8に固
定されている。 −初期化 I=I0 −第i回目の反復 (i<9):Ii =c(f(Ii-1 )) −第8回目及び最後の反復 I8 =c(f(I7 )) I8 は再生画像である。
【0052】その結果として、“通例的な”補償は、
“反復法”補償の中で、特に、 −反復回数が1回に一致し、 −f()が単位元により置換され、 −I0 が基準画像Rである 補償であることが分かる。
【0053】従って、この反復法補償は、復号化された
輝度及び動きの情報の関数としてIの予測を計算するこ
とが可能である。これにより、イントラ画像はインタ画
像と同様に処理され得る。イントラ画像の場合とインタ
画像の場合とに対し同一の配置が使用される点でハード
ウェアの実現に関して重要な結果が得られる。符号化器
レベルでの共通点は、 −動きの評価並びに関連した符号化 −動き評価の結果と関連した符号化とに従う輝度評価 −基準画像、又は、線形フィルタリング及びサブサンプ
リングから得られた画像に基づく動き及び輝度補償と、
イントラモードの場合に、再生画像を計算するために繰
り返し行われる動き及び輝度補償 −減算による不動部分の計算と関連した符号化 である。
【0054】図2は本発明による復号化装置又は復号化
器を表わす図である。同図の復号化装置において、図1
に示された符号化装置と共通した回路には同じ番号が付
けられている。図1に示された符号化装置の出力S2及
びS3から伝送された動き及び輝度情報は、復号化装置
の第1の入力E2及び第2の入力E3で受信される。こ
れらの情報は、夫々、符号化装置に使用されたものと同
じタイプの動き復号化回路10及び輝度復号化回路11
に伝送される。これらの復号化回路の出力は、符号化装
置に使用されたものと同じタイプの動き及び輝度補償回
路12の第1の入力及び第2の入力に伝送される。復号
化装置の第3の入力E1は、不動部分復号化回路19に
伝送された不動データを受信し、不動部分復号化回路1
9の出力は加算器20の第1の入力に接続される。復号
化装置からの出力Sであるこの加算器20からの出力
は、2段階のスイッチ6の第1ポジション、即ち、イン
タモードに対応した第1の入力に伝送される。スイッチ
6の出力は動き及び輝度補償回路12の第3の入力に接
続される。インタモードに対応するこのスイッチ6の第
1の出力は、2段階のスイッチ15のインタモードに対
応した第1の入力に接続される。3番目のスイッチ15
の出力は加算器20の第2の入力に接続される。
【0055】イントラモードの場合に、2番目のスイッ
チ13の入力は第2の出力に接続され、この第2の出力
は反復計算及び経路決定回路14の入力に接続される。
反復計算及び経路決定回路14の第1の出力はスイッチ
15の第2の入力に接続される。反復計算及び経路決定
回路14の第2の出力は、直列に配置されたフィルタ1
6及びサブサンプリング回路17を経由してスイッチ6
の第2の入力に接続される。
【0056】復号化装置の処理動作は、符号化の場合の
処理動作と非常に類似している。符号化装置によって伝
送され、復号化装置の入力E2、E3及びE1で受信さ
れた動きデータ、輝度データ及び不動データは、夫々、
復号化回路10、11及び19によって復号化される。
復号化回路10、11及び19は、対応した符号化装置
内の符号化回路8、9及び18により行われる動作と逆
の動作を行う。
【0057】インタモード復号化は基準画像Rを利用す
る。動き及び輝度補償回路12は、予測画像を出力に生
成するように、復号化された動き及び輝度情報に基づく
動き及び輝度に関する補償を行うため使用されるべき記
憶された基準画像Rを識別する(この基準画像は予め決
められていてもよい)。不動部分復号化回路19によっ
て復号化された不動部分は加算器20を用いて上記画像
に付加され、加算器20の出力に再生画像が得られる。
この画像は、まさしく復号化装置の出力Sで利用可能な
画像である。また、この画像は、動き及び輝度補償回路
12に入力として戻され、好ましくは次の画像のインタ
復号化のための基準画像として選定される画像に他なら
ない。
【0058】イントラモード復号化は、基準画像として
再生された画像を使用しない。イントラモード復号化
は、動き及び輝度補償回路12により生成され、若しく
は、回路12のメモリに常駐する任意の基準画像I0
ら始める。勿論、この基準画像I0 は符号化装置によっ
て使用される基準画像と異なる画像でも構わない。第1
回目の反復は、新しい画像I1 を生成するため、この基
準画像I0 を、フィルタ16と、サンプリング回路17
と、符号化装置によって伝送されたデータの関数として
動き及び輝度補償を行う動き及び輝度補償回路12とに
通すことにより行われ、以下同様である。符号化装置レ
ベルの反復が7回に制限されているので、画像I7 は、
反復計算及び経路決定回路14を経由して加算器20に
伝達された再生画像である。
【0059】本実施例の復号化装置は3入力を有する
が、輝度データ及び動きデータが符号化された不動デー
タと多重化された場合には、図示されていない復号化装
置の入力側のデマルチプレクサが復号化装置の対応した
入力E2、E3及びE1に送信されるように上記の輝度
データ、動きデータ及び不動データを分割する役目を果
たす。
【0060】符号化装置と復号化装置とに共通する点は
以下に列挙された、 −動きに関連した復号化 −輝度に関連した復号化 −(イントラを開始する場合にはブランク画像メモリで
もよい)基準画像に基づく動き及び輝度補償であって、
(イントラの場合に)線形フィルタリングとサブサンプ
リングとを伴って反復される動き及び輝度補償 −(イントラ/インタの)場合に依存した線形フィルタ
リング及びサブサンプリング −不動部分に関連した復号化と、補償による再生への加
算 である。
【0061】一般的に言うと、既存の動きフィールドに
関して仮定が無い点に注意する必要がある。従って、動
きフィールドは、最小二乗法又は勾配法によって獲得さ
れたブロック様式、領域様式、濃度、正確さの程度でも
構わない。従って、本発明は、動き補償に基づいてディ
ジタル画像シーケンスを符号化する既存のスキームを改
良することが可能である。本発明は、既存の処理演算
(評価、動き補償、表現データの符号化、不動部分の処
理)を使用するが、これらの既存の処理演算とは独立に
定義される。
【0062】本発明は、特に、不動データを使用しなく
なり、予測データだけを使用する領域又はゾーンによる
新規の符号化の方法によく適合する。ブロック又は所定
の隣接域若しくは領域に対し輝度データを使用するか否
かを判定する規準は、不動部分の定性的な面、即ち、考
慮されているアプリケーションにおける不動部分の利用
性の程度と関連付けることが可能であることに注意する
必要がある。実際には、たとえば、領域又はゾーンによ
る新規の符号化の技術によれば、n枚の画像当たりに一
つの画像のサンプリングを行うことによりある種の画像
に関する不動データだけを伝送すること、或いは、不動
部分の情報を全く伝送することなく、復号化装置が予測
情報だけを利用することが想到され得る。
【図面の簡単な説明】
【図1】本発明による符号化回路の構成図である。
【図2】本発明による復号化回路の構成図である。
【符号の説明】
1,16 フィルタ 2,3,6,15 2入力1出力スイッチ 4,17 サブサンプリング回路 5 動き及び輝度評価回路 7 減算器 8 動き符号化回路 9 輝度符号化回路 10 動き復号化回路 11 輝度復号化回路 12 動き及び輝度補償回路 13 1入力2出力スイッチ 14 反復計算回路 18 不動部分符号化回路 19 不動部分復号化回路 20 加算器 S1,S2,S3,S 出力 E1,E2,E3 入力

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 符号化されるべき画像のセグメントと、
    基準画像から予測された対応した画像のセグメントとの
    間の輝度差の符号化を実行してビデオ画像のシーケンス
    からディジタルデータを符号化する方法において、 上記対応した画像は上記基準画像の輝度の値の輝度補償
    の関数として予測されることを特徴とする方法。
  2. 【請求項2】 上記符号化されるべき画像のセグメント
    の符号化は、現時の画像I(t+1)と先行した画像I
    (t)との間のインタ符号化であり、 上記先行した画像は上記基準画像であることを特徴とす
    る請求項1記載の方法。
  3. 【請求項3】 上記輝度補償は、符号化されるべき現時
    の画像のセグメントに属する画素の輝度値と、動き評価
    に基づいて計算された動きベクトルを用いて適合された
    先行した画像のセグメントに属する画素の画素値との関
    数として輝度評価に基づいて行われることを特徴とする
    請求項2記載の方法。
  4. 【請求項4】 上記符号化されるべき画像のセグメント
    の符号化は、現時の画像I(t)のイントラ符号化であ
    り、 上記予測された画像は、基準画像I0 に基づいて、フィ
    ルタリングと、サブサンプリングと、動き及び輝度補償
    とを連続的に反復することにより計算されることを特徴
    とする請求項1記載の方法。
  5. 【請求項5】 動きベクトルは、符号化されるべき現時
    の画像I(t)のセグメントと、上記現時の画像I
    (t)のセグメントのフィルタリング及びサブサンプリ
    ングから得られたフィルタリングされた画像I’(t)
    との間の相関により計算され、 輝度補償は、上記符号化されるべき現時の画像のセグメ
    ントに属する画素の輝度値及び上記動きベクトルを用い
    て適合された画像のセグメントに属する画像の画素値に
    依存して、輝度評価に基づいて行われることを特徴とす
    る請求項4記載の方法。
  6. 【請求項6】 上記輝度評価は、 上記動きベクトルを用いて適合された画像のセグメント
    の画素に対する輝度pに、 【数1】 の形式で線形従属するように選定することにより行われ
    る上記符号化されるべき現時の画像のセグメントの画素
    の実際の輝度qに対する予測された輝度 【外1】 の計算と、 上記符号化されるべき画像のセグメントに関係した画素
    に関して、予測された輝度 【外2】 と、実際の輝度qとの間の差の合計を最小化することに
    より行われる係数cs 及びbo の計算とからなることを
    特徴とする請求項3乃至5のうちいずれか1項記載の方
    法。
  7. 【請求項7】 上記画像のセグメントは画像ブロックで
    あり、 成分cs 及びbo を含む輝度ベクトルが画像ブロックの
    レベルで計算されることを特徴とする請求項6記載の方
    法。
  8. 【請求項8】 上記係数cs 及びbo の計算は最小二乗
    法に基づいて行われることを特徴とする請求項6又は7
    記載の方法。
  9. 【請求項9】 2枚の画像間の動きベクトルを計算する
    動き評価回路と、 基準画像に基づいて予測画像を計算する動き補償回路
    と、 符号化されるべき不動部分を計算するため現時の画像か
    ら上記予測画像を減算する減算器とからなるビデオシー
    ケンスからディジタルデータを符号化する符号化装置で
    あって、 同じ上記2枚の画像間で輝度を評価する回路と、 上記輝度を評価する回路及び上記動き評価回路から情報
    を受け、上記予測画像を計算する輝度補償回路とを更に
    有することを特徴とする請求項1記載の方法を実施する
    符号化装置。
  10. 【請求項10】 上記輝度評価回路は、動きベクトルを
    用いて適合された画像のセグメントの画素の輝度の関
    数、並びに、大域的に得られた上記2枚の画像の間の輝
    度の差の関数として、符号化されるべき現時の画像のセ
    グメントの画素の輝度を評価することを特徴とする請求
    項9記載の符号化装置。
  11. 【請求項11】 不動部分から再生された画像及び予測
    画像を計算する復号化装置において、 予測画像を計算するため輝度評価情報項目である輝度ベ
    クトルの関数として輝度を補償する回路からなることを
    特徴とする請求項1記載の方法に従って符号化されたデ
    ィジタルデータを復号化する復号化装置。
  12. 【請求項12】 インタモードにおいて、動き及び輝度
    補償回路は、先行した再生画像と、動きベクトルと、輝
    度ベクトルとの関数として上記予測画像を計算すること
    を特徴とする請求項11記載の復号化装置。
  13. 【請求項13】 イントラモードにおいて、上記動き及
    び輝度補償回路からの出力は、基準画像I0 に対し、フ
    ィルタリングと、サブサンプリングと、輝度ベクトル及
    び動きベクトルの関数としての補償とを連続的に反復す
    ることにより上記予測画像が計算されるように、フィル
    タ及びサブサンプリング回路を経由して上記動き及び輝
    度補償回路の入力に帰還されることを特徴とする請求項
    11記載の復号化装置。
  14. 【請求項14】 予測画像の輝度値と現時の画像の輝度
    値との間の差分により計算された不動部分データ項目を
    符号化することによって得られ、部分的に動きベクトル
    フィールドにより形成されている圧縮データを伝送する
    信号において、 上記データは上記動きベクトルフィールドを用いて適合
    された画像のセグメントに対する輝度値から計算された
    輝度ベクトルのフィールドを更に有することを特徴とす
    る信号。
JP02715698A 1997-02-10 1998-02-09 輝度評価による符号化の方法及び装置 Expired - Lifetime JP4859265B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9701509 1997-02-10
FR9701509A FR2759524B1 (fr) 1997-02-10 1997-02-10 Procede et dispositif de codage par estimation de luminance

Publications (2)

Publication Number Publication Date
JPH10248064A true JPH10248064A (ja) 1998-09-14
JP4859265B2 JP4859265B2 (ja) 2012-01-25

Family

ID=9503531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02715698A Expired - Lifetime JP4859265B2 (ja) 1997-02-10 1998-02-09 輝度評価による符号化の方法及び装置

Country Status (6)

Country Link
US (1) US6317519B2 (ja)
EP (1) EP0858227B1 (ja)
JP (1) JP4859265B2 (ja)
CN (1) CN1127266C (ja)
DE (1) DE69824983T2 (ja)
FR (1) FR2759524B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100103867A (ko) * 2008-01-10 2010-09-28 톰슨 라이센싱 인트라 예측 비디오의 조명 보상 방법 및 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020015513A1 (en) * 1998-07-15 2002-02-07 Sony Corporation Motion vector detecting method, record medium on which motion vector calculating program has been recorded, motion detecting apparatus, motion detecting method, picture encoding apparatus, picture encoding method, motion vector calculating method, record medium on which motion vector calculating program has been recorded
US6470097B1 (en) * 1999-01-22 2002-10-22 Siemens Corporation Research, Inc. Total variational blind image restoration from image sequences
EP1326433B1 (en) * 2001-12-29 2012-04-11 Samsung Electronics Co., Ltd. Apparatus and method of controlling brightness of image
WO2009034488A2 (en) * 2007-09-10 2009-03-19 Nxp B.V. Method an apparatus for line based vertical motion estimation and compensation
JP2010050860A (ja) * 2008-08-25 2010-03-04 Hitachi Ltd 画像表示装置、録画再生装置、及び画像処理方法
EP2490448A1 (de) * 2011-02-18 2012-08-22 Siemens Aktiengesellschaft Kodierverfahren und Bildkodiervorrichtung zur Kompression einer Bildsequenz
EP2587803A1 (en) * 2011-10-27 2013-05-01 Thomson Licensing Methods for coding and reconstructing a pixel block and corresponding devices.

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4464676A (en) * 1980-12-15 1984-08-07 National Semiconductor Corporation Digital color modulator
US5001560A (en) * 1987-01-07 1991-03-19 Pictel Corporation Method and apparatus employing adaptive filtering for efficiently communicating image sequences
EP0461659B1 (en) * 1990-06-13 1997-03-26 Mitsubishi Denki Kabushiki Kaisha Coding method and coding apparatus
US5146325A (en) * 1991-04-29 1992-09-08 Rca Thomson Licensing Corporation Video signal decompression apparatus for independently compressed even and odd field data
AU657510B2 (en) * 1991-05-24 1995-03-16 Apple Inc. Improved image encoding/decoding method and apparatus
US5210605A (en) * 1991-06-11 1993-05-11 Trustees Of Princeton University Method and apparatus for determining motion vectors for image sequences
US5227878A (en) * 1991-11-15 1993-07-13 At&T Bell Laboratories Adaptive coding and decoding of frames and fields of video
US5339164A (en) * 1991-12-24 1994-08-16 Massachusetts Institute Of Technology Method and apparatus for encoding of data using both vector quantization and runlength encoding and using adaptive runlength encoding
JP3230263B2 (ja) * 1992-01-31 2001-11-19 ソニー株式会社 動きベクトル検出回路
EP0562672A3 (en) * 1992-03-22 1994-07-13 Igp Res & Dev Ltd Process of picture representation by data compression
GB9209052D0 (en) * 1992-04-27 1992-06-10 British Broadcasting Corp Video signal coding
US5353061A (en) * 1992-10-08 1994-10-04 International Business Machines Corporation System and method for frame-differencing video compression/decompression using perceptually-constant information and image analysis
US5440346A (en) * 1993-06-16 1995-08-08 Intel Corporation Mode selection for method and system for encoding images
US5448297A (en) * 1993-06-16 1995-09-05 Intel Corporation Method and system for encoding images using skip blocks
US5509089A (en) * 1993-09-09 1996-04-16 Intel Corporation Method and system for encoding images using temporal filtering
US5610657A (en) * 1993-09-14 1997-03-11 Envistech Inc. Video compression using an iterative error data coding method
US5586200A (en) * 1994-01-07 1996-12-17 Panasonic Technologies, Inc. Segmentation based image compression system
US5592226A (en) * 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
US5561477A (en) * 1994-10-26 1996-10-01 Thomson Consumer Electronics, Inc. System for coding a video signal in the presence of an image intensity gradient
DE69421404T2 (de) * 1994-12-30 2000-02-10 Daewoo Electronics Co., Ltd. Blockübereinstimmungsbewegungsauswertung mit einer gewichteten Funktion
JP3713067B2 (ja) * 1995-04-07 2005-11-02 富士写真フイルム株式会社 画像信号圧縮符号化装置および伸長再生装置
GB2301972B (en) * 1995-06-06 1999-10-20 Sony Uk Ltd Video compression

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100103867A (ko) * 2008-01-10 2010-09-28 톰슨 라이센싱 인트라 예측 비디오의 조명 보상 방법 및 장치
JP2011509639A (ja) * 2008-01-10 2011-03-24 トムソン ライセンシング イントラ予測されたビデオの照明補償の方法及び装置
US9008174B2 (en) 2008-01-10 2015-04-14 Thomson Licensing Methods and apparatus for illumination compensation of intra-predicted video

Also Published As

Publication number Publication date
DE69824983T2 (de) 2005-07-21
EP0858227A1 (en) 1998-08-12
US20010016076A1 (en) 2001-08-23
EP0858227B1 (en) 2004-07-14
FR2759524B1 (fr) 1999-05-14
FR2759524A1 (fr) 1998-08-14
JP4859265B2 (ja) 2012-01-25
CN1193867A (zh) 1998-09-23
US6317519B2 (en) 2001-11-13
CN1127266C (zh) 2003-11-05
DE69824983D1 (de) 2004-08-19

Similar Documents

Publication Publication Date Title
KR100897880B1 (ko) 비디오 코딩에 사용되는 코딩단/디코딩단의 양방향예측방법
JP3904248B2 (ja) インタレースフィールドより成る画像間の動きを推定する方法および回路
RU2162280C2 (ru) Устройство компрессии с дифференциальной импульсно-кодовой модуляцией
US20050002458A1 (en) Spatial scalable compression
JPH02285816A (ja) 適応型フレーム間予測符号化方法及び復号方法
US20100086048A1 (en) System and Method for Video Image Processing
JPH08265765A (ja) イメージ符号化システムとこれに用いる動き補償装置
US20060045184A1 (en) Coding correlated images using syndrome bits
KR100221171B1 (ko) 조밀한 이동벡터필드를 재생하는 방법 및 장치
JP4518599B2 (ja) 運動推定フェーズにおける3:2プルダウンの検知及び最適化したビデオ圧縮エンコーダ
JP4859265B2 (ja) 輝度評価による符号化の方法及び装置
JP3426668B2 (ja) 動画像符号化方法
JP3486871B2 (ja) 動画像情報の高性能符号圧縮システム
JPH05211648A (ja) フィルタ回路
KR0178221B1 (ko) 픽셀의 평균값을 이용한 개선된 패턴 벡터 부호화 시스템
RU2154917C2 (ru) Улучшенный способ заключительной обработки и устройство для использования в системе декодирования сигнала изображения
JP4349109B2 (ja) 画像データ処理装置、その方法、および、符号化装置
US6061401A (en) Method and apparatus for selectively encoding/decoding a video signal
JPH07336695A (ja) 動画像の符号化及び復号化方法
JP2947103B2 (ja) 動画像符号化装置及び動画像符号化方法
JPH09214977A (ja) ビデオ符号化方法およびビデオ符号化装置
JP2005151167A (ja) 動き補償予測符号化装置及び動き補償予測符号化プログラム
JPH04213987A (ja) 画像データの高能率符号化装置
JP2802066B2 (ja) 画像信号のフレーム間圧縮装置
JP3188081B2 (ja) 画像符号化方法および画像符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070703

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070928

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20071003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090403

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090521

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090605

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110111

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110920

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111101

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141111

Year of fee payment: 3

EXPY Cancellation because of completion of term