[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5049942B2 - 復号装置、復号方法、及びプログラム - Google Patents

復号装置、復号方法、及びプログラム Download PDF

Info

Publication number
JP5049942B2
JP5049942B2 JP2008277375A JP2008277375A JP5049942B2 JP 5049942 B2 JP5049942 B2 JP 5049942B2 JP 2008277375 A JP2008277375 A JP 2008277375A JP 2008277375 A JP2008277375 A JP 2008277375A JP 5049942 B2 JP5049942 B2 JP 5049942B2
Authority
JP
Japan
Prior art keywords
bit
decoding
code
additional
bits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008277375A
Other languages
English (en)
Other versions
JP2010109492A5 (ja
JP2010109492A (ja
Inventor
隆之 堤
尚 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008277375A priority Critical patent/JP5049942B2/ja
Priority to US12/605,048 priority patent/US8156408B2/en
Publication of JP2010109492A publication Critical patent/JP2010109492A/ja
Publication of JP2010109492A5 publication Critical patent/JP2010109492A5/ja
Application granted granted Critical
Publication of JP5049942B2 publication Critical patent/JP5049942B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、固定長化された直交変換符号データの復号技術に関する。
近年、画像処理では高画質化のために高解像度化や多ビット化が求められている。画像の持つ情報量が多くなることで画質は向上するが、画像の情報量が多いことにより、記憶容量やデータ転送時間等が増えてしまうことになる。このような場合には通常、記憶容量削減のために画像を符号化する方法が適用される。
その方法のひとつにJPEG符号化方式に代表される直交変換を用いた圧縮があり、一般に自然画像の様に隣接画素間で相関が強く低周波領域に大きな変換係数の発生する画像に対しては、符号化効率が高く、歪みも少なくて済むことが知られている。
また、画像処理装置では、限られた容量のメモリ上で画像データを回転して印字する等の処理を高速に行うという必要がある。そこで、直交変換符号化によって圧縮された符号データの状態で、全体を復号化することなく、任意の部分の画像を得ることが容易である符号化が要求される。即ち、所定画素単位(ブロック)における符号量の固定長化、及び復号独立性(固定長化されたデータのみで復号可能な性質)である。以下では、上記所定画素単位(ブロック)における符号量を固定長化することを単に固定長化と呼び、上記所定画素単位(ブロック)における符号量を固定長と呼ぶ。
固定長化において、符号化データが固定長に収まらない場合は、上記符号化データを欠落させることで固定長に収まるように調整する(以下、打ち切り処理と呼ぶ)。例えば、図示しない画像データをJPEG符号化方式で符号化したものである図2のデータを固定長化する時は、図3に示すように符号化データのLSB側のデータを欠落させ、固定長に収まるように調整する。LSB側のデータを欠落させている理由は、LSB側に行くに従ってより高周波な成分情報となり、DC係数データや低周波のAC係数データに比べ、高周波のAC係数データの方が欠落による画質への影響が少ないと考えられるからである。なお、JPEGにおいては、0係数のラン長と係数のレンジ(付加ビットのビット数)を示すグループ番号を2次元ハフマン符号化した符号語と係数値を表す付加ビットに分けて符号化している。
打ち切り処理された符号化データを復号化する場合、従来技術においては、打ち切り処理によってビットが欠落した符号語と付加ビットとの組は、EOBを示す符号語として復号化する。例えば、図2に示す符号データを復号化する場合、ビットが欠落した付加ビットとそれに対応する符号語は、図12に示すようにEOBを示す符号語に置換して復号化する。このように上記従来技術では、画質劣化の影響が少ない高周波のAC係数データを打ち切り処理しているが、それでも打ち切り処理の影響で画質劣化は生じてしまう。特にエッジ等の高周波成分を多く含む画像では画質劣化が顕著に表れてしまう。上記問題の対策として、例えば特許文献1には、復号画像に対してエッジ検出を行ない、エッジが検出された場合には所定の画像処理を施して画質の改善を図る方法が提案されている。また、特許文献2には、ブロック符号量が予め設定された符号量を越えると、ハフマン符号化処理を強制的に打ち切るとともに、ブロックの符号データの最後にEOBtを入れる提案がなされている。特許文献2の方法では、復号化時には符号化処理時に付加した打ち切りを示す符号語EOBtを検知し、検知されたブロック画像に対してエッジの鈍りを回復するための補償処理を施す。
特開平5−227431号公報 特開2000−165877号公報
しかしながら、特許文献1に開示されている画質の改善方法では、打ち切り処理により画質劣化した復号画像からエッジを抽出するため、エッジ検出の精度そのものがよくない。そのため、かえって打ち切り処理の影響によるエッジ付近でのモスキートノイズやブロック歪が目立ってしまう場合があった。
また、特許文献2に開示されている方法では、符号化が打ち切られたことを示すハフマン符号(EOBt)を符号化データに付加する必要がある。このため、打ち切りを行う符号量は打ち切り符号語EOBt分を差し引いて行わなければならない。さらに、エッジの鈍りを回復する処理に必要な情報を付加するためには、さらに打ち切りを行う符号量は少なくなってしまい、打ち切り処理の影響によるエッジ付近でのモスキートノイズやブロック歪を効果的に軽減することができないという欠点があった。また、打ち切り符号語やエッジ回復処理に必要な情報を付加するため、打ち切り処理が複雑になる(エッジ回復処理に必要な情報の符号量が確定しないと打ち切りを行う符号量が確定しない)という欠点があった。
本発明は、打ち切り処理された付加ビットを有効利用して復号化を行うことにより、復号化後の画像において、打ち切りの影響によるノイズを軽減することを目的とする。
本発明の目的を達成するために、例えば、本発明に係る復号装置は、以下の構成を備える。
すなわち、
グループ番号を示す符号語と、前記符号語で特定されるグループに属する復号値のいずれかを特定する、ビット列で構成されており先頭ビットが正負を示す付加情報と、で構成される符号セットを含む符号化データを復号する復号装置であって、
前記符号化データを入力する入力手段と、
前記符号化データを符号セットを単位に復号する復号手段と、
前記入力した符号化データのうち、符号語と先頭ビットとを含み、かつ付加情報が欠落している不完全符号セットを検出する検出手段と、
前記不完全符号セットを構成する符号語と、前記不完全符号セットを構成する付加情報の先頭ビットの正負とに基づいて、前記不完全符号セットに代わる代替符号セットを生成し、生成した代替符号セットを前記復号手段に供給する供給手段と、
を備えることを特徴とする。
本発明によれば、打ち切り処理された付加ビットを有効利用して復号化を行うことにより、復号化後の画像において、打ち切りの影響によるノイズを軽減することができる。
以下、本発明に係る実施形態の例を、図面を参照して詳細に述べる。ただし、発明の範囲は本形態に限定されるものではない。
<第1の実施形態>
図1は、実施形態における復号化装置のブロック構成図である。なお、符号化装置においては、所定の符号量にて打ち切るだけであるので、説明は省略する。
101はシフト部であり、図示しないバイト動作回路より符号語と周波数成分を表す付加ビットとの組から構成されるデータの末端を打ち切って固定長化した符号化データを取得する。そして、取得した符号化データの先頭からのビット列を頭出しデータとして出力し、その後は制御部104より出力されるシフト量を用いて次の符号語の頭出しを行い、頭出しデータとして出力する。バイト動作回路は、バイト単位で符号化データの切り出しが可能な回路から構成されており、固定長の符号化データを、シフト部101へバイト単位で入力する。例えば、図4に示す符号化データ(”01001000101110・・・”)を先頭から1バイト(8ビット)単位に随時切り出し、供給する(例えば、最初に切り出す1バイトは”01001000”、すなわち”0x48”)。なお、本実施例においては、バイト動作回路がシフト部101に入力する符号化データには、ヘッダ部分とマーカコード部分は含まないものとする。すなわち、バイト動作回路又はバイト動作回路に符号化データを入力する非図示の入力部は、取得したデータに含まれるヘッダ部分とマーカコード部分を抜き取って符号化データを供給する。
シフト部101は、バイト動作回路からバイト単位で取得した符号化データが、係数を抽出できる量になった時に、頭出しデータを出力する。具体的には、符号表で示される最大の符号語長と最大の付加ビット長との和(以下、最大有効ビット長と呼ぶ)と、シフト部101が取得し保持している符号化データの指定ビット以降のビット数とを比較する。そして、指定ビット以降のビット数が最大有効ビット長よりも大きくなった時に、指定ビット以降の符号化データを頭出しデータとして出力する。本実施例では、図5及び図6の符号表に示されるように、最大符号語長は16ビットで最大付加ビット長は9ビットであるので、最大有効ビット長は16ビット+9ビット=25ビットである。このため、シフト部101が取得した符号化データの指定ビット以降に25ビット以上のビット列が貯まった時に、シフト部101は頭出しデータを出力する。この比較を行うのは、最大有効ビット長未満のビット列からは符号語と付加データとを完全に抽出できない可能性があるため、最大有効ビット長以上のビット列を出力して以降の抽出を行う必要があるためである。ただし、最終符号化データ指示が”ON”の場合は、指定ビット以降のビット列が最大有効ビット長未満である場合でも、頭出しデータを出力する。バイト動作回路は、シフト部101への固定長の符号化データの入力を完了すると、最終符号化データ指示を「ON」にする。すなわち、符号化データの末端近辺においては、最大有効ビット長未満の長さの頭出しデータを出力することがあり得る。これは、たとえすべての符号化データを取得したとしても指定ビット以降のビット列が最大有効ビット長に達しない場合があるため、シフト部101が取得した符号化データを出力できずに符号化データの末端が復号化されなくなることを防ぐためである。この時、デコード部102での誤動作を防止するため、シフト部101は、最大有効ビット長に達しない部分のビットに1を詰めて出力する。ここで、1を詰めて出力するのは、JPEGにおいては1が16個以上連続する符号は存在しないため、不足部分に1をパッキングしておけば、打ち切った符号語が正しい符号語として復号されることはないからである。但し、後述するように符号長を累積した結果が固定長を超える場合にEOBを出力する場合、あるいは、固定長から1つ前の符号長の累積値を引いた値までのビット数で符号語を検出する場合、不足部分にパッキングする値は何でも良い。
102はデコード部で、シフト部101が出力する頭出しデータと、符号表(図5参照)における各符号語(ハフマン符号)とを比較することにより、頭出しデータの先頭に含まれる符号語を検出する。そして、その符号語長及び上記符号語に対応するアドレスを解読して求める。符号語を検出できるということは、その符号語は固定長化において中途で打ち切られていないということである。符号表は予め記憶しておいても良いし、外部から取得しても良い。頭出しデータの先頭に符号語を検出できない場合は、符号語は固定長化において中途で打ち切られていると判断し、EOBを示すアドレス”0”(図5参照)を出力することで、中途で打ち切られた符号語を無視する。また、符号語が検出された場合でも、ブロックの符号量が固定長を上まわってしまう場合は、中途で打ち切られていると判断し、EOBを示すアドレス”0”(図5参照)を出力する。
103はシンボルメモリ部で、デコード部102から取得したアドレスに対応するシンボルデータ及び付加ビット長を出力する(図6参照)。シンボルデータ及び付加ビット長は、シンボルメモリ部103が予めアドレスごとに格納していても良い。また、アドレスに対応するシンボルデータ及び付加ビット長を示す符号表を外部から取得しても良い。いずれにしろ、頭出しされた符号化データから符号語長、付加ビット長を生成し、2次元ハフマン符号(シンボルデータ)、付加ビットを分離して出力できれば良い。
104は制御部であり、カウンタ901及び制御信号生成部902を備える。以下、図9を用いて制御部104の詳細な動作を説明する。
901はカウンタであり、デコード部102及びシンボルメモリ部103から取得した符号語長と付加ビット長とを同一のカウンタにて積算し、積算値を出力する。なお、1ブロックの復号化が終了すると、リセット信号が入力され、積算値は”0”に初期化される。
902は制御信号生成部であり、固定長(例えば図4に示す符号データ列の場合、512ビット)と、カウンタ901が出力した積算値とを比較する。ここで、固定長は、予めCPU等により設定されているものとする。積算値が固定長以下の場合は、シフト部101で頭出しした符号語と付加ビットとの組は打ち切りにより欠落していないと判断し、次の符号語を頭出しするようにシフト部101に指示する。具体的には、シフト部101が蓄えている符号化データの先頭から(積算値+1)ビット目を指定ビットとしてシフト部101に入力する。
逆に、積算値が固定長を超える場合は、シフト部101で頭出しした符号語と付加ビットとの組が打ち切りにより欠落していると判断し、次の処理を行う。まず、積算値と固定長の差を、欠落ビット数として求める。また、符号化データに含まれる、打ち切りにより欠落している符号語と付加ビットとの組の断片である末端データを補正する処理を開始させる信号を送る。具体的には、欠落ビット数が付加ビット長と等しい、又は欠落ビット数が付加ビット長より大きい場合、すなわち末端データに符号語と組になる付加ビットの断片が1ビットも存在しない場合には、選択部にEOB選択信号を送る。欠落ビット数が付加ビット長より大きい場合とは、符号語長を積算した時点で積算値が固定長を超える場合に相当する。選択部にEOB選択信号を送ることで、末端データをEOB符号に変換させる。また、欠落ビット数が付加ビット長よりも小さい場合、すなわち末端データに付加ビットの断片が1ビット以上存在する場合には、その末端データの付加ビットは中途で打ち切られている。すなわちこの末端データは復号対象データであり、復元部に復元信号を送り、末端データを補う処理を行わせる。
図11に上記条件に対応する符号化データ例を示す。図11(A)は積算値が固定長以下である場合の符号化データ例を表し、復号対象となる符号語と付加ビットとの組が固定長内に位置している状態を表す。図11(B)は復号対象となる符号語と付加ビットとの組のうち符号語が打ち切り処理されている状態を表す。図11(C)は復号対象となる符号語と付加ビットとの組のうちすべての付加ビットが打ち切り処理されている状態を表す。図11(D)は復号対象となる符号語と付加ビットとの組のうち、付加ビットが打ち切り対象で、少なくとも付加ビットのうち1ビットは打ち切りされずに存在している状態を表している。図11(B)及び図11(C)は付加ビットを再生することができないので、制御信号生成部902はEOB選択信号を”ON”として出力する。図11(D)は、少なくとも付加ビットのうち1ビットは打ち切りされずに存在しているので、付加ビットを再生することができると判断し、制御信号生成部902は復元信号を”ON”として出力する。
105は選択部であり、上記制御信号生成部902が出力したEOB選択信号が”ON”の場合は、シンボルメモリ部103から取得したシンボルデータをEOBを示すシンボルデータに変換して出力する。一方、上記EOB選択信号が”ON”ではない場合は、シンボルメモリ部103から取得したシンボルデータをそのまま出力する。すなわち選択部105は、末端データに付加ビットの断片が1ビットも存在しない場合に、EOB符号を示すシンボルデータを出力し、末端データの符号語を無視する。
106は復元部であり、シフト部101から取得した頭出しデータを、制御信号生成部902の指示に応じて補正し、頭出しデータに含まれる付加ビットを出力する。このために復元部106は、制御信号生成部902から取得した復元信号及び欠落ビット数と、デコード部102から取得した符号語長と、シンボルメモリ部103から取得した付加ビット長とを用いて処理を行う。
復元部106は制御信号生成部902から取得した復元信号を参照し、復元信号が”ON”ではない場合、シフト部101から取得した頭出しデータから、符号語長と付加ビット長とを参照して付加ビットを求め、出力する。頭出しデータの、(符号語長+1)ビットから(符号語長+付加ビット長)ビットまでのビットを、付加ビットとして出力すれば良い。
一方、復元信号が”ON”の場合、すなわち取得した頭出しデータが末端データであって、付加ビットの断片が1ビット以上存在する場合は、以下の処理を行う。この処理により、中途で打ち切られている付加ビットの断片を取得し、末端データの末尾に存在する付加ビットの断片にビットを追加して、新たな付加ビットを生成して出力する。
付加ビットを生成する方法としては、まず、末端データである頭出しデータと符号語長とから、末端データの付加ビットの断片の最上位ビットであるMSBを取得する。具体的には、末端データの(符号語長+1)ビット目をMSBとすれば良い。続いて、MSBを参照して、MSBが”1”値ではない(MSBが”0”値)場合、つまり付加ビットが負の係数を示す場合、末端データの末尾に欠落ビット数分の”1”値を追加する。一方、MSBが”1”値の場合、つまり、付加データの示す係数が正である場合、末端データ末尾に欠落ビット数分の”0”値を追加する。最後に、末端データから、符号語長を参照して付加データを求め、係数生成部107へ出力する。ビットの追加を行った末端データの、(符号語長+1)ビットから末尾までを、付加データとして出力すれば良い。
次に、図10を参照して復元部106の動作例を示す。この動作例では、復元部106が図10(A)に示す末端データを取得したとする。この時、デコード部102から取得した符号語長が”3”であり、シンボルメモリ部103から取得した付加ビット長が”3”であるとする。この場合、制御信号生成部902は、欠落ビット数”2”、復元信号”ON”を復元部106に入力する。復元部106は、図10(B)に示されるように、MSBが”1”値であると判断し、図10(C)で示されるように末端データの末尾に2個の”0”値を追加する。付加ビットに欠落した2ビットを補う場合、”100”、”101”、”110”、”111”の4種類が考えられる。このうち、最も画質に影響の少ない付加ビットは(0に近い)”100”であり、復元部106はこれを補正後の末端データとして出力する。
107は係数生成部であり、選択部105が順次出力するシンボルデータと、復元部106が順次出力する付加ビットとの組を順次取得し、順次周波数成分を表す係数を生成する。具体的には、シンボルデータが示すラン長を参照して、ラン長の数のデータビット”0”を出力し、次に付加ビットを出力する。この処理を繰り返すことで、係数を生成し出力する。
係数生成部107が出力した係数から、図示しない出力部は画像を復号し、表示する。例えばJPEG方式のデータを復号する場合、出力部は逆量子化部、逆DCT部、表示部を備える。上記逆量子化前の係数は図示しない逆量子化部が取得し、図示しない量子化テーブルを基に逆量子化を行う。そして、上記逆量子化部が逆量子化したデータを、図示しない逆DCT部が逆2次元離散コサイン変換し、図示しない表示部が復号した画像を表示する。
続いて、図7に示すフローチャートに従って、本実施形態に係る装置の処理を説明する。
ステップS701において、シフト部101は非図示のバイト動作回路から符号化データを1バイトずつ取得する。ステップS702でシフト部101は、シフト部101が蓄えた符号化データのうち、指定ビットから末尾ビットまでの長さが最大有効ビット以上であるかどうかを判断する。最大有効ビット以上である場合は、ステップS704に進む。最大有効ビット未満である場合は、ステップS703に進む。ステップS703でシフト部101は、最終符号化データ指示がONであるかどうかを判断し、ONである場合はステップS704に進む。ONではない場合は、ステップS701に戻り、再び符号化データを取得する。
ステップS704でシフト部101は、蓄えている符号化データのうち、指定ビット以降を頭出しデータとして出力する。ステップS705でデコード部102は、ステップS704でシフト部101が出力した頭出しデータを取得し、符号表を用いて頭出しデータの先頭に存在する符号語を検索する。符号語を検出できた場合は、ステップS706でデコード部102はその符号語のアドレス及び符号語長を取得して出力する。符号語を検出できなかった場合は、ステップS707で、デコード部102はEOB符号を示すアドレスを出力し、更に符号語長として”0”を出力する。
ステップS708で、シンボルメモリ部103は、ステップS706又はステップS707でデコード部102が出力したアドレスから、符号表を用いてシンボルデータと付加データ長とを取得し、出力する。ステップS709では、カウンタ901が、ステップS706又はS707でデコード部102が出力した符号語長と、ステップS708でシンボルメモリ部103が出力した付加ビット長とを、積算する。ステップS710で、制御信号生成部902は、ステップS709でカウンタ901が得た積算値と、固定長とを比較する。積算値が固定長以下の場合にはステップS711へと進み、積算値が固定長を超える場合はステップS713へと進む。
ステップS711で制御信号生成部902は、先頭から(積算値+1)ビット目を指定ビットとして、シフト部101に指示する。続けてステップS712で、復元部106は、シフト部101から頭出しデータを取得し、ステップS717に進む。
ステップS713で、制御信号生成部902は、積算値と固定長との差を、欠落ビット数として求める。また、ステップS714で制御信号生成部902は、(固定長+1)ビット目を指定ビットとして、シフト部101に指示する。これは、データを末端まで読み終わった時には、頭出しデータの取得を停止させるための処理である。ステップS715で制御信号生成部902は、ステップS713で求めた欠落ビット数と、ステップS708でシンボルメモリ部103が出力した付加ビット長とを比較する。欠落ビット数が付加ビット長と等しい、又は欠落ビット数が付加ビット長より大きい場合は、頭出しデータ中に付加ビットは1ビットも存在しないと判断し、ステップS716に進む。欠落ビット数が付加ビット長より小さい場合は、頭出しデータ中に付加ビットの断片が存在すると判断し、復元信号を”ON”としてステップS717に進む。ステップS716では、制御信号生成部は、EOB選択信号を”ON”として、選択部105に通知して、ステップS718に進む。ステップS717で復元部106は、復元信号が”ON”であることを認識し、頭出しデータ中の付加ビットの断片に打ち切られた付加ビットを補う処理を行う。そして付加ビットを補った頭出しデータを取得し、ステップS718に進む。付加ビットを補う処理の手順については、後に詳しく述べる。
ステップS718で復元部106は、ステップS712又はステップS717で取得した頭出しデータから、デコード部102から得た符号語長とシンボルメモリ部103から得た付加ビット長を用い、付加ビットを取得する。ステップS719で選択部105は、ステップS716で制御信号生成部902がEOB選択信号を通知しているかどうかを判断する。EOB選択信号を通知していない場合は、選択部105はステップS720で、シンボルメモリ部103からシンボルデータを取得して、そのまま出力する。EOB選択信号を通知している場合は、選択部105はステップS721で、EOB符号を示すシンボルデータを出力する。ステップS722で係数生成部107は、選択部105が出力するシンボルデータがEOB符号を示すシンボルデータであるか否かを判断する。EOB符号を示すシンボルデータではない場合は、ステップS723に進む。EOB符号を示すシンボルデータである場合は、ステップS724に進む。
ステップS723で、係数生成部107は、選択部105が出力するシンボルデータと、復元部106が出力する付加ビットとから、係数を求め、蓄える。そしてステップS701に戻り、符号化データの読み込みを続ける。
ステップS724で、非図示の出力部は、係数生成部107が蓄えている係数から、画像を復号し、出力する。以上の処理により、本実施形態の目的が達成される。
続いて、ステップS717の付加ビットを補う処理について、図8のフローチャートを用いて復元部106の動作を説明する。
まず、末端データである頭出しデータと符号語長とから、末端データの付加ビットの断片の最上位ビットであるMSBを取得する(ステップS801)。具体的には、末端データの(符号語長+1)ビット目をMSBとすれば良い。続いて、ステップS801で取得したMSBを参照する(ステップS802)。MSBが”1”値ではない(MSBが”0”値)場合、つまり付加ビットが負の係数を示す場合、末端データの末尾に欠落ビット数分の”1”値を追加する(ステップS803)。一方、ステップS802で参照したMSBが”1”値の場合、つまり、付加データの示す係数が正である場合、末端データ末尾に欠落ビット数分の”0”値を追加する(ステップS804)。最後に、ステップS803又はステップS804でビットの追加を行った末端データを出力する(ステップS805)。
以上説明したように、本発明によれば、固定長化における打ち切り処理によってビットが欠落した付加ビットを復元する。よって、固定長化において打ち切りが発生した符号化データを復号しても、打ち切りの影響によるエッジ部のモスキートノイズやブロック歪を軽減して画像を出力することができる。特に、ビットが欠落した付加ビットは最も“0”値に近い係数(想定される係数の中で負号が一致し、絶対値が最も小さい係数)に復元される。このため、画像の高周波成分が強調されてモスキートノイズを増加させたり、不自然なエッジを生成したりすることなく打ち切りの影響による画質劣化を最小化できる。
上述したように、本実施形態では、途中で打ち切られた付加データを補って、符号化データからシンボルデータと付加ビットとを取得し、係数を取得して画像を復号する。しかし、本実施形態に係る構成はこれに限らない。例えば、固定長を超えるビットに”0”値又は”1”値を最大有効ビット長まで連結した符号化データを用いて復号化処理を行い、付加ビットの断片のMSBよりいずれか一方の付加ビットを選択する構成としても良い。あるいは、適当な複数のビット列を用いて打ち切られた付加ビットを再生し、復号化後の画像からモスキートノイズやブロック歪が最も少なくなるものを選択する構成としても良い。
<第2の実施形態>
第1の実施形態では、図1に示した各装置を構成する各部はハードウェアで実装しているものとしているが、ソフトウェアで実装しても良い。この場合、係るソフトウェアは、コンピュータが有する各種記憶装置内に保持されており、CPUがこのソフトウェアを実行することで、コンピュータは、図1に示した各部の機能を実現することになる。
図13は、本実施形態適用可能なコンピュータのハードウェア構成を示すブロック図である。コンピュータ1301は、一般に普及しているパーソナルコンピュータ等の汎用の情報処理装置である。コンピュータ1301の内部では、バス1307により後述する各ブロックが接続され、種々のデータの受け渡しが可能である。
なお、本コンピュータ1301を適用する装置によっては、図13に示した全ての構成要素は必須なものではないので、適宜省略しても良い。また、同種の機能を有するハードウェアで置換しても良いし、複数のコンピュータ機体によってコンピュータ1301が構成されていても良い。
図13において1302はCPUで、主記憶装置1303にロードされているプログラムやデータを用いて本コンピュータ1301全体の制御を行うと共に、本コンピュータ1301を適用した画像処理装置が行う上述の各処理を実行する。
1303はRAMに代表される主記憶装置である。主記憶装置1303は、各種記憶装置から読み込んだプログラムやデータを一時的に記憶する為のエリアを有する。記憶装置には、HDD(ハードディスクドライブ)1304、CDドライブ1309、DVDドライブ1310、FDD(フロッピー(登録商標)ディスクドライブ)1311等を含む。更に主記憶装置1303は、スキャナ1317から、I/F(インターフェース)1315を介して取得した画像のデータを一時的に記憶するためのエリアも有する。更に主記憶装置1303は、CPU1302が各種の処理を実行する際に用いるワークエリアも有する。以上を含め、主記憶装置1303は、各種の情報記録場所を適宜提供することができる。
1304はHDDで、ここにはOS(オペレーティングシステム)や、各種の画像(文書画像を含む)を保持している。更にHDD1304には、図13が示す各部の機能をCPU1302に制御させるための、あるいは本コンピュータ1301を適用した画像処理装置30が行う上述の各処理をCPU1302に実行させるためのプログラムやデータも保存されている。HDD1304が保持しているプログラムやデータは、CPU1302による制御に従って主記憶装置1303に適宜ロードされ、CPU1302による処理対象となる。なお、主記憶装置1303に記憶するものとして説明した情報の幾つかについてはHDD1304に保存するようにしても良い。
1305はビデオコントローラで、主記憶装置1303やHDD1304等から受けた画像データや文字データといった表示データを信号としてモニタ1306に送出するものである。モニタ1306はCRTや液晶画面等により構成されており、ビデオコントローラ1305から受けた信号に基づいた画像や文字等を表示する。
1308は、本コンピュータ1301にプリンタ1316を接続するためのI/Fである。本コンピュータ1301はこのI/F1308を介してプリンタ1316に対して印刷データを送信し、プリンタ1316が送信するプリンタ1316の状態情報を受信できる。
1309はCDドライブで、記憶媒体としてのCDに記録されているプログラムやデータを読み出し、読み出したプログラムやデータをHDD1304や主記憶装置1303等に送出する。
1310はDVDドライブで、記憶媒体としてのDVDに記録されているプログラムやデータを読み出し、読み出したプログラムやデータをHDD1304や主記憶装置1303等に送出する。
1311はFDDで、記憶媒体としてのフロッピー(登録商標)ディスクに記録されているプログラムやデータを読み出し、読み出したプログラムやデータをHDD1304や主記憶装置1303等に送出する。
1313、1314はそれぞれ、操作入力装置としてのマウス、キーボードである。本コンピュータ1301のユーザは、このマウス1313やキーボード1314を操作することで、各種の指示をCPU1302に対して入力することができる。
1312は、キーボード1314、マウス1313をバスに接続するためのI/Fである。マウス1313やキーボード1314からユーザが入力した操作指示は信号としてI/F1312を介してCPU1302に送出される。
1315は、原稿やフィルム等を読み取ることで画像データを生成するスキャナ1317を本コンピュータ1301に接続するためのものである。スキャナ1317が生成した画像データはこのI/F1315を介してHDD1304や主記憶装置1303等に送出される。
1318は、他のコンピュータ等の電子機器との情報をやりとりするためのI/Fである。CPU1302の指示によりネットワーク1319から取得された画像データを含む情報は、このI/F1318を介してHDD1304や主記憶装置1303等に送出される。
<その他の実施形態>
また、本発明の目的は、以下のようにすることによっても達成されることは言うまでもない。即ち、前述した実施形態の機能を実現するコンピュータプログラムのコードを記録した記録媒体(又は記憶媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(又はCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード、及びそれを記録した記録媒体は本発明を構成することになる。
また、コンピュータが読み出したコンピュータプログラムのコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)等が実際の処理の一部又は全部を行う場合がある。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
更に、記録媒体から読み出されたコンピュータプログラムのコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることも言うまでもない。
第1の実施形態にかかる符号化装置を表すブロック図である。 固定長化を説明するための固定長化前の符号化データを示す図である。 固定長化を説明するための固定長化後の符号化データを示す図である。 図示しないバイト動作回路が出力する入力画像の一例を示す図である。 符号表の一例を表す図である。 シンボルデータと付加ビット数との対応を示す符号表を表す図である。 第1の実施形態に係る処理手順を説明するフローチャートである。 図7のステップS717の動作を詳細に説明するフローチャートである。 第1の実施形態に係る制御部104の構造を詳細に示す図である。 第1の実施形態に係る復元部106の動作例を示す図である。 制御信号生成部902の条件分岐に対応するそれぞれの符号化データを示す図である。 従来技術に係る復号化を説明する図である。 第2の実施形態に係るコンピュータの電気的構成を示すブロック図である。
符号の説明
101 シフト部
102 デコード部
103 シンボルメモリ部
104 制御部
105 選択部
106 復元部
107 係数生成部
901 カウンタ
902 制御信号生成部

Claims (11)

  1. グループ番号を示す符号語と、前記符号語で特定されるグループに属する復号値のいずれかを特定する、ビット列で構成されており先頭ビットが正負を示す付加情報と、で構成される符号セットを含む符号化データを復号する復号装置であって、
    前記符号化データを入力する入力手段と、
    前記符号化データを符号セットを単位に復号する復号手段と、
    前記入力した符号化データのうち、符号語と先頭ビットとを含み、かつ付加情報が欠落している不完全符号セットを検出する検出手段と、
    前記不完全符号セットを構成する符号語と、前記不完全符号セットを構成する付加情報の先頭ビットの正負とに基づいて、前記不完全符号セットに代わる代替符号セットを生成し、生成した代替符号セットを前記復号手段に供給する供給手段と、
    を備えることを特徴とする復号装置。
  2. グループ番号を示す符号語と、前記符号語で特定されるグループで示されるビット数のビットで構成されており先頭ビットが正負を示す付加情報と、で構成される符号セットを含む予め設定された固定ビット長Lの符号化データを復号する復号装置であって、
    前記符号化データを入力する入力手段と、
    前記符号化データを前記符号セットを単位に復号する復号手段と、
    前記入力手段が入力した符号化データの先頭から前記符号セットを抽出し、当該抽出した着目符号セットの最後のビット位置が固定長L以前に位置するか否かを判定し、当該抽出した着目符号セットの最後のビット位置が固定長Lより後にある場合には、当該着目符号セットに含まれる付加情報の先頭ビット位置が固定長L以前に位置するか否かを判定する判定する判定手段と、
    前記判定手段の判定結果が、前記着目符号セットの最後のビット位置が前記固定長L以前に位置することを示している場合、前記着目符号セットを前記復号手段に供給する第1の供給手段と、
    前記判定手段の判定結果が、前記着目符号セットの最後のビット位置が固定長Lより後にあり、前記着目符号セットに含まれる付加情報の先頭ビット位置が固定長L以前に位置することを示す場合、前記着目符号セットに代る代替符号セットを生成し、生成した代替符号セットを前記復号手段に供給する第2の供給手段とを備え、
    前記第2の供給手段は、前記着目符号セットの符号語で特定されるグループから、何ビットの付加情報が欠損しているかを判断し、非欠損のビットで表わし得る付加情報を生成し、前記符号語に後続して前記生成した付加情報を、前記代替符号セットとして前記復号手段に供給する
    ことを特徴とする復号装置。
  3. 画像を符号化する際に符号語と周波数成分を表す付加ビットとの組から構成されるデータの末端を打ち切って固定長化した符号化データから、画像を復号する復号装置であって、
    前記符号化データから、中途で打ち切られている付加ビットの断片を取得する解読手段と、
    前記付加ビットの断片から打ち切りにより欠落しているビット数を欠落ビット数として取得し、欠落ビットを再生して付加ビットを復元する補正手段と、
    を備え
    前記補正手段は、打ち切りにより欠落している付加ビットの断片の最上位ビットであるMSBが”1”値の場合には当該付加ビットの断片の末尾に前記欠落しているビット数分の”0”値を追加し、当該MSBが”0”値の場合には当該付加ビットの断片の末尾に前記欠落しているビット数分の”1”値を追加することで、付加ビットを再生する
    ことを特徴とする、復号装置。
  4. 数生成手段を更に備え、
    前記解読手段は、前記符号化データに含まれる、中途で打ち切られていない符号語と付加ビットとの組から、シンボルデータを解読して付加ビットと共に出力し、また前記符号化データに中途で打ち切られた符号語を検出した場合は当該符号語を無視し、
    前記補正手段は、前記符号化データに組となる付加ビットが存在しない符号語を検出した場合は当該符号語を無視し、前記付加ビットの断片と組となる符号語を検出した場合は、当該符号語から解読したシンボルデータを、新たな付加ビットと共に出力し、
    前記係数生成手段は、前記解読手段又は前記補正手段が順次出力したシンボルデータと付加ビットとの組から、順次周波数成分を表す係数を生成して出力することを特徴とする、請求項に記載の復号装置。
  5. 記符号語の符号語長並びに当該符号語に対応する付加ビット長及びシンボルデータを示す符号表を取得する手段を更に備え、
    前記解読手段は、
    符号化データの先頭からのビット列を頭出しデータとして取得し、その後は指定ビットの入力を受けて前記符号化データの指定ビットから始まるビット列を頭出しデータとして取得し、当該頭出しデータの先頭に位置する符号語を前記符号表に従って解読して、当該符号語の符号語長並びに当該符号語に対応する付加ビット長及びシンボルデータを出力し、当該符号語が途中で打ち切られていて解読できない場合にはEOB符号を示すシンボルデータを出力することで当該符号語を無視するシフト手段と、
    前記符号語長と前記付加ビット長とを順に積算して積算値を取得し、当該積算値が固定長以下の場合には当該符号語長と当該付加ビット長との組は打ち切りによって欠落していないと判断して、先頭から(積算値+1)ビット目を前記指定ビットとして前記シフト手段に入力し、当該積算値が固定長を超える場合には当該符号語長と当該付加ビット長の組が打ち切りによって欠落していると判断して、補正手段に処理を開始させる制御手段と、
    を備えることを特徴とする、請求項に記載の復号装置。
  6. 前記補正手段は、前記符号化データに組となる付加ビットが存在しない符号語を検出した場合、及び前記符号語長を積算した時点で積算値が固定長を超える場合にEOB符号を示すシンボルデータを出力して当該符号語を無視することを特徴とする、請求項に記載の復号装置。
  7. 前記補正手段は、前記積算値と前記固定長との差を欠落ビット数として取得することを特徴とする、請求項又はに記載の復号装置。
  8. グループ番号を示す符号語と、前記符号語で特定されるグループに属する復号値のいずれかを特定する、ビット列で構成されており先頭ビットが正負を示す付加情報と、で構成される符号セットを含む符号化データを復号する復号方法であって、
    前記符号化データを入力する入力工程と、
    前記符号化データを符号セットを単位に復号する復号工程と、
    前記入力した符号化データのうち、符号語と先頭ビットとを含み、かつ付加情報が欠落している不完全符号セットを検出する検出工程と、
    前記不完全符号セットを構成する符号語と、前記不完全符号セットを構成する付加情報の先頭ビットの正負とに基づいて、前記不完全符号セットに代わる代替符号セットを生成し、生成した代替符号セットを前記復号工程に供給する供給工程と、
    を備えることを特徴とする復号方法。
  9. グループ番号を示す符号語と、前記符号語で特定されるグループで示されるビット数のビットで構成されており先頭ビットが正負を示す付加情報と、で構成される符号セットを含む予め設定された固定ビット長Lの符号化データを復号する復号装置が行う復号方法であって、
    前記符号化データを入力する入力工程と、
    前記符号化データを前記符号セットを単位に復号する復号工程と、
    前記入力工程で入力した符号化データの先頭から前記符号セットを抽出し、当該抽出した着目符号セットの最後のビット位置が固定長L以前に位置するか否かを判定し、当該抽出した着目符号セットの最後のビット位置が固定長Lより後にある場合には、当該着目符号セットに含まれる付加情報の先頭ビット位置が固定長L以前に位置するか否かを判定する判定する判定工程と、
    前記判定工程での判定結果が、前記着目符号セットの最後のビット位置が前記固定長L以前に位置することを示している場合、前記着目符号セットを前記復号工程に供給する第1の供給工程と、
    前記判定工程での判定結果が、前記着目符号セットの最後のビット位置が固定長Lより後にあり、前記着目符号セットに含まれる付加情報の先頭ビット位置が固定長L以前に位置することを示す場合、前記着目符号セットに代る代替符号セットを生成し、生成した代替符号セットを前記復号工程に供給する第2の供給工程とを備え、
    前記第2の供給工程では、前記着目符号セットの符号語で特定されるグループから、何ビットの付加情報が欠損しているかを判断し、非欠損のビットで表わし得る付加情報を生成し、前記符号語に後続して前記生成した付加情報を、前記代替符号セットとして前記復号工程に供給する
    ことを特徴とする復号方法。
  10. 画像を符号化する際に符号語と周波数成分を表す付加ビットとの組から構成されるデータの末端を打ち切って固定長化した符号化データから、画像を復号するための手段を備える装置が行う復号方法であって、
    前記符号化データから、中途で打ち切られている付加ビットの断片を取得する解読工程と、
    前記付加ビットの断片から打ち切りにより欠落しているビット数を欠落ビット数として取得し、欠落ビットを再生して付加ビットを復元する補正工程と、
    を備え
    前記補正工程では、打ち切りにより欠落している付加ビットの断片の最上位ビットであるMSBが”1”値の場合には当該付加ビットの断片の末尾に前記欠落しているビット数分の”0”値を追加し、当該MSBが”0”値の場合には当該付加ビットの断片の末尾に前記欠落しているビット数分の”1”値を追加することで、付加ビットを再生する
    ことを特徴とする、復号方法。
  11. コンピュータを、請求項1乃至の何れか1項に記載の復号装置が有する各手段として機能させるためのコンピュータプログラム。
JP2008277375A 2008-10-28 2008-10-28 復号装置、復号方法、及びプログラム Expired - Fee Related JP5049942B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008277375A JP5049942B2 (ja) 2008-10-28 2008-10-28 復号装置、復号方法、及びプログラム
US12/605,048 US8156408B2 (en) 2008-10-28 2009-10-23 Decoding apparatus, decoding method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008277375A JP5049942B2 (ja) 2008-10-28 2008-10-28 復号装置、復号方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2010109492A JP2010109492A (ja) 2010-05-13
JP2010109492A5 JP2010109492A5 (ja) 2012-05-10
JP5049942B2 true JP5049942B2 (ja) 2012-10-17

Family

ID=42118676

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008277375A Expired - Fee Related JP5049942B2 (ja) 2008-10-28 2008-10-28 復号装置、復号方法、及びプログラム

Country Status (2)

Country Link
US (1) US8156408B2 (ja)
JP (1) JP5049942B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2449790T3 (es) 2008-02-22 2014-03-21 Security First Corp. Sistemas y métodos para la gestión y la comunicación seguras en un grupo de trabajo
JP4737243B2 (ja) * 2008-07-11 2011-07-27 ソニー株式会社 集積回路装置及びデータ伝送システム
JP5650238B2 (ja) 2009-11-25 2015-01-07 セキュリティー ファースト コープ. 移動中のデータをセキュア化するためのシステムおよび方法
US8650434B2 (en) 2010-03-31 2014-02-11 Security First Corp. Systems and methods for securing data in motion
WO2011150346A2 (en) 2010-05-28 2011-12-01 Laurich Lawrence A Accelerator system for use with secure data storage
FR2981229B1 (fr) * 2011-10-10 2013-12-27 Commissariat Energie Atomique Dispositif de conversion d'impulsions de courant en impulsions de tension.
WO2013101222A1 (en) * 2011-12-30 2013-07-04 Intel Corporation Reconfigurable device for repositioning data within a data word
US9716515B2 (en) * 2015-12-14 2017-07-25 International Business Machines Corporation Method for detecting end of record in variable length coded bit stream

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3729708A (en) * 1971-10-27 1973-04-24 Eastman Kodak Co Error detecting and correcting apparatus for use in a system wherein phase encoded binary information is recorded on a plural track
DE69022705T2 (de) * 1989-12-29 1996-05-23 Philips Electronics Nv System zur Kodierung/Dekodierung von digitalen Signalen zur Übertragung und/oder Speicherung.
JP2863364B2 (ja) 1992-02-14 1999-03-03 シャープ株式会社 復号器
US5528755A (en) * 1992-12-22 1996-06-18 International Business Machines Corporation Invalid data detection, recording and nullification
US5638370A (en) * 1994-12-28 1997-06-10 Intel Corporation Status bit controlled HDLC accelerator
US5742623A (en) * 1995-08-04 1998-04-21 General Instrument Corporation Of Delaware Error detection and recovery for high rate isochronous data in MPEG-2 data streams
US6212663B1 (en) * 1997-10-23 2001-04-03 Sony Corporation Apparatus and method for recovery of quantization codes in a lossy transmission environment
JP2000165877A (ja) 1998-11-30 2000-06-16 Fuji Xerox Co Ltd 画像符号化装置及び画像復号化装置
DE19860531C1 (de) * 1998-12-30 2000-08-10 Univ Muenchen Tech Verfahren zur Übertragung codierter digitaler Signale

Also Published As

Publication number Publication date
US8156408B2 (en) 2012-04-10
US20100107027A1 (en) 2010-04-29
JP2010109492A (ja) 2010-05-13

Similar Documents

Publication Publication Date Title
JP5049942B2 (ja) 復号装置、復号方法、及びプログラム
JP6049017B2 (ja) メモリ要求低減ビデオ送信システム
US8600183B2 (en) Optimized method and system for entropy coding
US8908982B2 (en) Image encoding device and image encoding method
KR101336243B1 (ko) 부가 정보가 삽입된 영상 데이터의 전송 스트림 구조,송수신 방법 및 장치
KR101208233B1 (ko) 중간 형식으로 변환하는 2단계 산술 복호
JP4928176B2 (ja) 映像符号化装置及び映像符号化方法
KR101726572B1 (ko) 무손실 이미지 압축 및 복원 방법과 이를 수행하는 장치
JP2010193398A (ja) 画像符号化装置及び画像符号化方法
CN105163122A (zh) 一种基于图像块相似性的图像压缩及解压缩方法
JPH0622294A (ja) 画像符号化装置
JP2003189109A (ja) 画像処理装置及び方法、並びにコンピュータ・プログラム
JP3952116B2 (ja) 画像圧縮装置及び方法
JP2005530411A (ja) 損失のないデータ埋込み
US6069980A (en) Adaptive character image generation and synthesis
JP4731972B2 (ja) 画像符号化方法及び画像符号化装置
US8385664B2 (en) Method for progressive JPEG image decoding
JP3781012B2 (ja) 画像データ圧縮方法、画像データ伸長方法、および画像データ伸長回路
JP4095454B2 (ja) データ復号装置及びデータ復号方法
JP2004193882A (ja) 画像処理装置、画像データ処理方法、および記録媒体
WO2013153761A1 (en) Image decoding apparatus, image decoding method, and program
JP2000059635A (ja) 画像処理装置及びその方法
EA047124B1 (ru) Способ, устройство и машиночитаемый носитель, содержащий команды обработки информации о конфигурации для обработки остаточных данных при обработке изображений
JPH11252565A (ja) 動き補償フレーム間符号化/復号化装置
JPH04252666A (ja) 画像伝送装置及び画像伝送方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120625

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120723

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150727

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5049942

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees