[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4556147B2 - 復号装置および復号方法、記録媒体、並びにデータ処理装置 - Google Patents

復号装置および復号方法、記録媒体、並びにデータ処理装置 Download PDF

Info

Publication number
JP4556147B2
JP4556147B2 JP2008110537A JP2008110537A JP4556147B2 JP 4556147 B2 JP4556147 B2 JP 4556147B2 JP 2008110537 A JP2008110537 A JP 2008110537A JP 2008110537 A JP2008110537 A JP 2008110537A JP 4556147 B2 JP4556147 B2 JP 4556147B2
Authority
JP
Japan
Prior art keywords
data
decoding
line
image
rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008110537A
Other languages
English (en)
Other versions
JP2008236777A (ja
Inventor
哲二郎 近藤
健司 田中
義教 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008110537A priority Critical patent/JP4556147B2/ja
Publication of JP2008236777A publication Critical patent/JP2008236777A/ja
Application granted granted Critical
Publication of JP4556147B2 publication Critical patent/JP4556147B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/29Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes combining two or more codes or code structures, e.g. product codes, generalised product codes, concatenated codes, inner and outer codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、復号装置および復号方法、記録媒体、並びにデータ処理装置に関し、特に、例えば、復号画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に情報を埋め込むこと等ができるようにする復号装置および復号方法、記録媒体、並びにデータ処理装置に関する。
信号に対して、そのデータ量を増加させることなく、情報を埋め込む手法としては、例えば、ディジタルオーディオデータの最下位ビットや、下位2ビットなどを、埋め込む情報に変換するものなどがある。この手法は、ディジタルオーディオデータの下位ビットが、その音質にあまり影響を与えないことを利用し、その下位ビットを、単に、埋め込む情報に置き換えるものであり、従って、再生時には、情報が埋め込まれたディジタルオーディオデータは、その下位ビットを元に戻さずに、そのまま出力される。即ち、情報が埋め込まれた下位ビットを、元に戻すのは困難であり、また、下位ビットは、音質に、あまり影響を与えないことから、ディジタルオーディオデータは、情報が埋め込まれた状態で出力される。
しかしながら、以上のような手法では、本来の信号と異なる信号が出力される。従って、信号がオーディオデータである場合には、その音質に、また、信号がビデオデータである場合には、その画質に、少なからず影響がある。
本発明は、このような状況に鑑みてなされたものであり、画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に情報を埋め込むことができるようにするものである。
本発明の復号装置は、符号化データの少なくとも一部のデータを所定単位でローテーションするローテーション処理と、ローテーション後の一部のデータと、ローテーション後の一部のデータの周辺にある周辺データとの関係性を表す関係値を演算する処理とを、一部のデータを所定単位でローテーションするたびに繰り返して行う関係値演算手段と、関係値演算手段により求められた複数の関係値のうちの、最小の関係値が求められたときのローテーション量を決定することにより、第1のデータに埋め込まれた第2のデータを復号する第2のデータ復号手段と、第2のデータ復号手段により決定されたローテーション量に応じて、一部のデータをローテーションすることにより、符号化データを、第1のデータに復号する第1のデータ復号手段とを備えることを特徴とする。
第2のデータ復号手段は、ローテーションされた一部のデータと、周辺データとの関係値を、ローテーション量を変えて求めさせ、関係値が最大になるときのローテーション量を決定させることができる。
第1のデータは、複数の画素データから構成される画像データとすることができ、この場合、ローテーション手段には、符号化データ上の水平方向に並ぶ1ラインの画素データを、水平方向にローテーションさせることができる。
符号化データの一部は、ローテーション手段によるローテーションが禁止されているものとすることができる。
第2のデータ復号手段には、決定したローテーション量に相当する値を、第2のデータとして復号させることができる。
本発明の復号方法は、符号化データの少なくとも一部のデータを所定単位でローテーションするローテーション処理と、ローテーション後の一部のデータと、ローテーション後の一部のデータの周辺にある周辺データとの関係性を表す関係値を演算する処理とを、一部のデータを所定単位でローテーションするたびに繰り返して行う関係値演算ステップと、関係値演算ステップにおいて求められた複数の関係値のうちの、最小の関係値が求められたときのローテーション量を決定することにより、第1のデータに埋め込まれた第2のデータを復号する第2のデータ復号ステップと、第2のデータ復号ステップにおいて決定されたローテーション量に応じて、一部のデータをローテーションすることにより、符号化データを、第1のデータに復号する第1のデータ復号ステップとを備えることを特徴とする。
本発明の記録媒体は、符号化データの少なくとも一部のデータを所定単位でローテーションするローテーション処理と、ローテーション後の一部のデータと、ローテーション後の一部のデータの周辺にある周辺データとの関係性を表す関係値を演算する処理とを、一部のデータを所定単位でローテーションするたびに繰り返して行う関係値演算ステップと、関係値演算ステップにおいて求められた複数の関係値のうちの、最小の関係値が求められたときのローテーション量を決定することにより、第1のデータに埋め込まれた第2のデータを復号する第2のデータ復号ステップと、第2のデータ復号ステップにおいて決定されたローテーション量に応じて、一部のデータをローテーションすることにより、符号化データを、第1のデータに復号する第1のデータ復号ステップとを備えるプログラムが記録されていることを特徴とする。
本発明のデータ処理装置は、第1のデータの少なくとも一部のデータを記憶する記憶手段と、第2のデータにしたがって、復号時に第1のデータを復元できるように記憶手段に記憶された第1のデータのうちの一部のデータをローテーションすることにより、第1のデータに、第2のデータに関連するデータを埋め込み、符号化データとする符号化手段と、符号化データの少なくとも一部のデータを所定単位でローテーションするローテーション処理と、ローテーション後の一部のデータと、ローテーション後の一部のデータの周辺にある周辺データとの関係性を表す関係値を演算する処理とを、一部のデータを所定単位でローテーションするたびに繰り返して行う関係値演算手段と、関係値演算手段により求められた複数の関係値のうちの、最小の関係値が求められたときのローテーション量を決定することにより、第1のデータに埋め込まれた第2のデータを復号する第2のデータ復号手段と、第2のデータ復号手段により決定されたローテーション量に応じて、一部のデータをローテーションすることにより、符号化データを、第1のデータに復号する第1のデータ復号手段とを備えることを特徴とする。
本発明の復号装置および復号方法、並びに記録媒体においては、符号化データの少なくとも一部のデータを所定単位でローテーションするローテーション処理と、ローテーション後の一部のデータと、ローテーション後の一部のデータの周辺にある周辺データとの関係性を表す関係値を演算する処理とが、一部のデータを所定単位でローテーションするたびに繰り返して行われる。そして、その複数の関係値のうちの、最小の関係値が求められたときのローテーション量が決定されることにより、第1のデータに埋め込まれた第2のデータが復号され、さらに、決定されたローテーション量に応じて、一部のデータをローテーションすることにより、符号化データが、第1のデータに復号される。
本発明のデータ処理装置においては、第1のデータの少なくとも一部のデータが記憶され、その記憶されたデータが、第2のデータにしたがって、復号時に第1のデータを復元できるようにローテーションされることにより、第1のデータに、第2のデータに関連するデータが埋め込まれて、符号化データとされる。一方、符号化データの少なくとも一部のデータを所定単位でローテーションするローテーション処理と、ローテーション後の一部のデータと、ローテーション後の一部のデータの周辺にある周辺データとの関係性を表す関係値を演算する処理とが、一部のデータを所定単位でローテーションするたびに繰り返して行われる。そして、その複数の関係値のうちの、最小の関係値が求められたときのローテーション量が決定されることにより、第1のデータに埋め込まれた第2のデータが復号され、さらに、決定されたローテーション量に応じて、一部のデータをローテーションすることにより、符号化データが、第1のデータに復号される。
本発明の第1の側面によれば、相関性等を利用して第1および第2のデータの復号を行うことができる。
また、本発明の第2の側面によれば、相関性等を利用して第1および第2のデータを復号可能なように、符号化を行い、かつ、その復号を行うことができる。
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
図1は、本発明を適用した画像伝送システム(システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない)の一実施の形態の構成例を示している。
この画像伝送システムは、符号化装置10および復号装置20で構成されており、符号化装置10は、符号化対象としての、例えば、画像を符号化して符号化データを出力し、復号装置20は、その符号化データを、元の画像に復号するようになされている。
即ち、画像データベース1は、符号化すべき画像(例えば、ディジタル画像)を記憶している。そして、画像データベース1からは、そこに記憶されている画像が読み出され、埋め込み符号化器3に供給される。
また、付加情報データベース2は、符号化対象の画像に埋め込むべき情報としての付加情報(ディジタルデータ)を記憶している。そして、付加情報データベース2からも、そこに記憶されている付加情報が読み出され、埋め込み符号化器3に供給される。
埋め込み符号化器3では、画像データベース1からの画像、および付加情報データベース2からの付加情報が受信される。さらに、埋め込み符号化器3は、画像データベース1からの画像が有するエネルギの偏りを利用して復号を行うことができるように、その画像を、付加情報データベース2からの付加情報にしたがって符号化して出力する。即ち、埋め込み符号化器3は、画像が有するエネルギの偏りを利用して復号を行うことができるように、画像に付加情報を埋め込むことで、その画像を符号化し、符号化データを出力する。埋め込み符号化器3が出力する符号化データは、例えば、半導体メモリ、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどでなる記録媒体4に記録され、あるいは、また、例えば、地上波、衛星回線、CATV(Cable Television)網、インターネット、公衆回線などでなる伝送媒体5を介して伝送され、復号装置20に提供される。
復号装置20は、埋め込み復号器6で構成され、そこでは、記録媒体4または伝送媒体5を介して提供される符号化データが受信される。さらに、埋め込み復号器6は、その符号化データを、画像が有するエネルギの偏りを利用して、元の画像および付加情報に復号する。復号された画像は、例えば、図示せぬモニタに供給されて表示される。
なお、付加情報としては、例えば、元の画像に関連するテキストデータや、音声データ、その画像を縮小した縮小画像等は勿論、元の画像に無関係なデータも用いることができる。
次に、図1の埋め込み符号化器3における符号化(埋め込み符号化)、および埋め込み復号器6における復号(埋め込み復号)の原理について説明する。
一般に、情報と呼ばれるものは、エネルギ(エントロピー)の偏り(普遍性)を有し、この偏りが、情報(価値ある情報)として認識される。即ち、例えば、ある風景を撮影して得られる画像が、そのような風景の画像であると人によって認識されるのは、画像(画像を構成する各画素の画素値など)が、その風景に対応したエネルギの偏りを有するからであり、エネルギの偏りがない画像は、雑音等にすぎず、情報としての利用価値はない。
従って、価値ある情報に対して、何らかの操作を施し、その情報が有する本来のエネルギの偏りを、いわば破壊した場合でも、その破壊されたエネルギの偏りを元に戻すことで、何らかの操作が施された情報も、元の情報に戻すことができる。即ち、情報を符号化して得られる符号化データは、その情報が有する本来のエネルギの偏りを利用して、元の価値ある情報に復号することができる。
ここで、情報が有するエネルギ(の偏り)を表すものとしては、例えば、相関性、連続性、相似性などがある。
情報の相関性とは、その情報の構成要素(例えば、画像であれば、その画像を構成する画素やラインなど)どうしの相関(例えば、自己相関や、ある構成要素と他の構成要素との距離など)を意味する。例えば、画像の相関性を表すものとしては、画像のライン間の相関があり、この相関を表す相関値としては、例えば、2つのラインにおける、対応する各画素値の差分の2乗和等を用いることができる(この場合、相関値が小さいことは、ライン間の相関が大きいことを表し、相関値が大きいことは、ライン間の相関が小さいことを表す)。
即ち、例えば、いま、図2に示すようなHライン102を有する画像101があった場合に、その上から1行目のライン(第1ライン)103と、他のラインとの相関は、一般に、図3(A)に示すように、第1ライン103との距離が近いライン(図2における画像101の上側のライン)ほど、第Mライン104についての相関201として示すように大きくなり、第1ライン103との距離が遠いライン(図2における画像の下側のライン)ほど、第Nライン105についての相関202として示すように小さくなる。従って、第1ライン103から近いほど、第1ライン103との相関が大きくなり、遠いほど相関が小さくなるという相関の偏りがある。
そこで、いま、図2の画像101において、第1ライン103から比較的近い第Mライン104と、第1ライン103から比較的遠い第Nライン105との画素値を入れ替える操作を行い(1<M<N≦H)、その入れ替え後の画像101について、第1ライン103と、他のラインとの相関を計算値すると、それは、例えば、図3(B)に示すようになる。
即ち、入れ替え後の画像101では、第1ライン103から近い第Mライン(入れ替え前の第Nライン105)との相関203が小さくなり、第1ライン103から遠い第Nライン(入れ替え前の第Mライン104)との相関204が大きくなる。
従って、図3(B)では、第1ライン103から近いほど相関が大きくなり、遠いほど相関が小さくなるという相関性の偏りが破壊されている。しかしながら、画像については、一般に、第1ライン103から近いほど相関が大きくなり、遠いほど相関が小さくなるという相関性の偏りを利用することにより、破壊された相関性の偏りを復元することができる。即ち、図3(B)において、第1ライン103から近い第Mラインとの相関203が小さく、第1ライン103から遠い第Nラインとの相関204が大きいのは、画像101が有する本来の相関性の偏りからすれば、明らかに不自然であり(おかしく)、第Mラインと第Nラインとは入れ替えるべきである。そして、図3(B)における第Mラインと第Nラインとを入れ替えることで、図3(A)に示すような本来の相関性の偏りを有する画像、即ち、元の画像101を復号することができる。
ここで、図2および図3で説明した場合においては、ラインの入れ替えが、画像の符号化を行うこととなる。また、その符号化に際し、埋め込み符号化器3では、例えば、何ライン目を移動するかや、どのラインどうしを入れ替えるかなどが、付加情報にしたがって決定されることになる。一方、埋め込み復号器6では、符号化後の画像、即ち、ラインの入れ替えられた画像を、その相関を利用して、ラインを元の位置に入れ替えることにより、元の画像に戻すことが、画像を復号することとなる。さらに、その復号に際し、埋め込み復号器6において、例えば、何ライン目を移動したかや、どのラインどうしを入れ替えたかなどを検出することが、画像に埋め込まれた付加情報を復号することになる。
次に、情報の連続性についてであるが、例えば、画像のある1ラインについて注目した場合に、その注目ラインにおいて、図4(A)に示すような、画素値の変化パターンが連続している波形301が観察されたとすると、その注目ラインと離れた他のラインでは、注目ラインとは異なる画素値の変化パターンが観察される。従って、注目ラインと、その注目ラインと離れた他のラインとにおいては、画素値の変化パターンが異なり、連続性においても偏りがある。即ち、画像のある部分の画素値の変化パターンに注目すると、その注目部分に隣接する部分には、同様の画素値の変化パターンが存在し、注目部分から離れるにつれて、異なる画素値の変化パターンが存在するという連続性の偏りがある。
そこで、いま、図4(A)に示した、画像のあるラインにおける、画素値の変化パターンが連続している波形301の一部を、例えば、図4(B)に示すように、離れたラインにおける波形302と入れ替える。
この場合、画像の連続性の偏りが破壊される。しかしながら、近接する部分の画素値の変化パターンは連続しており、離れるほど、画素値の変化パターンが異なるという連続性の偏りを利用することにより、破壊された連続性の偏りを復元することができる。即ち、図4(B)において、波形の一部302の画素値の変化パターンが、他の部分の画素値の変化パターンに比較して大きく異なっているのは、波形が有する本来の連続性の偏りからすれば、明らかに不自然であり、他の部分の画素値の変化パターンと異なっている部分302は、他の部分の画素値の変化パターンと同様の波形に入れ替えるべきである。そして、そのような入れ替えを行うことで、連続性の偏りが復元され、これにより、図4(B)に示した波形から、図4(A)に示した元の波形を復号することができる。
ここで、図4で説明した場合においては、波形の一部を、その周辺の画素値の変化パターンとは大きく異なる画素値の変化パターンの波形に入れ替えることが、画像の符号化を行うこととなる。また、その符号化に際し、埋め込み符号化器3では、例えば、波形のどの部分の画素値の変化パターンを入れ替えるのかや、画素値の変化パターンをどの程度大きく変化させるのかなどが、付加情報にしたがって決定されることになる。一方、埋め込み復号器6では、符号化後の信号、即ち、大きく異なる画素値の変化パターンを一部に有する波形を、周辺の画素値の変化パターンは連続しており、離れるほど、画素値の変化パターンが異なるという連続性の偏りを利用して、元の波形に戻すことが、その元の波形を復号することとなる。さらに、その復号に際し、埋め込み復号器6において、例えば、波形のどの部分の画素値の変化パターンが大きく変化していたのかや、画素値の変化パターンがどの程度大きく変化していたのかなどを検出することが、埋め込まれた付加情報を復号することになる。
次に、情報の相似性についてであるが、例えば、風景を撮影した画像等の一部は、画像のフラクタル性(自己相似性)を利用して生成することができることが知られている。即ち、例えば、図5(A)に示すような、海401と森402を撮影した画像においては、海401全体の画素値の変化パターンと、その海401の一部の画素値の変化パターンとの相似性は高いが、それらの変化パターンと、海401から離れた森402の画素値の変化パターンとの相似性は低いという相似性の偏りがある。ここで、画像の相似性は、上述のように画素値の変化パターンを比較して考えるのではなく、エッジ形状を比較して考えても良い。
そこで、いま、図5(A)に示した海401の一部403と、森402の一部404とを入れ替える。
この場合、画像の相似性の偏りが破壊され、図5(B)に示すような画像が得られる。しかしながら、近接する部分の画素値の変化パターンは相似性が高く、離れるほど、画素値の変化パターンの相似性が低くなるという相似性の偏りを利用することにより、破壊された相似性の偏りを復元することができる。即ち、図5(B)において、海401の画像の一部が、海401と相似性の低い森402の画像の一部404になっていること、および森402の画像の一部が、森402と相似性の低い海401の画像の一部403となっていることは、画像が有する本来の相似性の偏りからすれば、明らかに不自然である。具体的には、図5(B)において、海401の画像の中の、森402の画像の一部404についての相似性は、海401の他の部分についての相似性に比較して極端に低くなっており、また、森402の画像の中の、海401の画像の一部403についての相似性も、森402の他の部分についての相似性に比較して極端に低くなっている。
従って、画像が本来有する相似性の偏りからすれば、海401の画像の一部となっている、森402の画像の一部404と、森402の画像の一部となっている、海401の画像の一部403とは入れ替えるべきである。そして、そのような入れ替えを行うことで、画像の相似性の偏りが復元され、これにより、図5(B)に示した画像から、図5(A)に示した元の画像を復号することができる。
ここで、図5で説明した場合においては、海401の画像の一部403と、森402の画像の一部404とを入れ替えることが、画像の符号化を行うこととなる。また、その符号化に際し、埋め込み符号化器3では、例えば、海401の画像のどの部分(画面上の位置)と、森402の画像のどの部分とを入れ替えるのかなどが、付加情報にしたがって決定されることになる。一方、埋め込み復号器6では、符号化後の信号、即ち、海401の一部が、森402の一部404となっているとともに、森402の一部が、海401の一部403となっている画像を、周辺の画素値の変化パターンの相似性は高く、離れるほど、画素値の変化パターンの相似性が低くなっていくという相似性の偏りを利用して、元の画像に戻すことが、その元の画像を復号することとなる。さらに、その復号に際し、埋め込み復号器6において、例えば、海の画像のどの部分と、森の画像のどの部分とが入れ替えられていたのかなどを検出することが、埋め込まれた付加情報を復号することになる。
以上のように、埋め込み符号化器3において、符号化対象の画像が有するエネルギの偏りを利用して復号を行うことができるように、その画像を、付加情報にしたがって符号化して、符号化データを出力する場合には、埋め込み復号器6では、その符号化データを、画像が有するエネルギの偏りを利用することにより、復号のためのオーバヘッドなしで、元の画像および付加情報に復号することができる。
また、符号化対象の画像には、付加情報が埋め込まれることで、その埋め込みの結果得られる画像は、元の画像と異なる画像とされ、人が価値ある情報として認識することのできる画像ではなくなることから、符号化対象の画像については、オーバヘッドなしの暗号化を実現することができる。
さらに、完全可逆の電子透かしを実現することができる。即ち、従来の電子透かしでは、例えば、画質にあまり影響のない画素値の下位ビットが、電子透かしに対応する値に、単に変更されていたが、この場合、その下位ビットを、元の値に戻すことは困難である。従って、復号画像の画質は、電子透かしとしての下位ビットの変更により、少なからず劣化する。これに対して、符号化データを、元の画像が有するエネルギの偏りを利用して復号する場合には、劣化のない元の画像および付加情報を得ることができ、従って、付加情報を電子透かしとして用いることで、電子透かしに起因して復号画像の画質が劣化することはない。
また、埋め込まれた付加情報は、符号化データから画像を復号することで取り出すことができるので、画像の符号化結果とともに、オーバヘッドなしでサイドインフォメーションを提供することができる。言い換えれば、付加情報を取り出すためのオーバヘッドなしで、その付加情報を画像に埋め込むことができるので、その埋め込みの結果得られる符号化データは、付加情報の分だけ圧縮(埋め込み圧縮)されているということができる。従って、例えば、ある画像の半分を符号化対象とするとともに、残りの半分を付加情報とすれば、符号化対象である半分の画像に、残りの半分の画像を埋め込むことができるから、この場合、画像は、単純には、1/2に圧縮されることになる。
さらに、符号化データは、元の画像が有するエネルギの偏りという、いわば統計量を利用して復号されるため、誤りに対する耐性の強いものとなる。即ち、ロバスト性の高い符号化であるロバスト符号化(統計的符号化)を実現することができる。
また、符号化データは、元の画像が有するエネルギの偏りを利用して復号されるため、そのエネルギの偏りに特徴があるほど、即ち、例えば、画像については、そのアクティビティが高いほど、あるいは、冗長性が低いほど、多くの付加情報を埋め込むことができる。ここで、上述したように、付加情報の埋め込みの結果得られる符号化データは、付加情報の分だけ圧縮されているということができるが、この圧縮という観点からすれば、符号化対象の情報が有するエネルギの偏りを利用して復号を行うことができるように、その情報を、付加情報にしたがって符号化する方式(埋め込み符号化方式)によれば、画像のアクティビティが高いほど、あるいは、画像の冗長性が低いほど、圧縮率が高くなる。この点、埋め込み符号化方式は、従来の符号化方式と大きく異なる(従来の符号化方式である、例えばMPEG(Moving Picture Experts Group)方式などでは、基本的に、画像のアクティビティが高いほど、あるいは、画像の冗長性が低いほど、圧縮率は低くなる)。
さらに、例えば、上述したように、画像を符号化対象とする一方、付加情報として、画像とは異なるメディアの、例えば、音声を用いるようにすることで、音声をキーとして、画像の提供を行うようなことが可能となる。即ち、符号化装置10側において、例えば、契約者が発話した音声「開けゴマ」など付加情報として画像に埋め込んでおき、復号装置20側では、ユーザに、音声「開けゴマ」を発話してもらい、その音声と、画像に埋め込まれた音声とを用いて話者認識を行うようにする。このようにすることで、例えば、話者認識の結果、ユーザが契約者である場合にのみ、自動的に、画像を提示するようなことが可能となる。なお、この場合、付加情報としての音声は、いわゆる特徴パラメータではなく、音声波形そのものを用いることが可能である。
また、例えば、音声を符号化対象とする一方、付加情報として、音声とは異なるメディアの、例えば、画像を用いるようにすることで、画像をキーとして、音声の提供を行うようなこと(例えば、顔認識後の音声応答)が可能となる。即ち、符号化装置10側において、例えば、ユーザへの応答としての音声に、そのユーザの顔の画像を埋め込み、復号装置20側では、ユーザの顔を撮影し、その結果得られる画像とマッチングする顔画像が埋め込まれている音声を出力するようにすることで、ユーザごとに異なる音声応答を行う音声応答システムを実現することが可能となる。
さらに、音声に、音声を埋め込んだり、画像に、画像を埋め込んだりするような、あるメディアの情報に、それと同一メディアの情報を埋め込むようなことも可能である。あるいは、また、画像に、契約者の音声と顔画像を埋め込んでおけば、ユーザの音声と顔画像とが、画像に埋め込まれているものと一致するときのみ、その画像を提示するようにする、いわば二重鍵システムなどの実現も可能となる。
また、例えば、テレビジョン放送信号を構成する、いわば同期した画像と音声のうちのいずれか一方に、他方を埋め込むようなことも可能であり、この場合、異なるメディアの情報どうしを統合した、いわば統合符号化を実現することができる。
さらに、埋め込み符号化方式では、上述したように、情報には、そのエネルギの偏りに特徴があるほど、多くの付加情報を埋め込むことができる。従って、例えば、ある2つの情報について、エネルギの偏りに特徴がある方を適応的に選択し、その選択した方に、他方を埋め込むようにすることで、全体のデータ量を制御することが可能となる。即ち、2つの情報どうしの間で、一方の情報によって、他方の情報量を、いわば吸収するようなことが可能となる。そして、このように全体のデータ量を制御することができる結果、伝送路の伝送帯域や使用状況、その他の伝送環境にあったデータ量による情報伝送(環境対応ネットワーク伝送)が可能となる。
また、例えば、画像に、その画像を縮小した画像を埋め込むことで(あるいは、音声に、その音声を間引いたものを埋め込むことで)、データ量を増加することなく、いわゆる階層符号化(下位階層の情報を少なくすることにより、上位階層の情報を生成する符号化)を実現することができる。
さらに、例えば、画像に、その画像を検索するためのキーとなる画像を埋め込んでおくことで、そのキーとなる画像に基づいて、画像の検索を行うデータベースを実現することが可能となる。
次に、図6は、画像の相関性を利用して元に戻すことができるように、画像に付加情報を埋め込む埋め込み符号化を行う場合の図1の埋め込み符号化器3のハードウェアの構成例を示している。
画像データベース1から供給される画像は、フレームメモリ31に供給されるようになされており、フレームメモリ31は、画像データベース1からの画像を、例えば、フレーム単位で一時記憶するようになされている。
CPU(Central Processing Unit)32は、プログラムメモリ33に記憶されたプログラムを実行することで、後述する埋め込み符号化処理を行うようになされている。即ち、CPU32は、プログラムメモリ33に記憶されたプログラムにしたがって、付加情報データベース2から供給される付加情報を受信し、その付加情報を、フレームメモリ31に記憶された画像に埋め込むように、埋め込み符号化器3全体を制御するようになされている。具体的には、CPU32は、フレームメモリ31に記憶された画像を構成する、例えば、水平方向の1ライン(水平方向に並ぶ一連の画素)を、付加情報に基づいて、水平方向にずらすことで、各ラインに、付加情報を埋め込むようになされている。この付加情報が埋め込まれた画像は、符号化データとして出力されるようになされている。
プログラムメモリ33は、例えば、ROM(Read Only Memory)やRAM(Random Access Memory)などで構成され、CPU32に、埋め込み符号化処理を行わせるためのコンピュータプログラムや必要なデータを記憶している。
なお、フレームメモリ31は、複数のフレームを記憶することのできるように、複数バンクで構成されており、バンク切り替えを行うことで、フレームメモリ31では、画像データベース1から供給される画像の記憶、CPU32による埋め込み符号化処理の対象となっている画像の記憶、および埋め込み符号化処理後の画像(符号化データ)の出力を、同時に行うことができるようになされている。これにより、画像データベース1から供給される画像が、動画であっても、符号化データのリアルタイム出力を行うことができるようになされている。
次に、図7は、図6の埋め込み符号化器3の機能的な構成例を示している。なお、この図7に示した機能的な構成は、CPU32がプログラムメモリ33に記憶されたコンピュータプログラムを実行することで実現されるようになされている。
フレームメモリ31は、図6で説明したように、画像データベース1から供給される画像を一時記憶するようになされている。ラインスライド部36は、付加情報データベース2から付加情報を読み出し、その付加情報に対応したずらし量だけ、フレームメモリ31に記憶された画像を構成する所定のラインを、水平方向にずらすことにより、そのラインに、付加情報を埋め込み、符号化データとして出力するようになされている。
次に、図8のフローチャートを参照して、図7の埋め込み符号化器3において行われる埋め込み符号化処理について説明する。
画像データベース1からは、そこに記憶されている画像が読み出され、フレームメモリ31に、順次供給されて記憶される。
一方、ラインスライド部36では、ステップS1において、フレームメモリ31に記憶された画像を構成する所定の1ラインが読み出され、ステップS2に進み、その読み出されたライン(以下、適宜、注目ラインという)が、第1ライン(1フレームの画像の最上行のライン)であるかどうかが判定される。ステップS2において、注目ラインが第1ラインであると判定された場合、ステップS3に進み、ラインスライド部36は、その第1ラインを、そのまま、符号化データとして出力し、ステップS4乃至S6をスキップして、ステップS7に進む。
また、ステップS2において、注目ラインが第1ラインでないと判定された場合、即ち、注目ラインが、第2ライン以降のいずれかのラインである場合、ステップS4に進み、ラインスライド部36は、注目ラインに埋め込むべき付加情報を、付加情報データベース2から読み出し、ステップS5に進む。ステップS5では、ラインスライド部36において、注目ラインが、ステップS4で読み出された付加情報に対応する画素数分だけ、水平方向にローテーションされる。
即ち、例えば、いま、図9(A)に示すように、第Nライン(N≠1)が注目ラインとされているとすると、ラインスライド部36は、図9(B)に示すように、その第Nラインを、付加情報の値と同一の画素数だけ、水平方向である左または右方向のうちの、例えば右方向にスライドする(ずらす)。そして、ラインスライド部36は、そのスライドにより、フレームの右にはみ出した第Nラインの部分を、図9(C)に示すように、その第Nラインの左側にはめ込む。
なお、ここでは、ラインを、付加情報の値と同一の画素数だけローテーションするようにしたが、その他、例えば、ローテーションは、付加情報に関連する値と同一の画素数だけ行うようにすることも可能である。即ち、例えば、付加情報が画像データである場合には、ローテーションは、その画像データの特徴量である画素値のヒストグラムや、分散、ダイナミックレンジ等から得られる値と同一の画素数だけ行うようにすることが可能である。
ラインスライド部36は、注目ラインをローテーションした後、ステップS6に進み、そのローテーション後の注目ラインを、符号化データとして出力し、ステップS7に進む。
ステップS7では、フレームメモリ31に、まだ読み出していない画像が記憶されているかどうかが判定され、記憶されていると判定された場合、ステップS1に戻り、例えば、いままで注目ラインとされていた1ライン下のライン(または、新たなフレームの第1ライン)が、新たに注目ラインとして読み出され、以下、同様の処理が繰り返される。
また、ステップS7において、フレームメモリ31に、まだ読み出していない画像が記憶されていないと判定された場合、埋め込み符号化処理を終了する。
以上のような埋め込み符号化処理によれば、ある1フレームの画像は、次のような符号化データに符号化される。
即ち、例えば、図10(A)に示すような画像に、付加情報として、10,150,200,・・・を埋め込む場合においては、図10(B)に示すように、第1ラインは、そのまま出力され、第2ラインは、最初の付加情報と同一の値である10画素だけ、右方向にローテーションされる。さらに、第3ラインは、2番目の付加情報と同一の値である150画素だけ、右方向にローテーションされ、第4ラインは、3番目の付加情報と同一の値である200画素だけ、右方向にローテーションされる。第5ライン以降も、同様に、付加情報に対応する画素数だけ、右方向にローテーションされていく。
以上のように、フレームメモリ31に記憶された画像を構成するラインを、付加情報に対応した画素数だけ、右方向にローテーションすることにより、各ラインに、付加情報を埋め込む場合には、その逆のローテーション(逆方向へのローテーション)を行うことで、元の画像を復号することができ、さらに、その逆のローテーションを行ったときのローテーション量が付加情報となる。従って、画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に付加情報を埋め込むことができる。
即ち、付加情報が埋め込まれたラインとしてのローテーションされたラインは、画像の相関性、即ち、ここでは、正しい位置にあるラインとの間の相関を利用することにより、オーバヘッドなしで、正しい位置のラインと付加情報に復号ことができる(ラインを、正しい位置に逆ローテーションするとともに、付加情報を復号することができる)。従って、その結果得られる復号画像(再生画像)には、基本的に、付加情報を埋め込むことによる画質の劣化は生じない。
なお、符号化データに、正しい位置にあるラインが存在しない場合には、上述のように画像の相関性を利用して、画像と付加情報を復号するのは困難である。そこで、ここでは、図8の埋め込み符号化処理において、各フレームの第1ラインには、付加情報を埋め込まないで(ローテーションしないで)、そのまま、符号化データとして出力するようにしている。
次に、図11は、図7の埋め込み符号化器3が出力する符号化データを、画像の相関性を利用して元の画像と付加情報に復号する図1の埋め込み復号器6のハードウェアの構成例を示している。
符号化データ、即ち、付加情報が埋め込まれた画像(以下、適宜、埋め込み画像ともいう)は、フレームメモリ41に供給されるようになされており、フレームメモリ41は、埋め込み画像を、例えば、フレーム単位で一時記憶するようになされている。なお、フレームメモリ41も、図6のフレームメモリ31と同様に構成され、バンク切り替えを行うことにより、埋め込み画像が、動画であっても、そのリアルタイム処理が可能となっている。
CPU42は、プログラムメモリ43に記憶されたプログラムを実行することで、後述する埋め込み復号処理を行うようになされている。即ち、CPU42は、フレームメモリ41に記憶された埋め込み画像を、画像の相関性を利用して元の画像と付加情報に復号するようになされている。具体的には、CPU42は、埋め込み画像を構成するラインについて、そのラインを、水平方向に、例えば、1画素ずつローテーションしながら、その1ライン上のラインとの相関を計算する。そして、その相関が最大になるときのローテーション量を、付加情報の復号結果として出力するとともに、そのローテーション量だけローテーションしたラインを、ラインの復号結果として出力する。
プログラムメモリ43は、例えば、図6のプログラムメモリ33と同様に構成され、CPU42に、埋め込み復号化処理を行わせるためのコンピュータプログラムなどを記憶している。
次に、図12は、図11の埋め込み復号器6の機能的な構成例を示している。なお、この図12に示した機能的な構成は、CPU42がプログラムメモリ43に記憶されたコンピュータプログラムを実行することで実現されるようになされている。
フレームメモリ41は、図11で説明したように、埋め込み画像を一時記憶するようになされている。
ライン相関計算部46は、フレームメモリ41に記憶された埋め込み画像の所定のラインを読み出し、そのラインを、1画素ずつ右または左のうちのいずれか一方向にローテーションしながら、そのローテーション後のラインと、その1つ上の行のラインとの間の相関を表す相関値を演算するようになされている。即ち、ライン相関計算部46は、図13(A)に示すように、フレームメモリ41に記憶された埋め込み画像の復号対象のライン(このラインも、以下、適宜、注目ラインという)と、その1ライン上のライン(このラインは、注目ラインを復号するための、いわばキーとなるため、以下、適宜、キーラインという)とを読み出し、そのラインどうしの相関値を計算する。さらに、ライン相関計算部46は、図13(B)に示すように、注目ラインを、1画素だけ右または左のうちのいずれかにローテーションし(図13では、図9で説明した場合の逆方向である左方向にローテーションしている)、そのローテーション後の注目ラインとキーラインラインとの間の相関値を演算する。以下、同様にして、ライン相関計算部46は、注目ラインが元の位置(埋め込み画像上の元の位置)に戻るまで、注目ラインをローテーションしながら、キーラインとの間の相関値を計算する。
ここで、キーラインと注目ラインとの相関を表す相関値としては、例えば、図13(B)に示すように、キーラインと注目ラインの対応する画素501と502、503と504、・・・それぞれの差分絶対値(差分の絶対値)の総和や、その差分の2乗和等を用いることができる。なお、この場合、相関値が小さいことは、キーラインと注目ラインとの相関が大きいことを表し、逆に、相関値が大きいことは、キーラインと注目ラインとの相関が小さいことを表す。
ライン相関計算部46において求められた各ローテーション量での注目ラインとキーラインとの相関値は、すべてローテーション量決定部47に供給されるようになされている。ローテーション量決定部47は、ライン相関計算部46から供給される相関値に基づき、注目ラインとキーラインとの相関が最大になるときの注目ラインのローテーション量を検出し、そのローテーション量を、注目ラインの最終的なローテーション量(以下、適宜、決定ローテーション量という)として決定するようになされている。この決定ローテーション量は、付加情報の復号結果として出力されるとともに、ラインスライド部48に供給されるようになされている。
ラインスライド部48は、フレームメモリ41に記憶された注目ラインを、ローテーション量決定部47から供給されるローテーション量だけ、ライン相関計算部46における場合と同様の左方向にローテーションし、さらに、そのローテーション後の注目ラインを読み出し、その注目ラインの復号結果として出力するようになされている。
次に、図14のフローチャートを参照して、図12の埋め込み復号器6において行われる埋め込み復号処理について説明する。
フレームメモリ41では、そこに供給される埋め込み画像(符号化データ)が、例えば、1フレーム単位で順次記憶される。
一方、ライン相関計算部46では、ステップS11において、フレームメモリ41に記憶された埋め込み画像の所定の1ラインが、注目ラインとして読み出され、ステップS12に進み、その注目ラインが、第1ラインであるかどうかが判定される。ステップS12において、注目ラインが、第1ラインであると判定された場合、ステップS13に進み、ラインスライド部48は、第1ラインである注目ラインを、フレームメモリ41から読み出し、そのまま出力して、ステップS14乃至S19をスキップして、ステップS20に進む。即ち、本実施の形態では、上述したことから、第1ラインには、付加情報が埋め込まれていないため(従って、ローテーションされていない)、第1ラインは、そのまま出力される。
また、ステップS12において、注目ラインが、第1ラインでないと判定された場合、即ち、注目ラインが、第2ライン以降のいずれかのラインである場合、ステップS14に進み、ライン相関計算部46は、注目ラインの1ライン上のラインをキーラインとして、フレームメモリ41から読み出し、ステップS15に進む。ステップS15では、ライン相関計算部46において、注目ラインとキーラインとの間の相関値(ライン相関値)が計算され、ローテーション決定部47に出力される。
ここで、ライン相関計算部46では、例えば、注目ラインを構成する各画素と、その画素と同一列にあるキーラインの画素との差分の絶対値和または自乗和が、注目ラインとキーラインとの間の相関値として計算される。従って、ここでは、この「相関値」が最小の値をとるときが、注目ラインとキーラインとの間の「相関」が最大になる。
ステップS15の処理後は、ステップS16に進み、ライン相関計算部46において、注目ラインが、左方向に、1画素だけローテーションされる。そして、ステップS17に進み、ステップS16で注目ラインがローテーションされることにより、そのローテーション後の注目ラインの各画素が、フレームメモリ41に記憶されている注目ラインの各画素の位置に戻ったかどうかが判定される。
ステップS17において、ローテーション後の注目ラインの各画素が、フレームメモリ41に記憶されている注目ラインの各画素の位置に戻っていないと判定された場合、ステップS15に戻り、ローテーション後の注目ラインとキーラインとの間の相関値が計算され、以下、同様の処理が繰り返される。
また、ステップS17において、ローテーション後の注目ラインの各画素が、フレームメモリ41に記憶されている注目ラインの各画素の位置に戻ったと判定された場合、ステップS18に進み、ローテーション量決定部48において、ライン相関計算部46から供給される相関値に基づき、注目ラインとキーラインとの相関が最大になるときの注目ラインのローテーション量が、決定ローテーション量として決定される。さらに、ローテーション量決定部47は、その決定ローテーション量を、ラインスライド部48に供給するとともに、注目ラインに埋め込まれていた付加情報の復号結果として出力し、ステップS19に進む。
ステップS19では、ラインスライド部48において、フレームメモリ41に記憶された注目ラインが、ローテーション量決定部47から供給されたローテーション量だけ、ライン相関計算部46における場合と同様の左方向にローテーションされる。さらに、ラインスライド部48は、その左方向のローテーション後の注目ラインを読み出し、その注目ラインの復号結果として出力し、ステップS20に進む。
ステップS20では、フレームメモリ41に、まだ処理していない埋め込み画像が記憶されているかどうかが判定され、記憶されていると判定された場合、ステップS11に戻り、例えば、いままで注目ラインとされていた1ライン下のライン(または、新たな埋め込み画像のフレームの第1ライン)が、新たに注目ラインとして読み出され、以下、同様の処理が繰り返される。
また、ステップS20において、フレームメモリ41に、まだ処理していない埋め込み画像が記憶されていないと判定された場合、埋め込み復号処理を終了する。
以上のように、付加情報が埋め込まれた画像である符号化データを、画像の相関性を利用して、元の画像と付加情報に復号するようにしたので、その復号のためのオーバヘッドがなくても、符号化データを、元の画像と付加情報に復号することができる。従って、その復号画像には、基本的に、付加情報を埋め込むことによる画質の劣化は生じない。
なお、本実施の形態では、注目ラインと、キーラインとの間の相関を表す相関値として、対応する画素どうしの差分絶対値の総和または自乗和を用いるようにしたが、相関値は、これに限定されるものではない。
さらに、本実施の形態では、1ラインを、1の付加情報にしたがってローテーションするようにしたため、1ラインを構成する画素数だけの範囲内の値の付加情報の埋め込みが可能であるが、1ラインを構成する画素数より大きい範囲内の値の付加情報の埋め込みは、例えば、2ラインなどの複数ラインを、1の付加情報にしたがってローテーションするようにすることで行うことが可能である。
また、本実施の形態では、画像の水平方向に並ぶ画素であるラインを、付加情報にしたがってローテーションするようにしたが、その他、例えば、図15(A)に示すように、画像の垂直方向の画素の並びをローテーションしたり、あるいは、図15(B)や図15(C)に示すように、画像の斜め方向の画素の並びをローテーションするようにすることも可能である。さらに、例えば、時間方向に並ぶ所定数のフレームの同一位置にある画素の並びをローテーションしたり、水平方向、垂直方向、斜め方向、または時間方向うちの2方向以上について同時にローテーションするようにすることも可能である。
また、本実施の形態では、各フレームの第1ラインだけはローテーションしないようにしたが(ローテーションを禁止したが)、その他、例えば、最下行のラインだけをローテーションしないようにすることも可能である。この場合、埋め込み復号処理では、より下の行のラインから、順次、注目ラインとし、注目ラインの1ライン下のラインをキーラインとして復号を行えば良い。
さらに、例えば、各フレームのラインを1行おきにローテーションしないようにすることなども可能である。この場合、埋め込み復号処理において、ローテーションしたラインの上下のラインをキーラインとして復号を行うことで、より精度良く、復号を行うことが可能となる。
また、本実施の形態では、注目ラインの1ライン上のラインだけをキーラインとして、埋め込み復号を行うようにしたが、その他、例えば、注目ラインの上にある2以上のラインをキーラインとすることも可能である。
さらに、本実施の形態では、各フレームの第1ラインだけはローテーションしないようにしたが、各フレームの第1ラインも含むすべてのラインをローテーションの対象とすることも可能である。
また、付加情報として用いる情報は、特に限定されるものではなく、例えば、画像や、音声、テキスト、コンピュータプログラム、制御信号、その他のデータを付加情報として用いることが可能である。なお、画像データベース1の画像の一部を付加情報とし、残りを、フレームメモリ31への供給対象とすれば、その残りの部分に、付加情報とされた画像の一部分が埋め込まれるから、画像の圧縮が実現されることになる。
さらに、本実施の形態では、付加情報を、画像に埋め込むようにしたが、付加情報は、その他、例えば、音声に埋め込むことも可能である。即ち、例えば、時系列の音声データを、適当なフレームに区切り、各フレームの音声データを、付加情報にしたがって時間方向等にローテーションすることで、付加情報を、音声に埋め込むことが可能である。
また、本実施の形態では、付加情報が埋め込まれた埋め込み画像を、画像の相関性に基づいて、付加情報と元の画像に復号するようにしたが、埋め込み画像は、その他、上述の連続性や相似性に基づいて復号することも可能である。即ち、埋め込み画像の復号は、注目しているラインと、それに隣接するライン等との連続性や相似性の関係を表す値を求め、その値に基づいて行うことが可能である。
さらに、本実施の形態では、CPU32または42に、コンピュータプログラムを実行させることで、埋め込み符号化処理または埋め込み復号処理をそれぞれ行うようにしたが、これらの処理は、それ専用のハードウェアによって行うことも可能である。
また、本実施の形態では、CPU32または42に実行させるコンピュータプログラムを、プログラムメモリ33または43にそれぞれ記憶させておくようにしたが、このコンピュータプログラムは、例えば、半導体メモリ、磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、相変化ディスクなどの記録媒体や、インターネット、地上波、衛星回線、公衆網、CATV(Cable Television)網などの伝送媒体を介して提供するようにすることが可能である。
次に、上述した一連の処理は、コンピュータに、プログラムをインストールして行わせることが可能である。
そこで、図16を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる、そのプログラムが記録されている記録媒体について説明する。
プログラムは、図16(A)に示すように、コンピュータ601に内蔵されている記録媒体としてのハードディスク602や半導体メモリ603に予め記録しておくことができる。
あるいはまた、プログラムは、図16(B)に示すように、フロッピー(登録商標)ディスク611、CD-ROM(Compact Disc Read Only Memory)612,MO(Magneto Optical)ディスク613,DVD(Digital Versatile Disc)614、磁気ディスク615、半導体メモリ616などの記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このような記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したような記録媒体からコンピュータにインストールする他、図16(C)に示すように、ダウンロードサイト621から、ディジタル衛星放送用の人工衛星622を介して、コンピュータ601に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワーク631を介して、コンピュータ601に有線で転送し、コンピュータ601において、内蔵するハードディスク602などにインストールすることができる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。
また、プログラムは、1のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
次に、図17は、図16のコンピュータ601の構成例を示している。
コンピュータ601は、図17に示すように、CPU(Central Processing Unit)642を内蔵している。CPU642には、バス641を介して、入出力インタフェース645が接続されており、CPU642は、入出力インタフェース645を介して、ユーザによって、キーボードやマウス等で構成される入力部647が操作されることにより指令が入力されると、それにしたがって、図16(A)の半導体メモリ603に対応するROM(Read Only Memory)643に格納されているプログラムを実行する。あるいは、また、CPU642は、ハードディスク602に格納されているプログラム、衛星622若しくはネットワーク631から転送され、通信部648で受信されてハードディスク602にインストールされたプログラム、ドライブ649に装着されたフロッピー(登録商標)ディスク611、CD-ROM612、MOディスク613、DVD614、若しくは磁気ディスク615から読み出されてハードディスク602にインストールされたプログラム、または半導体メモリ616から読み出されたプログラムを、RAM(Random Access Memory)644にロードして実行する。これにより、CPU642では、図8や図14に示したフローチャートにしたがった処理が行われる。そして、CPU642は、その処理結果を、例えば、入出力インタフェース645を介して、必要に応じて、LCD(Liquid Crystal Display)等で構成される表示部646に出力し、あるいは、通信部648から送信等する。
本発明を適用した画像伝送システムの一実施の形態の構成例を示すブロック図である。 符号化対象の画像を示す図である。 相関性を利用した符号化/復号を説明するための図である。 連続性を利用した符号化/復号を説明するための図である。 相似性を利用した符号化/復号を説明するための図である。 図1の埋め込み符号化器3のハードウェアの構成例を示すブロック図である。 図6の埋め込み符号化器3の機能的構成例を示すブロック図である。 埋め込み符号化処理を説明するためのフローチャートである。 図8におけるステップS5の処理を説明するための図である。 埋め込み符号化処理の結果を説明するための図である。 図1の埋め込み復号器6のハードウェアの構成例を示すブロック図である。 図11の埋め込み復号器6の機能的構成例を示すブロック図である。 図12のライン相関計算部46の処理を説明するための図である。 埋め込み復号処理を説明するためのフローチャートである。 ローテーションを行う画素の並びの例を示す図である。 本発明を適用した記録媒体を説明するための図である。 図16のコンピュータ601の構成例を示すブロック図である。
符号の説明
1 画像データベース, 2 付加情報データベース, 3 埋め込み符号化器, 4 記録媒体, 5 伝送媒体, 6 埋め込み復号器, 10 符号化装置, 20 復号装置, 31 フレームメモリ, 32 CPU, 33 プログラムメモリ, 36 ラインスライド部, 41 フレームメモリ, 42 CPU, 43 プログラムメモリ, 46 ライン相関計算部, 47 ローテーション量決定部, 48 ラインスライド部, 601 コンピュータ, 602 ハードディスク, 603 半導体メモリ, 611 フロッピー(登録商標)ディスク, 612 CD-ROM, 613 MOディスク, 614 DVD, 615 磁気ディスク, 616 半導体メモリ, 621 ダウンロードサイト, 622 衛星, 631 ネットワーク, 641 バス, 642 CPU, 643 ROM, 644 RAM, 645 入出力インタフェース, 646 表示部, 647 入力部, 648 通信部, 649 ドライブ

Claims (8)

  1. 相関性、連続性、または相似性のうちの少なくともいずれか1つの関係性を有する第1のデータを、第2のデータにしたがって符号化した符号化データを復号する復号装置であって、
    前記符号化データの少なくとも一部のデータを所定単位でローテーションするローテーション処理と、ローテーション後の前記一部のデータと、ローテーション後の一部のデータの周辺にある周辺データとの前記関係性を表す関係値を演算する処理とを、前記一部のデータを所定単位でローテーションするたびに繰り返して行う関係値演算手段と、
    前記関係値演算手段により求められた複数の前記関係値のうちの、最小の関係値が求められたときのローテーション量を決定することにより、前記第1のデータに埋め込まれた前記第2のデータを復号する第2のデータ復号手段と、
    前記第2のデータ復号手段により決定された前記ローテーション量に応じて、一部のデータをローテーションすることにより、前記符号化データを、前記第1のデータに復号する第1のデータ復号手段と
    を備えることを特徴とする復号装置。
  2. 前記第2のデータ復号手段は、ローテーションされた前記一部のデータと、前記周辺データとの関係値を、前記ローテーション量を変えて求め、前記関係値が最大になるときの前記ローテーション量を決定する
    ことを特徴とする請求項1に記載の復号装置。
  3. 前記第1のデータが、複数の画素データから構成される画像データであり、
    前記ローテーション手段は、前記符号化データ上の水平方向に並ぶ1ラインの画素データを、前記水平方向にローテーションする
    ことを特徴とする請求項1に記載の復号装置。
  4. 前記符号化データの一部は、前記ローテーション手段によるローテーションが禁止されている
    ことを特徴とする請求項1に記載の復号装置。
  5. 前記第2のデータ復号手段は、決定した前記ローテーション量に相当する値を、前記第2のデータとして復号する
    ことを特徴とする請求項1に記載の復号装置。
  6. 相関性、連続性、または相似性のうちの少なくともいずれか1つの関係性を有する第1のデータを、第2のデータにしたがって符号化した符号化データを復号する復号方法であって、
    前記符号化データの少なくとも一部のデータを所定単位でローテーションするローテーション処理と、ローテーション後の前記一部のデータと、ローテーション後の一部のデータの周辺にある周辺データとの前記関係性を表す関係値を演算する処理とを、前記一部のデータを所定単位でローテーションするたびに繰り返して行う関係値演算ステップと、
    前記関係値演算ステップにおいて求められた複数の前記関係値のうちの、最小の関係値が求められたときのローテーション量を決定することにより、前記第1のデータに埋め込まれた前記第2のデータを復号する第2のデータ復号ステップと、
    前記第2のデータ復号ステップにおいて決定された前記ローテーション量に応じて、一部のデータをローテーションすることにより、前記符号化データを、前記第1のデータに復号する第1のデータ復号ステップと
    を備えることを特徴とする復号方法。
  7. 相関性、連続性、または相似性のうちの少なくともいずれか1つの関係性を有する第1のデータを、第2のデータにしたがって符号化した符号化データを復号する復号処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
    前記符号化データの少なくとも一部のデータを所定単位でローテーションするローテーション処理と、ローテーション後の前記一部のデータと、ローテーション後の一部のデータの周辺にある周辺データとの前記関係性を表す関係値を演算する処理とを、前記一部のデータを所定単位でローテーションするたびに繰り返して行う関係値演算ステップと、
    前記関係値演算ステップにおいて求められた複数の前記関係値のうちの、最小の関係値が求められたときのローテーション量を決定することにより、前記第1のデータに埋め込まれた前記第2のデータを復号する第2のデータ復号ステップと、
    前記第2のデータ復号ステップにおいて決定された前記ローテーション量に応じて、一部のデータをローテーションすることにより、前記符号化データを、前記第1のデータに復号する第1のデータ復号ステップと
    を備えるプログラムが記録されている
    ことを特徴とする記録媒体。
  8. 相関性、連続性、または相似性のうちの少なくともいずれか1つの関係性を有する第1のデータを、第2のデータにしたがって符号化して符号化データとし、その符号化データを復号するデータ処理装置であって、
    前記第1のデータの少なくとも一部のデータを記憶する記憶手段と、
    前記第2のデータにしたがって、復号時に前記第1のデータを復元できるように前記記憶手段に記憶された前記第1のデータのうちの一部のデータをローテーションすることにより、前記第1のデータに、前記第2のデータに関連するデータを埋め込み、前記符号化データとする符号化手段と、
    前記符号化データの少なくとも一部のデータを所定単位でローテーションするローテーション処理と、ローテーション後の前記一部のデータと、ローテーション後の一部のデータの周辺にある周辺データとの前記関係性を表す関係値を演算する処理とを、前記一部のデータを所定単位でローテーションするたびに繰り返して行う関係値演算手段と、
    前記関係値演算手段により求められた複数の前記関係値のうちの、最小の関係値が求められたときのローテーション量を決定することにより、前記第1のデータに埋め込まれた前記第2のデータを復号する第2のデータ復号手段と、
    前記第2のデータ復号手段により決定された前記ローテーション量に応じて、一部のデータをローテーションすることにより、前記符号化データを、前記第1のデータに復号する第1のデータ復号手段と
    を備えることを特徴とするデータ処理装置。
JP2008110537A 1998-10-07 2008-04-21 復号装置および復号方法、記録媒体、並びにデータ処理装置 Expired - Fee Related JP4556147B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008110537A JP4556147B2 (ja) 1998-10-07 2008-04-21 復号装置および復号方法、記録媒体、並びにデータ処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP28531098 1998-10-07
JP2008110537A JP4556147B2 (ja) 1998-10-07 2008-04-21 復号装置および復号方法、記録媒体、並びにデータ処理装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP28419899A Division JP4147700B2 (ja) 1998-10-07 1999-10-05 符号化装置および符号化方法、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2008236777A JP2008236777A (ja) 2008-10-02
JP4556147B2 true JP4556147B2 (ja) 2010-10-06

Family

ID=17689880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008110537A Expired - Fee Related JP4556147B2 (ja) 1998-10-07 2008-04-21 復号装置および復号方法、記録媒体、並びにデータ処理装置

Country Status (5)

Country Link
EP (1) EP0993200B1 (ja)
JP (1) JP4556147B2 (ja)
KR (1) KR100720298B1 (ja)
CN (1) CN1187978C (ja)
DE (1) DE69943015D1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4214440B2 (ja) * 2000-10-19 2009-01-28 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
EP1414273A1 (en) 2002-10-22 2004-04-28 Koninklijke Philips Electronics N.V. Embedded data signaling
US9560349B2 (en) 2005-04-19 2017-01-31 Koninklijke Philips N.V. Embedded data signaling

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6281145A (ja) * 1985-10-04 1987-04-14 Hitachi Ltd デ−タ暗号化方式
JPS63164509A (ja) * 1986-12-26 1988-07-07 Nippon Telegr & Teleph Corp <Ntt> 遅延検波回路
FR2631192A1 (fr) * 1988-05-06 1989-11-10 Europ Rech Electr Lab Procede d'embrouillage d'images de television
US5144663A (en) * 1986-04-18 1992-09-01 Kudelski S.A. Fabrique D'engregistreurs Nagra Method of interactive communication between a subscriber and a decoder of a system of pay-television and decoder thereof
JPH06303232A (ja) * 1993-04-15 1994-10-28 Matsushita Electric Ind Co Ltd スクランブル方法およびスクランブル装置
JPH0757026B2 (ja) * 1984-06-01 1995-06-14 ソニー株式会社 テレビジョン信号の伝送方式
JP2000059743A (ja) * 1998-08-06 2000-02-25 Sony Corp 画像処理装置および画像処理方法、並びに提供媒体
US6804372B1 (en) * 1998-10-07 2004-10-12 Sony Corporation Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal
US6965697B1 (en) * 1998-07-15 2005-11-15 Sony Corporation Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal
JP3991249B2 (ja) * 1998-07-15 2007-10-17 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法、情報処理装置および情報処理方法、並びに記録媒体
JP4143884B2 (ja) * 1998-10-07 2008-09-03 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法、記録媒体、並びにデータ処理装置
JP4147700B2 (ja) * 1998-10-07 2008-09-10 ソニー株式会社 符号化装置および符号化方法、並びに記録媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS645242A (en) * 1987-06-29 1989-01-10 Matsushita Electric Ind Co Ltd Bit scramble circuit
KR950001576B1 (ko) * 1991-12-27 1995-02-25 주식회사금성사 위성방송 수신기의 강우 감쇄 보상회로
US5413669A (en) * 1994-02-07 1995-05-09 Applied Materials, Inc. Metal CVD process with post-deposition removal of alloy produced by CVD process
KR970001084B1 (ko) * 1994-08-18 1997-01-25 동양나이론 주식회사 폴리아미드계 합성섬유의 권취형태 개선을 위한 유제조성물
KR960030906A (ko) * 1995-02-13 1996-09-17 원인호 사상과 오행용 약엑기스와 쑥엑기스를 내접시킨 무연구 및 이의 제법
TW329454B (en) * 1995-08-28 1998-04-11 Komatsu Mfg Co Ltd Method for measuring the location and position of a tunnel machine
US5815572A (en) * 1995-08-31 1998-09-29 Lucent Technologies Inc. Video scrambling
KR970028549A (ko) * 1995-11-15 1997-06-24 올뮬러 알. 피. 크레아틴 키나아제의 정량방법 및 그 시약
KR970027567A (ko) * 1995-11-21 1997-06-24 장병철 유압 잭(jack)에 의한 고층 건물 시공방법 및 장치
US6229924B1 (en) * 1996-05-16 2001-05-08 Digimarc Corporation Method and apparatus for watermarking video images
US5825892A (en) * 1996-10-28 1998-10-20 International Business Machines Corporation Protecting images with an image watermark
KR100777144B1 (ko) * 1998-10-07 2007-11-19 소니 가부시끼 가이샤 코딩 장치와 방법, 디코딩 장치와 방법, 데이터 처리 시스템, 저장 매체, 및 기록 매체

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0757026B2 (ja) * 1984-06-01 1995-06-14 ソニー株式会社 テレビジョン信号の伝送方式
JPS6281145A (ja) * 1985-10-04 1987-04-14 Hitachi Ltd デ−タ暗号化方式
US5144663A (en) * 1986-04-18 1992-09-01 Kudelski S.A. Fabrique D'engregistreurs Nagra Method of interactive communication between a subscriber and a decoder of a system of pay-television and decoder thereof
JP2610260B2 (ja) * 1986-04-18 1997-05-14 ナグラ プリュ ソシエテ アノニム 加入者テレビジョン方式用デューダ
JPS63164509A (ja) * 1986-12-26 1988-07-07 Nippon Telegr & Teleph Corp <Ntt> 遅延検波回路
FR2631192A1 (fr) * 1988-05-06 1989-11-10 Europ Rech Electr Lab Procede d'embrouillage d'images de television
JPH06303232A (ja) * 1993-04-15 1994-10-28 Matsushita Electric Ind Co Ltd スクランブル方法およびスクランブル装置
JP3991249B2 (ja) * 1998-07-15 2007-10-17 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法、情報処理装置および情報処理方法、並びに記録媒体
US6965697B1 (en) * 1998-07-15 2005-11-15 Sony Corporation Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal
US20050265443A1 (en) * 1998-07-15 2005-12-01 Tetsujiro Kondo Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal
JP2000059743A (ja) * 1998-08-06 2000-02-25 Sony Corp 画像処理装置および画像処理方法、並びに提供媒体
US6804372B1 (en) * 1998-10-07 2004-10-12 Sony Corporation Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal
US20050031161A1 (en) * 1998-10-07 2005-02-10 Tetsujiro Kondo Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal
JP4143884B2 (ja) * 1998-10-07 2008-09-03 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法、記録媒体、並びにデータ処理装置
JP4147700B2 (ja) * 1998-10-07 2008-09-10 ソニー株式会社 符号化装置および符号化方法、並びに記録媒体
JP4182603B2 (ja) * 1998-10-07 2008-11-19 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法、記録媒体、並びにデータ処理装置

Also Published As

Publication number Publication date
EP0993200A3 (en) 2001-04-11
EP0993200A2 (en) 2000-04-12
CN1256589A (zh) 2000-06-14
DE69943015D1 (de) 2011-01-20
EP0993200B1 (en) 2010-12-08
JP2008236777A (ja) 2008-10-02
KR100720298B1 (ko) 2007-05-22
KR20000028900A (ko) 2000-05-25
CN1187978C (zh) 2005-02-02

Similar Documents

Publication Publication Date Title
JP4147700B2 (ja) 符号化装置および符号化方法、並びに記録媒体
JP4822304B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
JP3924967B2 (ja) 符号化装置および方法、復号装置および方法、記録媒体、並びにデータ処理システム
US6859155B2 (en) Data processing device
JP3991249B2 (ja) 符号化装置および符号化方法、復号装置および復号方法、情報処理装置および情報処理方法、並びに記録媒体
US7738711B2 (en) Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal
JP4182603B2 (ja) 符号化装置および符号化方法、復号装置および復号方法、記録媒体、並びにデータ処理装置
JP4556147B2 (ja) 復号装置および復号方法、記録媒体、並びにデータ処理装置
JP2002278748A (ja) データ処理装置およびデータ処理方法、プログラムおよびプログラム記録媒体、並びに符号化データおよびデータ記録媒体
JP4143884B2 (ja) 符号化装置および符号化方法、復号装置および復号方法、記録媒体、並びにデータ処理装置
JP4232118B2 (ja) データ処理装置、データ処理方法、およびプログラム
KR100711012B1 (ko) 코딩 장치 및 방법, 디코딩 장치 및 방법, 데이터 처리 시스템, 기억 매체 및 신호
JP4374712B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP3944821B2 (ja) データ処理装置、データ処理方法、およびプログラム
JP4092608B2 (ja) 画像処理装置および画像処理方法、並びにプログラム格納媒体
JP4548434B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
KR20000028877A (ko) 부호화 장치와 방법, 복호화 장치와 방법, 데이터 처리시스템, 저장 매체, 및 신호
JP4099687B2 (ja) 画像処理装置および画像処理方法、並びに媒体
JP2003125194A (ja) データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100624

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100707

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees