JP3884891B2 - Image processing apparatus and method, and storage medium - Google Patents

Description

となり０にはならない。
【０１０６】
即ち、ある画像が与えられた時に、画像に対して信頼度距離dを算出することによって、d≒０ならば付加情報Infは埋め込まれておらず、一方でdが０から一定量以上離れた値であるなら付加情報Infが埋め込まれていると判断できる。
【０１０７】
以上がパッチワーク法の基本的な考え方である。
【０１０８】
このパッチワーク法の原理を応用し、本実施の形態では複数のビットの情報を埋め込む。本方法においては、部分集合Aと部分集合Bの選択の方法についてもパターン配列によって定義している。
【０１０９】
上述の方法においては、原画像の所定の要素に対してパターン配列の要素を加えたり減じたりすることによって、付加情報Infの埋め込みを実現している。
【０１１０】
簡単なパターン配列の例を図９に示す。図９は、１ビットを埋め込む為に８×８画素を参照する場合の、元の画像からの画素値の変更量を示すパターン配列である。図９の様に、パターン配列は正の値を持つ配列要素、負の値を持つ配列要素、及び０の値を持つ配列要素から構成される。
【０１１１】
図９のパターンにおいて、＋ｃの配列要素で示される位置は対応位置の画素値をｃだけ上昇させる位置を示し、上述した部分集合Aに相当する位置である。一方−ｃの配列要素で示される位置は対応位置の画素値をｃ減少させる位置を示し、上述した部分集合Bに相当する位置である。また０で示される位置は上述した部分集合A,B以外の位置であることを示す。
【０１１２】
本実施の形態では、画像の全体的な濃度を変化させない為にも正の値を持つ配列要素の個数と負の値を持つ配列要素の個数を等しくしている。即ち、１つのパターン配列において全ての配列要素の和が０になっている。なお、後述する付加情報Infの抽出操作の時にはこの条件が必須である。
【０１１３】
以上の様なパターン配列を用いて付加情報Infを構成する各ビット情報の埋め込み操作を行う。
【０１１４】
本実施の形態では、図９のパターンを元の画像データにおける互いに異なる領域に複数回配置して画素値を上昇／減少させることにより、複数のビット情報、即ち付加情報Infを埋め込む。言い換えれば、１つの画像の互いに異なる領域に、部分集合AとBの組み合わせだけでなく、部分集合A’とB’、部分集合A”とB”、…という複数の組み合わせを想定することで、複数のビットからなる付加情報Infを埋め込む。
【０１１５】
なお、本実施の形態では元の画像データが大きい場合には、繰り返し付加情報Infを埋め込むことになる。これはパッチワーク法が統計的性質を利用しているものであることから、統計的性質が現れるのに充分な数を必要とすることによる。
【０１１６】
また、本実施の形態では複数ビットを埋め込む際にパターン配列を用いて画素値を変更する領域が重ならない様にする為、予め互いのビット同志でパターン配列を使用する相対位置を決定する。即ち、付加情報Infを構成する１ビット目の情報を埋め込む為のパターン配列の位置と、２ビット目の情報を埋め込む為のパターン配列の位置の関係は適切に定められる。
【０１１７】
例えば付加情報Infが１６ビットで構成されていれば、１〜１６ビット目の夫々の８×８画素のパターン配列の位置関係は、３２×３２画素よりも大きいサイズの領域上で画質劣化が少なくなる様に相対的に与えられる。
【０１１８】
更に、上記付加情報Inf（これを構成する各ビット情報）は、画像データが大きい場合には、できるだけ多くの回数繰り返して埋め込む。これは、付加情報Infの各ビットを正しく抽出可能とすることが目的である。特に本実施の形態では、同一の付加情報Infが繰り返し埋め込まれていることを利用した統計的な計測を行うので、上記繰り返しは重要である。
【０１１９】
以上説明した様な埋め込み位置の選択は、図１における埋め込み位置決定手段０１０３において実行される。次に、この埋め込み位置決定手段の動作について説明する。
【０１２０】
[３−２埋め込み位置決定処理]
図１１は埋め込み位置決定手段０１０３の内部構成を記している。
【０１２１】
図１１のマスク作成手段１１０１は、付加情報Infを構成する各ビット情報の埋め込み位置を規定する為のマスクの作成を行う。マスクとは、各ビット情報に対応するパターン配列（図９参照）の相対的な配置方法を規定する位置情報を備えたマトリクスである。
【０１２２】
図１７の１７０１にマスクの一例を示す。マスクの内部には夫々係数値が割り当てられており、各々の係数値はマスク内で等しい出現頻度を有している。このマスクを用いる場合であれば、最大１６ビットからなる付加情報Infを埋め込むことが可能である。
【０１２３】
次にマスク参照手段１１０２は、マスク作成手段１１０１で作成したマスクを読みこみ、マスク内の各係数値と、各ビット情報が何ビット目かの情報を対応付けて、各ビット情報を埋め込む為のパターン配列の配置方法を決定する。
【０１２４】
更にマスク・パターン配列対応手段１１０３は、マスク内の各係数値の位置に各パターン配列の配列要素（８×８サイズ）を展開する。即ち、図１７の１７０１に示されるマスクの各係数値（１マス）を、同図１７０３の様に８×８倍にして各パターン配列の埋め込み位置として参照可能とする。
【０１２５】
後述の付加情報埋め込み手段０１０４は、図１７の埋め込み先頭座標１７０２を参照して、パターン配列を用いて各ビット情報を埋め込むことになる。
【０１２６】
なお、本実施の形態ではマスク作成手段１１０１に、画像データ（青色成分）を入力する毎に上記マスクを作成する。よって、大きいサイズの画像データを入力する場合には、複数回繰り返して同一の付加情報Infを埋め込むことになる。
【０１２７】
上記の方法では画像から付加情報Infを抽出する場合に、上記マスクの構成（係数値の配列）が鍵の役割を果たす。即ち、鍵の所有者だけが情報の抽出を行えるという効果がある。
【０１２８】
なお本発明は、リアルタイムにマスクを作成せずに、予め作成しておいたマスクをマスク作成手段１１０１の内部記憶手段などに記憶させておき、必要時に呼び出す場合も範疇に含む。この場合には高速に後段の処理に移行することができる。
【０１２９】
次に、埋め込み位置決定手段０１０３の中で実行される各処理の詳細を説明する。
【０１３０】
[３−２−１ マスク作成手段]
はじめに、マスク作成手段１１０１について説明する。
【０１３１】
パッチワーク法を用いた付加情報Infの埋め込みにおいて、攻撃耐性を強める為に画素値に大きな操作を加えて情報を埋め込んだ場合（例えばパターン配列のCの値を大きく設定した場合）には、元の画像データが表す画像において画素値の急激な変化の有るいわゆるエッジ部分では画質の劣化は比較的目立ちにくいが、画素値の変化の少ない平坦部では画素値を操作した部分がノイズとして目立ってしまう。
【０１３２】
図１３に人間の目で知覚する空間周波数特性を示す。横軸は空間周波数(Radial Frequency)を示し、縦軸は視覚の応答値である。画素値を操作し、情報を埋めこんだ場合、人間の目が敏感に知覚できる低周波数領域では画質劣化が目立つことが図１３から分かる。
【０１３３】
その為本実施の形態では、多値画像の２値化処理に通常使用されているブルーノイズマスクやコーンマスクの特性を考慮し、各ビットに対応するパターンの配置を行う。
【０１３４】
次にブルーノイズマスク、コーンマスクの特性について簡単な説明を行う。
【０１３５】
まず初めにブルーノイズマスクの特性について説明する。
【０１３６】
ブルーノイズマスクはどの様な閾値で２値化してもブルーノイズパターンとなる特性を有する。このブルーノイズパターンとは空間周波数が高周波領域に偏った周波数特性を示すパターンである。
【０１３７】
図３７に、あるブルーノイズマスクの一部を示す。
【０１３８】
また図１４の１４０１には、閾値１０で２値化したブルーノイズマスクの空間周波数特性の概略図を示す。
【０１３９】
１４０１の横軸はRadial Frequencyであり、ブルーノイズマスクをフーリエ変換したときの原点（直流成分）からの距離を示している。縦軸はPower spectrumであり、横軸Radial Frequencyの示す距離にある振幅成分の２乗和をとり平均化した値である。なお、同図は画像の２次元周波数特性を１次元グラフ化し視覚的に分かりやすくしたものである。
【０１４０】
図１３と比較してみると、ブルーノイズマスクは高周波成分に偏りがある為、人間の目に知覚されにくいことが分かる。従って、インクジェットプリンタ等では、ドットを用いた面積階調で多値画像の階調を表現する際に、ブルーノイズマスクを用いることで、空間周波数成分を高周波に偏らせ、人の目に目立つことなく面積階調を表現できることが知られている。
【０１４１】
次にブルーノイズマスクの生成過程の一例を以下に示す。
１. ホワイトノイズを生成する
２. 階調gの２値画像P_gl（初期値はホワイトノイズマスク）にローパスフィルタリングを行い、多値画像P'_glを生成
３. 階調 g (初期値:１２７)の画像とローパスフィルタリング画像P'_gl（多値）を比較し、誤差の大きい順に、２値画像P_gの白黒の画素を反転させ、２値画像P_gl+1を得る。
４. 誤差が最小になるまで、２,３の操作を繰り返し、２値画像P_gl（初期値はホワイトノイズマスク)を少しづつ階調 g(初期値:１２７) の２値画像P_g（ブルーノイズマスク）に変えていく。
５. Pg画像に階調g＋１(g-１)の２値の黒（白）の点をランダムな位置に与え、２,３の操作を繰り返し、P_g+1(P_g-1)を得る。
【０１４２】
以上の操作を繰り返すことにより、全ての階調でのブルーノイズマスクを作成し、ディザマトリクスを生成する。
【０１４３】
例えば３２×３２のブルーノイズマスクでは１階調ごとに４点増加（減少）する。
【０１４４】
ただし、このとき２５６階調持たせる為に前の階調gで決まった黒（白）のビットは反転できない為、低または高階調では制限条件が厳しくなり、一様性に乏しいランダムパターンしか得られないという欠点がある。
【０１４５】
図１２にブルーノイズマスクを構成する各係数の出現頻度分布（ヒストグラム）１２０１を示す。図１２では０〜２５５の全ての値（係数）がマスク内に同数存在している。
【０１４６】
上記ブルーノイズマスクが多値画像の２値化に用いられる技術は良く知られており、例えば、「J.Opt.Soc.Am A/Vol.9, No.11/November 1992 Digital halftoning technique using a blue-noise mask Tehophano Mitsa, Kevin J.Parker」等に詳しく開示されている。
【０１４７】
次にコーンマスクの特性について説明する。
【０１４８】
コーンマスクは、このマスクに含まれる各係数を２値化した場合に、ここで得られた２値情報を表す空間周波数領域上で、図１４の１４０２に示される様に、周期的または擬似周期的なピークが発生することを１つの特徴とする。ただし、低周波領域ではピークが立たない様に設計されている。
【０１４９】
図３８に、あるコーンマスクの係数配列の一部を示す。
【０１５０】
コーンマスクをどの閾値で２値化した場合にも、ドット間で適度な距離が保たれる為、低周波領域でのピークは立たない。
【０１５１】
図１４の１４０２に、コーンマスクの閾値１０で２値化した場合の空間周波数特性の概略図を示す。１４０１のブルーノイズマスクの空間周波数特性と同じく、１４０２の特性でも低周波成分が少ないことが分かる。
【０１５２】
コーンマスクの場合は、閾値が低い場合であっても高い場合であっても、ブルーノイズマスクが持つ低域周波数より高い周波数からピークが発生する為、ブルーノイズマスクに比べて埋め込み位置に密集した部分が少なくなる。その為、付加情報Infを埋め込んだ際に生じる埋め込みノイズは、ブルーノイズに比べて更に目立たなくなる利点がある。
【０１５３】
またコーンマスクを構成する係数の使用頻度も、ブルーノイズマスクの時と同じく、図１２の１２０１で示す出現頻度分布（ヒストグラム）になる。
【０１５４】
従って、このマスクの係数に対応付けて、付加情報Infを構成する各ビット情報に対応するパターンを、画像データに埋め込む様にするならば、この画像データ中には各ビット情報に対応するパターンを同数配置することができ、結果的に付加情報Infをバランス良く埋め込むことができる。
【０１５５】
本実施の形態では以上の利点から埋め込み参照マスクにコーンマスクを用いることとする。
【０１５６】
[３−２−２ マスク参照手段]
マスク作成手段１１０１で作成されたマスク（コーンマスク）は、マスク参照手段１１０２に入力される。
【０１５７】
マスク参照手段１１０２では、画像に埋め込むＮビットの情報の埋め込み位置とマスクの番号（画素値）を対応付けて、埋め込み位置を決定する。
【０１５８】
マスク参照手段１１０２で行う埋め込み位置決定方法を説明する。
【０１５９】
本実施の形態では上述したコーンマスクを用いるが、ここでは説明を分かりやすくする為、図１５の１５０１に示す４×４マスクを用いて説明する。
【０１６０】
図１５のマスクは、４×４個の係数を有し、０〜１５までの係数値を１つずつ配置しているマスクである。この４×４マスクを用い付加情報Infの埋め込み位置の参照を行う。この説明で用いるマスクの場合には最大１６ビットで構成される付加情報Infを埋め込むことができるが、以下８ビットの付加情報Infを埋め込む場合を説明する。
【０１６１】
まず付加情報Infの構成を、図３６を用いて説明する。同図の様に付加情報Infは、スタートビットInf₁と利用情報Inf₂から構成される。
【０１６２】
このスタートビットInf₁は、理想位置から実際の付加情報Infが埋め込まれている位置がずれていることを認識し、これに合わせて電子透かし（付加情報Inf）の抽出開始位置を補正する為に、電子透かし抽出装置側に含まれるオフセット合わせ手段で用いられる。詳細については後述する。
【０１６３】
また、利用情報Inf₂は、本来の付加情報、即ち実際に画像データＩの付加的情報として利用される情報である。この情報には、例えば画像データwIの不正利用の際に原因を追跡することを目的とするならば、図１に示す装置のＩＤ或いはユーザーのＩＤ等が含まれる。また、画像データwIの印刷物をコピー禁止にするのであれば、コピーが禁止であることを示す制御情報が含まれる。
【０１６４】
本実施の形態では、スタートビットは５ビットとし、「１１１１１」というビット列を用いる。しかし、本発明はこれに限らず、付加情報Infのうち５ビット以外のビット数をスタートビットとして用いることも可能であり、同様に「１１１１１」というビット列以外を用いることも可能である。ただし、スタートビットのビット数とビット系列は電子透かし埋め込み装置と電子透かし抽出装置で共有しておく必要がある。
【０１６５】
上述した様な４×４個の係数からなるコーンマスクを用いて、スタートビット５ビット、利用情報３ビットの合計８ビットの付加情報Infを埋め込む簡単な例について説明をする。
【０１６６】
しかしながら、本発明はこれに限定されるものではない。例えば３２×３２のコーンマスクを用いて、スタートビット５bit、利用情報６４bitからなる合計６９bitの付加情報Infを埋め込み場合等にも適用可能である。
【０１６７】
付加情報Infはスタートビットが５ビット「１１１１１」で利用情報が３ビット「０１０」とする。夫々１番目が１、２番目が１、３番目が１、４番目が１、５番目が１、６番目が０、７番目が１、８番目が０のビット情報を持つ。
【０１６８】
これら各ビットに相当するパターン（図９参照）の夫々をコーンマスクの係数の１つずつに対応する位置に割り当て、この位置関係に従って元の画像データの各画素値を±ｃ変更する。これにより、１つのコーンマスクに相当するサイズの元の画像データに対して、１つの付加情報Infが埋め込まれることとなる。
【０１６９】
本実施の形態では、付加情報Infを埋めこむ為に最低限必要なビット数に基づいて、ある閾値を決定し、上記コーンマスクにおける、この閾値以下の係数が配置されている位置に、対応する各ビット情報を埋めこむ。これにより付加情報Infのビット数に関わらず１つのコーンマスクには１つの付加情報Infが埋め込まれる。
【０１７０】
なお、本発明は上記方法に限らず、ある閾値以上の係数が配置されている位置に、対応する各ビット情報が埋め込まれる様にし、これを前提に閾値を決定する様にしても良い。
【０１７１】
次に本実施の形態では、埋め込みに用いる閾値以下の係数の個数が、マスク全体の係数の個数において占める割合を、埋め込み充填率と呼ぶことにする。
【０１７２】
８ビットの付加情報Infを整数回正しく埋め込むには、図１５のマスク１５０１内においてどの係数を埋め込み参照位置に用いるかを決定する為の閾値は、８或いは１６である必要が有る。この閾値は、耐性及び画質への影響を考慮して最適なものが決定される。
【０１７３】
ここで、マスクの閾値を８とした場合には、埋め込み充填率は５０％となる。即ち、上記マスクと照らし合わされる元の画像データのうち５０％が、図９のパターン配列を用いた処理の対象になる。
【０１７４】
各ビット情報とマスク内の係数の対応関係の一例を対応表１に示す。
【０１７５】
【表１】

ここで、S１〜S５まではオフセット合わせ処理装置で用いる位置合わせの為のビット情報（スタートビット）である。１〜３は３ビットの利用情報である。
【０１７６】
対応表１の対応に従うと、図１６の１６０１で表現された係数（０〜７）の位置に相当する入力画像データの画素の位置に各ビット情報がパターン（図９参照）を用いて埋め込まれる。埋め込むビット情報の順序とマスク内の係数値の対応関係は鍵情報の一部であり、この対応関係を知ることなしに各ビット情報の抽出を行うことはできない。本実施の形態では説明を簡単にする為、対応表１の様に０から閾値までの係数値に順にS１〜S５と利用情報の３ビットを対応させることとする。
【０１７７】
次に、実際に３２×３２のサイズのコーンマスクを用いて埋めこむ場合の充填率についても少し述べておく。なお、処理の手順はマスク１５０１を用いた場合と同じである。
【０１７８】
まず最初に、埋め込み時の画質の劣化等を考慮し、付加情報Infの埋め込みを整数回正しく行う為に必要な閾値を決定する。
【０１７９】
更に、付加情報Infを構成する各ビットが等しい繰り返し数で埋め込まれる様にする為、閾値以下の係数の数を付加情報Infを構成するビット数Nで割り、１つのマスクサイズで各ビットを何回埋め込めるかを決定する。
【０１８０】
例えば、０〜２５５までの係数値に相当する元の画像データに、上述した一例のスタートビット５ビットと利用情報６４ビットからなる、６９ビットの付加情報Infを埋めこむ場合には、例えば閾値を１３７に設定する。
【０１８１】
この場合、マスク内の有効な係数値の数は１３８個となる。１つの付加情報Infを表すのに必要なビット数は６９個であるから、１つのマスクサイズにおいては各ビット情報は１３８/６９＝２回ずつ埋め込むことができる。
【０１８２】
なお、コーンマスクを用いて埋め込み位置を決定する時に、ある閾値以下の係数値を持つ全ての点に対して埋め込みを行う理由は、空間周波数の低周波成分にピークが立たないというコーンマスクの特性を生かす為である。
【０１８３】
上述した様に埋め込み位置を決定した結果、埋め込み充填率５０％、埋め込み情報量６９ビットとなる場合には、付加情報Infを構成する各ビット情報とコーンマスクを構成する各係数値との関係は対応表２の様になる。
【０１８４】
【表２】

ここでS１〜S５はスタートビットであり、オフセット合わせ処理装置で用いる位置合わせの為のビット情報である。１〜６４は利用情報である。
【０１８５】
ただし本発明はこの対応関係に限らず、０から閾値（または閾値から２５５）までの係数の位置の全てに、図９のパターンを使用して各ビット情報を順に埋め込むならば、各ビット情報と各係数値との対応関係は別のものであっても良い。
【０１８６】
３２×３２のコーンマスクの場合には、１つのマスク内に同じ係数を持つ位置が夫々４個存在する。
【０１８７】
全ての係数に上記対応表２に基づいて、元の画像データに各ビット情報を埋め込む場合、３２×３２,６４×６４等の大きいサイズのコーンマスクならば、付加情報Infを構成する各ビット情報はほぼ等しい回数埋め込まれる。また、元の画像データにおいて同一のビット情報が拡散して埋め込まれる。
【０１８８】
パッチワーク法では、従来各ビット情報に対応するパターン（図９参照）が互いに重なり合わない様にランダム的に埋め込み位置を選んでいたが、本実施の形態では、上記コーンマスクを参照することにより同様の効果を得る事ができ、更に画質劣化も少ない。
【０１８９】
以上の結果、マスク参照手段１１０２では、各ビット情報に対応する埋め込み位置の座標(x,y)を得る。
【０１９０】
配列S[bit][num]＝(x,y) でその情報を表現すると、bitは対応表１の場合、スタートビットS１〜S５と利用情報１〜３ビットを表す。またnumはコーンマスク内で繰り返し表れる各係数に付けられる順序である。(x,y)にはマスク内での相対座標が収められる。
【０１９１】
以上の操作をマスク参照手段１１０２で行う。
【０１９２】
[３−２−３ マスク・パターン配列対応手段]
マスク参照手段１１０２で得られた各ビット情報のコーンマスク内での埋め込み位置は、マスク・パターン配列対応手段１１０３に入力される。
【０１９３】
マスク参照手段１１０２で決定した埋め込み位置は夫々のビット情報のパターンの位置（８×８画素分）であるので、パッチワーク法では更に図９に示される加算領域（＋ｃ）と減算領域（−ｃ）とそれ以外（０）とを割り当てる必要がある。この為、マスク参照手段１１０２で参照したコーンマスクの全ての位置に図９に相当する８×８サイズのパターン配列を展開する操作をマスク・パターン配列対応手段１１０３で行う。
【０１９４】
具体的にはマスク参照手段１１０２で得られた配列S[bit][num]＝(x,y)の座標に対して、ｘ座標にはパターン配列の横方向のサイズを掛け、ｙ座標にはパターン配列の縦方向のサイズを掛ける操作を行う。その結果、図１７のマスク内の座標１７０１は、マスク内の１画素が１パターン配列に拡大された先頭座標１７０２となる。
【０１９５】
この先頭座標から図９に示されるパターン配列を用いると、パターン配列の大きさを持つ領域１７０３に重なり合わず埋め込みを行うことが可能になる。
【０１９６】
座標(x,y)は座標(x',y')に変化するが、配列S[bit][num]のbitとnumは変化しない。
【０１９７】
従って、配列S[bit][num]のbitに相当する付加情報Infを(x',y')をパターン配列を埋め込む先頭位置とし、複数のビット情報の埋め込みが可能になる。
【０１９８】
なお、マスク・パターン配列対応手段１１０３によりコーンマスクの各係数が、８×８のパターン配列に展開（拡大）された大きなマスクを、拡大マスクと呼ぶ。
【０１９９】
上記拡大マスクのサイズは、（３２×８）×（３２×８）サイズとなり、このサイズが付加情報Infを少なくとも１つ埋め込む為に必要な最低限の画像単位（マクロブロックとする）となる。
【０２００】
以上がマスク・パターン配列対応手段１１０３で行われる操作である。
【０２０１】
一般的に小さなマスクは大きなマスクより作成時にドットの配置位置に自由度が少なく、コーンマスクの様な所望の特性を持つマスクの作成が難しい。例えば小さなマスクを画像データの全体に繰り返し割り当てることで付加情報Infを埋め込む場合には、小さなマスクの持つ空間周波数が画像データ全体に出現する。
【０２０２】
その一方で、一つのマスクからは完結した付加情報Infが抽出されるので、マスクのサイズを大きく設定することによって、切り抜き耐性（部分的な画像データwI’から付加情報Infを抽出できる可能性）は小さくなってしまう。ゆえに、上記切り抜き耐性と画質劣化のバランスを考慮し、マスクのサイズを決定する必要がある。
【０２０３】
以上が図１の埋め込み位置決定手段０１０３で行われる処理である。
【０２０４】
[３−３付加情報埋め込み処理]
以上の様にして決定された、画像データへの各ビット情報の埋め込み位置を参照して、図１の付加情報埋め込み手段０１０４は実際に付加情報Infを埋め込む。
【０２０５】
図１０に付加情報Infを繰り返して埋め込む処理の動作の流れを示す。
【０２０６】
図１０に示す方式では、画像全体に割り当て可能なマクロブロックを複数個割り当て、更に、これら全マクロブロックに対してまず１ビット目のビット情報を繰り返して埋め込み、続いて２ビット目、３ビット目…という様に繰り返して埋め込む。これは未だ埋め込み処理が行われていないビット情報が有れば、未処理のマクロブロックの全てに１００１〜１００３の埋め込み処理を施す手順により構成されている。
【０２０７】
しかしながら、本発明はこの順序に限らず２つのループ処理の内外関係を逆にしても良い。即ち、未処理のマクロブロックが有れば、これに対して未だ埋め込んでいないビット情報を全て埋め込む手順に変更しても良い。
【０２０８】
具体的には付加情報Infの埋め込みは、埋め込まれる各ビット情報が“１”の場合には図９のパターン配列を加える。また埋め込むビットが“０”の場合には図９のパターン配列を減ずる、即ち図９の正負符号を反転したものを加算する。
【０２０９】
上記加減算の処理は、図１０における切り替え手段１００１を、埋め込むビット情報に応じて切り替え制御することによって実現される。即ち、埋め込まれるビット情報が“１”の時は加算手段１００２に接続し、上記ビット情報が“０”の時は減算手段１００３に接続する。これら１００１〜１００３の処理はビット情報とパターン配列の情報を参照しながら行われる。
【０２１０】
ここで上記ビット情報の１つが埋め込まれる様子を図１９に示す。同図では埋め込まれるビット情報が“１”、即ちパターン配列を加える場合の例を示す。
【０２１１】
図１９に示す例では、I(x,y)が元の画像、P(x,y)が８×８のパターン配列である。８×８のパターン配列を構成する各係数は、このパターン配列と同じサイズの元の画像データ（青色成分）に重ね合わせられ、同位置の値同士が加減算される。その結果、I'(x,y)が算出され、ビット情報が埋め込まれた青色成分の画像データとして図１の色成分合成手段０１０５へ出力される。
【０２１２】
上述した８×８のパターン配列を用いた加減算処理を、上記対応表２で決定された埋め込み位置（各ビット情報を埋め込む為のパターン配列を割り当てた位置）の全てに対して繰り返し行う。
【０２１３】
次に、図１０の内部のループ処理が行われる様子を図１８に示す。
【０２１４】
図１８では、各ビット情報を繰り返し埋め込む為に、画像データ全体１８０１(１８０３)全体に、マクロブロック１８０２を左上から右下までラスター順に繰り返し割り当てて埋め込み（図１０の１００１〜１００３）を行う。
【０２１５】
付加情報埋め込み手段０１０４により以上の操作が行われ、付加情報Infが画像全体に埋め込まれる。
【０２１６】
以上の処理により、画像データ中に付加情報Infが埋め込まれる。この付加情報Infが埋め込まれた画像データの各画素が、十分少ないドット数で表現されるのであれば、パターン配列の大きさも十分小さくなるので、これらパターン配列の１つ１つは非常に小さい点でしか人間の目には知覚されない。よって、コーンマスクの空間周波数特性も維持され、人間の目に見えにくい。
【０２１７】
［３−４ レジストレーション処理］
次に、電子透かし抽出装置側に備えられる、図２におけるレジストレーション手段０２０２について詳細を説明する。
【０２１８】
レジストレーション手段０２０２とは、付加情報抽出手段０２０３の前段に位置する手段であり、付加情報Inf抽出処理の前処理である。レジストレーション手段０２０２には、前段の色成分抽出手段０２０１により抽出された青色成分の画像が入力される。
【０２１９】
レジストレーション手段０２０２では、電子透かし埋め込み装置から出力された画像データwIと、電子透かし抽出装置に入力された画像データwI’のスケールの違いが補正される。
【０２２０】
レジストレーション手段０２０２の詳細を図７に示す。図７に示す様に、レジストレーション手段０２０２は、ブロック分割手段０７０１、フーリエ変換手段０７０２、インパルス抽出手段０７０３、スケーリング率算出手段０７０４、スケーリング手段０７０５から構成される。
【０２２１】
ブロック分割手段０７０１では、上述したレジストレーション信号埋め込み手段０１０２（ブロック分割手段０４０１）と同様のブロック分割処理が行われる。この処理によって、一般的にはレジストレーション信号埋め込み手段０１０２（ブロック分割手段０４０１）と同様のブロックを抽出することは困難である。これは電子透かし情報が埋め込まれた画像データwIが印刷系の処理を施されることによって、大きさが変化し、更に位置がずれることによるものである。
【０２２２】
しかし、このブロックの抽出はある程度違っていても問題はない。これは、電子透かし埋め込み装置において、レジストレーション信号が画像データのうち振幅スペクトルに埋め込まれているからである。振幅スペクトルは、画像データの空間領域における位置ずれには影響されないという性質がある。よって、電子透かし埋め込み装置と電子透かし抽出装置の夫々において、各々のブロック分割手段により分割されたブロックが、空間領域で多少の位置ずれが生じていても問題はない。
【０２２３】
ブロック分割手段０７０１はブロック分割した画像データをフーリエ変換手段０７０２に出力する。フーリエ変換手段０７０２は上述したレジストレーション信号埋め込み手段０１０２の場合と同様に、空間領域の画像データを周波数領域の画像データに変換する。フーリエ変換された周波数領域の画像データは振幅スペクトルと位相スペクトルによって表現される。このうち振幅スペクトルだけがインパルス抽出手段０７０３に入力される。一方で、位相スペクトルは破棄される。
【０２２４】
周波数領域に変換された画像データはインパルス抽出手段０７０３に入力される。インパルス抽出手段０７０３では、周波数領域に変換された画像データからインパルス性の信号だけを抽出する。即ち、既に画像データに埋め込まれている図５の０５０２,０５０３,０５０４,０５０５を抽出する。
【０２２５】
これは公知の画像処理技術を用いて行うことが可能である。例えば、周波数領域に変換された画像データを閾値処理することで実現できる。この例を図８(a)に示す。図８(a)にはインパルス抽出手段０７０３に入力された振幅スペクトル０８０１を閾値０８０２によって閾値処理する様子を示す。なお説明の為、図８において変換された画像データを１次元で表現した。適当な閾値０８０２を選択することによってインパルス信号を抽出することが可能である。しかしながら、低域に存在するインパルス信号と同じ程度の大きさを持つ様な本来の画像データも同時に抽出してしまう。
【０２２６】
この問題を解決した本実施の形態の方式を図８(b)に示す。周波数領域に変換された画像データ０８０１に対して２次微分処理を施す。これはラプラシアンフィルタ等を施すことに等しい。周波数領域に変換された画像データ０８０１に対して２次微分を施したものを０８０３に示す。このデータ０８０３に対して適当な閾値０８０４を選択し閾値処理を施すことによって、インパルス信号を抽出可能である。
【０２２７】
このインパルス信号の抽出に関してもう少し詳細な原理を図２６を用いて説明する。なお、この図では上述したレジストレーション信号埋め込み側の処理も記載している。
【０２２８】
レジストレーション信号埋め込み手段０１０２においては、空間領域の画像データ２６０１が周波数領域に変換され画像データ２６０２となり、周波数領域においてインパルス信号２６０３が加えられる。
【０２２９】
インパルス信号（レジストレーション信号）２６０３が加えられた周波数領域の画像データは、逆周波数変換されることによって空間領域の信号２６０１’へ再び戻る。再び空間領域へ戻された画像データ２６０１’にはインパルス信号が付加された影響があるはずであるが、人間の目には知覚しにくく、実質的には画像データ２６０１と画像データ２６０１’は同一物に見える。これは、周波数領域で加えられたインパルス信号２６０３が逆フーリエ変換によって、画像データ全体に小さな振幅で分布するからである。
【０２３０】
図２６の２６０３の様なインパルス信号が加えられた場合は、ある一定の周波数成分を持つ画像データが空間領域に加えられたことに等しくなる。この加えられたインパルス信号が人間の知覚できる周波数よりも大きく、更に振幅が人間の知覚できる限度以下であるならば、加えられたインパルス信号は人間の目には見えない。よって、上記レジストレーション信号の埋め込み自体も一種の電子透かし処理であると言える。
【０２３１】
なお、本実施の形態では画像データ２６０１にレジストレーション信号２６０３が埋め込まれ、更に実際に埋め込むべき付加情報Infが埋め込まれた後、空間領域の信号２６０１’を復元する。
【０２３２】
図２６の様に埋め込まれたレジストレーション信号は、抽出の際に再びフーリエ変換が施される。これによって、空間領域では一度画像データ全体に拡散されたレジストレーション信号２６０３が、周波数領域に変換され再びインパルス信号として現れる。
【０２３３】
電子透かし情報が埋め込まれた画像がJPEG圧縮等の非可逆圧縮などの攻撃を受けた場合、このインパルスは振幅が小さくなる可能性が高い。一方で、スケーリングなどの幾何的な攻撃を受けた場合、このインパルスはその位置が移動する。いずれの場合も上述した様な適当なインパルス抽出処理を施すことによって、インパルス信号は抽出可能であり、元の画像データからの変化を推測できる。この変化を補正すれば本実施の形態で埋め込まれる付加情報Infを確実に抽出できる状態を作り出せる。
【０２３４】
以上の処理により、図７のインパルス抽出手段０７０３からは上述したインパルス信号が出力され、スケーリング率算出手段０７０４に入力される。スケーリング率算出手段０７０４は、入力されたインパルス信号の座標を用いてどの様なスケーリングが施されたかを算出する。
【０２３５】
本実施の形態の電子透かし抽出装置側では、予めどの周波数成分にインパルス信号を埋め込んだかを知っているものとする。この場合には、この予め埋め込まれた周波数と、インパルスが検出された周波数の比によりスケーリング率を算出することが可能である。例えば、予めインパルス信号が埋め込まれた周波数をa、検出されたインパルス信号の周波数をbとすると、a/b倍のスケーリングが施されていることがわかる。これは良く知られたフーリエ変換の性質である。以上の処理により、スケーリング率算出手段０７０４からはスケーリング率が出力される。
【０２３６】
しかしながら本発明はこれに限らず、電子透かし埋め込み装置側から必要に応じてレジストレーション信号を埋め込んだ位置（周波数）の情報を受信する様にしても良い。例えばこの位置情報は暗号化信号として受信し、上記スケーリング率の算出処理を行う形態も本発明の範疇に含まれる。こうすることによって、付加情報Infを正しく抽出できるのはレジストレーション信号を知っている人だけとなる。この場合、レジストレーション信号を付加情報Infを抽出する為の鍵として使用できる。
【０２３７】
スケーリング率算出手段０７０４から出力されたスケーリング率は、スケーリング手段０７０５に入力される。スケーリング手段０７０５には画像データwI₁'も入力され、画像データwI₁'は入力されたスケーリング率によってスケーリング処理が施される。スケーリング処理はバイリニア補間やバイキュービック補間など種々のものが適応可能である。そして、スケーリング手段０７０５からはスケーリング処理が施された画像データwI₂'が出力される。
【０２３８】
［３−５ 付加情報抽出処理］
次に、図１の付加情報埋め込み手段０１０４で付加情報Infが埋め込まれた画像データwI’の青色成分からこの付加情報Infを抽出する図２の付加情報抽出手段０２０３の動作について述べる。
【０２３９】
この付加情報Infの抽出処理のブロック図を図２０に示す。
【０２４０】
［３−５−１ 埋め込み位置決定処理］
図２０に示す様に、まず埋め込み位置決定手段２００１において、画像データwI₂'（青色成分）中のどの領域から付加情報Infを抽出するかを決定する。この埋め込み位置決定手段２００１によってなされる動作は、前述した埋め込み位置決定手段０１０３と同じであり、その為、０１０３と２００１によって決定される領域は同一のものとなる。
【０２４１】
決定された領域から、前述した対応表２を用い、更に図９に示されるパターン配列を用いて付加情報Infが抽出される。
【０２４２】
ここで、付加情報Infの抽出は、決定された領域に対してパターン配列を畳み込むことによって実現される。
【０２４３】
[３−５−２ 信頼度距離演算手段]
信頼度距離dは埋め込んだ情報を抽出する際に必要となる計算値である。
【０２４４】
各ビット情報に対応する信頼度距離dを求める方法を図６に示す。
【０２４５】
まず始めに、図中の畳み込み演算手段０６０１で行う処理を図２１及び図２２を用いて説明する。
【０２４６】
図２１及び図２２に、付加情報Infを構成する１ビットの情報を抽出する例を示す。
【０２４７】
図２１は付加情報Infを構成するある１ビット情報が埋め込まれた画像データ（青色成分）I''(x,y)に対してこの１ビット情報の抽出処理を行った例、そして図２２は上記１ビット情報が埋め込まれていない画像データI(x,y)に対して１ビット情報の抽出処理を行おうとした例である。
【０２４８】
図２１において、I''(x,y)が１ビット情報が埋め込まれた画像データ、P(x,y)が畳み込み処理に用いられる８×８のパターン配列（付加情報Inf抽出用のパターン配列）である。この８×８のパターン配列を構成する各要素（０，±ｃ）は、入力画像データI''(x,y)の同位置に配置されている画素値に積算され、更に各積算値の和が算出される。即ち、I''(x,y)に対してP(x,y)が畳み込まれる。ここで、I''(x,y)は、画像データI'(x,y)が攻撃を受けた場合の画像を含んだ表現である。攻撃を受けていない場合には、
I''(x,y)=I'(x,y)である。I''(x,y)に１ビット情報が埋め込まれている画像である場合には、畳み込みの結果、図２１に示す様に非零の値が得られる可能性が非常に高い。特にI''(x,y)=I'(x,y)の時には畳み込みの結果は３２c²となる。
【０２４９】
なお、本実施の形態では、埋め込みに用いるパターン配列と抽出に用いるパターン配列は同様のものを用いている。しかしながら、これは本発明において限定されるものではない。一般的には、埋め込みに用いるパターン配列をP(x,y)、抽出に用いるパターン配列をP'(x,y)とした場合には、
P'(x,y)=aP(x,y)
という関係に変形できる。ここでaは任意の実数であり、本実施の形態では、簡単の為、a=１の場合について説明する。
【０２５０】
一方、図２２に示す例では、上述の演算と同様の演算が１ビット情報が埋め込まれていない画像データI(x,y)に対して施されている。原画像（画像データIに相当）からは畳み込み演算の結果、図２２に示す様に零の値が得られる。
【０２５１】
以上、図２１及び図２２を用いて１ビット情報の抽出方法を説明した。しかし、以上の説明は、付加情報Infが埋め込まれる対象の画像データIにおいて畳み込み演算の結果が０である場合であり、非常に理想的な場合である。一方で、実際の画像データIの８×８のパターン配列に相当する領域においては畳み込み演算の結果が０であることはなかなか少ない。
【０２５２】
即ち、原画像（画像データI）における８×８のパターン配列に相当する領域について、図９のパターン配列（コーンマスクも配置情報として参照）を用いて畳み込み演算を行った場合、理想と異なり、非零の値が算出されることもある。逆に、付加情報Infが埋め込まれた画像（画像データwI）における８×８のパターン配列に相当する領域について、同じく畳み込み演算を行った結果が“３２ｃ²“でなく“０”になってしまうこともある。
【０２５３】
しかしながら、付加情報Infを構成するビット情報の夫々は、通常、元の画像データに複数回埋め込まれている。即ち付加情報Infが画像に複数回埋め込まれている。従って、各ビット情報が埋め込まれているｎ個のマクロブロックにおいて、８×８パターン配列毎の畳み込み演算を行い、ここで得られる各ビット情報毎のｎ個の畳み込み演算結果に基づいて“各ビット情報が埋め込まれているのか否か”或いは“各ビット情報が１か０か”等を統計的に判断すれば良い。これら統計的な判断の方法については後述する。
【０２５４】
よって畳み込み演算手段０６０１は、付加情報Infを構成する各ビット情報に１ついて、夫々複数の畳み込み演算結果の和を求める。例えば、付加情報Infが８ビットであれば、８個の和が得られる。この各ビット情報に対応する和は平均計算手段０６０２に入力され、夫々が全マクロブロックの数ｎで割られて平均化される。この平均値が信頼度距離dである。即ち、この信頼度距離dは、図２１の“３２ｃ²”と“０”のどちらに類似しているかを多数決的に生成した値である。
【０２５５】
ただし、信頼度距離dは、先のパッチワーク法の説明ではd = 1/N Σ(a_i-b_i)と定義していたので、厳密には信頼度距離dは、P'(x,y) = 1/c P(x,y)を用いて畳み込み演算を行った結果の平均値である。しかしながら、P'(x,y) = aP(x,y)を用いて畳み込み演算を行っても、畳み込み演算結果の平均値は、上記信頼度距離dの実数倍になっているだけであり、本質的には同様の効果が得られる。よって本発明には、P'(x,y) = aP(x,y)を用いた畳み込み演算結果の平均値を信頼度距離dに用いることも十分可能である。
【０２５６】
求められた信頼度距離dは０６０３の記憶媒体に蓄えられる。
【０２５７】
畳み込み演算手段０６０１は、付加情報Infを構成する各ビットについて上記信頼度距離dを繰り返し生成し、順次記憶媒体０６０３に格納する。
【０２５８】
この演算値に関してもう少し詳細な説明をする。元の画像データIに対して図９のパターン配列（コーンマスクも配置情報として参照）を用いて算出される信頼度距離dは理想的には０である。しかしながら実際の画像データIにおいては、この値は非常に０に近くはあるが非零の値が多い。各ビット情報について発生する信頼度距離dの頻度分布を調べると、図２３の様になる。
【０２５９】
図２３において、横軸は、各ビット情報毎に発生する信頼度距離dの値であり、縦軸はその信頼度距離dを生じる畳み込みが行われたビット情報の数（信頼度距離dの出現頻度）を示している。図を見ると正規分布に類似していることがわかる。また、元の画像データIにおいては信頼度距離dは必ずしも０ではないが、その平均値は０(或はそれに非常に近い値)である。
【０２６０】
一方、元の画像データIではなく、図１９の様にビット情報“１”を埋め込んだ後の画像データ（青色成分）をI’(x,y)に上記畳み込みを行った場合には、信頼度距離dは図２４に示す様な頻度分布となる。即ち、図の様に図２３の分布形状を保ったまま、右方向にシフトしている。この様に、付加情報Infを構成するある１ビットを埋め込んだ後の画像データは、信頼度距離dが必ずしもｃという訳ではないが、その平均値はｃ(或はそれに非常に近い値)となる。
【０２６１】
なお、図２４ではビット情報“１”を埋め込んだ例を示したが、ビット情報“０”を埋め込んだ場合は図２３に示した頻度分布が、左にシフトすることになる。
【０２６２】
以上説明した様に、パッチワーク法を用いて付加情報Inf（各ビット情報）を埋め込む場合には、埋め込むビット数（パターン配列の使用回数）を出来るだけ多くした方が、図２３及び図２４に示す様な統計的分布が正確に現れやすい。即ち、付加情報Infを構成する各ビット情報が埋め込まれているか否か、或いは埋め込まれているビット情報が“１”か“０”かを検出できる精度が高くなる。
【０２６３】
［３−５−３ オフセット合わせ処理］
次にオフセット合わせ手段２００２の構成について解説する。
【０２６４】
オフセット合わせ手段２００２には、適切なスケーリングを施された後の画像データwI₂'が入力される。この後、図６の信頼度距離演算を用い、スタートビットを検出する。なお、オフセット合わせ手段２００２はスタートビットInf₁の５ビット分に対応する５つの信頼度距離だけを生成する。スタートビットInf₁とは、図３６に示す様に、付加情報埋め込み手段０１０４において予め埋め込んである付加情報Infの一部であり、本実施の形態では５ビット分である。
【０２６５】
なお、これらスタートビットInf₁は、概念的には最初の５ビット分であるが、付加情報Infが埋め込まれている画像においては隣接、密集して存在する訳ではなく、むしろ点在している。これは、対応表２のコーンマスクを構成する各係数値に対応付けて順に埋め込まれる為である。
【０２６６】
オフセット合わせ手段２００２の処理のフローチャートを図２８に示す。以下の解説は図２８のフローチャートの流れに沿って行う。
【０２６７】
オフセット合わせ手段２００２では、入力された画像データwI₂'に対して、ステップ２８０１により、まず最も左上の座標を埋め込み開始座標と仮定する。同時に、最大値MAXを０に設定する。そして、ステップ２８０２により、図６の信頼度距離演算手段を用いて、スタートビットの検出を試みる。
【０２６８】
ここで得られた１〜５番目のビット情報が、ステップ２８０３により正しいスタートビット「１１１１１」であるかどうかを判定する。この点が正しい埋め込み開始座標であれば検出結果として５つの連続した正の信頼度距離dが検出されるが、そうでない場合には正の信頼度距離dが５つ連続しないことが多い。上記判断を順次行い、正しいスタートビットInf₁が検出できる位置を、埋め込み開始座標であると決定すれば良い。
【０２６９】
しかしながら、実際のところ埋め込み開始座標以外の点でも正しいスタートビットInf₁が検出されてしまう場合も有り得る。この原因を図２７を用いて説明する。
【０２７０】
図２７は、本実施の形態で用いるパッチワーク法で埋め込まれた付加情報Infを抽出する為、付加情報Infの埋め込み時に用いたものと同一のパターン配列（２７０２、２７０５）（コーンマスクも配置情報として参照）を用いて、畳み込みを行いながら本来のマクロブロックの位置（２７０１、２７０３、２７０４）を探索する様子を示している。左の図から右の図へ向かって探索が連続的に進んでいるものとする。
【０２７１】
図２７では、簡単の為、画像データwI₂'の一部である１つのマクロブロック（付加情報Infが抽出できる最小単位）に注目している。この図の１マスは１ビット情報を埋め込む為のパターン配列の大きさの概念を示している。
【０２７２】
図２７左において、２７０１と２７０２の関係を有する場合、即ち２７０２が実際のマクロブロック２７０１よりも左上に位置して場合、元の画像と付加情報Inf抽出用のパターン配列の位置は、斜線領域のみで重なっている。
【０２７３】
また同図中央には、更に探索を進め、探索中の位置と実際のマクロブロックの位置が完全に一致している場合が示されている。この状態では、畳み込み対象のパターン配列とマクロブロックが最大面積重なっている。
【０２７４】
また同図右においては、探索中の位置が実際に付加情報Infが埋め込まれているマクロブロックの位置よりも右下に位置している。この状態では、この状態では、畳み込み対象のパターン配列とマクロブロックは斜線領域のみで重なる。
【０２７５】
図２７の全ての場合において、畳み込み対象のパターン配列とマクロブロックが十分に重なっていれば正しいスタートビットInf₁を抽出することが可能である。ただし、これら３つの場合は重なる面積が異なっているので信頼度距離dが異なる。
【０２７６】
上記重なる面積は前述した信頼度距離dに置き換えて考えることができる。即ち、畳み込み対象のパターン配列とマクロブロックの位置関係が完全に一致していれば、各ビット情報共に信頼度距離dは上述した±３２ｃ²に非常に近くなる。
【０２７７】
よって、本実施の形態においては、図２８の様に、ステップ２８０３において正しいスタートビットInf₁でないと判定された場合には、ステップ２８０７によりラスタ順で次の探索点に移動する。一方で、正しいスタートビットInf₁であると判定された場合には、ステップ２８０４により、信頼度距離dが最大値MAXより大きいかどうかを判定する。最大値MAXより小さな場合には、ステップ２８０７によりラスタ順で次の探索点に移動する。一方で、信頼度距離dが最大値MAXよりも大きな場合には、最大値MAXを現在の信頼度距離dに更新し、同時に現在の探索点を埋め込み開始点として記憶する。そして、ステップ２８０６において全ての探索点を探索したかどうかを判定し、全て終了していない場合には、ステップ２８０７によりラスタ順で次の探索点に移動する。一方で、全て終了している場合には、その時記憶されている埋め込み開始点を出力し処理を終了する。
【０２７８】
以上の一連の処理により、本実施の形態におけるオフセット合わせ手段２００２は、スタートビットInf₁を検出し、正しいスタートビットInf₁が得られた座標の中で、最も信頼度距離dの大きな座標の情報を、付加情報Infの埋め込み開始点であると判断し、埋め込み開始座標として後段へ出力する。
【０２７９】
[３−５−４ 利用情報抽出手段]
利用情報抽出手段２００３は、前段のオフセット合わせ手段２００２から埋め込み開始座標、及び付加情報Infが埋め込まれた画像データを入力し、図６で説明した動作を同じく用いて、ここでは利用情報Inf₂を構成する各ビット情報のみについて信頼度距離dを算出し、これらビット情報に対する信頼度距離d1を後段の統計検定手段２００６に出力する。
【０２８０】
なお、利用情報Inf₂を構成する各ビット情報に相当する信頼度距離d1を得ることは、実質的には、埋め込まれた利用情報Inf₂の各ビットを抽出することに相当する。これについては後述する。
【０２８１】
ここでは、上記探索により判別された埋め込み開始座標に基づいて、各信頼度距離dを算出するのみであり、スタートビットInf₁の５ビット分については抽出しない。
【０２８２】
[３−６統計検定処理]
統計検定手段２００６では、図２０の利用情報抽出手段２００３で得られる信頼度距離d1の信頼性を判定する。この判定は、付加情報Inf（利用情報Inf₂）の抽出に用いた第１のパターン配列とは異なる第２のパターン配列を用いて信頼度距離d2を生成し、この信頼度距離d2の出現頻度分布を参照して信頼性指標Ｄを生成することで行われる。
【０２８３】
ここで信頼度距離d1は利用情報抽出手段２００３において利用情報Inf₂を抽出するために、第１のパターン配列（コーンマスクも配置情報として参照）を用いて得られる信頼度距離であり、信頼度距離d2は第１のパターン配列とは異なる後述する第２のパターン配列を用いて得られる信頼度距離である。第１のパターン配列は、通常付加情報Inf（スタートビットInf₁，利用情報Inf₂）を埋め込む際に用いた図９のパターン配列である。
【０２８４】
なお第２のパターン配列、信頼性指標Ｄ等についての詳細は後述する。
【０２８５】
[３―６―１ 第２のパターン配列による抽出処理]
≪ 中心極限定理 ≫
{an},{bn}はn個の要素からなる画素値の集合で、夫々図３０に示される様な部分集合Aと部分集合Bの要素の持つ画素値とする。
【０２８６】
信頼度距離d（Σ(a_i-b_i) / n）は,十分な数 nで{a_n}, {b_n}を取る場合、画素の値a_nとb_nには相関がなく、信頼度距離dの期待値は０になる。また中心極限定理より信頼度距離dの分布は独立な正規分布をとる。
【０２８７】
ここで中心極限定理について簡単に説明する。
【０２８８】
平均値m_c、標準偏差σ_cの母集団（正規分布でなくても良い）から大きさn_cの任意標本を抽出した時、標本平均値S_cの分布はn_cが大きくなるにつれて正規分布N(m_c,(σ_c/√n_c)^2)に近づくことを示す定理である。
【０２８９】
一般には母集団の標準偏差σ_cは不明なことが多いが、サンプル数n_cが十分大きく、母集団の数N_cがサンプル数n_cに比べてさらに十分大きいときは標本の標準偏差s_cをσ_cの代わりに用いても実用上ほとんど差し支えない。
【０２９０】
本実施の形態に戻って説明する。まず利用情報抽出手段２００３で求められた信頼度距離d1の出現頻度分布は、利用情報Inf₂を正しく抽出できたか否かで大きく異なる。
【０２９１】
例えば、スタートビットInf1の検出に誤りがあった場合（オフセット合わせに失敗した場合）等には、利用情報Inf₂が埋め込まれているはずの位置には実際にはビット情報が埋め込まれていないので、信頼度距離d1の出現頻度分布は図２５の正規分布２５０１の様になる。
【０２９２】
一方、正しく抽出できている場合には、利用情報Inf₂を構成するビット情報“１”に対応する各信頼度距離d1が正規分布２５０２の位置に累積され、利用情報Inf₂を構成するビット情報“０”に対応する各信頼度距離d1が正規分布２５０３の位置に累積される。よって、この場合には２つの“山”が現れる。この２つの“山”の大きさの比は、利用情報Inf₂を構成するビット情報“１”と“０”の比とほぼ等しい。
【０２９３】
ただし、これは付加情報が埋め込まれていない元の画像に対して第１のパターン配列で畳み込み処理を行って得られる信頼度距離d1が、正規分布２５０１の様になることを前提としたものである。
【０２９４】
従って、現実的には、元の画像の状態を知らない限り、正しく抽出できているか否かの判断を行うことは出来ない。
【０２９５】
よって本実施の形態では付加情報が埋め込まれていても元の画像の状態を十分判別できる、いわゆる第２のパターン配列を用いて、信頼度距離d2の正規分布を生成し、この正規分布を２５０１として考えることによって、利用情報Inf₂が正しく抽出できているか否かの判断を行う。
【０２９６】
例えば、信頼度距離d2で作成した正規分布２５０１を構成する斜線部分（中心から９５％までの構成要素）より外側に信頼度距離d1の出現頻度分布が存在すれば、対象となっている画像に統計的偏りが存在し、利用情報Inf₂が埋め込まれていると考えることができ、利用情報Inf₂の確からしさを統計的に判断することができる。この詳しい方法については後述する。
【０２９７】
次に、付加情報Inf（利用情報Inf₂）が埋め込まれている画像データを用いて、付加情報Infが埋め込まれる前の信頼度距離d1の出現頻度分布に類似するもの（図２５の様な正規分布２５０１）を生成する方法を説明する。
【０２９８】
本実施の形態では、第２のパターン配列による抽出手段２００５を用いて、正規分布２５０１に類似する分布を構成する信頼度距離d2を求める。
【０２９９】
第２のパターン配列による抽出手段２００５は、利用情報抽出手段２００３に用いた第１のパターン配列と“直交する”第２のパターン配列を用いて、信頼度距離d2を求める手段であり、畳み込み処理を行う点等、利用情報抽出手段２００３と動作自体はほぼ同じである。
【０３００】
なお、対比説明の為、利用情報抽出装置２００３で用いた図９のパターン配列、及びこのパターン配列を配置する位置を参照する為のマスク（コーンマスク）を、夫々「第１のパターン配列」、及び「第１の位置参照マスク」と呼び、第１のパターン配列に“直交する”パターン配列、及びこのパターン配列を配置する位置を参照する為のマスクを、夫々「第２のパターン配列」、及び「第２の位置参照マスク」と呼ぶ。
【０３０１】
第２のパターン配列による抽出手段２００５に、まず、オフセット合わせ手段２００２から埋め込み開始座標を入力し、上述した図６の信頼度距離演算を用いて信頼度距離d2の計算も行う。
【０３０２】
この時、図６の信頼度距離演算で用いるパターン配列は埋め込みに用いた図９のパターン配列０９０１ではなく、このパターン配列０９０１に“直交する”パターン配列３６０１或いは３６０２を用いる。
【０３０３】
この理由は、図３３のパターン配列３６０１及び３６０２を用いて計算される信頼度距離d2には、付加情報Infの埋め込みに用いた図９のパターン配列０９０１で操作した影響がまったく反映されない為である。
【０３０４】
図３４に示す様に、図９のパターン配列０９０１とこれにこれに“直交する”上記パターン配列３６０１とを畳み込み処理した結果は０である。これはパターン配列３６０２についても同様である。即ち、第１、第２のパターン配列の畳み込み結果は０である。従って、元の画像の濃度が第１のパターン配列を用いて変更されていたとしても、第２のパターン配列を用いて畳み込み処理を行って得られる信頼度距離dには全く影響が無い。
【０３０５】
よって、付加情報Infが埋め込まれている画像に対して上記第２のパターン配列を用いた畳み込み処理を施して得られる信頼度距離d2の出現頻度分布は、図２５の正規分布２５０１とほぼ同様のものになる。従って上記出現頻度分布を正規分布２５０１とみなす。
【０３０６】
ここで得られる正規分布２５０１は、図３２の３５０７の統計検定処理に必要な判断基準となる。
【０３０７】
第２のパターン配列による抽出処理２００５は、上述の様に図３３の３６０１、３６０２の様な「第１のパターンとは“直交する”パターン配列」と、図３５の３８０２に示す第２の位置参照マスクを用いて、信頼度距離d2の正規分布を生成するである。
【０３０８】
なお、上記「第１のパターンとは直交するパターン配列」の条件を以下に示すと、
（１）図３３に示す様に、図９の０９０１と同じサイズであること
（２）パターン配列３６０１、３６０２の様に、付加情報Infの埋め込み時に用いた図９のパターン配列０９０１との畳み込み処理の結果が０になること
である。
【０３０９】
また、図３４に示す畳み込み処理は、図２１及び図２２に示される畳み込み処理と同じである。
【０３１０】
本実施の形態では、畳み込みの結果が０になることを、ベクトルの内積が直交する場合に０になっていることになぞらえ、「互いのパターン配列が“直交している”」と呼ぶ。従って図３３の３６０１、３６０２は「図９のパターン配列０９０１に“直交する”パターン配列」である。
【０３１１】
付加情報Infの埋め込み時に用いたパターン配列に“直交する”パターン配列を信頼度距離d2の計算に用いる理由は、信頼度距離d2の分布に統計的な偏りを存在させない、即ち０が中心の出現頻度分布を生成する為である。
【０３１２】
また、「第１のパターンとは“直交する”パターン配列」は、
（３）利用情報抽出処理２００３に用いたパターン配列の非零の要素と等しい数の非零の要素を持ち、正と負の要素の数が夫々等しいこと
も必要な条件である。これは同一の演算条件で、信頼度距離d1と信頼度距離d2が抽出される様にする為である。
【０３１３】
次に、本実施の形態では「第２の位置参照マスク」は、付加情報Infの埋め込み時に用いた３８０１とは別のパターンを有し、かつ３８０１とは異なるサイズの、図３５の３８０２に示される参照マスクを用いる。
【０３１４】
以上、上記第１と第２のパターン配列が異なっていれば信頼度距離d2の出現頻度分布はほぼ正規分布２５０１となる。
【０３１５】
しかしながら、スタートビットの検出位置が完全でない場合等には、第２のパターン配列を用いて畳み込みを行ったにも拘わらず統計的な偏りが検出されてしまう可能性も有る。本実施の形態ではこの可能性も考慮して、第１と第２の位置参照マスクの大きさを異ならせることで、周期的な要素を打ち消す様にする。或いはマスク内の各パターン配列の配置方法を異ならせることで、同一領域での畳み込みを行わない様にする。
【０３１６】
また、この場合には「第２の位置参照マスク」は、これを構成する各係数がランダムに分布していれば良く、コーンマスクでなくとも構わない。
【０３１７】
もし「第２の埋めこみ位置参照マスク」が、「第１の埋めこみ位置参照マスク」と異なる様に設定する場合には、「第２の埋めこみ位置参照マスク」は図２０の埋めこみ位置決定手段２００４で作成することとする。
【０３１８】
一般的には、上述した切り抜き耐性を考慮して、第１の位置参照マスク（コーンマスク）は、付加情報Infの埋め込み対象となる画像データ全体に対してそれほど大きなサイズを取ることは考えられない。よって、「第２の位置参照マスク」は比較的大きなものを用いると良い。本実施の形態では、付加情報Infを埋め込む時に参照する第１のマスクよりも、付加情報Inf側で信頼度距離d1を計算する際に用いる第２のマスクのサイズが大きくなる様に設定することとする。
【０３１９】
しかしながら本発明はこれに限らず、互いのマスクサイズが等しくてもある程度の効果を奏する。従って、「第２の位置参照マスク」は図２０の埋めこみ位置決定手段２００１で作成されるものでも良い。
【０３２０】
互いのマスクの最低限の条件としては、互いのマスクに適用される付加情報Infを構成する各ビットの繰り返し数が、同一サイズの画像領域内で等しいことが必要である。
【０３２１】
なお、第２のパターン配列による抽出処理で十分な結果が得られない場合は、上述した条件を備える別の第２のパターン配列や第２の位置参照マスクを用いて、再度信頼度距離d2を計算することにより、理想的な出現頻度分布である図２５の２５０１を生成できる可能性も有る。
【０３２２】
次に第２のパターン配列による抽出手段２００５の具体的な操作を示す。
【０３２３】
本実施の形態では、第１の位置参照マスクが３２×３２のコーンマスクで、第２の位置参照マスクが６４×６４のコーンマスクとし、２つのマスクにおいて、各係数の相対的な配列は全く異なっているとする。
【０３２４】
まず、第２のパターン配列による抽出手段２００５では、抽出位置の決定は以下の対応表３に従って行うこととする。
【０３２５】
【表３】

【０３２６】
第２の位置参照マスクでは、同じ値の係数がマスク内に各１６個存在する。一方、３２×３２の第１の位置参照マスクは、先の対応例２でマスクの参照を行っている場合、３２×３２の中で同一係数の繰り返し数は４個である。即ち、同一サイズの画像データにおいては、第１の位置参照マスクも第２の位置参照マスクも同じ値の係数は同数存在する。
【０３２７】
本実施の形態では、上記対応表３の規則に従った位置関係に第２のパターン配列を割り当て、順次畳み込み処理を行い、各ビット情報に対応する６９個の信頼度距離d2を算出する。
【０３２８】
[３―６―２ 信頼性指標Ｄ]
第２のパターン配列による抽出手段２００５にて生成される信頼度距離d2は、ほぼ正規分布２５０１と同一の分布で出現するが、正規分布においては、一般的に以下の式(２５.１)の範囲で９５％のサンプル（信頼度距離d2）が出現することが知られている。
【０３２９】
m-1.96σ < d2 < m＋1.96σ … 式(２５.１)
ここで、σは上記信頼度距離d2についての標準偏差であり、mは平均である。
【０３３０】
なお上記場合の範囲のことを“９５％の信頼区間”と呼ぶ。
【０３３１】
m-1.96σ , m＋1.96σ は、第２のパターン配列による抽出手段２００５で信頼度距離d2が得られた後、これを用いて計算される。
【０３３２】
利用情報抽出手段２００３から統計検定手段２００６に入力される信頼度距離d1の出現頻度分布は、ビット情報が“１”の場合は図２５の正規分布２５０２になり、ビット情報が“０”の場合は正規分布２５０３になるので、利用情報Inf₂に対応する信頼度距離d1は、第２のパターン配列による抽出手段２００５で求められる９５％の信頼区間（図２５の斜線部分）の外に存在する確率が非常に高い。
【０３３３】
ところで、オフセット合わせ手段２００２の処理時点で、この処理の対象となる画像に利用情報Inf₂が存在しない場合には、信頼度距離d1の出現頻度分布も正規分布２５０１の様になる。
【０３３４】
この場合、利用情報Inf₂に対応する６４個の信頼度距離d1の全てが式(２５.１)の信頼区間に含まれない確率は、(１−０．９５)の６４乗と非常に小さい。
【０３３５】
従って、信頼度距離d2に基づいて正規分布２５０１を求めておけば、この正規分布の大半を占める範囲に、信頼度距離d1に基づいて求められた出現頻度分布が含まれるか否かを考えることにより、付加情報Inf（利用情報Inf₂）が埋め込まれているか否かをほぼ確実に判断できる。
【０３３６】
統計検定手段２００６では、上述した様な性質を用いて付加情報Inf（利用情報Inf₂）が埋め込まれていることの信頼度を判断する。
【０３３７】
本実施の形態では、利用情報Infが埋め込まれていることの信頼度を、信頼性指標Ｄとして扱う。
【０３３８】
この信頼性指標Ｄは、利用情報抽出手段２００３で生成する全ての信頼度距離d1における、式(２５.１)の範囲の外に存在する信頼度距離d1の個数の割合で定義される。
【０３３９】
統計検定手段２００６は、この信頼性指標Ｄが閾値αより大きければ、信頼度距離d1の総合的な出現頻度分布は図２５の２５０２や２５０３の様な位置に人為的に偏らされているもの、即ち利用情報Inf₂が確実に埋め込まれている画像であると判断する。
【０３４０】
従って、ここでの判定に使用された信頼度距離d1自体が、信頼性の有る情報であると考え、この信頼度距離d1を更に後段の比較手段２００７へ転送することを許可する。
【０３４１】
なお、信頼性指標Ｄは、図３２の信頼性表示ステップ３５１０に示される様に、利用情報Inf₂の信頼性指標Ｄ、或いは指標Ｄに基づくメッセージをモニタ等に表示しても良い。
【０３４２】
例えば、信頼性指標Ｄが閾値αより大きくない場合は、「利用情報Inf2は正確に抽出できていません」との趣旨のメッセージを表示させ、図３２の統計検定ステップ３５０７から画像を再度入力するステップ３５０２に戻る。
【０３４３】
［３−７ 比較処理］
図２０の比較手段２００７は、利用情報抽出手段２００３と統計検定手段２００６とを経て出力された信頼度距離d1の値を入力する。ここに入力される信頼度距離d1は信頼性の高い情報であるので、ここでは信頼度距離d1に対応する各ビット情報が“１”と“０”の何れであるかを単純に判定するだけで良い。
【０３４４】
具体的には、利用情報Inf₂を構成するあるビット情報の信頼度距離d1が正であれば、このビット情報が“１”であると判定し、信頼度距離d1が負の場合はこのビット情報が“０”であると判定する。
【０３４５】
上記判定により得られた利用情報Inf₂は、ユーザーの参照情報、或いは制御信号にする為の最終的なデータとして出力される。
【０３４６】
以上で、付加情報の埋め込みから抽出までの一連の処理の説明を終わる。
【０３４７】
（変形例）
以上の実施の形態において、付加情報Inf（利用情報Inf₂）には誤り訂正符号化されたものを用いることも可能であり、そうする事によって、更に抽出された利用情報Inf₂の信頼性が向上する。
【０３４８】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムの１部として適用しても、１つの機器（たとえば複写機、ファクシミリ装置）からなるものの１部に適用してもよい。
【０３４９】
また、本発明は上記実施の形態を実現する為の装置及び方法のみに限定されるものではなく、上記システム又は装置内のコンピュータ（CPUあるいはMPU）に、上記実施の形態を実現する為のソフトウエアのプログラムコードを供給し、このプログラムコードに従って上記システムあるいは装置のコンピュータが上記各種デバイスを動作させることにより上記実施の形態を実現する場合も本発明の範疇に含まれる。
【０３５０】
またこの場合、前記ソフトウエアのプログラムコード自体が上記実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給する為の手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。
【０３５１】
この様なプログラムコードを格納する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【０３５２】
また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施の形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているOS(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して上記実施の形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。
【０３５３】
更に、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上記実施の形態が実現される場合も本発明の範疇に含まれる。
【０３５４】
なお、上記実施の形態ではコーンマスクを用いて電子透かし情報を埋め込む場合について説明したが、本発明はこれに限らない。特にブルーノイズマスクを用いて電子透かし情報を埋め込む場合も本発明の範疇に含まれる。
【０３５５】
また、上述した種々の特徴点の少なくとも１つを含む構成であれば本発明の範疇に含まれる。
【０３５６】
【発明の効果】
以上説明した様に、本発明によれば、電子透かし情報が埋め込まれているはずの画像データから、電子透かし情報を抽出する為のものとは異なるパターン配列で演算処理することにより、埋め込まれていない画像データの状態を類推できる。そして、この状態を参照して電子透かし情報を導く為に抽出された情報の信頼性を検定するので、結果的に電子透かし情報を正確に抽出できる。
【図面の簡単な説明】
【図１】電子透かし埋め込み装置の全体構成ブロック図
【図２】電子透かし抽出装置の全体構成ブロック図
【図３】印刷系処理において抽出側で生成された画像データの一例を示す図
【図４】レジストレーション信号埋め込み手段のブロック図
【図５】レジストレーション信号を説明する図
【図６】信頼度距離演算手段を示す図
【図７】スケール合わせ手段のブロック図
【図８】レジストレーション信号の抽出を説明する図
【図９】付加情報の埋め込み時及び抽出時に用いるパターン配列を示す図
【図１０】付加情報埋め込み手段のブロック図
【図１１】埋め込み位置決定手段のブロック図
【図１２】コーンマスク及びブルーノイズマスクの係数値の出現頻度分布を示す図
【図１３】人間の視覚の空間周波数特性を示す図
【図１４】ブルーノイズマスク、コーンマスクの空間周波数特性を示す図
【図１５】位置参照マスクを説明する図
【図１６】位置参照マスク内の埋め込み位置を示す概念図
【図１７】図１６のマスクに各パターン配列を展開する様子を示す図
【図１８】全画像において付加情報Infの埋め込みに必要な領域を示す図
【図１９】付加情報Infを埋め込む演算を説明する図
【図２０】付加情報抽出手段を説明する図
【図２１】付加情報Infを抽出する様子を説明する図
【図２２】付加情報Infが存在しないにも拘わらず、抽出しようとした様子を示す図
【図２３】原画像から信頼度距離dを抽出した場合の理想的な出現頻度分布を示す図
【図２４】電子透かしが埋め込まれた画像から信頼度距離dを抽出した場合を示す図
【図２５】本実施の形態における信頼度距離d1,d2の出現頻度分布の例を説明する図
【図２６】レジストレーション信号の埋め込みと抽出の原理を説明する図
【図２７】オフセット合わせ処理を行う様子を示した図
【図２８】オフセット合わせ処理を説明するフローチャート
【図２９】空間領域におけるレジストレーション信号埋め込み手段のブロック図
【図３０】パッチーワーク法における二つの集合を説明する図
【図３１】電子透かし埋め込み処理の全体を説明するフローチャート
【図３２】電子透かし抽出処理の全体を説明するフローチャート
【図３３】図９のパターンに直交するパターン配列の例を示す図
【図３４】“直交する”パターン配列を説明する図
【図３５】第１、第２の位置参照マスクを示した図
【図３６】付加情報Infの構成を示す図
【図３７】ブルーノイズマスク内の各係数の一例を示す図
【図３８】コーンマスクの画素値の各係数の一例を示す図
【符号の説明】
０１０１ 色成分抽出手段
０１０２ レジストレーション信号埋め込み手段
０１０３ 埋め込み位置決定手段
０１０４ 付加情報埋め込み手段
０１０５ 色成分合成手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and method for accurately extracting this information from image data in which electronic watermark information is embedded, and a storage medium storing this method.
[0002]
[Prior art]
In recent years, various kinds of information such as character data, image data, and voice data have been digitized due to the rapid development and spread of computers and their networks. Digital information is not deteriorated due to aging, etc., and can be stored in perfect condition forever, but can be easily copied, and copyright protection is a big problem.
[0003]
Therefore, security technology for copyright protection is rapidly gaining importance.
[0004]
One technique for protecting copyright is "digital watermarking". Digital watermarking is a technology that tracks the unauthorized use of illegal copies by embedding the name of the copyright holder and the purchaser's ID in a form that cannot be perceived by humans in digital image data, audio data, or text data. is there.
[0005]
In addition to copyright protection, digital watermarks are pre-embedded in digital data, and the consistency of information according to the rules embedded in the digital data is taken into account. It has also been applied to.
[0006]
Digital watermarking generally uses a method of embedding information by processing parts that are difficult for humans to perceive even if changes are made in digital data, so digital data with embedded digital watermarks is used. The “quality compared to the original”, “strength of digital watermark resistance”, and “amount of information that can be embedded” are in a trade-off relationship.
[0007]
The robustness of the digital watermark means that the embedded information can be extracted even after various processing edits are applied to the digital data in which the digital watermark is embedded.
[0008]
Conventionally, a digital watermark information embedding method called a patchwork method is known. This deliberately increases the value of one part of the image, while deliberately reducing another part can embed some additional information while substantially preserving the value of the entire image. It can be done.
[0009]
[Problems to be solved by the invention]
Conventionally, when extracting this information from image data in which digital watermark information is embedded by a patchwork method or the like, it is necessary to know the state of the original image data at the time of embedding from the image data in which the digital watermark information is already embedded. There is. Conventionally, however, few have assumed such a situation, and a technique for accurately extracting digital watermark information by analogizing the situation of the original image data has not yet been established.
[0010]
The present invention has been made in view of the above-mentioned problems. By analogizing the state of the image data in which the information is not embedded, from the image data in which the digital watermark information has already been embedded, the electronic watermark information is obtained. The aim is to be able to extract as accurately as possible.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, according to the image processing apparatus of the present invention, there is provided an apparatus for extracting digital watermark information from image data in which digital watermark information is difficult to be seen by humans. In contrast, using the first pattern array Convolution By applying the digital watermark information First extraction means for extracting a plurality of pieces of first information corresponding to each bit of Using the second pattern array for the image data Convolution By applying Based on second extraction means for extracting a plurality of second information corresponding to each bit of the digital watermark information, a distribution composed of the plurality of second information, and the plurality of first information, Test means for testing the reliability of the first information extracted by the first extraction means, The first pattern array and the second pattern array are: Are matrices of the same size, Have a relationship in which the result of each other's convolution operation becomes 0 It is characterized by.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
[1 Digital watermark embedding device]
Hereinafter, an outline of the digital watermark embedding apparatus according to the present embodiment will be described with reference to the drawings.
[0013]
FIG. 1 shows a digital watermark embedding apparatus according to this embodiment. As shown in FIG. 1, the digital watermark embedding apparatus includes a color component extracting unit 0101, a registration signal embedding unit 0102, an embedding position determining unit 0103, an additional information embedding unit 0104, and a color component synthesizing unit 0105.
[0014]
Image data I is input to the digital watermark embedding apparatus. This is multi-valued image data in which a predetermined number of bits are assigned per pixel. In the present embodiment, the input image data I can be grayscale image data or color image data. It is assumed that grayscale image data is composed of one type of element per pixel, and color image data is composed of three types of element per pixel. In the present embodiment, these three types of elements are a red component, a blue component, and a green component. However, the present invention can also be applied to other combinations of color components.
[0015]
The image data I input to the digital watermark embedding apparatus is first input to the color component extraction unit 0101.
[0016]
When the input image data I is color image data, the color component extraction unit 0101 separates only the blue component from the color image data and outputs it to the registration signal embedding unit 0102 at the subsequent stage.
[0017]
On the other hand, the other color components are output to the subsequent color component synthesis unit 0105. That is, here, only the color component in which the digital watermark information is to be embedded is separated and sent to the digital watermark processing system.
[0018]
In this embodiment, digital watermark information is embedded in the blue component. This is because the blue component is the least sensitive to human vision among the red component, blue component, and green component. Therefore, embedding digital watermark information in the blue component has an effect of making it difficult for human eyes to perceive image quality degradation due to digital watermark information, compared to embedding digital watermark information in other color components.
[0019]
If the input image data I is grayscale image data, the color component extraction unit 0101 once converts the grayscale image data into pseudo color image data. Here, the pseudo color image data is color image data composed of three types of elements per pixel. In this case, the values of the three types of elements are all equal image data. The gray scale image data is converted into the pseudo color image data, a blue component is separated from the color image data, and is output to the registration signal embedding unit 0102.
[0020]
On the other hand, the other color components are output to the subsequent color component synthesis unit 0105. In this manner, as in the case of the color image data described above, digital watermark information is embedded in the blue component.
[0021]
In the following description, the case where the image data I is color image data and the case where the image data I is grayscale image data will be described so as not to be distinguished as much as possible. That is, the description will be made without distinguishing between color image data and pseudo color image data.
[0022]
Next, the registration signal embedding unit 0102 will be described. Here, the registration signal is a signal required for executing geometric correction as preprocessing for extracting digital watermark information.
[0023]
The registration signal embedding unit 0102 receives the blue component image data obtained by the color component extraction unit 0101. The registration signal embedding unit 0102 embeds a registration signal in the image data using a kind of digital watermark technique. That is, in the image data in which the registration signal is embedded, human vision cannot perceive the registration signal. Details of this registration signal embedding method will be described later.
[0024]
Registration signal embedding unit 0102 outputs image data in which the registration signal is embedded.
[0025]
The next embedding position determining unit 0103 determines the embedding position of the additional information Inf in the image data input from the registration signal embedding unit 0102.
[0026]
The embedding position determination unit 0103 outputs, to the additional information embedding unit 0104, control data indicating a position where the additional information Inf is embedded in the image together with the input image data.
[0027]
The additional information embedding unit 0104 inputs additional information Inf (a plurality of bit information) in addition to the image data and the control data. This additional information Inf is embedded at the determined embedding position in the blue component image data using a digital watermark technique. The embedding of additional information Inf using this digital watermark technique will also be described later.
[0028]
From the additional information embedding unit 0104, image data in which the additional information Inf is embedded is output and input to the color component synthesizing unit 0105.
[0029]
The color component synthesizing unit 0105 uses the blue component processed up to the previous stage (additional information embedding unit 0104) and the red component and the green component directly input from the color component extracting unit 0101 to generate normal color image data. Synthesize into form.
[0030]
Through the above processing, the image data wI in which the registration signal and the additional information Inf are embedded by the digital watermark technique is output.
[0031]
In the present embodiment, it is assumed that an attack that causes various geometric distortions is added to the image data wI. For example, it is an intentional image editing by the user, or an operation of scanning the printed matter with a scanner or the like after printing the image data wI. The image data subjected to the attack is wI ′ in FIG.
[0032]
The overall flow of each means described above will be described with reference to the flowchart shown in FIG.
[0033]
First, in step 3402, the image data I is input to the color component extraction unit 0101. This includes a step of reading a photograph or printed matter with a scanner or the like and generating image data. Further, the blue component is separated and used for registration signal input at the subsequent stage.
[0034]
Next, a registration signal is generated in step 3403, and this registration signal is embedded in step 3404. The registration signal embedding process in step 3404 corresponds to the process executed in the registration signal embedding unit 0102 in FIG. 1, and will be described in detail later.
[0035]
Further, a mask is created in step 3405, and the created mask is input to step 3406 to define the relationship between the embedding bit information and the embedding position. In step 3407, the mask is expanded to an enlarged mask. A detailed description of the mask / pattern arrangement correspondence means will be given later.
[0036]
In step 3408, additional information Inf is embedded in the image data in which the registration signal is embedded in steps 3403 and 3404. In this additional information embedding process, the additional information Inf is repeatedly embedded in the entire image in units of macroblocks. This process will be described in detail later with reference to FIG. Here, the macro block indicates a minimum embedding unit, and all information of one complete additional information Inf is embedded in an image area corresponding to the macro block.
[0037]
After the additional information Inf is embedded in the image data, in step 3409, the image data wI in which the digital watermark information is embedded is output.
[0038]
As described above, this image data wI may be subjected to an attack that causes various geometric distortions before the digital watermark extraction start process of FIG. 32 described later is executed.
[0039]
[2 Digital watermark extraction device]
Next, an outline of the digital watermark extraction apparatus in this embodiment will be described.
[0040]
FIG. 2 shows a digital watermark extraction apparatus according to this embodiment. As shown in FIG. 2, the digital watermark extraction apparatus includes a color component extraction unit 0201, a registration unit 0202, and an additional information extraction unit 0203.
[0041]
Image data wI ′ is input to the digital watermark extracting apparatus. The image data wI ′ is image data having a possibility of being subjected to an attack that causes various geometric distortions to the image data wI. Attacks include various types such as lossy compression such as JPEG compression, scaling, rotation, printing & scanning, and combinations thereof.
[0042]
Therefore, it is ideal that the contents of the image data wI ′ and wI are the same, but in reality, the contents of the two image data are often significantly different.
[0043]
The color component extraction unit 0201 receives the image data wI ′, extracts the blue component, and then outputs the blue component image data to the registration unit 0202 at the subsequent stage. Of the image data wI ′, the red component and the green component other than the blue component are unnecessary and are discarded here.
[0044]
The registration unit 0202 includes image data wI of the blue component obtained by the color component extraction unit 0201. ₁ 'Is entered. And this blue component image data wI ₁ Image data wI corrected for geometric distortion using ' ₂ Generate '.
[0045]
As described above, the image data wI ′ may have a different scale from the image data wI, whereas the image data wI ₂ 'Is always the same scale as the image data wI. The reason and the image data wI ₂ Details of the process for setting 'to the same scale as the image data wI will be described later.
[0047]
The registration means 0202 stores the image data wI ₂ 'Is output to the additional information extraction unit 0203.
[0048]
The additional information extraction unit 0203 performs predetermined processing according to the embedding method in the additional information embedding unit 0104 to thereby obtain the image data wI. ₂ It is possible to extract the digital watermark information embedded in ', and output the extracted additional information Inf.
[0049]
The overall flow of each means described above will be described with reference to the flowchart of FIG. First, at step 3502, image data wI ′ is input. The image data wI ′ is obtained by reading out image data expected to be the image data wI from a network or a memory, or scanning a printed matter based on the image data wI with a scanner or the like. In the latter case, it is very likely that the image data wI ′ is significantly different from the image data wI.
[0050]
Also, only the blue component of this image data wI ′ is extracted and used in the next step.
[0051]
Next, in step 3503, the input blue component image data wI. ₁ The scale of 'is corrected.
[0052]
Further, in step 3504, the input blue component image data wI. ₁ The offset of 'is corrected.
[0053]
Next, the extraction process using the first pattern array is performed in step 3506, and the extraction process using the second pattern array is performed in step 3505. ₂ The embedded additional information Inf is extracted from '.
[0054]
In statistical test step 3507, the probability of the extracted digital watermark information is calculated and determined. If it is determined that the extracted digital watermark information is not correct, the process returns to step 3502, and the image considered that the digital watermark information is embedded. Enter again. On the other hand, if it is determined that the digital watermark information is sufficiently accurate, the digital watermark information (additional information Inf) is extracted by the comparison processing in step 3508. In step 3510, information indicating the certainty is displayed as a reliability index D described later.
[0056]
[3 Detailed explanation of each part]
Next, each part will be described in detail.
[0057]
First, a registration process executed by the registration unit 0202 and step 3503 on the digital watermark extraction side will be described.
[0058]
The registration process is a pre-process that enables digital watermark information to be extracted from the image data wI ′ input to the digital watermark extraction apparatus when digital watermark information is extracted. In the following, it is first considered how the image data that has undergone printing processing undergoes changes. Then, a registration process for such a change is considered, and a registration process for a printing system is considered.
[0059]
The image data wI output from the digital watermark embedding device is not always input to the digital watermark extraction device as it is.
[0060]
For example, consider the case where the image data wI is printed by a YMCK inkjet printer and the printed material is scanned by a scanner.
[0061]
At this time, when the output resolution by the printer and the input resolution by the scanner are different, the original color image data wI and the scale of the image data obtained by scanning are different. Therefore, there is little possibility that the digital watermark information can be accurately extracted as it is from the obtained image data wI ′. Therefore, it is necessary to provide means capable of correcting the difference in scale.
[0062]
In the present embodiment, since both the input resolution and the output resolution are known, the scale ratio can be calculated from these ratios. For example, when the output resolution is 600 dpi and the input resolution is 300 dpi, the ratio of the scale of the image before printing and the image after scanning is twice. Therefore, the image data wI ′ is scaled using an appropriate scaling algorithm in accordance with the calculated scale ratio. As a result, the image sizes represented by the image data wI and the image data wI ′ can be set to the same scale.
[0063]
However, the output and input resolutions are not always known in all cases. If both resolutions are not known, the above method cannot be used. In this case, in addition to means for correcting the difference in scale, means for further knowing the ratio of scales is necessary.
[0064]
An image obtained by performing printing processing on the image data wI becomes an image as shown in FIG. 3 after being input by scanning of the scanner. In FIG. 3, the entire 0301 is an image represented by the image data wI ′. This image data 0301 is composed of an original image 0302 represented by the image data wI and a white margin portion 0303. Such a margin will be inaccurate if the user cuts it with a mouse or the like.
[0065]
The above points are considered to be necessarily generated in the image representing the image data wI ′ obtained through the printing system. If the image data wI is subjected to printing processing, these Need to be resolved.
[0066]
As described above, the case where image data is obtained after at least one printing process before extracting a digital watermark has been described. However, such a situation can also occur by artificial editing.
[0068]
Hereinafter, the registration signal embedding unit and the registration unit provided for solving the above-described problem will be described assuming that the ratio of input / output resolution is unknown.
[0069]
[3-1 Registration signal embedding process]
First, details of the registration signal embedding unit 0102 (step 3404) will be described.
[0070]
The registration signal embedding unit 0102 is located before the additional information embedding unit 0104. This means 0102 embeds a registration signal, which is referred to for registration of the image data wI ′ in the registration means of FIG. 2, in the original image data in advance. This registration signal is embedded in image data (in this embodiment, the blue component of color image data) that is difficult to be seen by human eyes as digital watermark information.
[0071]
FIG. 4 shows an internal configuration of the registration signal embedding unit 0102. The registration signal embedding unit 0102 includes the block dividing unit 0401, Fourier transform unit 0402, addition unit 0403, inverse Fourier transform unit 0404, and block synthesis unit 0405 shown in FIG. The details of each means are described below.
[0072]
The block dividing unit 0401 divides input image data into a plurality of blocks that do not overlap each other. The size of this block is determined to be a power of 2 in this embodiment. Actually, other sizes can be applied. However, when the block size is a power of 2, the Fourier transform unit 0402 combined after the block dividing unit 0401 can perform high-speed processing.
[0073]
The blocks divided by the block dividing means 0401 are divided into two sets I ₁ And I ₂ Of these, I ₁ Is input to the subsequent Fourier transform means 0402, and I ₂ Is input to the subsequent block synthesizing unit 0405. In this embodiment, I ₁ As for each block obtained by the block dividing means 0401, one block located closest to the center in the image data I is selected, and all the remaining blocks are I ₂ Selected as.
[0074]
This can be realized by using at least one block in this embodiment, and the processing time can be shortened when the number of blocks is small. However, the present invention is not limited to this. ₁ The case where two or more blocks are selected is included in the category.
[0075]
Also, information regarding what size the block is divided into and which block is selected as a registration signal embedding target needs to be shared by the digital watermark embedding device and the digital watermark extraction device.
[0076]
Part of the image data obtained by the division by the block dividing means 0401 I ₁ Is input to the Fourier transform unit 0402.
[0077]
Next, the Fourier transform unit 0402 receives the input image data I ₁ Is subjected to Fourier transform. Input image data I ₁ The original data form is called a spatial domain, whereas the data form after Fourier transform is called a frequency domain. The Fourier transform is applied to all input blocks. In the present embodiment, since the size of the input block is a power of 2, fast Fourier transform is used to speed up the processing.
[0078]
Fast Fourier transform means (n / 2) log while Fourier transform requires nxn operations. ₂ This is a conversion algorithm that can be executed with the calculation amount of (n). Here, n is a positive integer. The fast Fourier transform and the Fourier transform differ only in the speed for obtaining the calculation result, and the same result can be obtained from both. Therefore, in the present embodiment, the fast Fourier transform and the Fourier transform are not distinguished and will not be described.
[0079]
Note that the frequency domain image data obtained by Fourier transform is expressed by an amplitude spectrum and a phase spectrum. Of these, only the amplitude spectrum is input to the adding means 0403. On the other hand, the phase spectrum is input to the inverse Fourier transform device 0404.
[0080]
Next, the adding means 0403 will be described. A signal r called a registration signal is separately input to the adding means 0403 together with the amplitude spectrum. An example of the registration signal is an impulse signal as shown in FIG.
[0081]
FIG. 5 shows the amplitude spectrum of the two-dimensional spatial frequency component obtained by the Fourier transform. The center is a low frequency component, and the periphery is a high frequency component. Reference numeral 0501 denotes the amplitude spectrum of the signal component of the original image component. In the signal corresponding to a natural image such as a photograph, many large signals are concentrated in the low frequency range. On the other hand, there is almost no signal in the high range.
[0082]
In the present embodiment, description will be made assuming that a series of processing is performed on a natural image. However, the present invention is not limited to this, and a document image, a CG image, and the like may be processed in the same manner. However, this embodiment is particularly effective when processing a natural image having a relatively large intermediate density.
[0083]
FIG. 5 shows an example of the present embodiment in which impulse signals 0502, 0503, 0504, and 0505 are added to the horizontal and vertical Nyquist frequency components of the frequency domain signal with respect to the signal 0501 inherent in the natural image. As in this example, the registration signal is preferably an impulsive signal. This is because it is easy to extract only the registration signal in the digital watermark extracting apparatus described later.
[0084]
Although the impulse signal is added to the Nyquist frequency component of the input signal in FIG. 5, the present invention is not limited to this. That is, any registration signal may be used even if an image in which digital watermark information is embedded is attacked. As described above, lossy compression methods such as JPEG compression have a low-pass filter effect. Therefore, even if an impulse signal is embedded in a high-frequency component that is an object of information compression here, it may be removed by compression / expansion processing.
[0085]
On the other hand, the embedding of an impulse in a low frequency component has a drawback that it is easily perceived as noise from human visual characteristics as compared with embedding in a high frequency component. Therefore, in the present embodiment, an impulse signal is embedded at an intermediate level frequency that is equal to or higher than the first frequency that is difficult to be recognized by human vision and is not easily removed by irreversible compression / decompression processing. Shall. This registration signal is added to each block (one block in this embodiment) input to the adding means 0403.
[0086]
The adding unit 0403 outputs a signal obtained by adding the registration signal to the amplitude spectrum of the image data in the frequency domain to the inverse Fourier transform unit 0404.
[0087]
The inverse Fourier transform unit 0404 performs an inverse Fourier transform on the input frequency domain image data. This inverse Fourier transform is applied to all input blocks. As in the case of the Fourier transform unit 0402 described above, since the size of the input block is a power of 2, fast Fourier transform is used to speed up the processing. The frequency domain signal input to the inverse Fourier transform unit 0404 is converted into a spatial domain signal by inverse Fourier transform and output.
[0088]
The spatial region image data output from the inverse Fourier transform unit 0404 is input to the block combining unit 0405.
[0089]
The block combining unit 0405 performs a process reverse to the division performed by the block dividing unit 0405. As a result of the processing of the block combining unit 0405, image data (blue component) is reconstructed and output.
[0090]
The details of the registration signal embedding unit 0102 shown in FIG. 1 have been described above.
[0091]
In FIG. 4, the method of embedding the registration signal in the Fourier transform region has been described. On the other hand, a method of embedding a registration signal in the spatial domain is also conceivable. This method will be described with reference to FIG.
[0092]
FIG. 29 includes a block dividing unit 3201, an adding unit 3202, a block synthesizing unit 3203, and an inverse Fourier transform unit 3204.
[0093]
The block dividing unit 3201 and the block synthesizing unit 3203 operate in the same manner as the block dividing unit 0401 and the block synthesizing unit 0405 in FIG. The image data input to the registration signal embedding unit 0102 is first input to the block dividing unit 3201 and divided. The block obtained here is input to the adding means 3202. On the other hand, the registration signal r is input to the inverse Fourier transform means 3204 and converted into a signal r ′ by an inverse Fourier transform process. Here, the registration signal r is a signal in the frequency domain, similar to that shown in FIG. The adding means 3202 receives the block from the block dividing means 3201 and the signal r ′ from the inverse Fourier transform means 3204 and adds them. The signal output from the adding unit 3202 is input to the block synthesizing unit 3203, and the image data (blue component) is reconstructed and output.
[0094]
The above-described means configuration of FIG. 29 performs the same processing as the means configuration of FIG. 4 in the spatial domain. Compared with the means configuration of FIG. 4, no Fourier transform means is required, so that high-speed processing can be performed.
[0095]
Further, in FIG. 29, the signal r ′ is an independent signal with respect to the input image data I. Therefore, the calculation of the signal r ′, that is, the processing of the inverse Fourier transform unit 3204 does not need to be executed every time the input image data I is input, and r ′ can be generated in advance. In this case, the inverse Fourier transform means 3204 can be removed from the means configuration of FIG. 29, and the registration signal can be embedded at a higher speed. Registration processing referring to this registration signal will be described later.
[0096]
≪ Patchwork method ≫
In this embodiment, a principle called a patchwork method is used for embedding the additional information Inf. First, the principle of the patchwork method will be described.
[0097]
In the patchwork method, embedding of additional information Inf is realized by causing a statistical bias in the image.
[0098]
This will be described with reference to FIG. In FIG. 30, 3301 and 3302 are a subset of pixels, respectively, and 3303 is an entire image. Two subsets A 3301 and B 3302 are selected from the entire image 3303.
[0099]
If the two subset selection methods do not overlap with each other, the additional information Inf can be embedded by the patchwork method in the present embodiment. However, the size and selection method of the two subsets is large enough to withstand the additional information Inf embedded by this patchwork method, that is, the strength to prevent the additional information Inf from being lost when the image data wI is attacked. affect. This will be described later.
[0100]
Now, the value of the element of the selected subset A is set to {a _n }, The value of the element of subset B is {b _n }. {a _n }, {B _n } Is specifically the value of each pixel included in each subset (corresponding to the value of the blue component in the color image data in this embodiment).
[0101]
Here, the following index d is defined.
d = 1 / N Σ (a _i −b _i )
This shows the expected value of the difference between the pixel values of the two sets.
[0102]
For a general natural image, select appropriate subset A and subset B, and define index d,
d ≒ 0
There is a property to become. Hereinafter, d is referred to as a reliability distance.
[0103]
On the other hand, as an embedding operation of each bit constituting the additional information Inf,
a ' _i = a _i + C
b ' _i = b _i −c
Do the operation. This is an operation of adding the value c to all the elements of the subset A and subtracting c from all the elements of the subset B.
[0104]
Here, as in the previous case, the subset A and the subset B are selected from the image in which the additional information Inf is embedded, and the index d is calculated.
[0105]
Then

It will not become 0.
[0106]
That is, when a certain image is given, by calculating the reliability distance d for the image, if d≈0, the additional information Inf is not embedded, while d is more than a certain amount away from 0. If it is a value, it can be determined that the additional information Inf is embedded.
[0107]
The above is the basic idea of the patchwork method.
[0108]
By applying the principle of the patchwork method, information of a plurality of bits is embedded in this embodiment. In this method, the selection method of the subset A and the subset B is also defined by the pattern arrangement.
[0109]
In the above-described method, the additional information Inf is embedded by adding or subtracting the elements of the pattern array to the predetermined elements of the original image.
[0110]
An example of a simple pattern arrangement is shown in FIG. FIG. 9 is a pattern array showing the amount of change in pixel value from the original image when referring to 8 × 8 pixels to embed 1 bit. As shown in FIG. 9, the pattern array includes an array element having a positive value, an array element having a negative value, and an array element having a value of 0.
[0111]
In the pattern of FIG. 9, the position indicated by the + c array element indicates a position where the pixel value at the corresponding position is increased by c, and corresponds to the subset A described above. On the other hand, the position indicated by the array element -c indicates a position where the pixel value at the corresponding position is decreased by c, and is a position corresponding to the subset B described above. A position indicated by 0 indicates a position other than the above-described subsets A and B.
[0112]
In the present embodiment, the number of array elements having a positive value is made equal to the number of array elements having a negative value in order not to change the overall density of the image. That is, the sum of all array elements in one pattern array is zero. Note that this condition is indispensable for the additional information Inf extraction operation described later.
[0113]
An embedding operation of each bit information constituting the additional information Inf is performed using the pattern arrangement as described above.
[0114]
In this embodiment, a plurality of bit information, that is, additional information Inf is embedded by arranging the pattern of FIG. 9 a plurality of times in different regions in the original image data and increasing / decreasing the pixel value. In other words, by assuming not only a combination of subsets A and B but also a plurality of combinations of subsets A ′ and B ′, subsets A ″ and B ″,... In different regions of one image, The additional information Inf consisting of a plurality of bits is embedded.
[0115]
In the present embodiment, when the original image data is large, the additional information Inf is repeatedly embedded. This is because the patchwork method uses statistical properties, so that a sufficient number is necessary for the statistical properties to appear.
[0116]
Further, in this embodiment, when embedding a plurality of bits, in order to prevent regions where pixel values are changed using a pattern arrangement from overlapping, a relative position in which the pattern arrangement is used is determined in advance by mutual bits. That is, the relationship between the position of the pattern array for embedding the first bit information constituting the additional information Inf and the position of the pattern array for embedding the second bit information is appropriately determined.
[0117]
For example, if the additional information Inf is composed of 16 bits, the positional relationship of the 8 × 8 pixel pattern arrangement of each of the 1st to 16th bits has less image quality degradation on an area larger than 32 × 32 pixels. It is given relatively.
[0118]
Further, the additional information Inf (respective bit information constituting the additional information) is repeatedly embedded as many times as possible when the image data is large. This is for the purpose of correctly extracting each bit of the additional information Inf. In particular, in the present embodiment, the above repetition is important because statistical measurement is performed using the fact that the same additional information Inf is repeatedly embedded.
[0119]
The selection of the embedding position as described above is executed by the embedding position determining means 0103 in FIG. Next, the operation of this embedding position determining means will be described.
[0120]
[3-2 Embedding position determination process]
FIG. 11 shows the internal configuration of the embedding position determining means 0103.
[0121]
The mask creating means 1101 in FIG. 11 creates a mask for defining the embedding position of each bit information constituting the additional information Inf. The mask is a matrix having position information that defines a relative arrangement method of a pattern arrangement (see FIG. 9) corresponding to each bit information.
[0122]
An example of a mask is shown at 1701 in FIG. Coefficient values are assigned to the inside of the mask, and each coefficient value has the same appearance frequency in the mask. If this mask is used, it is possible to embed additional information Inf consisting of a maximum of 16 bits.
[0123]
Next, the mask reference unit 1102 reads the mask created by the mask creation unit 1101, associates each coefficient value in the mask with information on what bit each bit information is, and embeds each bit information The arrangement method of the pattern arrangement is determined.
[0124]
Further, the mask / pattern array correspondence unit 1103 expands the array elements (8 × 8 size) of each pattern array at the position of each coefficient value in the mask. That is, each coefficient value (1 cell) of the mask shown by 1701 in FIG. 17 is multiplied by 8 × 8 as shown in FIG. 1703 and can be referred to as an embedding position of each pattern array.
[0125]
The additional information embedding unit 0104 described later embeds each bit information using the pattern arrangement with reference to the embedding head coordinates 1702 in FIG.
[0126]
In the present embodiment, the mask is created every time image data (blue component) is input to the mask creating means 1101. Therefore, when inputting large-size image data, the same additional information Inf is embedded repeatedly a plurality of times.
[0127]
In the above method, when the additional information Inf is extracted from the image, the mask configuration (coefficient value array) plays a key role. That is, there is an effect that only the key owner can extract information.
[0128]
The present invention also includes a case in which a mask created in advance is stored in the internal storage unit of the mask creating unit 1101 and called when necessary without creating a mask in real time. In this case, it is possible to shift to subsequent processing at high speed.
[0129]
Next, details of each process executed in the embedding position determining unit 0103 will be described.
[0130]
[3-2-1 Mask creation means]
First, the mask creating unit 1101 will be described.
[0131]
When embedding the additional information Inf using the patchwork method, if the information is embedded by adding a large operation to the pixel value to increase the attack resistance (for example, if the value of C in the pattern array is set large) In the image represented by the image data, image quality degradation is relatively inconspicuous at the so-called edge portion where the pixel value changes suddenly, but the portion where the pixel value is manipulated is noticeable as noise at the flat portion where the pixel value changes little. .
[0132]
FIG. 13 shows the spatial frequency characteristics perceived by the human eye. The horizontal axis represents the spatial frequency (Radial Frequency), and the vertical axis represents the visual response value. It can be seen from FIG. 13 that when the pixel value is manipulated to embed information, the image quality degradation is conspicuous in the low frequency region where human eyes can perceive sensitively.
[0133]
For this reason, in the present embodiment, a pattern corresponding to each bit is arranged in consideration of the characteristics of a blue noise mask and a cone mask that are normally used for binarization processing of a multi-valued image.
[0134]
Next, the characteristics of the blue noise mask and the cone mask will be briefly described.
[0135]
First, the characteristics of the blue noise mask will be described.
[0136]
The blue noise mask has a characteristic of forming a blue noise pattern regardless of the threshold value. This blue noise pattern is a pattern showing frequency characteristics in which the spatial frequency is biased toward a high frequency region.
[0137]
FIG. 37 shows a part of a certain blue noise mask.
[0138]
Further, reference numeral 1401 in FIG. 14 shows a schematic diagram of the spatial frequency characteristics of the blue noise mask binarized with the threshold value 10.
[0139]
The horizontal axis 1401 indicates the radial frequency, which indicates the distance from the origin (DC component) when the blue noise mask is Fourier transformed. The vertical axis is the power spectrum, which is a value obtained by averaging the sum of squares of amplitude components at the distance indicated by the horizontal axis Radial Frequency. In the figure, the two-dimensional frequency characteristics of the image are converted into a one-dimensional graph for easy understanding visually.
[0140]
Comparing with FIG. 13, it can be seen that the blue noise mask is not easily perceived by human eyes because the high frequency components are biased. Therefore, in an inkjet printer or the like, when expressing gradation of a multi-valued image with area gradation using dots, a blue noise mask is used to bias the spatial frequency component to a high frequency and make it noticeable to the human eye. It is known that area gradation can be expressed without any problem.
[0141]
Next, an example of a blue noise mask generation process is shown below.
1. Generate white noise
2. Binary image P with gradation g _gl Perform low-pass filtering on the initial value (white noise mask) and multi-valued image P ' _gl Generate a
3. Tone g (initial value: 127) image and low-pass filtered image P ' _gl (Multi-value) is compared and the binary image P _g Invert the black and white pixels of the binary image P _{gl + 1} Get.
4. Repeat a few operations until error is minimized, binary image P _gl Binary image P with gradation g (initial value: 127) little by little (initial value is white noise mask) _g Change to (blue noise mask).
5. A binary black (white) point of gradation g + 1 (g-1) is given to a random position on the Pg image, and a few operations are repeated. _{g + 1} (P _g-1 )
[0142]
By repeating the above operation, blue noise masks for all gradations are created and a dither matrix is generated.
[0143]
For example, a 32 × 32 blue noise mask increases (decreases) four points for each gradation.
[0144]
However, since the black (white) bit determined in the previous gradation g cannot be reversed in order to have 256 gradations at this time, the restriction condition becomes strict at low or high gradations, and only a random pattern with poor uniformity is obtained. There is a disadvantage that it is not possible.
[0145]
FIG. 12 shows an appearance frequency distribution (histogram) 1201 of each coefficient constituting the blue noise mask. In FIG. 12, the same number of all values (coefficients) from 0 to 255 exist in the mask.
[0146]
A technique in which the blue noise mask is used for binarization of a multi-valued image is well known. For example, “J.Opt.Soc.Am A / Vol.9, No.11 / November 1992 Digital halftoning technique using a blue-noise mask Tehophano Mitsa, Kevin J. Parker "and the like.
[0147]
Next, the characteristics of the cone mask will be described.
[0148]
In the cone mask, when each coefficient included in the mask is binarized, as shown by 1402 in FIG. 14 on the spatial frequency domain representing the binary information obtained here, a periodic or pseudo period is obtained. One characteristic is that a typical peak occurs. However, it is designed so that no peak appears in the low frequency region.
[0149]
FIG. 38 shows a part of a coefficient array of a certain cone mask.
[0150]
Even when the cone mask is binarized at any threshold value, an appropriate distance is maintained between the dots, so that no peak appears in the low frequency region.
[0151]
1402 in FIG. 14 is a schematic diagram of the spatial frequency characteristics when binarized with a cone mask threshold value of 10. Similar to the spatial frequency characteristics of the blue noise mask 1401, it can be seen that the characteristics of 1402 have few low frequency components.
[0152]
In the case of a cone mask, even if the threshold is low or high, the peak occurs from a frequency higher than the low frequency of the blue noise mask, so it is denser at the embedding position than the blue noise mask. There are fewer parts. For this reason, the embedded noise generated when the additional information Inf is embedded has an advantage that it is less noticeable than the blue noise.
[0153]
Also, the frequency of use of the coefficients constituting the cone mask is the appearance frequency distribution (histogram) indicated by 1201 in FIG. 12, as in the case of the blue noise mask.
[0154]
Therefore, if a pattern corresponding to each bit information constituting the additional information Inf is embedded in the image data in association with the coefficient of the mask, a pattern corresponding to each bit information is included in the image data. As a result, the additional information Inf can be embedded in a balanced manner.
[0155]
In the present embodiment, a cone mask is used as the embedded reference mask because of the above advantages.
[0156]
[3-2-2 Mask reference means]
The mask (cone mask) created by the mask creation means 1101 is input to the mask reference means 1102.
[0157]
The mask reference means 1102 determines the embedding position by associating the embedding position of the N-bit information embedded in the image with the mask number (pixel value).
[0158]
An embedding position determination method performed by the mask reference unit 1102 will be described.
[0159]
In the present embodiment, the above-described cone mask is used. However, in order to make the description easy to understand, a description will be given using a 4 × 4 mask indicated by 1501 in FIG.
[0160]
The mask in FIG. 15 has 4 × 4 coefficients, and is a mask in which coefficient values from 0 to 15 are arranged one by one. Using this 4 × 4 mask, reference is made to the embedding position of the additional information Inf. In the case of the mask used in this description, additional information Inf composed of a maximum of 16 bits can be embedded. Hereinafter, a case where 8-bit additional information Inf is embedded will be described.
[0161]
First, the configuration of the additional information Inf will be described with reference to FIG. As shown in the figure, the additional information Inf is the start bit Inf. ₁ And usage information Inf ₂ Consists of
[0162]
This start bit Inf ₁ Recognizes that the position where the actual additional information Inf is embedded deviates from the ideal position, and corrects the extraction start position of the digital watermark (additional information Inf) accordingly. Used in offset adjustment means included on the side. Details will be described later.
[0163]
In addition, usage information Inf ₂ Is original additional information, that is, information that is actually used as additional information of the image data I. This information includes, for example, the ID of the apparatus shown in FIG. 1 or the ID of the user if the purpose is to trace the cause in the case of illegal use of the image data wI. In addition, if the copy of the printed image data wI is prohibited, control information indicating that copying is prohibited is included.
[0164]
In this embodiment, the start bit is 5 bits and a bit string “11111” is used. However, the present invention is not limited to this, and the number of bits other than 5 bits in the additional information Inf can be used as a start bit. Similarly, a bit string other than “11111” can be used. However, the number of start bits and the bit sequence must be shared by the digital watermark embedding device and the digital watermark extraction device.
[0165]
A simple example of embedding additional information Inf of 8 bits in total of 5 bits of start bits and 3 bits of usage information using a cone mask composed of 4 × 4 coefficients as described above will be described.
[0166]
However, the present invention is not limited to this. For example, the present invention can be applied to a case where a total of 69 bits of additional information Inf consisting of a start bit of 5 bits and usage information of 64 bits is embedded using a 32 × 32 cone mask.
[0167]
The additional information Inf has a start bit of 5 bits “11111” and usage information of 3 bits “010”. The first bit information is 1, the second is 1, the third is 1, the fourth is 1, the fifth is 1, the sixth is 0, the seventh is 1, and the eighth is 0.
[0168]
Each of the patterns corresponding to these bits (see FIG. 9) is assigned to a position corresponding to one of the cone mask coefficients, and each pixel value of the original image data is changed by ± c according to this positional relationship. As a result, one piece of additional information Inf is embedded in the original image data having a size corresponding to one cone mask.
[0169]
In the present embodiment, a certain threshold value is determined based on the minimum number of bits required to embed additional information Inf, and the position corresponding to the position in the cone mask where a coefficient equal to or smaller than this threshold value is arranged. Embed each bit information. Thereby, one additional information Inf is embedded in one cone mask regardless of the number of bits of the additional information Inf.
[0170]
The present invention is not limited to the above method, and the corresponding bit information may be embedded at a position where a coefficient greater than a certain threshold is arranged, and the threshold may be determined based on this.
[0171]
Next, in the present embodiment, the ratio of the number of coefficients equal to or less than the threshold used for embedding in the total number of coefficients in the mask is referred to as an embedding filling rate.
[0172]
In order to correctly embed 8-bit additional information Inf an integer number of times, the threshold value for determining which coefficient is used for the embedding reference position in the mask 1501 in FIG. 15 needs to be 8 or 16. The optimum threshold is determined in consideration of the tolerance and the influence on the image quality.
[0173]
Here, if the mask threshold is 8, the filling rate is 50%. That is, 50% of the original image data checked against the mask is subjected to processing using the pattern arrangement of FIG.
[0174]
An example of the correspondence between each bit information and the coefficient in the mask is shown in the correspondence table 1.
[0175]
[Table 1]

Here, S1 to S5 are bit information (start bits) for alignment used in the offset alignment processing apparatus. 1-3 are 3-bit usage information.
[0176]
According to the correspondence in the correspondence table 1, each bit information is embedded using a pattern (see FIG. 9) at the pixel position of the input image data corresponding to the position of the coefficient (0 to 7) represented by 1601 in FIG. . The correspondence relationship between the order of the bit information to be embedded and the coefficient values in the mask is a part of the key information, and the bit information cannot be extracted without knowing this correspondence relationship. In this embodiment, in order to simplify the description, as shown in the correspondence table 1, S1 to S5 and 3 bits of usage information are sequentially associated with coefficient values from 0 to a threshold value.
[0177]
Next, the filling rate when actually embedding using a 32 × 32 cone mask will be described. Note that the processing procedure is the same as when the mask 1501 is used.
[0178]
First, in consideration of image quality degradation at the time of embedding, a threshold value necessary for correctly embedding additional information Inf an integer number of times is determined.
[0179]
Further, in order to embed each bit constituting the additional information Inf with an equal number of repetitions, the number of coefficients equal to or less than the threshold is divided by the number N of bits constituting the additional information Inf, and each bit is determined by one mask size. Decide whether you can embed times.
[0180]
For example, when embedding 69-bit additional information Inf consisting of the above-described 5 bits of the start bit and 64 bits of usage information in the original image data corresponding to coefficient values from 0 to 255, for example, a threshold value is set. Set to 137.
[0181]
In this case, the number of effective coefficient values in the mask is 138. Since the number of bits necessary to represent one additional information Inf is 69, each bit information can be embedded 138/69 = 2 times in one mask size.
[0182]
The reason for embedding all points having a coefficient value equal to or less than a certain threshold when determining the embedding position using a cone mask is that the peak of the low frequency component of the spatial frequency does not appear. It is to make the best use of it.
[0183]
As a result of determining the embedding position as described above, when the embedding filling rate is 50% and the embedding information amount is 69 bits, the relationship between each bit information constituting the additional information Inf and each coefficient value constituting the cone mask is It becomes like correspondence table 2.
[0184]
[Table 2]

Here, S1 to S5 are start bits, which are bit information for alignment used in the offset alignment processing apparatus. 1 to 64 are usage information.
[0185]
However, the present invention is not limited to this correspondence, and if each bit information is sequentially embedded in all the coefficient positions from 0 to the threshold (or the threshold to 255) using the pattern of FIG. The correspondence relationship with each coefficient value may be different.
[0186]
In the case of a 32 × 32 cone mask, there are four positions each having the same coefficient in one mask.
[0187]
When embedding each bit information in the original image data based on the above correspondence table 2 for all the coefficients, each bit information constituting the additional information Inf is a large cone mask of 32 × 32, 64 × 64, etc. Are embedded approximately equal times. Also, the same bit information is diffused and embedded in the original image data.
[0188]
In the patchwork method, the embedding position has been selected randomly so that the patterns corresponding to each bit information (see FIG. 9) do not overlap each other, but in this embodiment, by referring to the cone mask, Similar effects can be obtained, and image quality degradation is less.
[0189]
As a result, the mask reference unit 1102 obtains the coordinates (x, y) of the embedding position corresponding to each bit information.
[0190]
When the information is expressed by the array S [bit] [num] = (x, y), in the case of the correspondence table 1, bit indicates start bits S1 to S5 and usage information 1 to 3 bits. Also, num is the order given to each coefficient that appears repeatedly in the cone mask. (x, y) contains the relative coordinates in the mask.
[0191]
The above operation is performed by the mask reference means 1102.
[0192]
[3-2-3 Mask / pattern array correspondence means]
The embedding position of each bit information obtained by the mask reference unit 1102 in the cone mask is input to the mask / pattern arrangement corresponding unit 1103.
[0193]
Since the embedding position determined by the mask reference means 1102 is the position of each bit information pattern (for 8 × 8 pixels), the patchwork method further adds an addition area (+ c) and a subtraction area (−c) shown in FIG. ) And other than (0) must be assigned. For this reason, the mask / pattern arrangement corresponding unit 1103 performs an operation of developing an 8 × 8 size pattern array corresponding to FIG. 9 at all positions of the cone mask referred to by the mask reference unit 1102.
[0194]
Specifically, for the coordinates of the array S [bit] [num] = (x, y) obtained by the mask reference means 1102, the x coordinate is multiplied by the horizontal size of the pattern array, and the y coordinate is The operation of multiplying the vertical size of the pattern array is performed. As a result, the coordinates 1701 in the mask in FIG. 17 become the leading coordinates 1702 in which one pixel in the mask is enlarged to one pattern array.
[0195]
If the pattern arrangement shown in FIG. 9 is used from the top coordinates, it is possible to perform embedding without overlapping the area 1703 having the size of the pattern arrangement.
[0196]
The coordinate (x, y) changes to the coordinate (x ′, y ′), but the bit and num of the array S [bit] [num] do not change.
[0197]
Therefore, the additional information Inf corresponding to the bit of the array S [bit] [num] is set to (x ′, y ′) as the head position for embedding the pattern array, and a plurality of bit information can be embedded.
[0198]
A large mask in which each coefficient of the cone mask is expanded (enlarged) into an 8 × 8 pattern array by the mask / pattern array corresponding unit 1103 is referred to as an enlarged mask.
[0199]
The size of the expansion mask is (32 × 8) × (32 × 8) size, and this size is a minimum image unit (macroblock) necessary for embedding at least one additional information Inf.
[0200]
The above is the operation performed by the mask / pattern array correspondence unit 1103.
[0201]
In general, a small mask has a lower degree of freedom in dot arrangement position than a large mask, and it is difficult to create a mask having desired characteristics such as a cone mask. For example, when the additional information Inf is embedded by repeatedly assigning a small mask to the entire image data, the spatial frequency of the small mask appears in the entire image data.
[0202]
On the other hand, since complete additional information Inf is extracted from one mask, clipping resistance (possibility of extracting additional information Inf from partial image data wI ') by setting the mask size large Will get smaller. Therefore, it is necessary to determine the mask size in consideration of the balance between the clipping resistance and the image quality degradation.
[0203]
The above is the processing performed by the embedding position determining unit 0103 in FIG.
[0204]
[3-3 Additional information embedding process]
With reference to the embedding position of each bit information in the image data determined as described above, the additional information embedding unit 0104 in FIG. 1 actually embeds the additional information Inf.
[0205]
FIG. 10 shows a flow of processing for repeatedly embedding the additional information Inf.
[0206]
In the method shown in FIG. 10, a plurality of assignable macroblocks are assigned to the entire image, and bit information of the first bit is first repeatedly embedded in all the macroblocks, followed by the second bit and the third bit. … Repeatedly embed. If there is bit information that has not been subjected to embedding processing yet, this is constituted by a procedure for embedding processing 1001 to 1003 for all unprocessed macroblocks.
[0207]
However, the present invention is not limited to this order, and the internal / external relationship between the two loop processes may be reversed. In other words, if there is an unprocessed macroblock, the procedure may be changed to embed all bit information that has not yet been embedded.
[0208]
Specifically, the additional information Inf is embedded when the bit information to be embedded is “1” and the pattern arrangement of FIG. 9 is added. If the bit to be embedded is “0”, the pattern arrangement of FIG. 9 is reduced, that is, the inverted sign of FIG. 9 is added.
[0209]
The addition / subtraction process is realized by controlling the switching unit 1001 in FIG. 10 according to the embedded bit information. That is, when the bit information to be embedded is “1”, it is connected to the adding means 1002, and when the bit information is “0”, it is connected to the subtracting means 1003. These processes 1001 to 1003 are performed with reference to bit information and pattern arrangement information.
[0210]
FIG. 19 shows how one of the bit information is embedded. The figure shows an example in which the bit information to be embedded is “1”, that is, a pattern array is added.
[0211]
In the example shown in FIG. 19, I (x, y) is the original image, and P (x, y) is an 8 × 8 pattern array. Each coefficient constituting the 8 × 8 pattern array is superimposed on the original image data (blue component) having the same size as the pattern array, and values at the same position are added or subtracted. As a result, I ′ (x, y) is calculated and output to the color component synthesis unit 0105 in FIG. 1 as blue component image data in which bit information is embedded.
[0212]
The addition / subtraction process using the 8 × 8 pattern arrangement described above is repeated for all of the embedding positions determined by the correspondence table 2 (positions to which the pattern arrangement for embedding each bit information is assigned).
[0213]
Next, FIG. 18 shows how the internal loop processing of FIG. 10 is performed.
[0214]
In FIG. 18, in order to repeatedly embed each bit information, macroblocks 1802 are repeatedly assigned in the raster order from the upper left to the lower right in the entire image data 1801 (1803) (1001 to 1003 in FIG. 10).
[0215]
The above operation is performed by the additional information embedding unit 0104, and the additional information Inf is embedded in the entire image.
[0216]
Through the above processing, the additional information Inf is embedded in the image data. If each pixel of the image data in which the additional information Inf is embedded is expressed by a sufficiently small number of dots, the size of the pattern array is sufficiently small, so that each of these pattern arrays is very small. Only human eyes can perceive it. Therefore, the spatial frequency characteristic of the cone mask is also maintained, and it is difficult for human eyes to see.
[0217]
[3-4 Registration process]
Next, the details of the registration means 0202 in FIG. 2 provided on the digital watermark extraction apparatus side will be described.
[0218]
The registration unit 0202 is a unit positioned before the additional information extraction unit 0203 and is a pre-process of the additional information Inf extraction process. The registration unit 0202 receives the blue component image extracted by the preceding color component extraction unit 0201.
[0219]
The registration unit 0202 corrects the difference in scale between the image data wI output from the digital watermark embedding device and the image data wI ′ input to the digital watermark extraction device.
[0220]
Details of the registration means 0202 are shown in FIG. As shown in FIG. 7, the registration unit 0202 includes a block division unit 0701, a Fourier transform unit 0702, an impulse extraction unit 0703, a scaling factor calculation unit 0704, and a scaling unit 0705.
[0221]
The block dividing unit 0701 performs the same block division processing as the registration signal embedding unit 0102 (block dividing unit 0401) described above. By this processing, it is generally difficult to extract a block similar to the registration signal embedding unit 0102 (block dividing unit 0401). This is because the image data wI in which the digital watermark information is embedded is subjected to a printing process, so that the size is changed and the position is further shifted.
[0222]
However, there is no problem even if the extraction of this block differs to some extent. This is because the registration signal is embedded in the amplitude spectrum of the image data in the digital watermark embedding apparatus. The amplitude spectrum has the property that it is not affected by the position shift in the spatial region of the image data. Therefore, in each of the digital watermark embedding device and the digital watermark extraction device, there is no problem even if the blocks divided by the respective block dividing means are slightly misaligned in the spatial domain.
[0223]
The block dividing unit 0701 outputs the image data divided into blocks to the Fourier transform unit 0702. As in the case of the registration signal embedding unit 0102 described above, the Fourier transform unit 0702 converts the spatial domain image data into frequency domain image data. The Fourier-transformed frequency domain image data is represented by an amplitude spectrum and a phase spectrum. Of these, only the amplitude spectrum is input to the impulse extracting means 0703. On the other hand, the phase spectrum is discarded.
[0224]
The image data converted into the frequency domain is input to the impulse extraction unit 0703. The impulse extracting means 0703 extracts only an impulse signal from the image data converted into the frequency domain. That is, 0502, 0503, 0504, and 0505 of FIG. 5 that are already embedded in the image data are extracted.
[0225]
This can be done using known image processing techniques. For example, it can be realized by performing threshold processing on image data converted into the frequency domain. An example of this is shown in FIG. FIG. 8A shows how threshold processing is performed on the amplitude spectrum 0801 input to the impulse extraction unit 0703 using the threshold 0802. For the sake of explanation, the image data converted in FIG. 8 is expressed in one dimension. It is possible to extract the impulse signal by selecting an appropriate threshold value 0802. However, original image data having the same magnitude as the impulse signal existing in the low frequency range is also extracted at the same time.
[0226]
FIG. 8B shows a method of this embodiment that solves this problem. A secondary differentiation process is performed on the image data 0801 converted into the frequency domain. This is equivalent to applying a Laplacian filter or the like. Reference numeral 0803 denotes the image data 0801 converted into the frequency domain and subjected to second-order differentiation. By selecting an appropriate threshold value 0804 for this data 0803 and performing threshold processing, an impulse signal can be extracted.
[0227]
A slightly more detailed principle regarding the extraction of the impulse signal will be described with reference to FIG. In this figure, the processing on the registration signal embedding side described above is also described.
[0228]
In the registration signal embedding unit 0102, the image data 2601 in the spatial domain is converted into the frequency domain to become image data 2602, and the impulse signal 2603 is added in the frequency domain.
[0229]
The image data in the frequency domain to which the impulse signal (registration signal) 2603 is added is returned to the signal 2601 ′ in the spatial domain again by inverse frequency conversion. The image data 2601 ′ returned to the spatial domain should have an influence to which an impulse signal is added, but it is difficult for human eyes to perceive, and the image data 2601 and the image data 2601 ′ are substantially the same. Looks like a thing. This is because the impulse signal 2603 applied in the frequency domain is distributed with a small amplitude in the entire image data by inverse Fourier transform.
[0230]
When an impulse signal such as 2603 in FIG. 26 is added, this is equivalent to the addition of image data having a certain frequency component to the spatial domain. If the applied impulse signal is greater than the human perceptible frequency and the amplitude is below the human perceptible limit, the applied impulse signal is not visible to the human eye. Therefore, it can be said that the registration signal embedding itself is a kind of digital watermark processing.
[0231]
In the present embodiment, after the registration signal 2603 is embedded in the image data 2601 and the additional information Inf to be actually embedded is embedded, the signal 2601 ′ in the spatial region is restored.
[0232]
The registration signal embedded as shown in FIG. 26 is subjected to Fourier transform again at the time of extraction. As a result, the registration signal 2603 once diffused in the entire image data in the spatial domain is converted into the frequency domain and appears again as an impulse signal.
[0233]
When an image in which digital watermark information is embedded is subjected to an attack such as irreversible compression such as JPEG compression, the impulse is likely to have a small amplitude. On the other hand, when subjected to a geometric attack such as scaling, the position of this impulse moves. In any case, by performing an appropriate impulse extraction process as described above, the impulse signal can be extracted and a change from the original image data can be estimated. If this change is corrected, it is possible to create a state where the additional information Inf embedded in the present embodiment can be reliably extracted.
[0234]
Through the above processing, the impulse extraction unit 0703 shown in FIG. 7 outputs the impulse signal described above and inputs it to the scaling factor calculation unit 0704. The scaling rate calculation means 0704 calculates what kind of scaling has been performed using the coordinates of the input impulse signal.
[0235]
In the digital watermark extracting apparatus of the present embodiment it is assumed to know whether embedded impulse signal in advance which frequency component. In this case, the scaling rate can be calculated from the ratio between the pre-embedded frequency and the frequency at which the impulse is detected. For example, if a is the frequency in which the impulse signal is embedded in advance and b is the frequency of the detected impulse signal, it can be seen that scaling of a / b is performed. This is a well-known property of Fourier transform. Through the above processing, the scaling rate is output from the scaling rate calculation means 0704.
[0236]
However, the present invention is not limited to this, and information on the position (frequency) in which the registration signal is embedded may be received from the digital watermark embedding apparatus side as necessary. For example, a form in which the position information is received as an encrypted signal and the above scaling rate calculation processing is performed is also included in the scope of the present invention. In this way, only the person who knows the registration signal can correctly extract the additional information Inf. In this case, the registration signal can be used as a key for extracting the additional information Inf.
[0237]
The scaling rate output from the scaling rate calculation unit 0704 is input to the scaling unit 0705. The scaling means 0705 has image data wI ₁ 'Also entered, image data wI ₁ 'Is scaled according to the input scaling factor. Various scaling processes such as bilinear interpolation and bicubic interpolation can be applied. Then, the scaling unit 0705 receives the scaled image data wI. ₂ 'Is output.
[0238]
[3-5 Additional information extraction process]
Next, the operation of the additional information extracting unit 0203 in FIG. 2 for extracting the additional information Inf from the blue component of the image data wI ′ in which the additional information Inf is embedded by the additional information embedding unit 0104 in FIG. 1 will be described.
[0239]
A block diagram of this additional information Inf extraction process is shown in FIG.
[0240]
[3-5-1 Embedding position determination process]
As shown in FIG. 20, first, in the embedding position determining means 2001, image data wI ₂ Decide from which region in '(blue component) the additional information Inf is to be extracted. The operation performed by the embedding position determining unit 2001 is the same as that of the embedding position determining unit 0103 described above. Therefore, the areas determined by 0103 and 2001 are the same.
[0241]
From the determined area, the additional information Inf is extracted using the correspondence table 2 described above and further using the pattern arrangement shown in FIG.
[0242]
Here, the extraction of the additional information Inf is realized by convolving the pattern array with the determined region.
[0243]
[3-5-2 Reliability distance calculation means]
The reliability distance d is a calculated value required when extracting embedded information.
[0244]
A method for obtaining the reliability distance d corresponding to each bit information is shown in FIG.
[0245]
First, processing performed by the convolution operation unit 0601 in the drawing will be described with reference to FIGS. 21 and 22.
[0246]
FIGS. 21 and 22 show examples of extracting 1-bit information constituting the additional information Inf.
[0247]
FIG. 21 shows an example in which extraction processing of this 1-bit information is performed on image data (blue component) I ″ (x, y) in which certain 1-bit information constituting the additional information Inf is embedded, and FIG. In this example, 1-bit information is extracted from the image data I (x, y) in which the 1-bit information is not embedded.
[0248]
In FIG. 21, I ″ (x, y) is image data in which 1-bit information is embedded, and P (x, y) is an 8 × 8 pattern array used for convolution processing (pattern array for extracting additional information Inf) ). Each element (0, ± c) constituting the 8 × 8 pattern array is integrated with the pixel value arranged at the same position of the input image data I ″ (x, y), and further, The sum is calculated. That is, P (x, y) is convolved with I ″ (x, y). Here, I ″ (x, y) is an expression including an image when the image data I ′ (x, y) is attacked. If you are not attacked,
I ″ (x, y) = I ′ (x, y). In the case of an image in which 1-bit information is embedded in I ″ (x, y), the possibility of obtaining a non-zero value as shown in FIG. 21 is very high as a result of convolution. Especially when I ″ (x, y) = I ′ (x, y), the convolution result is 32c. ² It becomes.
[0249]
In the present embodiment, the same pattern array is used as the pattern array used for embedding and the pattern array used for extraction. However, this is not limited in the present invention. In general, if the pattern array used for embedding is P (x, y) and the pattern array used for extraction is P '(x, y),
P '(x, y) = aP (x, y)
It can be transformed into the relationship. Here, a is an arbitrary real number. In this embodiment, for simplicity, a case where a = 1 is described.
[0250]
On the other hand, in the example shown in FIG. 22, the same calculation as that described above is performed on the image data I (x, y) in which 1-bit information is not embedded. From the original image (corresponding to the image data I), as a result of the convolution operation, a zero value is obtained as shown in FIG.
[0251]
The 1-bit information extraction method has been described above with reference to FIGS. 21 and 22. However, the above description is a case where the result of the convolution operation is 0 in the target image data I in which the additional information Inf is embedded, which is a very ideal case. On the other hand, in the area corresponding to the 8 × 8 pattern array of the actual image data I, the result of the convolution operation is very rare.
[0252]
That is, when the convolution calculation is performed on the region corresponding to the 8 × 8 pattern arrangement in the original image (image data I) using the pattern arrangement in FIG. 9 (see also the cone mask as arrangement information), it is different from the ideal. A non-zero value may be calculated. On the contrary, the result of the same convolution operation for the area corresponding to the 8 × 8 pattern array in the image (image data wI) in which the additional information Inf is embedded is “32c”. ² It may become “0” instead of “0”.
[0253]
However, each bit information constituting the additional information Inf is normally embedded in the original image data a plurality of times. That is, the additional information Inf is embedded in the image a plurality of times. Therefore, in the n macroblocks in which each bit information is embedded, a convolution operation is performed for each 8 × 8 pattern array, and “each bit is determined based on the n convolution operation results for each bit information obtained here. It may be determined statistically whether information is embedded or not or whether each bit information is 1 or 0. These statistical judgment methods will be described later.
[0254]
Therefore, the convolution operation means 0601 determines the sum of a plurality of convolution operation results for each bit information constituting the additional information Inf. For example, if the additional information Inf is 8 bits, 8 sums are obtained. The sum corresponding to each bit information is input to the average calculation means 0602, where each is divided by the number n of all macroblocks and averaged. This average value is the reliability distance d. That is, the reliability distance d is equal to “32c” in FIG. ² It is a value generated by majority decision as to whether it is similar to “0” or “0”.
[0255]
However, the reliability distance d is d = 1 / N Σ (a _i -b _i Strictly speaking, the reliability distance d is an average value obtained by performing a convolution operation using P ′ (x, y) = 1 / c P (x, y). However, even if the convolution operation is performed using P ′ (x, y) = aP (x, y), the average value of the convolution operation result is only a real number multiple of the reliability distance d. Essentially the same effect can be obtained. Therefore, in the present invention, the average value of the convolution calculation result using P ′ (x, y) = aP (x, y) can be sufficiently used as the reliability distance d.
[0256]
The obtained reliability distance d is stored in the storage medium 0603.
[0257]
The convolution operation unit 0601 repeatedly generates the reliability distance d for each bit constituting the additional information Inf and sequentially stores it in the storage medium 0603.
[0258]
This calculation value will be described in more detail. The reliability distance d calculated with respect to the original image data I using the pattern arrangement of FIG. 9 (see also the cone mask as arrangement information) is ideally zero. However, in actual image data I, this value is very close to 0, but many non-zero values. When the frequency distribution of the reliability distance d generated for each bit information is examined, it is as shown in FIG.
[0259]
In FIG. 23, the horizontal axis represents the value of the reliability distance d generated for each bit information, and the vertical axis represents the number of bit information that has undergone convolution to generate the reliability distance d (appearance of the reliability distance d). Frequency). It can be seen from the figure that it is similar to a normal distribution. In the original image data I, the reliability distance d is not necessarily 0, but the average value is 0 (or a value very close to it).
[0260]
On the other hand, when the above convolution is performed on the image data (blue component) after embedding the bit information “1”, instead of the original image data I, as shown in FIG. The degree distance d has a frequency distribution as shown in FIG. That is, as shown in the figure, the shift is made to the right while maintaining the distribution shape of FIG. In this way, the reliability of the image data after embedding one bit constituting the additional information Inf is not necessarily c, but the average value is c (or a value very close to it). Become.
[0261]
FIG. 24 shows an example in which bit information “1” is embedded, but when bit information “0” is embedded, the frequency distribution shown in FIG. 23 is shifted to the left.
[0262]
As described above, when the additional information Inf (each bit information) is embedded using the patchwork method, the number of bits to be embedded (the number of times the pattern array is used) should be increased as much as possible in FIGS. The statistical distribution as shown is likely to appear accurately. That is, the accuracy with which it is possible to detect whether each bit information constituting the additional information Inf is embedded or whether the embedded bit information is “1” or “0” is increased.
[0263]
[3-5-3 Offset adjustment processing]
Next, the configuration of the offset matching unit 2002 will be described.
[0264]
The offset matching unit 2002 includes image data wI after appropriate scaling. ₂ 'Is entered. Thereafter, the start bit is detected using the reliability distance calculation of FIG. Note that the offset adjusting means 2002 has a start bit Inf. ₁ Only five reliability distances corresponding to 5 bits are generated. Start bit Inf ₁ As shown in FIG. 36, this is a part of the additional information Inf that is embedded in advance in the additional information embedding unit 0104, and is 5 bits in this embodiment.
[0265]
These start bits Inf ₁ Is conceptually the first 5 bits, but in the image in which the additional information Inf is embedded, it does not exist adjacently and densely, but rather is scattered. This is because they are sequentially embedded in correspondence with the coefficient values constituting the cone mask of the correspondence table 2.
[0266]
FIG. 28 shows a flowchart of the processing of the offset matching unit 2002. The following explanation will be made along the flow of the flowchart of FIG.
[0267]
In the offset matching unit 2002, the input image data wI ₂ On the other hand, in step 2801, the upper left coordinate is assumed to be the embedding start coordinate. At the same time, the maximum value MAX is set to zero. Then, in step 2802, detection of the start bit is attempted using the reliability distance calculation means of FIG.
[0268]
It is determined in step 2803 whether or not the first to fifth bit information obtained here is the correct start bit “11111”. If this point is a correct embedding start coordinate, five consecutive positive reliability distances d are detected as a detection result. If not, five positive reliability distances d are often not consecutive. Make the above judgments in sequence, and correct start bit Inf ₁ The position where can be detected may be determined as the embedding start coordinates.
[0269]
However, the start bit Inf is actually correct even at points other than the embedding start coordinates. ₁ May be detected. This cause will be described with reference to FIG.
[0270]
FIG. 27 shows the same pattern arrangement (2702, 2705) as that used when embedding the additional information Inf to extract additional information Inf embedded by the patchwork method used in this embodiment. And the original macroblock positions (2701, 2703, 2704) are searched while performing convolution. It is assumed that the search proceeds continuously from the left diagram to the right diagram.
[0271]
In FIG. 27, for simplicity, the image data wI ₂ We focus on one macroblock (the smallest unit from which additional information Inf can be extracted) that is part of '. One square in this figure indicates the concept of the size of the pattern array for embedding 1-bit information.
[0272]
In the left side of FIG. 27, when there is a relationship between 2701 and 2702, that is, when 2702 is located at the upper left of the actual macroblock 2701, the position of the pattern arrangement for extracting the original image and the additional information Inf is only the hatched area. Are overlapping.
[0273]
Further, the center of the figure shows a case where the search is further advanced and the position being searched and the position of the actual macroblock completely coincide. In this state, the pattern array to be convolved and the macro block overlap the maximum area.
[0274]
Also, on the right side of the figure, the position being searched is located at the lower right than the position of the macroblock in which the additional information Inf is actually embedded. In this state, in this state, the pattern array to be convolved and the macroblock overlap only in the shaded area.
[0275]
In all cases shown in FIG. 27, if the pattern array to be convolved and the macroblock sufficiently overlap, the correct start bit Inf ₁ Can be extracted. However, in these three cases, since the overlapping areas are different, the reliability distance d is different.
[0276]
The overlapping area can be considered in place of the reliability distance d described above. In other words, if the positional relationship between the pattern array to be convolved and the macroblock is completely the same, the reliability distance d for each bit information is the above-described ± 32c. ² Very close to.
[0277]
Therefore, in this embodiment, as shown in FIG. 28, in step 2803, the correct start bit Inf ₁ If it is determined that it is not, the process moves to the next search point in raster order in step 2807. On the other hand, the correct start bit Inf ₁ If it is determined that the reliability distance d is greater than the maximum value MAX in step 2804, it is determined. If it is smaller than the maximum value MAX, step 2807 moves to the next search point in raster order. On the other hand, when the reliability distance d is larger than the maximum value MAX, the maximum value MAX is updated to the current reliability distance d, and at the same time, the current search point is stored as an embedding start point. In step 2806, it is determined whether or not all search points have been searched. If all search points have not been searched, step 2807 moves to the next search point in raster order. On the other hand, if all have been completed, the embedding start point stored at that time is output and the process is terminated.
[0278]
Through the series of processes described above, the offset adjusting unit 2002 in the present embodiment is configured to start the start bit Inf. ₁ Detect the correct start bit Inf ₁ Among the obtained coordinates, the coordinate information having the largest reliability distance d is determined as the embedding start point of the additional information Inf, and is output to the subsequent stage as the embedding start coordinate.
[0279]
[3-5-4 Usage information extraction means]
The usage information extraction unit 2003 inputs the embedding start coordinates and the image data in which the additional information Inf is embedded from the offset adjustment unit 2002 in the preceding stage, and here, using the operation described in FIG. ₂ The reliability distance d is calculated only for each piece of bit information that constitutes, and the reliability distance d1 for these bit information is output to the statistical test means 2006 in the subsequent stage.
[0280]
Usage information Inf ₂ To obtain the reliability distance d1 corresponding to each bit information that makes up the embedded usage information Inf ₂ Is equivalent to extracting each bit. This will be described later.
[0281]
Here, only the reliability distance d is calculated based on the embedding start coordinates determined by the search, and the start bit Inf ₁ Are not extracted.
[0282]
[3-6 Statistical test process]
The statistical test means 2006 determines the reliability of the reliability distance d1 obtained by the usage information extraction means 2003 in FIG. This determination is based on additional information Inf (use information Inf ₂ ) Is used to generate a reliability distance d2 using a second pattern array different from the first pattern array used for extraction, and a reliability index D is generated with reference to the appearance frequency distribution of the reliability distance d2. Is done.
[0283]
Here, the reliability distance d1 is used by the usage information extraction unit 2003 as usage information Inf. ₂ Is a reliability distance obtained by using the first pattern array (also refer to the cone mask as arrangement information), and the reliability distance d2 is different from the first pattern array and will be described later. The confidence distance obtained using the array. The first pattern array is usually composed of additional information Inf (start bit Inf ₁ , Usage information Inf ₂ 10 is the pattern array of FIG. 9 used when embedding.
[0284]
Details of the second pattern arrangement, the reliability index D, and the like will be described later.
[0285]
[3-6-1 Extraction process using second pattern array]
≪Central limit theorem≫
{an} and {bn} are sets of pixel values composed of n elements, which are the pixel values of the elements of subset A and subset B as shown in FIG.
[0286]
Reliability distance d (Σ (a _i -b _i ) / n) is a sufficient number n _n }, {b _n }, The pixel value a _n And b _n Has no correlation, and the expected value of the reliability distance d is zero. The distribution of the reliability distance d is an independent normal distribution according to the central limit theorem.
[0287]
Here, the central limit theorem will be briefly described.
[0288]
Average value m _c , Standard deviation σ _c Size n from the population (not necessarily normal distribution) _c When sampling any sample of, sample average value S _c Distribution of n _c Normal distribution N (m _c , (σ _c / √n _c It is a theorem that shows that we are approaching) ^ 2).
[0289]
In general, population standard deviation σ _c Is often unknown, but the number of samples is n _c Is large enough and the number of population N _c Is the number of samples n _c The standard deviation s of the sample when it is sufficiently larger than _c Σ _c It can be used practically even if it is used instead of.
[0290]
Returning to the present embodiment, description will be given. First, the appearance frequency distribution of the reliability distance d1 obtained by the usage information extraction unit 2003 is expressed as usage information Inf. ₂ Depending on whether or not it has been extracted correctly.
[0291]
For example, when there is an error in the detection of the start bit Inf1 (when the offset adjustment fails), the usage information Inf ₂ Since the bit information is not actually embedded at the position where should be embedded, the appearance frequency distribution of the reliability distance d1 is as a normal distribution 2501 in FIG.
[0292]
On the other hand, if it is extracted correctly, the usage information Inf ₂ The reliability distances d1 corresponding to the bit information “1” constituting the information are accumulated at the positions of the normal distribution 2502, and the usage information Inf ₂ The reliability distances d1 corresponding to the bit information “0” constituting the are accumulated at the positions of the normal distribution 2503. Therefore, in this case, two “mountains” appear. The ratio of these two “mountains” is the usage information Inf ₂ Is substantially equal to the ratio of bit information “1” and “0”.
[0293]
However, this is based on the premise that the reliability distance d1 obtained by performing the convolution process with the first pattern arrangement on the original image in which the additional information is not embedded becomes a normal distribution 2501. is there.
[0294]
Therefore, in reality, unless the state of the original image is known, it cannot be determined whether or not the image has been correctly extracted.
[0295]
Therefore, in the present embodiment, a normal distribution of the reliability distance d2 is generated using a so-called second pattern arrangement that can sufficiently determine the state of the original image even if the additional information is embedded, and this normal distribution is represented by 2501. By thinking as usage information Inf ₂ It is determined whether or not can be extracted correctly.
[0296]
For example, if the appearance frequency distribution of the reliability distance d1 exists outside the hatched portion (the component from the center to 95%) constituting the normal distribution 2501 created with the reliability distance d2, the target image is displayed. There is a statistical bias and usage information Inf ₂ Can be considered embedded, usage information Inf ₂ Can be statistically judged. This detailed method will be described later.
[0297]
Next, additional information Inf (use information Inf ₂ ) Is used to generate a method similar to the appearance frequency distribution of the reliability distance d1 (the normal distribution 2501 as shown in FIG. 25) before the additional information Inf is embedded.
[0298]
In the present embodiment, the reliability distance d2 constituting a distribution similar to the normal distribution 2501 is obtained using the extraction unit 2005 based on the second pattern arrangement.
[0299]
The second pattern array extraction unit 2005 is a unit that obtains the reliability distance d2 using the second pattern array that is "orthogonal" to the first pattern array used in the usage information extraction unit 2003, and is a convolution process. The operation itself is substantially the same as that of the utilization information extraction unit 2003, such as in the point of performing.
[0300]
For the purpose of comparison, the pattern arrangement of FIG. 9 used in the usage information extraction device 2003 and a mask (cone mask) for referring to the position where this pattern arrangement is arranged are respectively referred to as “first pattern arrangement”, And a “first position reference mask”, a pattern array that is “orthogonal” to the first pattern array, and a mask for referring to a position at which the pattern array is arranged are referred to as a “second pattern array”, And “second position reference mask”.
[0301]
First, the embedding start coordinates are input from the offset matching unit 2002 to the extraction unit 2005 based on the second pattern arrangement, and the reliability distance d2 is also calculated using the reliability distance calculation of FIG.
[0302]
At this time, the pattern array used in the reliability distance calculation of FIG. 6 is not the pattern array 0901 of FIG. 9 used for embedding, but a pattern array 3601 or 3602 that is “orthogonal” to this pattern array 0901.
[0303]
This is because the reliability distance d2 calculated using the pattern arrays 3601 and 3602 in FIG. 33 does not reflect the influence of the operation in the pattern array 0901 in FIG. 9 used for embedding the additional information Inf. .
[0304]
As shown in FIG. 34, the result of convolution processing of the pattern array 0901 in FIG. 9 and the pattern array 3601 "orthogonal" to this is 0. The same applies to the pattern array 3602. That is, the convolution result of the first and second pattern arrays is zero. Therefore, even if the density of the original image is changed using the first pattern array, the reliability distance d obtained by performing the convolution process using the second pattern array is not affected at all.
[0305]
Therefore, the appearance frequency distribution of the reliability distance d2 obtained by performing the convolution process using the second pattern arrangement on the image in which the additional information Inf is embedded is substantially the same as the normal distribution 2501 in FIG. Become a thing. Therefore, the appearance frequency distribution is regarded as a normal distribution 2501.
[0306]
The normal distribution 2501 obtained here is a judgment criterion necessary for the statistical test process 3507 in FIG.
[0307]
As described above, the extraction process 2005 based on the second pattern array includes the “pattern array“ perpendicular to the first pattern ”such as 3601 and 3602 in FIG. 33 and the second position indicated by 3802 in FIG. The normal distribution of the reliability distance d2 is generated using the reference mask.
[0308]
In addition, the conditions of the above “pattern arrangement orthogonal to the first pattern” are as follows:
(1) As shown in FIG. 33, it should be the same size as 0901 in FIG.
(2) Like the pattern arrays 3601 and 3602, the result of the convolution process with the pattern array 0901 of FIG. 9 used when embedding the additional information Inf is 0.
It is.
[0309]
The convolution process shown in FIG. 34 is the same as the convolution process shown in FIGS. 21 and 22.
[0310]
In the present embodiment, the result of convolution is 0, which is compared to 0 when the inner product of vectors is orthogonal, and is called “mutual pattern arrangement is“ orthogonal ””. Therefore, 3601 and 3602 in FIG. 33 are “pattern arrays“ orthogonal ”to the pattern array 0901 in FIG. 9.
[0311]
The reason why the pattern array that is “orthogonal” to the pattern array used when embedding the additional information Inf is used for the calculation of the reliability distance d2 is that there is no statistical bias in the distribution of the reliability distance d2, that is, 0 is the center. This is to generate a frequency distribution.
[0312]
In addition, “a pattern arrangement“ perpendicular to the first pattern ”is
(3) Having the same number of non-zero elements as the non-zero elements of the pattern array used in the usage information extraction process 2003, and the number of positive and negative elements being equal.
Is also a necessary condition. This is because the reliability distance d1 and the reliability distance d2 are extracted under the same calculation conditions.
[0313]
Next, in the present embodiment, the “second position reference mask” has a pattern different from 3801 used when embedding the additional information Inf and has a size different from 3801, and is shown by 3802 in FIG. A reference mask is used.
[0314]
As described above, if the first and second pattern arrangements are different, the appearance frequency distribution of the reliability distance d2 is almost a normal distribution 2501.
[0315]
However, when the detection position of the start bit is not perfect, there is a possibility that a statistical bias may be detected despite convolution using the second pattern array. In the present embodiment, in consideration of this possibility, the first and second position reference masks are made different in size so as to cancel periodic elements. Alternatively, the arrangement method of each pattern arrangement in the mask is made different so that the convolution in the same region is not performed.
[0316]
In this case, the “second position reference mask” is not limited to the cone mask as long as the coefficients constituting the “second position reference mask” are randomly distributed.
[0317]
If the “second pad position reference mask” is set to be different from the “first pad position reference mask”, the “second pad position reference mask” is set by the pad position determining means 2004 in FIG. It will be created.
[0318]
In general, in consideration of the clipping resistance described above, the first position reference mask (cone mask) is not considered to be so large with respect to the entire image data to be embedded with the additional information Inf. . Therefore, it is preferable to use a relatively large “second position reference mask”. In the present embodiment, the second mask used for calculating the reliability distance d1 on the additional information Inf side is set to be larger than the first mask referred to when embedding the additional information Inf. And
[0319]
However, the present invention is not limited to this. Even if the mask sizes are equal to each other, there are some effects. Therefore, the “second position reference mask” may be created by the embedding position determining unit 2001 of FIG.
[0320]
As a minimum condition of each other's mask, it is necessary that the number of repetitions of each bit constituting the additional information Inf applied to each other's mask is equal in the image area of the same size.
[0321]
If a sufficient result cannot be obtained by the extraction process using the second pattern array, the reliability distance d2 is set again using another second pattern array or a second position reference mask having the above-described conditions. By calculating, there is a possibility that 2501 of FIG. 25 which is an ideal appearance frequency distribution can be generated.
[0322]
Next, a specific operation of the extraction unit 2005 using the second pattern array will be described.
[0323]
In the present embodiment, the first position reference mask is a 32 × 32 cone mask, the second position reference mask is a 64 × 64 cone mask, and the relative arrangement of the coefficients in the two masks is completely different. Suppose they are different.
[0324]
First, in the extraction means 2005 based on the second pattern arrangement, the extraction position is determined according to the following correspondence table 3.
[0325]
[Table 3]

[0326]
In the second position reference mask, there are 16 coefficients of the same value in the mask. On the other hand, when the 32 × 32 first position reference mask is referred to in the previous correspondence example 2, the number of repetitions of the same coefficient in the 32 × 32 is four. That is, in the same size image data, there are the same number of coefficients having the same value in both the first position reference mask and the second position reference mask.
[0327]
In the present embodiment, the second pattern array is assigned to the positional relationship according to the rules of the correspondence table 3, and the convolution process is sequentially performed to calculate 69 reliability distances d2 corresponding to each bit information.
[0328]
[3-6-2 Reliability index D]
The reliability distance d2 generated by the extraction means 2005 based on the second pattern array appears in a distribution that is substantially the same as the normal distribution 2501, but generally the following equation (25.1) is used in the normal distribution. It is known that 95% of samples (reliability distance d2) appear in the range.
[0329]
m-1.96σ <d2 <m + 1.96σ Equation (25.1)
Here, σ is a standard deviation with respect to the reliability distance d2, and m is an average.
[0330]
The range in the above case is referred to as “95% confidence interval”.
[0331]
m-1.96σ and m + 1.96σ are calculated using the reliability distance d2 obtained by the extraction means 2005 based on the second pattern arrangement.
[0332]
The appearance frequency distribution of the reliability distance d1 input from the usage information extraction unit 2003 to the statistical test unit 2006 becomes the normal distribution 2502 of FIG. 25 when the bit information is “1”, and when the bit information is “0”. Becomes a normal distribution 2503, so the usage information Inf ₂ There is a very high probability that the reliability distance d1 corresponding to is outside the 95% confidence interval (shaded area in FIG. 25) obtained by the extraction means 2005 based on the second pattern arrangement.
[0333]
By the way, at the time of processing of the offset matching unit 2002, the usage information Inf is added to the image to be processed. ₂ Is not present, the appearance frequency distribution of the reliability distance d1 is also a normal distribution 2501.
[0334]
In this case, usage information Inf ₂ The probability that all of the 64 reliability distances d1 corresponding to are not included in the confidence interval of the formula (25.1) is very small as (64th power of (1−0.95)).
[0335]
Therefore, if the normal distribution 2501 is obtained based on the reliability distance d2, whether or not the appearance frequency distribution obtained based on the reliability distance d1 is included in the range occupying most of the normal distribution. , Additional information Inf (use information Inf ₂ ) Is almost certainly determined.
[0336]
In the statistical test means 2006, additional information Inf (usage information Inf is used using the above-described properties. ₂ ) Is embedded to determine the reliability.
[0337]
In the present embodiment, the reliability that the usage information Inf is embedded is treated as the reliability index D.
[0338]
The reliability index D is defined by the ratio of the number of reliability distances d1 existing outside the range of the expression (25.1) in all reliability distances d1 generated by the usage information extraction unit 2003.
[0339]
If the reliability index D is larger than the threshold value α, the statistical test means 2006 artificially biases the overall appearance frequency distribution of the reliability distance d1 to positions such as 2502 and 2503 in FIG. That is, usage information Inf ₂ Is determined to be an embedded image.
[0340]
Therefore, the reliability distance d1 used for the determination here is considered to be reliable information, and the reliability distance d1 is permitted to be further transferred to the comparison means 2007 in the subsequent stage.
[0341]
Note that the reliability index D is the usage information Inf as shown in the reliability display step 3510 of FIG. ₂ The reliability index D or a message based on the index D may be displayed on a monitor or the like.
[0342]
For example, if the reliability index D is not greater than the threshold value α, a message stating that “the usage information Inf2 has not been accurately extracted” is displayed, and the image is input again from the statistical test step 3507 of FIG. Return to step 3502.
[0343]
[3-7 Comparison processing]
The comparison means 2007 in FIG. 20 inputs the value of the reliability distance d1 output through the usage information extraction means 2003 and the statistical test means 2006. Since the reliability distance d1 input here is highly reliable information, it is simply determined here whether each bit information corresponding to the reliability distance d1 is “1” or “0”. Good.
[0344]
Specifically, usage information Inf ₂ If the reliability distance d1 of certain bit information constituting the bit is positive, it is determined that the bit information is “1”, and if the reliability distance d1 is negative, the bit information is determined to be “0”. To do.
[0345]
Usage information Inf obtained by the above determination ₂ Is output as final data for user reference information or control signals.
[0346]
This is the end of the description of the series of processes from embedding additional information to extraction.
[0347]
(Modification)
In the above embodiment, additional information Inf (use information Inf ₂ ) Can be error-corrected encoded data, and by doing so, further extracted usage information Inf ₂ Reliability is improved.
[0348]
Note that the present invention can be applied as a part of a system composed of a plurality of devices (for example, a host computer, an interface device, a reader, a printer, etc.), but is composed of a single device (for example, a copying machine, a facsimile machine) You may apply to one part.
[0349]
Further, the present invention is not limited only to the apparatus and method for realizing the above-described embodiment, and the software for realizing the above-described embodiment is implemented in a computer (CPU or MPU) in the system or apparatus. A case in which the above-described embodiment is realized by supplying a software program code and causing the system or apparatus computer to operate the various devices according to the program code is also included in the scope of the present invention.
[0350]
In this case, the program code of the software itself realizes the function of the above embodiment, and the program code itself and means for supplying the program code to the computer, specifically, the program code Is included in the scope of the present invention.
[0351]
As a storage medium for storing such a program code, for example, a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
[0352]
Further, the computer controls various devices according to only the supplied program code, so that not only the functions of the above embodiments are realized, but also the OS (operating system) on which the program code is running on the computer. Such program code is also included in the scope of the present invention when the above embodiment is realized in cooperation with a system) or other application software.
[0353]
Further, after the supplied program code is stored in the memory of the function expansion board of the computer or the function expansion unit connected to the computer, the program code is stored in the function expansion board or function storage unit based on the instruction of the program code. The case where the CPU or the like provided performs part or all of the actual processing and the above-described embodiment is realized by the processing is also included in the scope of the present invention.
[0354]
In the above embodiment, the case where the digital watermark information is embedded using the cone mask has been described. However, the present invention is not limited to this. The case of embedding digital watermark information using a blue noise mask is also included in the scope of the present invention.
[0355]
In addition, any configuration including at least one of the various feature points described above is included in the scope of the present invention.
[0356]
【The invention's effect】
As described above, according to the present invention, the digital watermark information is embedded by performing arithmetic processing with a pattern arrangement different from that for extracting the digital watermark information from the image data in which the digital watermark information is supposed to be embedded. The state of no image data can be inferred. Then, the reliability of the extracted information is tested in order to derive the digital watermark information with reference to this state, so that the digital watermark information can be accurately extracted as a result.
[Brief description of the drawings]
FIG. 1 is a block diagram of the overall configuration of a digital watermark embedding apparatus.
FIG. 2 is a block diagram of the overall configuration of the digital watermark extracting apparatus.
FIG. 3 is a diagram illustrating an example of image data generated on the extraction side in print processing.
FIG. 4 is a block diagram of a registration signal embedding unit.
FIG. 5 is a diagram for explaining a registration signal;
FIG. 6 is a diagram showing reliability distance calculation means.
FIG. 7 is a block diagram of the scale matching means.
FIG. 8 is a diagram for explaining registration signal extraction;
FIG. 9 is a diagram showing a pattern array used when embedding and extracting additional information.
FIG. 10 is a block diagram of additional information embedding means.
FIG. 11 is a block diagram of an embedding position determining unit.
FIG. 12 is a diagram showing an appearance frequency distribution of coefficient values of a corn mask and a blue noise mask.
FIG. 13 is a diagram showing the spatial frequency characteristics of human vision.
FIG. 14 is a diagram showing the spatial frequency characteristics of a blue noise mask and a cone mask.
FIG. 15 is a diagram for explaining a position reference mask;
FIG. 16 is a conceptual diagram showing an embedding position in a position reference mask.
FIG. 17 is a diagram showing a state in which each pattern array is developed on the mask of FIG. 16;
FIG. 18 is a diagram showing an area necessary for embedding additional information Inf in all images.
FIG. 19 is a diagram illustrating an operation for embedding additional information Inf
FIG. 20 is a diagram for explaining additional information extraction means;
FIG. 21 is a diagram for explaining how additional information Inf is extracted;
FIG. 22 is a diagram showing a state where extraction is attempted even though the additional information Inf does not exist;
FIG. 23 is a diagram showing an ideal appearance frequency distribution when a reliability distance d is extracted from an original image.
FIG. 24 is a diagram illustrating a case where a reliability distance d is extracted from an image in which a digital watermark is embedded.
FIG. 25 is a diagram for explaining an example of an appearance frequency distribution of reliability distances d1 and d2 in the present embodiment;
FIG. 26 is a diagram for explaining the principle of embedding and extracting a registration signal;
FIG. 27 is a diagram illustrating a state in which offset adjustment processing is performed.
FIG. 28 is a flowchart for explaining offset adjustment processing;
FIG. 29 is a block diagram of registration signal embedding means in the spatial domain.
FIG. 30 is a diagram illustrating two sets in the patchwork method
FIG. 31 is a flowchart for explaining the entire digital watermark embedding process;
FIG. 32 is a flowchart for explaining the entire digital watermark extraction process;
33 is a diagram showing an example of a pattern arrangement orthogonal to the pattern of FIG. 9;
FIG. 34 is a diagram for explaining an “orthogonal” pattern arrangement;
FIG. 35 is a diagram showing first and second position reference masks.
FIG. 36 is a diagram showing the configuration of additional information Inf
FIG. 37 is a diagram showing an example of each coefficient in the blue noise mask.
FIG. 38 is a diagram illustrating an example of each coefficient of a pixel value of a cone mask
[Explanation of symbols]
0101 Color component extraction means
[0102] Registration signal embedding means
0103 Embedding position determining means
0104 Additional information embedding means
0105 Color component synthesis means

Claims (8)

An apparatus for extracting digital watermark information from image data embedded with the digital watermark information difficult to be seen by humans,
First extraction means for extracting a plurality of first information corresponding to each bit of the digital watermark information by performing a convolution operation on the image data using a first pattern arrangement ;
Second extraction means for extracting a plurality of second information corresponding to each bit of the digital watermark information by performing a convolution operation on the image data using a second pattern arrangement ;
Test means for testing the reliability of the first information extracted by the first extraction means based on the distribution of the plurality of second information and the plurality of first information;
The image processing apparatus according to claim 1, wherein the first pattern array and the second pattern array are matrices having the same size, and have a relationship in which a result of a convolution operation is 0 .   The image processing apparatus according to claim 1, further comprising a display unit that displays information related to the reliability.   2. The image processing apparatus according to claim 1, further comprising: an electronic watermark information generation unit configured to generate the electronic watermark information using the first information extracted by the first extraction unit according to the test result. .   The image processing apparatus according to claim 1, wherein the first pattern array and the second pattern array are two-dimensional matrices each having n × n elements. The image processing apparatus according to claim 1 , wherein the first pattern array and the second pattern array have the same number of non-zero elements, positive elements, and negative elements. Said first, second pattern sequence, the image processing apparatus according to claim 1, wherein both the sum of the elements in the matrix is zero. A method for extracting digital watermark information from embedded image data in which the digital watermark information is difficult for humans to see,
A first extraction step of extracting a plurality of first information corresponding to each bit of the digital watermark information by performing a convolution operation on the image data using a first pattern arrangement ;
A second extraction step of extracting a plurality of second information corresponding to each bit of the digital watermark information by performing a convolution operation on the image data using a second pattern arrangement ;
A test step for testing the reliability of the first information extracted by the first extraction means based on the distribution of the plurality of second information and the plurality of first information;
The image processing method, wherein the first pattern array and the second pattern array are matrices of the same size, and have a relationship in which a result of a convolution operation is 0 . A computer-readable storage medium storing a program for causing a computer to execute the procedure of the image processing method according to claim 7.

Images