JP5508896B2 - 画像処理方法 - Google Patents

Description

本発明は、静止画，動画などの画像に，人の目に判りにくいように情報を潜像として埋め込み，画像に何らかの処理が施された場合に，埋め込まれた情報を潜像として検知，処理する技術，および情報を埋め込む方法に関する。

画像に情報を付与する技術には，大別して，下記３種類がある。
・情報を画像とは別に保持して両者を一体として扱う方法
・情報を画像の中に可視状態で重畳する方法
・情報を画像の中に不可視状態に隠す方法
情報を画像の中に不可視状態に隠す方法の例として，電子透かし技術は，コンテンツの冗長部分を利用して，埋め込んだ識別情報を表現する技術である。埋め込まれた識別情報はコンテンツを人が見る分には不可視だが，特殊な検出方法を使うとコンテンツから抽出できる。

デジタルコンテンツ向けにも使える潜像技術には，次のような技術が開示されている。

特開平８−１９７８２８号公報（要約） 特開２００３−１１８２００号公報（段落０００９） 特開２０００−７６４１８号公報（段落００１１）

従来の潜像技術は主として印刷物向けに開発された技術であり，デジタルコンテンツ向けに利用することが難しい。以下では，潜像という用語を広義に用い，潜像を隠すことによりセキュリティやサービスを充実化する技術を潜像技術と称する。
ここでは，印刷物技術との用語の混乱を回避するために，原本の画像Ａに対して，潜像を隠した画像Ｂがあるとき，前者Ａをカバー画像，後者Ｂをステゴ画像と称する。隠す潜像はカバー画像に重畳することから，重畳画像と称する。画像とは静止画，動画，３Ｄ動画などを指す。

本発明は，従来の印刷用途以外にも，ステゴ画像がデジタルコンテンツの場合に，ステゴ画像に画像処理が加えられる場合についても対象とする。

特許文献１によって，ステゴ画像上に加えられた細線は，デジタル画像処理によって大きな変化を生じにくい。また，特許文献２の微小点でも同様である。例えば，圧縮符号化処理ではノイズ除去フィルタ処理を行うこともあり，微小点で表現した重畳画像は消失しやすい。カバー画像が細線で構成する模様の場合，画格縮小処理によって，カバー画像の模様全体が平滑化されやすく，細線も太線も，大きな面積の中の濃淡平均値で平滑化された時に，濃淡差を生じない。

特許文献３の技術は，カバー画像上で不可視の状態であり，人の目で重畳画像を直接認識できない。

本発明は，デジタルコンテンツのステゴ画像に対しても，アナログ／デジタルの画像処理が施されたときに，隠した情報が可視化する（受動的に目視検知可能となる）ステゴ画像の作成方法および検知方法，運用方法を提供する。特に，デジタル画像処理として縮小処理，再圧縮符号化処理に伴う画像加工において，処理後に強調される成分に着目した潜像技術を提供する。

本発明は、また，意識的に隠した情報を検出する方法を提供する。

本明細書において開示される技術のうち，一つの観点に従う構成と作用は以下のとおりである。

なお、以下の説明において、画像をデータという場合がある。

重畳画像をカバーデータに人の目に見えないように隠し，ステゴデータを作成し，画像処理を経たステゴデータから重畳画像を検知する。重畳処理は，カバーデータを微小に変更することにより行う。重畳画像に、縮小により顕像化する特性（幾何変形特性という）と，再圧縮符号化により顕像化する特性（再圧縮符号化特性という）と、を付与し，重畳画像を、潜像としてカバーデータに薄く重畳する。重畳画像が人の目で検知困難であるため，ステゴデータを普通に販売，流通させることができる。

しかし，ステゴデータが画像処理を経た場合。幾何変形特性，再圧縮符号化特性により、重畳画像の信号成分が強調されることから，重畳画像が顕像化され，人の目に見えるようになる。また，重畳画像に不正行為を牽制する文字を書いたり，証明しようとする画像生成時刻を表示したりすると，潜像としてステゴデータに隠された文字などの情報を，必要に応じて検知できる。さらに，検知結果を用いて他の機器やシステム動作に反映させることができる。

画像重畳装置は，演算手段，入力手段，出力手段，メモリ（一次記憶手段），ディスク（二次記憶手段）、通信を備えた計算機上で，画像重畳方法を実現するプログラム（またはモジュール）をメモリ上で動作させることによって実現できる。

画像重畳方法は，重畳位置マップ位置あわせ指定処理，スクランブル化処理，時間空間領域分割処理，バッファ，幾何変形特性設定処理，再圧縮特性設定処理，重畳データ作成処理，重畳処理，圧縮符号化パラメータ調整処理，ステゴデータ出力処理，補助情報出力処理，電子署名処理，暗号化処理，画質解析処理，変換係数／量子化テーブル抽出処理を含む。さらに，重畳位置マップを用いてカバーデータと重畳画像の位置合わせを行い，強度マップテーブルを用いて，重畳画像の強度調整を行う。

幾何変形特性設定処理では，次のような技術原理に基づいて，重畳画像を加工する。カバー画像を，ある比率Ｒで縮小したときに，重畳画像の大きさになるようなカバー画像の部分領域に注目する。重畳処理においては，カバー画像上の部分領域で，重畳画像の絵柄と対応付く場所Ａと，対応がない場所Ｂに注目する。場所Ａについては，カバー画像上の部分領域の画素値の平均値を少し変化させる。場所Ｂについては，変化させない。このような変化をカバー画像に与えると，カバー画像を縮小した時に，意図的に平均値を変化させた場所同士がつながって人間に知覚され，重畳画像が浮き上がって見える。

再圧縮特性設定処理では，次のような技術原理に基づいて，重畳画像を加工する。再圧縮符号化条件（ビットレートなど）に応じたカットオフ周波数を設定し，重畳画像からカットオフ周波数以上の周波数成分を除去し，カットオフ周波数未満の周波数であって、予め定めた範囲の周波数成分の信号電力を増強する。この処理により，重畳画像には，形状特徴に応じたモスキートノイズが強調される。重畳画像が重畳されたステゴデータを再圧縮符号化すると，カバー画像に中間周波数成分，高周波成分が多く含まれている場合には，再圧縮符号化処理後に，重畳画像の中間周波数成分，高周波成分も多く残る。再圧縮符号化処理は，注目する部分領域（マクロブロック）ごとに処理を行う。このため，注目領域の画素値と，注目領域の隣にある別の領域の画素値との連続性が担保されない。そのため，人の視覚では，重畳画像を構成する画素の位置で，強調したモスキートノイズに加えて，ブロックノイズを認知する。これらの視認されたノイズが複数の注目領域に渡ってつながって見えることにより，人が重畳画像を知覚しやすくなる。

一つの観点に従った上記態様によって得られる効果は以下のとおりである。
・ステゴ画像は画像処理を加えない限り，通常の視聴において支障とならない。
・重畳画像は可視マークよりも邪魔にならない。
・不可視の電子透かしと比べて，偽造コンテンツや不正コピー（海賊版）から直接見えるため，不正抑止効果が大きい。
・重畳画像の検出が誰でも可能である。
・ステゴ画像に対する携帯電話，ビデオカメラによる再撮行為によっても重畳画像が可視化する。
・画像全体に対する一方向処理が可能なため，重畳画像（牽制模様）を消去困難である。仮に，強引に消去しようとしても重畳画像（牽制模様）の痕跡が残り，原画の価値を大幅に低下させると共に，牽制効果が継続する。
・ステゴ画像を作成する際に，強度調整することにより，必要な画質に設定可能である。
・重畳画像付加によってステゴ画像データ量が増大することを抑制する。
・検出アルゴリズム（目視）を公開しても，システムとして，コンテンツの安全性や信頼性が低下しない。従来の電子透かしはアルゴリズムを秘匿しない限り，安全性を担保できなかった。本発明は，アルゴリズムを公開しても安全な電子透かしを提供する。
・重畳画像自体をスクランブル化し，スクランブル鍵を安全に配送することにより，適切な鍵を持つ人だけが重畳画像を確認可能となって，重畳画像（牽制模様）自体のセキュリティ確立が可能である。鍵交換可能な電子透かしの新しい構成を提供する。
・目視確認できる重畳画像（ロゴや牽制模様など）の代わりに機械読み取り可能な重畳画像を用いることによって，従来の電子透かし同等機能を提供可能である。

さらに，本明細書が開示する潜像技術を応用する代表的なシステムによって得られる効果は、以下のとおりである。
・コンテンツ認証：
認証情報，オーソリティ連絡先等を文字画像として重畳することにより，検証作業が容易なコンテンツ認証手段を提供できる。
・改ざん検知：
真正性情報を文字画像として重畳することにより，画像処理が加えられた偽造物か原本かを目視検知できる。真正性の確認に特別な装置が不要であり，プレーヤ操作により，視聴画面サイズを変更すると牽制模様が可視化するなど，検証作業が容易化する。
・著作権保護：
映像視聴者ＩＤや配信経路情報を牽制模様として重畳することにより。モニタ出力画面をビデオカメラ等を用いて再撮されるような不正コピー作成時に，画質上のコンテンツ価値が大幅低下する。また，利用者を明示的に牽制できるため，不正コピー抑止に寄与する。
・情報漏えい抑止：
アクセス者ＩＤや管理組織名などを牽制模様として重畳することにより，不正利用者本人を明示的に牽制できるため，操作間違いによる情報漏洩を防止する。悪意を持った情報漏えいに対しても抑止効果がある。
・コピー世代管理：
電子透かしなど他のセキュリティ技術と併用することにより，上記各応用システムのセキュリティを強化できる。重畳画像と同じ情報が電子透かしとしても検出できないと，画像は偽物と判断できる。ステゴ画像作成時に電子透かしを埋め込んでおくことにより，もし，カバー画像から電子透かしを検出すると，そのカバー画像は重畳画像が既に書き込まれた画像であると判定し，重畳画像の二度書きを防止する。
・情報ハイディング：
重畳画像をバーコード状の模様表現とすることにより，目視確認でなく，機械読み取り精度を高めることができる。
・ソフトウェア保護：
カバー画像に製品シリアル番号を重畳したステゴ画像を出力する画像処理ソフトウェアは，どのソフトウェアで処理した画像であるか身元の証明が容易になる。
・流通管理：
重畳画像として，経路，管理者，サーバ名などを表示することにより，どの経路を経てきた画像であるか身元の証明が容易になる。
・課金：
ステゴ画像に上に重畳画像として，課金／決済済み（非済み）マークを表示することにより，利用者に課金状況などのコンテンツのステータスを容易に確認させることができる。

本明細書が開示する潜像技術は、画像に情報を隠し，隠した情報を検出し処理するソフトウェア，装置，サービス，システム，コンテンツ，媒体およびその応用用途に適用可能である。特に，コンテンツ認証，改ざん検知，著作権保護，情報漏えい抑止，コピー世代管理，記録管理，情報ハイディング，ソフトウェア保護，流通管理，課金管理などに利用できる。

本発明により、情報を隠したステゴ画像に対して，画像処理が施されたときに，隠した情報が可視化するようなステゴ画像の作成方法または検知方法，運用方法が提供される。

潜像技術の概念図である。 潜像技術のシステム実装例である。 潜像の検知方法の例である。 画像重畳装置の構成例である。 重畳画像への幾何変形特性の付与原理の概念図である。 重畳画像への幾何変形特性を付与する処理手順を例示する図である。 強度マップの作成方法を詳細に例示する図である。 強度マップテーブルの説明図である。 動画像を例示した場合のカバー画像と重畳画像の重畳処理手順を例示する図である。 重畳画像への再圧縮符号化特性の付与処理手順の概念を例示する図である。 再圧縮符号化特性の付与において，ステゴ画像が圧縮符号化画像処理を経ると重畳画像が可視化する基本原理の説明図である。 ステゴ画像に対して再圧縮符号化特性を付与する詳細な手順を例示する図である。 重畳位置マップに応じて重畳された重畳画像のイメージ図である。 人の目の認知によらず，機械が重畳画像の検知を自動判定する上で，重畳装置の処理手順を例示する図である。 人の目の認知によらず，機械が重畳画像の検知を自動判定する上で，検出装置の処理手順を例示する図である。 重畳画像自体に埋め込まれた電子透かし検出の処理手順を例示する図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

図１に，潜像技術の概念図を示す。

本実施例における潜像技術とは，重畳画像１０２をカバーデータ１０１に人の目に見えないように隠し，ステゴデータ１０４を作成し，画像処理１０５を経たステゴデータ１０６から重畳画像１０２を検知する技術をいう。重畳処理１０３は，カバーデータを微小に変更することにより行う。重畳画像が人の目に見えないため，ステゴデータ１０４を普通に販売，流通させることができる。しかし，ステゴデータ１０４が画像処理１０５を経た場合。重畳画像が可視化され，人の目に見えるようになる。例えば，重畳画像１０２に不正行為を牽制する文字を書いたり，証明しようとする画像生成時刻を表示したりすることにより，不正行為抑止や真正性証明に利用できる。

図２に，潜像技術のシステム実装例を示す。

利用者は，画像重畳装置２０３の入力装置に対して，カバーデータ１０１を入力する。さらに，文字，音声，画像，動画，データベース（ＤＢ）検索結果などを利用者が指定し，重畳画像１０２としてユーザが入力する。あるいは，ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を用いた位置時刻発生源やＤＢなどの別システムの出力結果を，ネットワークを介して，画像重畳装置２０３に入力してもよい。画像重畳装置２０３はカバーデータ１０１に重畳画像１０２を重畳し，ステゴデータ１０４を出力する。図２の例では，重畳画像１０２あるいは牽制模様として，ステゴデータ配布先利用者のＩＤと，画像の複写が禁止されていることを示す文字列を指定する。ステゴデータ１０４をデコーダ２０５（プレーヤ，あるいは再生機）に入力すると，モニタ２０６に出力され，人２０７の目には，カバーデータ１０１と同じに見える。

もしも，ステゴデータ１０４が不正コピーされるなどされて，不正コピーステゴデータ２０８がトランスコーダなどの画像処理装置２０９を経ると，その画像処理を受けた処理画像２１０が出力される。処理画像２１０をデコーダ２１１（プレーヤ，あるいは再生機）に入力すると，モニタ２１２に出力され，人２１３の目には，カバーデータの上に重畳画像が重畳されて見える。あるいは，ステゴデータ２０８を検出装置２１４に入力することにより，あらかじめ利用者が入力指定した，重畳画像１０２，あるいは，重畳画像１０２の元となった文字，音声，画像などの情報２１５が出力される。

検出装置２１４の出力を，ネットワークなどの通信装置を介して，さらに別のシステムやサービスに接続し，システム動作，サービス内容を検出情報に対応させて制御してもよい。検出情報２１５が４ビット相当のコピー制御情報（禁複写，複写可など）の場合，別システムで，検出情報２１５に対応したコピー制御や再送信制御，管理記録制御などの機器制御をステゴデータに対して行うことができる。

図３に，潜像の検知方法の例を示す。

潜像は，トランスコーダなどの画像処理装置を経ても検知できるが，他にも容易に検知する方法がある。デコーダ３０２を調整して再生画像を縮小表示させても人３０４の目に潜像が検知できる。あるいは，デコーダ３０２を通常再生し，デコーダ３０２のモニタ３０３への出力（この段階では人に不可視の状態の場合に）をビデオカメラ３０５，デジカメ３０６，カメラ付携帯電話３０７で撮影すると，ステゴデータ３０１はＤＡ−ＡＤ変換（アナログ変換），幾何変形（縮小など），再圧縮符号化処理を受ける。このような再圧縮符号化処理後の処理画像は，トランスコーダと同様に，潜像を可視化させるため，これらの方法によってでも，人３０８の目に検知できる。ビデオプリンタ３０７を用いて画面を印刷してもよい。

図４に，画像重畳装置を実現する処理部の構成例を示す。

画像重畳装置２０３は，演算装置（ＣＰＵ），入力装置，出力装置，メモリ（一次記憶装置），ディスク（二次記憶装置）、通信装置を備えた計算機上で，画像重畳方法を実現するプログラム（またはモジュール）をメモリ上で動作させることによって実現できる。

プログラムは、あらかじめ、上記計算機内のメモリまたはディスクに格納されていても良いし、必要なときに、上記計算機が利用可能な媒体を介して、他の装置から導入されてもよい。媒体とは、たとえば、上記計算機に着脱可能な記憶媒体、または通信媒体（すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号）を指す。

図４に示す各処理部は、メモリまたはディスクに格納されたそれぞれの処理部を実現するプログラム（またはモジュール）をＣＰＵが実行することにより、実現される。

プログラムが実現する入力受付処理として，証明鍵生成／入力処理４０１，ワーク鍵生成／入力処理４０２，カバーデータ入力処理４０３，重畳情報入力処理４０４，重畳データ入力・編集・画像化処理４０５，スクランブル鍵生成／入力処理４０６，強度入力／強度マップ設定処理４０７がある。入力装置は，マルチモーダルユーザインタフェースを備え，上記各処理では、利用者による入力と別システムからの入力を受け付ける。

変換係数／量子化テーブル検出処理４０８は、カバーデータ入力処理４０３が入力を受け付けたカバーデータから，画像の特徴として変換係数と量子化テーブルを抽出する。カバーデータが圧縮符号化済みデータの時には，周波数変換されていることが多く，例えば，ＭＰＥＧの場合，変換係数はＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｇｎ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）係数を指す。カバーデータが非圧縮データの場合には，所定の量子化テーブルを用いて周波数変換を行い，変換係数を得る。

重畳情報入力処理４０４が入力を受け付けた情報は，カバーデータに対する重畳データの位置合わせの元となる情報であり，右上，中央，全体などを指定し，これらを元に重畳位置マップを作成する。位置あわせの概念については図１３を参照されたい。重畳データ入力・編集・画像化処理４０５が入力を受け付けた利用者指定情報が文字の場合，それを文字画像化して重畳データに変換する。音声の場合は，音声認識により文字化，文字画像化して重畳データに変換する。文字，音声，画像，動画などを編集してもよい。重畳データの元の大きさと，カバーデータの大きさ，および，どの幾何変形方法で重畳データが浮き上がるようにするかの倍率等のパラメータを指定する。面積比１／２で反応するようにするなど，あらかじめ定めてある規定値を用いてもよいし，複数のパラメータを画像の部分領域ごとに別々に定めてもよい。

重畳情報入力処理４０４は，重畳位置マップに関わる利用者の指定情報の入力を受け付ける。重畳位置マップ位置あわせ指定処理４０９は，重畳位置マップを生成する。重畳位置マップは，カバーデータの画像座標系において，重畳画像（あるいはその縮小・拡大画像）の大きさ，重畳画像の位置，フレーム時刻，数，可視化特性，種類，元データのメモリ格納アドレスなどを定めるデータである（図１３も参照）。

重畳情報入力処理４０４は，重畳画像に対して電子透かし技術を用いて情報を埋め込んでおいてもよい。例えば，公開特許公報２００７−０１３３５７号には，牽制文字などの二値画像に対しても適用可能な電子透かし技術が開示されている。入力装置で指定された情報でもよいし，時刻などの自動生成情報でもよい。

スクランブル鍵生成／入力処理４０６が生成，あるいは入力を受け付けたスクランブル鍵を用いて，スクランブル化処理４１１は，重畳データを暗号化する。これは，重畳情報入力処理４０４において，重畳データを暗号化するよう指定があった場合に行う。重畳画像がスクランブル化処理４１１によってスクランブルされる場合には，重畳画像に用いた鍵と同じスクランブル鍵を用いて，強度マップをスクランブル化処理４１６によってスクランブルすることにより，強度マップと重畳画像の画素の位置の対応を取る。その後，重畳データ作成処理４１７は、強度マップを反映させた重畳データを作成する。

時間空間領域分割処理４１２は，時間，空間を部分領域に分割する。時間空間領域分割処理４１２は，重畳情報入力処理４０４，重畳位置マップ位置あわせ指定処理４０９によって入力受け付け／生成された重畳位置マップの指定に従う。動画の場合，フレーム種類によって処理のためのバッファ４１３を用いる場合がある。さらに，時間空間領域分割処理４１２が、重畳データ入力・編集・画像化処理４０５の出力する重畳画像（あるいはスクランブル化された重畳画像）に対して，幾何変形特性設定処理４１４，再圧縮特性設定処理４１５を用いて，後で説明する特殊な加工を施した後，重畳データ作成処理４１７が，重畳データを作成する。

強度入力／強度マップ設定処理４０７は，利用者の指定した強度マップを入力／設定／生成し，後に，重畳データの強度を調整し，重畳データを作成する作業を補佐する。強度マップは，画像の画素値の変更量や周波数成分の変更量の上限下限などをあらかじめ定めておくか，利用者が指定してもよいし，カバーデータの輝度値との関係から算出してもよい。作成あるいは入力あるいは予め定められた強度マップのデータは，メモリあるいはディスク上の強度マップテーブル（強度マップテーブルの概念については図８参照）に格納しておく。

重畳処理４１８は，重畳位置マップ位置あわせ指定処理４０９の指定する重畳位置マップに沿って，重畳データとカバーデータの重畳を行う。画像の重畳には，画像の周波数成分の加算によって重畳してもよいし，輝度色差信号成分の画素値同士の加算でもよい。加算に際して，カバーデータの画質が著しく劣化することのないよう，事前に，画質解析処理４２４が、カバーデータあるいは重畳データに対して，重畳データの成分の強弱を調整してもよい。

圧縮符号化パラメータ調整処理４１９は，重畳処理を経た画像に対して，それが非圧縮であれば圧縮符号化する。また，重畳処理を経た画像が圧縮符号化済みで，変換係数の加算によって生成されていれば，その操作に伴うデータの変化（例えばデータサイズ，上限値，変更された量子化テーブルの差し替えなど）について，ヘッダ情報やファイル管理情報などのパラメータ調整を行う。

ステゴデータ出力処理４２０は，潜像を含むステゴデータを出力する。利用者からステゴデータを暗号化するよう指示があった場合には，ワーク鍵生成／入力処理４０２が生成／入力受け付けしたワーク鍵を用いて，暗号化処理４２１がステゴデータを暗号化し，出力する。ステゴデータあるいは暗号化ステゴデータは，さらに，証明鍵生成／入力処理４０１が生成／入力受け付けした署名鍵を用いて，電子署名処理４２２が電子署名データ，証明書データを付与してもよい。

補助情報出力処理４２３は，スクランブル鍵，ワーク鍵，電子署名，証明書，署名鍵，タイムスタンプ，時刻情報，管理情報，ユーザ情報などを出力する。ステゴデータ出力処理４２０の出力先，および，補助情報出力処理４２３の出力先は，ディスクであってもよいし，モニタや可搬媒体であってもよいし，ネットワーク接続された別システムであってもよい。

図５は，重畳画像への幾何変形特性の付与原理を示す概念図である。

カバー画像５０１を，ある比率Ｒで縮小したときに，重畳画像の大きさになるようなカバー画像ｙｏ５０１の部分領域ｙｏ５０２に注目する。重畳画像ｙｍは５０３，幅ｗｄ，高さｈｄとする。カバー画像ｙｏ５０１のうちの部分領域は幅ｗｓ，高さｈｓとする。最小公倍数を求める関数をＬＣＭ（ ）とする。

仮想上の矩形領域５０５で，幅ＬＣＭ（ｗｓ，ｗｄ），高さＬＣＭ（ｈｓ，ｈｄ）の領域は，重畳画像５０３の幅，高さを整数倍したものと等価である。同様に，この同じ矩形領域５０５は，カバー画像５０１の注目領域５０２の幅，高さを，別の整数で整数倍したものと等価である。これらの幾何関係に注目すると，重畳画像５０３の中でのある１画素５０９は，カバー画像５０１の中で，（ｗｓ／ｗｄ）＊（ｈｓ／ｈｄ）領域５０８に対応する。なお，図５で，重畳画像を示す黒い小ブロック５０３は重畳画像の１画素に相当するが，カバー画像の黒い小ブロック５０８や仮想上の矩形領域の黒い小ブロック５０６は，それぞれの画素と直接対応せず画像全体の中の相対的な位置と大きさを示している。

カバー画像ｙｏ５０１の中で，（ｗｓ／ｗｄ）＊（ｈｓ／ｈｄ）注目領域５０８が，縮小時に重畳画像サイズの画素として反映される画素値となる。例えば，注目領域５０８の画素値の平均が，カバー画像を縮小した後に，縮小カバー画像のある１画素の画素値となる場合がある。あるいは，注目領域５０８の中の特定の１画素の画素値が，カバー画像を縮小した後に，縮小カバー画像のある１画素の画素値となる場合がある。

重畳処理においては，カバー画像上の部分領域で，重畳画像の絵柄と対応付く場所Ａと，対応がない場所Ｂに注目する。場所Ａについては，カバー画像上の部分領域の画素値の平均値を少し変化させる。場所Ｂについては，変化させない。このような変化をカバー画像に与えると，カバー画像を縮小した時に，意図的に平均値を変化させた場所同士がつながって人間に知覚され，重畳画像が浮き上がって見える。カバー画像の部分領域が完全に重畳画像のサイズに縮小されれば，最もはっきりと重畳画像が浮き出て見える。認知心理学の研究成果により，人間には，離れた図形をつなげて見ようとする心理が働くことが知られている。このため，別の縮小の場合でも重畳画像が浮き出て見える。

図６は，幾何変形特性設定処理４１４における，重畳画像への幾何変形特性を付与する処理手順を示す図である。

重畳データ入力・編集画像化処理４０５において，入力受け付け／生成した重畳画像を重畳画像ｓＡと呼ぶ。また，カバーデータ入力処理４０３において，入力受け付け／生成した画像をカバー画像５０１として用いる。重畳位置マップ位置あわせ指定処理４０９が生成した重畳位置マップは，カバーデータの画像座標系において，重畳画像（あるいはその縮小・拡大画像）の大きさ，重畳画像の位置，フレーム時刻，数，可視化特性，種類，元データのメモリ格納アドレスなどを定めるデータである（図１３も参照）。カバー画像ｙｏ５０１を，ある比率Ｒで縮小したときに，重畳画像５０３の大きさになるようなカバー画像ｙｏの部分領域５０７に注目する。重畳画像ｙｍ５０３は，幅ｗｄ，高さｈｄとする（図５参照）。カバー画像５０１の注目領域５０７は，重畳位置マップの示す複数の重畳位置候補の中から一つを選択する。ステップ６０１の前処理として，これらの処理を繰り返し／順次処理してゆく。

ステップ６０１において，重畳画像ｓＡに電子透かしを用いて管理情報を埋め込み，重畳画像ｓＢを作成する。この管理情報は，前述したように，ユーザ入力によるものであってもよいし，予め定められたものであってもよいし，外部から別のシステム（時刻発生源など）の入力を用いてもよい。

ステップ６０２において，重畳画像ｓＢを縦横ｘｓ１倍，ｙｓ１倍に拡大し，重畳画像ｓＢが二値画像（１画素１ビット）の場合これを多値化（例，１画素８ビット）して，多値画像の重畳画像ｓＣを得る。

ｘｓ１＝ＬＣＭ（ｗｓ，ｗｄ） ／ ｗｄ
ｙｓ１＝ＬＣＭ（ｗｓ，ｗｄ） ／ ｗｄ
ステップ６０３において，拡大された重畳画像ｓＣにローパスフィルタ（ＬＰＦ）をかけて，重畳画像ｓＤを得る。なお，重畳画像ｓＤの大きさは，ＬＣＭ（ｗｓ，ｗｄ） ＊ ＬＣＭ（ｈｓ，ｈｄ）である。

ステップ６０４において，ＬＰＦ後の重畳画像ｓＤを縦横１／ｘｓ２，１／ｙｓ２に縮小して，重畳画像ｓＥを得る。

ｘｓ２＝ＬＣＭ（ｗｓ，ｗｄ） ／ ｗｓ
ｙｓ２＝ＬＣＭ（ｈｓ，ｈｄ） ／ ｈｓ
ステップ６０５において，強度入力／強度マップ設定処理４０７は，強度マップを読み込み，設定する（図７，図８も参照）。強度マップに従って重畳時に，注目ブロックの平均ピクセル値が変化するよう，均質に／選択的に重ね合せて，重畳画像ｓＦを作成する。あるいは，カバー画像の画質を維持するように重ね合せる。例えば，注目ブロックの平均ピクセル値が変化しないよう，選択的に重ね合せる場合には次のようにする。注目ブロックの平均ピクセル値が変化しなくても，特定の画素値が突出した状態を作成すると，縮小時などで特定の画素値だけが選択的に処理画像上に反映される画像処理（最近傍法による縮小など）の場合などには，ステゴ画像の画質劣化を抑えながら潜像を隠すことができる。このような多様な処理の判断基準となる強度マップを予め用意，あるいは動的に生成して利用者が選択利用する。

ステップ６０６において，カバー画像と重畳画像ｓＦを重畳し，ステゴ画像を得る。重畳処理４１８が行う。カバー画像の重畳対象は輝度成分であってもよいし，色差成分やＲＧＢ成分であってもよい。重畳画像も輝度濃淡と解釈してもよいし，８ビット情報の上位４ビットを赤色成分，下位４ビットの反転情報（０に近いものほど大きな値として評価）を青色成分など，別の色に分離してもよい。

図７は，ステップ６０５で述べた強度マップの作成方法を詳細に示す図である。

ステップ７０１において，重畳画像ｓＥ７０９を読み込む。

ステップ７０２において，ユーザが指定する管理情報の設定を行う。

ステップ７０３において，重畳画像全域において，重畳画像の中を小さな部分領域に分割し，下記ステップ７０４からステップ７０７の処理を繰り返す。

ステップ７０４において，重畳画像の注目部分領域を設定する。

ステップ７０５において，強度マップを格納してある強度マップテーブル（図８参照）を参照する。

ステップ７０６において，重畳画像を分析し，重畳画像の特徴量を求める。線分方向（８方向），オブジェクトの凹凸度（白黒密度），面積，重心などの判定を行う。線分方向の判定は，上下左右斜め８方向を向いた線分画像と重畳画像の画素値との相関計算によって行い，相関値の最小となった方向を線分方向として設定する。凹凸度は注目部分領域の周波数成分の大きさで図ることができる。

ステップ７０７において，部分領域の特徴量に応じた強度マップデータを選択する。多様な選択方法が考えられる。例えば，線分方向に対して平行に大きな強度値を分布したマップを選択する，あるいは，線分方向に対して直交する方向に大きな強度値を分布したマップを選択する，あるいは，凹凸度が大きい／小さい場合に，均質な／分散した強度マップを選択する。利用者が選択してもよい。

ステップ７０７において，選択した強度マップに指定された強度情報（強度パラメータ）にユーザ指定の強度設定の値を加算あるいは乗算し，強度マップ７１０を作成する。もし，この強度マップを適切な比率で縮小すると，縮小強度マップ７１１に示すように，離れた点がつながって見えて，潜像がよりはっきりと可視化しやすくなる。

ステップ７０８において，重畳画像ｓＦを出力する。

図８は，強度マップテーブルを示す説明図である。

図７の強度マップの作成方法に基づいて定められた強度マップは，ディスクまたはメモリ上の強度マップテーブル８０１に格納する。強度マップテーブル８０１の各レコードは，部分領域の画素並び８０２，ＩＤ８０３，線分方向８０４，オブジェクトの凹凸度（白黒密度）８０５，管理情報８０６，強度設定値８０７を含んで構成される。面積，重心などの関連情報を格納してもよい。重畳時に，平均ピクセル値が変化するよう，均質に／選択的に重ね合せ。管理情報８０６は，ステップ６０５，ステップ６０６において，カバー画像の画質を維持するように重ね合せ，などのユーザ指定を反映しない場合に指定されるフラグである。このフラグが消えていると，ユーザ指定を優先して処理する。

ステップ７０７において，部分領域の特徴量に応じた強度マップデータを選択する。注目する部分領域の画素値の並び（図８では白黒二値の４ｘ４領域で例示）に応じて，強度設定値８０７を選択する。あるいは，線分方向８０４，オブジェクトの凹凸度（白黒密度）８０５などをテーブル検索キーとして，強度設定値８０７を得てもよい。

図９は，動画像を例示した場合のカバー画像と重畳画像の重畳処理手順を示す説明図である。

ステップ９０１において，重畳位置マップ作成を行う。

ステップ９０２において，重畳画像を周波数変換，量子化を行う。

ステップ９０３において，カバー画像読み込み，復号化，色空間調整を行う。

ステップ９０４において，カバー画像のＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）単位，あるいは，フレーム単位での繰り返し制御を行う。

ステップ９０５において，フレームデータをフレームバッファに格納する。

ステップ９１４において，あるフレームの中に含まれる輝度情報，色差情報について，スライス単位あるいはマクロブロック単位での繰り返し制御を行い，順次，一つのマクロブロックに注目する。マクロブロックの大きさは１６ｘ１６などである。

ステップ９０６において，重畳位置マップを参照する。

ステップ９０７において，注目マクロブロックの位置が，重畳位置マップで指定された位置（カバー画像の中で重畳画像を重ねる位置）かどうか判定を行う。重畳位置でなければ，次のマクロブロックを参照するようステップ９１４の処理に戻る。ステップ９０７において，注目マクロブロックの位置が，重畳位置である場合には，ステップ９０８からステップ９１３の処理を行う。

ステップ９０８において，注目マクロブロックがイントラマクロブロックかどうかの判定を行う。イントラマクロブロックでない場合，注目マクロブロックの情報は，他の時刻のフレーム情報の中の特定のマクロブロックを実体として，動きベクトルを用いてアドレス参照する形で存在する。

ステップ９０９において，フレームバッファを参照し，注目マクロブロックに対応するマクロブロック情報で，時刻上別フレームに存在するマクロブロック情報（言わば絵柄に相当）を得る。

ステップ９１０において，注目するマクロブロック情報を，必要に応じて時刻上別フレームに存在するマクロブロック情報の実体に置き換える。すなわち，動きベクトルによる圧縮表現を，局所的にキャンセルして画素値集合の周波数成分に変換する。

重畳位置マップを参照しながら，マクロブロックをさらに小さなマクロブロックに置き換えて，必要最小限のキャンセル操作を行えば，動きベクトルキャンセルに伴う出力データ量増大が抑制できる。

また，時刻上別フレームに存在するマクロブロック情報がすでに重畳画像を重畳していた場合には，局所的に動きベクトルをキャンセルしない場合もある。例えば，動きベクトルによる圧縮表現で，動きがない背景部分で，時刻上別フレームに存在するマクロブロック情報を参照する場合である。あるマクロブロック情報を書き換えると，そのマクロブロックを参照する他のフレームでは，そのまま書き換え結果が反映される。

ステップ９１１において，重畳画像とカバー画像のマクロブロック同士を重畳する。周波数変換によるデータ表現の場合，変換関数の線形性から，周波数領域上で加算した値を空間領域に逆変換した画素値は，空間上（すなわち絵柄）の画素値としてカバー画像と重畳画像を加算した結果の画素値と技術的に同等である。

ステップ９１２において，以上の処理におけるＧＯＰ構造，フレーム情報，スライス情報，マクロブロック情報の書き替えに伴って，圧縮符号化パラメータ調整を行う。例えば，データ量が変化するので変化後のデータ量を記録，計算する。

ステップ９１３において，出力するヘッダ情報を設定する。

ステップ９１５において，変換係数などの符号化処理を行う。

ステップ９１６において，ＧＯＰ単位の処理が済んでいれば，バッファからＧＯＰ情報を読み出して出力を行う。ＧＯＰ途中やフレーム処理の途中であれば，ステップ９０５に戻り，バッファに上記の中間情報を格納して次の処理（ステップ９１４）に移る。ステップ９０４において，すべてのＧＯＰが処理されれば終了する。

図１０は，重畳画像への再圧縮符号化特性の付与処理手順の概念を示す説明図である。

再圧縮符号化特性の付与は，再圧縮特性設定処理４１５における処理である。カバー画像１０１の中の部分領域１００２に注目する。この部分領域のデータ１００３は，ＪＰＥＧ，ＭＰＥＧなどのマクロブロックに相当し，例えば１６ｘ１６などの矩形領域である。図１０では４ｘ４の例を示す。重畳画像１０２の中の部分領域１００５に注目し，さらに，図５に示す幾何変形特性を付与する。幾何変形特性付与後のデータ群１００６は，データ群１００３と同じ画格となる。また，重畳位置マップ，強度マップの設定を反映し，図７の絵柄７１０と技術的に同等な状態の絵柄であり，このままでは人の目には重畳画像の絵柄が見難い。

ＭＰＥＧ，ＪＰＥＧなどの圧縮符号化処理では周波数変換にはＤＣＴ変換が用いられる。圧縮符号化処理では，周波数変換後に，低周波数成分に多くのビットを割り当てるように量子化を行い，データ圧縮を行う。周波数成分の数値は量子化後に非可逆となって，量子化周波数成分を逆変換して得られる画素値は，元の画素値と微小に異なる。自然画像では低周波数成分に信号電力が集中するという特性を利用するものである。しかし，重畳画像の絵柄は，牽制文字を書く場合など，自然画像ではない場合があり，低周波成分だけでなく高周波成分も重要である。高周波成分を適切に維持，加工することにより，重畳画像へ再圧縮符号化特性を付与することができる。しかし周波数成分を低周波，中間周波，高周波とレベル分けをすると，高周波成分は圧縮符号化処理によって消失しやすいため。中間周波の選定，加工程度が重要となる。

量子化変換係数テーブル１００７は，データ群１００３を周波数変換，量子化を通して得られた値の集合である。ＤＣＴ変換係数の慣用的記法では，左上の低周波成分に有効な値が偏り，右下の高周波成分は多くの場合にゼロである。量子化変換係数の値がゼロになる周波数のうち，一番周波数が低いものをここでは，カットオフ周波数と呼ぶ。

図１０（ａ）は，カバー画像１０１の部分領域のデータ１００３を周波数変換，量子化して得られる周波数成分を示すグラフである。グラフは横軸が画像の周波数，縦軸が変換領域でのスペクトル値を示す。

図１０（ｂ）は，重畳画像１００４の幾何変形特性付与後のデータ群１００６を周波数変換して得られる周波数成分を示すグラフである。図１０（ｂ）の中でカットオフ周波数を越える周波数部分をカットオフ領域１００８と呼ぶ。

図１０（ｃ）は，図１０（ｂ）に示した周波数成分に対して，カットオフ周波数を適用し，高周波成分を除去したグラフである。このカットオフ周波数には量子化変換係数テーブル１００７で計算された周波数を用いる。あるいは，カットオフ周波数を予め定めた範囲で微小に変化させた値を用いてもよい。

仮に，高周波成分を除去した周波数成分の集合は，逆周波数変換（ＩＤＣＴなど）によって，空間領域に戻してみると，およそ元の絵柄に近い絵柄が再現される。ただし，除去される高周波成分は，元の重畳画像１００５のエッジ部分近くに多く含まれている。周波数領域で，高周波成分だけが選択的に除去された場合，逆周波数変換（ＩＤＣＴなど）によって，空間領域に戻した後，重畳画像のエッジ部分は乱れて，モスキートノイズが現れることがある。モスキートノイズとなって見える部分は，カットオフ周波数以上の周波数部分の波が，カットオフ周波数を壁として反射波が折り返したように，カットオフ周波数近くの周波数帯域に認知上の影響が現れ，人に知覚されやすくなる。

図１０（ｄ）は，図１０（ｂ）に示した周波数成分に対して，カットオフ周波数以上の高周波成分を除去した後，カットオフ周波数未満の周波数帯（帯域幅ｆｄ）に加工を加えたものである。帯域幅ｆｄの最大値，最小値をあらかじめ定数を定めてもよい。ＤＣＴ変換の場合，周波数軸は，基底周波数θの倍数ｋθ（ｋ＝１〜ｎ）で表せる。

カットオフ周波数となるｋの値をｋｃとするとき，（ｋｃｏ）×θの周波数成分は，図１０（ｂ）の横軸において，カットオフ周波数より１単位分低周波の周波数を示す。上記の加工は，（ｋｃ−１）×θの周波数成分に集中させて加工してもよい。あるいは，あらかじめ定めた２定数α，βを用いて，（ｋｃ−α）×θ〜（ｋｃ−β）×θの周波数帯域を帯域幅ｆｄとして，加工対象としてもよい。

カットオフ周波数未満の周波数帯（帯域幅ｆｄ）に対して，カットオフ領域以上の領域部分のスペクトル値が持つ電力相当の値を加算する。電力は，グラフ上では波形の面積計算として得られ，計算範囲にある周波数帯におけるスペクトル値の和となる。あるいは，このスペクトル値の電力を，予め定めた範囲で微小に変化させた値を用いてもよい。

図１０（ｅ）は，出力されるステゴ画像の周波数成分を示すグラフである。図１０（ａ）に示したカバー画像の部分領域のデータ１００３を周波数変換／量子化して得られる周波数成分をＡとする。重畳画像の幾何変形特性付与後のデータ群１００６を周波数変換して得られる周波数成分に図１０（ｄ）に示した加工を施した周波数成分をＢとする。図８で定めた強度設定値８０７に，予め定めた定数を乗算して得るパラメータαとしたとき，ステゴ画像の周波数成分ＣはＡとＢの線形和として計算できる（Ｃ＝Ａ＋αＢ）。

カットオフ周波数は，周波数変換時の設定によっても変わる。ＪＰＥＧやＭＰＥＧの圧縮設定が高圧縮で小さなファイルを出力するとき，カットオフ周波数は低周波数に設定される。低圧縮の場合，高周波数となる。逆に，カットオフ周波数を意図的に低く設定すれば，高圧縮時に可視化されやすくなる重畳画像や，逆に，低圧縮時に可視化されやすくなる重畳画像を重畳できる。このように，ステゴ画像を圧縮する時のビットレートや画質などの設定に応じて，それに対応する再圧縮特性を持った重畳画像を作成できる。

図１１は，再圧縮符号化特性の付与において，ステゴ画像が圧縮符号化画像処理を経ると重畳画像が可視化する基本原理を示す説明図である。

図１１（ｅ）は，図１０（ｅ）と同等の図であり，出力されるステゴ画像の周波数成分を示すグラフである。グラフは横軸が画像の周波数，縦軸が変換領域でのスペクトル値を示す。縦軸を量子化後のＤＣＴ係数と考えてもよい。

図１１（ｅ）において，ステゴ画像の周波数成分を逆変換することにより得られるステゴ画像の空間成分（画素値）１１０１は，カバー画像１０１の注目領域１００２と，幾何変形特性および再圧縮符号化特性を付与した重畳画像Ｘを重畳した絵柄となる。より詳細には，重畳画像１０２の注目領域のデータ１００５に対して，幾何変形特性を付与した領域のデータ１１０６に，再圧縮符号化特性を付与する処理を加え，図１０（ｄ）の変換成分を持つデータが重畳画像Ｘである。重畳画像Ｘを重畳したステゴ画像の空間成分１１０１，および，空間成分１１０１を一部の領域１１０２に含むステゴ画像全体１０４を，人が目視すると，元の重畳画像１０２の絵柄が見えにくい。

図１１（ｆ）は，ステゴ画像１０４の一部の領域１１０２を再圧縮符号化処理によって変換し，得られる周波数成分を示すグラフである。図１１（ｆ）に示す周波数成分をさらに逆変換すると，カバー画像の注目領域１００２に重畳画像１０２を重畳した絵柄に近い絵柄として見え，重畳画像の形状や文字が視認しやすくなる。

再圧縮符号化処理では，図１０（ｄ）の処理によって強調されたモスキートノイズ状のノイズを打ち消すように，平滑化フィルタなどの画像処理が働く。また，ステゴ画像１０４の中の注目領域１１０４における重畳画像の成分を取り出すと，重畳されたカバー画像の影響を受けて，再圧縮符号化処理後に，にじむように空間的に広がる。また，カバー画像に中間周波数成分，高周波成分が多く含まれている場合には，再圧縮符号化処理後に，重畳画像の中間周波数成分，高周波成分も多く残る。しかし，再圧縮符号化処理は，注目する部分領域（マクロブロック）ごとに処理を行う。このため，注目領域１１０４の隣にある別のマクロブロックとの画素値の連続性が担保されない。そのため，人の視覚では，重畳画像を構成する画素の位置で，強調したモスキートノイズに加えて，ブロックノイズを認知する。これらの視認されたノイズが複数の注目領域１１０４に渡ってつながって見えることにより，人は重畳画像を知覚する。

図１１（ｄ’）は，ステゴ画像１０４の注目領域１１０４を再度周波数変換して得られる周波数特性である。変換成分量子化値，カットオフ周波数が変化し，重畳画像の周波数特性（変換帯域特性）が近似的に復元される。

図１２は，ステゴ画像に対して再圧縮符号化特性を付与する詳細な手順を示す説明図である。

ステップ１２０１において，符号化されたカバー画像の変換係数を復元し，マクロブロック，量子化テーブル情報を抽出する。

ステップ１２０２において，マクロブロックの量子化変換係数情報１００７のゼロ値をスキャンし，カットオフ周波数を設定する。

ステップ１２０３において，重畳画像データを読み込み，領域分割する。重畳位置マップに従って，カバー画像と対応する位置を判別し，部分領域ごとに周波数変換，量子化を行い，変換係数を計算する。

ステップ１２０４において，重畳画像の変換係数のうち，カバー画像のカットオフ周波数より大きな周波数成分をより分けて，ステップ１２０５，ステップ１２０６の処理を行う。

ステップ１２０５において，図１０（ｂ）に示したような重畳画像の変換係数から，カットオフ周波数を設定する。利用者の入力指示により，再圧縮条件（ビットレートなど）を指定して，それに対応するカットオフ周波数として，低め，高めに設定してもよい。

ステップ１２０６において，重畳画像の変換係数に対して，カットオフ周波数未満の変換係数を通過させるＬＰＦをかけて，図１０（ｃ）に示したカットオフ領域を除去する。

ステップ１２１０において，重畳画像の信号電力（変換係数の総和）を計算する。信号電力の適切さの判断を行い，信号電力が予め定めた定数値Ｅｍａｘより小さければ，ステップ１２０７，ステップ１２０８，ステップ１２０９の処理を行う。

ステップ１２０７において，重畳画像のカットオフ領域のエネルギー計算を行う。カットオフ領域１００８の信号電力（変換係数の総和，グラフ面積），スペクトル形状（左より，右より，均質など），カットオフ周波数帯域（どの周波数が削除されるかの周波数範囲）の３つのパラメータを得る。

ステップ１２０８において，重畳画像のカットオフ領域のエネルギー調整を行う。カットオフ領域の信号電力が予め定めたしきい値より小さければ，信号電力を底上げする。大きければ信号電力を削る。

ステップ１２０９において，重畳画像の非カットオフ領域のエネルギー調整を行う。カットオフ周波数帯域の幅（周波数の差）に応じて，重畳画像の非カットオフ領域のエネルギーに対して加工を施す。重畳画像のカットオフ領域のエネルギーに対応する値を追加，あるいは削除する。あるいは，あらかじめ定めた定数を乗じた値を用いてもよい。図１０（ｄ）のグラフのように，非カットオフ領域にあって，かつカットオフ周波数より低い周波数成分にあるスペクトル値について，カットオフ周波数帯域の幅の分，信号電力を調整する。

ステップ１２１１において，カバー画像の変換係数と重畳画像の変換係数の演算を行う。演算は加算する。減算でもよいし乗算などでもよい。単純に加算すると，カバー画像が全体に明るくなってしまうため，カバー画像に対して画像処理フィルタをかけて，カバー画像の信号電力を予め下げておく／上げておく方法を用いてもよい。この画像処理フィルタはノイズ除去フィルタを用いてもよい。

ステップ１２１１において，ステゴ画像のマクロブロック情報を調整し，符号化を行う。重畳に際して，カバー画像の量子化テーブルを別のテーブルに変えることもできる。その場合には，使ったテーブルを出力するよう，ステゴ画像のマクロブロック情報を調整する。

図１３は，重畳位置マップに応じて重畳された重畳画像を示すイメージ図である。

ステゴ画像では，幾何変形や再圧縮符号化をしない限り，重畳画像が視認されにくいが，図が視認できないと説明が難しいため，説明上，視認可能な重畳画像を描いている。

図１３（ａ）は，カバー画像を複数の部分領域に分割し，可視特性（幾何変形特性，再圧縮符号化特性など）の異なる複数の重畳画像を重畳した場合の概念説明図である。部分領域１３０２，部分領域１３０３，部分領域１３０４，部分領域１３０４は，それぞれ異なる倍率の幾何変形特性を備える。例えばステゴ画像が面積比７０％に縮小された場合，部分領域１３０２が可視化し，面積比５０％に縮小された場合，部分領域１３０３と部分領域１３０４が可視化する。部分領域は互いにオーバーラップしていてもよいし，別々の領域にあってもよい。また，セキュア領域１３０５には，「禁複写ID:0011」を暗号化，署名付与，検証情報，秘密情報，牽制文字の存在を示す１ビット情報などをバーコード状に符号化したものを用いる。牽制文字の存在を示す１ビット情報が検出されるにも関わらず，牽制文字が消えて見える場合には，何らかの手段によって牽制文字が消去されたことがわかるため，改ざん検知などの用途に寄与する。部分領域１３０２，部分領域１３０３，部分領域１３０４，部分領域１３０４が，それぞれ異なる圧縮率の再圧縮符号化特性を備えてもよい。

図１３（ｂ）は，動画フレーム時刻によって可視特性の異なる重畳画像を重畳する例を示している。動画は複数フレーム１３０６を含んで構成される。可視特性（幾何変形特性，再圧縮符号化特性など）の異なる複数の重畳画像を，複数のフレームに重畳しておく。重畳画像自体を動きのある動画データとしてもよい。動画全体が画像処理を経ると，可視特性（幾何変形特性，再圧縮符号化特性など）を持った重畳画像の場所が変化して，重畳画像が人の目に認知されやすくなる。

図１４は，人の目の認知によらず，機械が重畳画像の検知を自動判定する上で，画像重畳装置２０３の処理手順を示す説明図である。

ステップ１４０１において，カバーデータ入力処理４０３が、カバー画像の入力を受け付ける。

ステップ１４０２において，重畳位置マップ位置あわせ指定処理４０９が、セキュア領域の設定を行う。

ステップ１４０３において，重畳データ入力・編集画像化処理４０５が、重畳情報の符号化を行う。電子署名処理４２２が、重畳情報としてユーザＩＤなどの基本情報に，さらに，電子署名，公開鍵証明書を付与する。重畳データ入力・編集画像化処理４０５が、これらを１ビット符号化し，０１１０００１・・・という長さＮのビット列を構成する。符号化には，ＪＩＳコードなどの既存のコード体系を用いてもよい。さらに，ビット列に誤り訂正符号を追加する。

このようにしてビット列として符号化された重畳情報を，重畳画像データ形式に符号化する。ａ画素四方を１マスとして，ｎ＊ｎマスの領域（ｎ＊ｎはＮ以下）を定義する。重畳情報ビット列の値に応じて，０なら黒，１なら白として，左上から右下に向けて，白か黒に着色されたマスを順次並べていく。ｎマス並べると下の行の操作に移る。このようにして，符号化した重畳画像データを作成する。重畳画像データは２次元バーコード状の絵柄１３０５となる。多値画像に変換してもよいし，ランダムに並べてもよい。ランダムに並べた並びを示す情報を鍵として外部に持ち，検出時に利用してもよい。

ステップ１４０４において，重畳処理４１８が、重畳画像の重畳を行う。

ステップ１４０５において，ステゴデータ出力処理４２０が、ステゴ画像出力を行う。

図１５は，人の目の認知によらず，機械が重畳画像の検知を判定する上で，検出装置２１４の処理手順を示す説明図である。

検出装置２１４は，演算装置（ＣＰＵ），入力装置，出力装置，メモリ（一次記憶装置），ディスク（二次記憶装置）、通信装置を備えた計算機上で，検出装置２１４を実現するプログラム（またはモジュール）をメモリ上で動作させることによって実現できる。

プログラムは、あらかじめ、上記計算機内のメモリまたはディスクに格納されていても良いし、必要なときに、上記計算機が利用可能な媒体を介して、他の装置から導入されてもよい。媒体とは、たとえば、上記計算機に着脱可能な記憶媒体、または通信媒体（すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号）を指す。

図１５に示す各処理は、メモリまたはディスクに格納されたそれぞれの処理を実現するプログラム（またはモジュール）をＣＰＵが実行することにより、プロセスとして実現される。

ステップ１５０１において，ステゴ画像の入力を受け付ける。

ステップ１５０２において，ステゴ画像からセキュア領域１３０５の重畳画像分離を行う。セキュア領域は２次元バーコード状なので，ステゴ画像を周波数変換した後，１ビット相応の１マスを周波数の基底とした倍数周波数成分を持った変換成分を抽出し，逆変換して絵柄を再構成すればよい。

ステップ１５０３において，重畳情報の復号化を行う。再構成したセキュア領域は，１辺が（ａ＊ｎ）の長さの画像矩形領域であり，ｎ＊ｎマスが含まれる。先にステップ１４０３において設定した１マスの画素値の平均値を計算し，それとしきい値と比較することにより，そのマスが０か１かを判断する。ｎ＊ｎ分の１ビット情報のビット列を抽出する。得られたビット列から，重畳情報としてユーザＩＤなどを復号化する。

ステップ１５０４において，重畳情報の正当性検証を行う。誤り訂正符号で復号する。さらに，電子署名，公開鍵証明書の検証を行う。誤り訂正符号で復号できたこと，あるいは，署名検証がなされたことをもって，正当性が検証できる。

ステップ１５０５において，重畳情報出力を行う。重畳情報としてユーザＩＤなどの基本情報を出力する。

図１６は，検出装置２１４による、重畳画像自体に埋め込まれた電子透かし検出の処理手順を示す説明図である。

図１６に示す各処理は、上述した検出装置２１４のメモリまたはディスクに格納されたそれぞれの処理を実現するプログラム（またはモジュール）をＣＰＵが実行することにより、プロセスとして実現される。

電子透かしは，重畳情報入力処理４０４により重畳画像自体に埋め込まれる。

ステップ１６０１において，ステゴ画像の入力を受け付ける。

ステップ１６０２において，ステゴ画像を解析する。

設定した重畳位置マップに応じて，重畳画像領域を抽出する。設定した強度マップに応じて，重畳画像構成画素を抽出する。抽出した画素情報を幾何変形特性に応じて縮小操作する。

ステップ１６０３において，重畳画像を分離する。

ステップ１６０４において，重畳画像から電子透かしを検出する。電子透かしパターンとの相関計算によって検出できる。公開特許公報２００７−０１３３５７号には，牽制文字などの二値画像に対しても適用可能な電子透かし技術が開示されている。重畳情報を抽出する。

ステップ１６０５において，埋め込み情報の正当性検証を行う。検証には，誤り訂正符号や電子署名が利用できる。

ステップ１６０６において，埋め込み情報を出力する。検出装置に接続した出力装置の一つであるモニタに出力して，検出結果を人が視認してもよい。

ステップ１６０７において，対応機器を制御する。

検出装置の出力装置は，ネットワークや機器接続による通信装置を備え，他の機器，システムと接続利用する。検出装置と接続する対応機器には，静止画視聴装置，静止画記録装置，印刷装置，デジタルカメラ，動画再生装置，動画録画装置，ビデオプリンタ，ビデオカメラなどがある。デジタルサイネージ，フォトフレームなどを接続してもよい。これらの機器のレンダリング，エンコード，デコード，保存，印刷などの各機能に対応して，動作方法を指定する機能情報を定義する。また，録画中や再生中などの機器状態ごとに状態情報を定義する。機能情報，状態情報は，通し番号体系でもよい。また，「倍速録画ＯＫ」などの意味の制御情報であってもよい。

対応機器は，入力装置，出力装置，ディスク，メモリ，演算装置，制御装置を備え，対応機器の入力装置は検出装置と接続する。対応機器の入力装置から機能情報，状態情報を受け取ると，対応機器の制御装置によって，機能情報，状態情報に対応した動作を行う制御を行う。あらかじめ，機能情報，状態情報などを電子透かし埋め込み情報として表現し，ステゴ画像の中の重畳画像に電子透かしとして埋め込んでおく。ステップ１６０７において，電子透かしとして検出した機能情報，状態情報などの情報を対応危機に送り，対応機器の制御を行う。

その応用として，例えば，検出装置および動画録画装置を備えた一体型のビデオカメラが構成できる。カメラレンズを経由して撮影されたステゴ画像は検出装置に入力され，機能情報として録画ＯＫと検出された場合には，動画録画装置に機能情報が送られ，動画録画装置はビデオ録画を行う。録画ＮＧと検出された場合，ビデオ録画を行わない，あるいは，停止する。

１０１：カバーデータ、１０２：重畳画像、１０４：ステゴデータ、２０３：画像重畳装置、２１４：検出装置、８０１：強度マップテーブル。

Claims (10)

1. 計算機を用いて、情報を埋め込む前のカバー画像に、前記情報を表す重畳画像を潜像として重畳したステゴ画像を生成する画像処理方法であって，
   前記ステゴ画像を縮小したときに、前記重畳画像が顕像化されるよう、前記重畳画像を加工する幾何変形特性設定ステップと、
   前記ステゴ画像を縮小したときに、前記重畳画像が顕像化されるよう、前記重畳画像を加工する再圧縮特性設定ステップと、を備える
   ことを特徴とする画像処理方法。
2. 請求項１に記載の画像処理方法において、
   前記幾何変形特性設定ステップは、カバー画像を、比率Ｒで縮小したときに，重畳画像の大きさになる、前記カバー画像の部分領域のうち、前記重畳画像の構成要素と対応付く部分領域については，前記カバー画像上の前記部分領域の画素値の平均値を変化させ，対応付かない部分領域については，前記画素値を変化させずに維持するステップを備える
   ことを特徴とする画像処理方法。
3. 請求項２に記載の画像処理方法において，
   前記計算機は、画素集合の位置と重畳強度を定めた強度マップと，
   重畳画像の画素とカバー画像の部分領域に含まれる画素集合の位置を対応させる重畳位置マップと、を備え，
   前記幾何変形特性設定ステップは、カバー画像の部分領域に対して，重畳画像の画素値および前記強度マップに従って前記部分領域の画素値を選択的に変化させるステップと、
   ステゴ画像を出力するステップと、を備える
   ことを特徴とする画像処理方法。
4. 請求項１ないし３いずれか一に記載の画像処理方法において、
   前記再圧縮特性設定ステップは、
   再圧縮符号化条件に応じて、前記カバー画像のカットオフ周波数を計算するステップと、
   前記再圧縮符号化条件に応じて、前記重畳画像のカットオフ周波数を設定するステップと、
   前記重畳画像のカットオフ周波数以下の周波数成分を加工するステップと、を備える
   ことを特徴とする画像処理方法。
5. 請求項４に記載の画像処理方法において、
   前記再圧縮特性設定ステップは、
   前記カットオフ周波数以上の周波数成分を、前記重畳画像から除去するステップと，
   前記重畳画像の、前記カットオフ周波数未満の周波数帯であって，予め定めた範囲に対して，前記カットオフ周波数以上のスペクトル値が持つ電力相当の値を加算するステップと、を備える
   ことを特徴とする画像処理方法。
6. 計算機において、請求項１ないし５いずれか一に記載の画像処理方法で作成した前記ステゴ画像から、前記重畳画像を検知する潜像検知方法であって，
   前記ステゴ画像を幾何変形した結果を表示，または、印刷、
   または、表示または印刷された前記ステゴ画像を撮影した結果の表示、のいずれかによって，前記重畳情報を可視化する潜像検知方法。
7. 請求項３に記載の画像処理方法であって，
   前記重畳位置マップは，１つまたは複数の重畳領域の位置と，大きさと，画像処理特性と、を備え，
   前記強度マップは，部分領域の画素値の並び情報と，ＩＤと，線分方向と，凹凸係数と，管理情報と，強度設定値と、を備え，前記線分方向と直交する方向の強度を強く設定した強度設定値を含むレコードを含み，
   前記重畳位置マップに従って，前記カバー画像の１つまたは複数の位置に対して重畳画像を重畳するステップと、
   前記カバー画像の前記部分領域の画素値の並びをキーとして，前記重畳位置マップの前記画素値の並び情報の一致するレコードを検索するステップと、
   前記レコードの前記強度設定値を，前記カバー画像の前記部分領域の変更において反映させるステップと、
   前記レコードの前記強度設定値について複数のレコードが検索された場合に，
   前記重畳画像の線分方向Ａを計算するステップと、
   前記線分方向Ａをキーとして，検索された前記複数レコードについて、強度設定値情報Ｂを検索するステップと、
   前記強度設定値情報Ｂを，前記カバー画像の前記部分領域の変更において反映させるステップと、を備える
   ことを特徴とする画像処理方法。
8. 請求項７の画像処理方法であって，
   前記カバー画像および前記重畳画像は、周波数成分で表現され，
   前記重畳画像に縮小処理特性あるいは再圧縮符号化処理特性を付与するステップと、
   前記カバー画像と前記重畳画像の重畳処理を周波数空間上の演算として行うステップと、
   前記カバー画像のデータに動きベクトル表現があれば，前記動きベクトルを画素値集合の周波数成分に変換するステップと、を備える
   ことを特徴とする画像処理方法。
9. 請求項１ないし８いずれか一に記載の画像処理方法で作成された前記ステゴ画像から前記重畳画像を検知する潜像画像検知方法において，
   前記ステゴ画像から前記重畳画像を抽出するステップと、
   前記重畳画像から情報を検出するステップと、
   抽出した前記情報を出力するステップと、を備える
   ことを特徴とする潜像画像検知方法。
10. メモリ，演算手段，通信手段，入出力手段を備えた計算機Ａと、メモリ，演算手段，通信手段，入出力手段を備えた計算機Ｂとが、ネットワークで接続されるシステムにおける、計算機の入出力制御方法であって、
    前記計算機Ａは，
    請求項１ないし８いずれか一に記載の画像処理方法を実行するステップと、
    前記ステゴ画像から抽出した情報を，前記計算機Ｂに送信するステップと、を備え，
    前記計算機Ｂは，前記情報を受信し，前記情報に基づいて，当該計算機Ｂの入出力制御を行うステップを備える
    ことを特徴とする計算機の入出力制御方法。

Images