JP7458766B2 - 情報処理装置、情報処理装置の制御方法、プログラムおよび記憶媒体 - Google Patents

Description

本発明は、画像情報に付加情報を埋め込む情報処理装置、情報処理装置の制御方法、プログラムおよび記憶媒体に関する。

画像情報に対して、画像とは別の情報を多重化して印刷する電子透かし技術が知られている。電子透かし技術では、写真、絵画等の画像データに、その画像の著作者名や、使用許可の可否情報が付加情報として多重化され、当該付加情報が視覚的に認識しづらい状態で印刷される。例えば、複写機やプリンタ等の画像出力装置の高画質化が進む近年においては、画像を印刷する際にその印刷装置の機体番号を付加情報として多重化することにより、紙幣、印紙、有価証券等の偽造を抑制することができる。

特許文献１には、印刷物を撮像して得られた画像データの中から補正マーカーを検出し、補正マーカーの変形度合いに基づいて幾何変換を行い、付加情報を取得する電子透かし検出方法が開示されている。

特開２００５－０２６７９７号公報

付加情報が多重化された印刷物においては、解像性能が異なる様々な撮像デバイスによって撮像されることが想定される。この際、同じ印刷物を撮像しても、解像性能が高い撮像デバイスでは付加情報を復元することができるが、解像性能が低い撮像デバイスでは付加情報を復元することができないことがある。解像性能が低い撮像デバイスを使用した場合、撮像デバイスが本来備える解像度以上で印刷物の画像を取得することはできないため、付加情報を復元することは困難な場合が考えられる。

本発明は上記問題点を解消するためのものである。よってその目的とするところは、画像情報に多重化された付加情報を、異なる解像性能を有する撮像デバイスにおいて、それぞれ適切に復元させることが可能な情報処理装置を提供することである。

そのために本発明は、特定の周波数特性を有するパターンを画像に埋め込むことによって、前記画像に付加情報を付加するための情報処理装置であって、前記画像に付加すべき第１の付加情報と第２の付加情報とを取得する取得手段と、前記画像の処理対象画素が、前記第１の付加情報について２値のうちの第１の値を表すべき画素であり、かつ、前記第２の付加情報について２値のうちの第１の値を表すべき画素である場合には、第１の多重化パターンを用いて量子化を行い、前記第１の付加情報について２値のうちの第２の値を表すべき画素であり、かつ、前記第２の付加情報について２値のうちの第１の値を表すべき画素である場合には、第２の多重化パターンを用いて量子化を行い、前記第１の付加情報について２値のうちの第１の値を表すべき画素であり、かつ、前記第２の付加情報について２値のうちの第２の値を表すべき画素である場合には、第３の多重化パターンを用いて量子化を行い、前記第１の付加情報について２値のうちの第２の値を表すべき画素であり、かつ、前記第２の付加情報について２値のうちの第２の値を表すべき画素である場合には、第４の多重化パターンを用いて量子化を行うように処理する処理手段と、前記処理手段によって量子化された結果に基づいて、前記第１の付加情報と前記第２の付加情報とが前記画像に付加された処理済画像を出力する出力手段と、を備え、前記第１乃至第４の多重化パターンはそれぞれ、第１の周波数帯域の周波数特性を有するパターンと、前記第１の周波数帯域よりも高い第２の周波数帯域の周波数特性を有するパターンとを合成したパターンであることを特徴とする。

本発明によれば、画像情報に多重化された付加情報を、異なる解像性能を有する撮像デバイスにおいて、それぞれ適切に復元させることが可能となる。

画像処理システムの構成を示すブロック図 画像処理装置とカメラ付携帯端末のブロック構成を示す図 付加情報多重化部に含まれる埋込みを行う構成を示すブロック図 ブロックの分割方法を示す図 量子化条件制御部が行う処理を説明するためのフローチャート 量子化処理部が参照する閾値マトリクス ２次元の周波数領域を示す図 付加情報分離部に含まれる機能構成を示すブロック図 空間フィルタを示す図 付加情報分離部が行う処理を説明するためのフローチャート 基準閾値マトリクスを示す図 ４種類の閾値マトリクスを示す図 画像領域の構成を説明するための模式図 単位ブロックの構成を示す図 実施例１のｃｏｄｅと閾値マトリクスの対応関係を示す図 量子化条件制御部が行う処理を説明するためのフローチャート 実施例２のｃｏｄｅと閾値マトリクスの対応関係を示す図 ２つのパターンを合成した例を示す図 低周波パターンに高周波パターンを合成した例を示す図 複数の周波帯域に付加情報が埋め込まれた状態を説明する図

以下、添付図面を参照して本発明の実施形態を説明する。以下の説明において、画像情報に付加する情報は「付加情報」、画像情報に対しデータ上の処理として付加情報を付加することを「多重化する」または「埋め込む」と表現する。

[画像処理システムの構成]
図１は、本実施形態に採用可能な情報処理システムの構成を示すブロック図である。本実施形態における情報処理システムは、本実施形態の情報処理装置となる画像処理装置１００とカメラ付携帯端末１０１とを含む。画像処理装置１００は、印刷機能を有する印刷装置であり、例えば、ＭＦＰ（多機能型周辺装置）とすることができる。カメラ付携帯端末１０１は、例えば、カメラ付携帯電話、カメラ付スマートフォンやタブレットＰＣとすることができる。

画像処理装置１００は、付加情報が多重化された印刷物１０４を出力する。そして、カメラ付携帯端末１０１は、撮像センサ１０７（カメラ）を用いて、印刷物１０４を撮像する。そのため、本実施形態では、画像処理装置１００とカメラ付携帯端末１０１との間は、有線ネットワークや無線ネットワークで相互に通信可能であっても良いし、ネットワーク等を介して通信可能に接続されていなくても良い。

画像処理装置１００は、画像情報に付加情報を多重化する付加情報多重化部１０５を含み、カメラ付携帯端末１０１は、多重化された付加情報を撮像情報から読み出す付加情報分離部１０８を含む。付加情報多重化部１０５は、例えば、プリント部１０６（プリンタエンジン）へ出力すべき画像データを作成するプリンタドライバソフトウエア、もしくは、アプリケーションソフトウエアとして実現される。また、複写機、ファクシミリ、プリンタ本体等にハードウエアやソフトウエアとして内蔵される形態で実現されても良い。

一方、付加情報分離部１０８は、例えば、デジタルスチールカメラで撮像して得られた撮像画像から付加情報を分離する内部のアプリケーションソフトウエアやハードウエアで実現されても良い。なお、本実施形態では、付加情報多重化部１０５とプリント部１０６が画像処理装置１００に含まれるものとして説明するが、付加情報多重化部１０５とプリント部１０６が、別々の装置に分けられても良い。例えば、ＰＣやスマートフォン等の情報処理装置が付加情報多重化部１０５を含み、前記情報処理装置とは異なる画像処理装置がプリント部１０６を含む形態でも良い。

画像処理装置１００において、入力端子１０２は、例えば、ネットワークＩ／Ｆ２０４から入力される構成を示し、また、入力端子１０３は、例えば、ネットワークＩ／Ｆ２０４や操作部２０６から入力される構成を示す。

［付加情報を埋め込むための構成］
入力端子１０２から多階調の画像情報が入力され、入力端子１０３から画像情報に付加すべき付加情報が入力される。この付加情報は、画像情報とは別の情報、例えば音声情報や動画情報、文字情報、画像に関する著作権、撮像日時、撮像場所、撮像者の諸情報、若しくは、入力された画像とは別の画像情報等、である。さらに、付加情報は、画像ファイルとして構成された画像情報の一部として内包されていても良い。

付加情報多重化部１０５は、視覚的に判別しづらいように、画像情報中に付加情報を埋め込む（多重化する）。プリント部１０６は、付加情報多重化部１０５で作成された情報に基づいて印刷処理を実行する。

プリント部１０６は、例えば、インクジェットプリンタ、レーザプリンタ等、疑似階調処理を用いることにより階調表現を印刷物１０４上に実現するプリンタである。

図２（ａ）は、画像処理装置１００のブロック構成を示す図である。ＣＰＵ２００は、画像処理装置１００の内部を統括的に制御するプロセッサである。図１の付加情報多重化部１０５は、例えば、ＣＰＵ２００により実現される。ＲＯＭ２０１やＨＤＤ２０３は、画像処理装置１００の基本プログラムや制御プログラム、各種アプリケーションやデータ等を記憶する。ＣＰＵ２００は、ＲＯＭ２０１に記憶されたプログラムをＲＡＭ２０２に読み出して実行することにより、各実施形態の動作を実現する。ＲＡＭ２０２は、ＣＰＵ２００のワーキングメモリとしても用いられる。

ネットワークインタフェース（ＮＷ Ｉ／Ｆ）２０４は、例えば、有線や無線等、ネットワークの形態に応じた構成を有する。また、通信範囲が異なる複数種類の無線ネットワークにも対応可能であり、例えば、通信距離が数ｃｍといった近距離無線通信（ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）により、カメラ付携帯端末１０１と通信することが可能である。

ディスプレイ２０５は、ユーザーに各設定画面やプレビュー画面等を表示する。操作部２０６は、キーボードやタッチパネル等を有し、ユーザーからの操作指示を受付可能である。

デバイスＩ／Ｆ２０７は、プリント部１０６（プリントエンジン）と、システムバス２０９とを接続する。図２（ａ）では、プリント部１０６が示されているが、デバイスＩ／Ｆ２０７には、画像処理装置１００の実行可能な機能に応じて、スキャナ、ＦＡＸ等、他のブロック機能が接続されても良い。

画像処理部２０８は、外部から取得した画像データに対して、用途に応じた画像処理を実行する。例えば、画像処理部２０８は、プリント部１０６の記録方式に応じた色空間変換や二値化処理、画像の拡大／縮小／回転、といった処理を実行する。

図２（ａ）に示す各ブロックは、システムバス２０９を介して相互に通信可能に接続される。本実施形態の画像処理装置１００は、図２（ａ）に示す以外の構成であっても良く、例えば、システムバス２０９とイメージデータバスとがバスブリッジを介して接続された形態であってもよい。その場合には、例えば、デバイスＩ／Ｆ２０７がイメージデータバスに接続される。

［付加情報の読取りのための構成］
再度図１を参照する。カメラ付携帯端末１０１上で実行される読取アプリケーションは、撮像センサ１０７を用いて印刷物１０４を撮像する。撮像センサ１０７は、ＡＦ（Ａｕｔｏ Ｆｏｒｃｕｓ）、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）の下で撮像処理を行い、取得した撮像画像を付加情報分離部１０８に送信する。読取アプリケーションは、付加情報分離部１０８によって、多重化された付加情報を撮像画像から分離し、付加情報チェック部１０９によって分離された付加情報のチェックを行い、チェック後の付加情報を出力端子１１２より出力する。出力端子１１２は、取得した付加情報を出力するインタフェースである。例えば付加情報や文字情報であれば、ディスプレイ１１０へ出力し、ＵＲＬなどのリンク情報であれば、ディスプレイ１１０上でブラウザを起動してリンク先を表示する。また、外部デバイスへデータを出力するインタフェースに出力しても良い。また、スピーカー１１１は、操作に関する情報や、判定の結果等を音声情報として出力する。

図２（ｂ）は、カメラ付携帯端末１０１のブロック構成を示す図である。カメラ付携帯端末１０１は、ＣＰＵやＲＯＭやＲＡＭといった、汎用的な情報処理装置の構成を含む。ＣＰＵ２１０は、カメラ付携帯端末１０１の内部を統括的に制御するプロセッサである。図１の付加情報分離部１０８は、例えば、ＣＰＵ２１０により実現される。ＲＯＭ２１１は、カメラ付携帯端末１０１の基本プログラムや制御プログラム、各種アプリケーションやデータ等を記憶する。ＣＰＵ２１０は、ＲＯＭ２１１に記憶されたプログラムをＲＡＭ２１２に読み出して実行することにより、各実施形態の動作を実現する。ＲＡＭ２１２は、ＣＰＵ２１０のワーキングメモリとしても用いられる。

ネットワークＩ／Ｆ（ＮＷ Ｉ／Ｆ）２１３は、有線や無線等、ネットワークの形態に応じた構成を有する。また、通信範囲が異なる複数種類の無線ネットワークにも対応可能であり、例えば、通信距離が数ｃｍといった近距離無線通信（ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）により、画像処理装置１００と通信することが可能である。

ディスプレイ１１０は、ユーザーに各設定画面やプレビュー画面等を表示する。操作部２１４は、ハードキー等を有し、ユーザーからの操作指示を受付可能である。スピーカー１１１は、ユーザーに操作に関する情報や、判定の結果等を音声情報として出力する。図２（ｂ）に示す各ブロックは、システムバス２１５を介して相互に通信可能に接続されている。

［付加情報の基本的な埋込み処理］
ここで、本実施形態の特徴的な埋め込み処理を説明する前に、図３～図６を用いて、本実施形態の前提となる基本的な埋込み処理について説明する。

図３は、図１の付加情報多重化部１０５に含まれる機能構成を示すブロック図である。入力端子１０２に入力される画像情報は、印刷すべき画像領域に含まれる複数の画素の集合体である。個々の画素は多値の（例えば２５６値）の階調値を有している。量子化処理部３００は、一般的な誤差拡散法を用い、個々の画素が有する階調値をより少ないレベル（例えば２値）の階調値に変換する。そして、変換後の画像情報をプリント部１０６へ出力する。プリント部１０６は、入力された画像情報に基づいて、各画素についてドットの記録または非記録、或いはドットの大きさを制御して階調を表現する。以下の説明では、量子化処理部３００が多値の画素値をドットの記録（１）または非記録（０）を示す２値に量子化するものとする。

ブロック化部３０１は、入力端子１０２に入力された画像情報を複数のブロックに分割する。

図４は、ブロックの分割方法を示す図である。ここでは、画像領域１０００の横方向（Ｘ方向）の画素数をＷＩＤＴＨ、縦方向（Ｙ方向）の画素数をＨＩＧＨＴとして示している。

例えば、１つの符号を示すためにＮ画素×Ｍ画素が要されるとすると、画像領域１０００に埋め込むことができる符号の数は、画像領域１０００をＮ画素×Ｍ画素で分割した際に形成可能なブロック数の最大値に相当する。図４において、画像領域１０００に含むことのできるＸ方向のブロック数をＨ、Ｙ方向のブロック数をＷとすると、ＷとＨは、式（１）、式（２）から求めることができる。
Ｗ ＝ ＩＮＴ（ＷＩＤＴＨ／Ｎ） ・・・（１）
Ｈ ＝ ＩＮＴ（ＨＥＩＧＨＴ／Ｍ） ・・・（２）
なお、式（１）、式（２）において、ＩＮＴ（）はカッコ内の整数部分を示す。

式（１）、式（２）において、カッコ内の除算の剰余は、画像領域１０００において付加情報を埋め込むことのできないＸ方向、Ｙ方向の画素数に相当する。一方、それ以外の領域は付加情報を埋め込むことが可能な多重化領域１００１となる。すなわち、多重化領域１００１は画像領域１０００の一部である。図４の例では、Ｗ＝４、Ｈ＝６となり、画像領域１０００に４×６＝２４個の符号を埋めることができる。

なお、図４では、画像領域１０００と多重化領域１００１とが左上の原点Ｏで一致している例を示しているが、多重化領域１００１は、画像領域１０００の一部であればどの位置に配されてもよい。また、ここでは画像領域１０００を矩形のブロックに分割したが、ブロックは矩形以外の形状であってもよい。

図３の説明に戻る。量子化条件制御部３０２は、入力端子１０３より入力された付加情報に基づいて、ブロック化部３０１で生成された各ブロックの量子化条件を設定し、量子化処理部３００に指示する。量子化処理部３００は、指示された量子化条件に従って、個々の画素の量子化処理を行う。

図５は、量子化条件制御部３０２が行う処理を説明するためのフローチャートである。本処理は、例えば、画像処理装置１００のＣＰＵ２００がＲＯＭ２０１に記憶されているプログラムをＲＡＭ２０２に読み出して実行することにより実現される。

本処理が開始されると、ＣＰＵ２００はＳ４０１において変数ｉを０に初期化する。変数ｉは、画像領域１０００におけるＹ方向の画素位置をカウントする変数であり、ＲＡＭ２０２で管理される。

Ｓ４０２において、ＣＰＵ２００は、変数ｊを０に初期化する。変数ｊは、画像領域におけるＸ方向の画素位置をカウントする変数であり、変数ｉと同様、ＲＡＭ２０２で管理される。

Ｓ４０３において、ＣＰＵ２００は、処理対象画素（ｊ，ｉ）が多重化領域１００１（図５参照）に属しているか否かを判定する。多重化領域１００１に属していないと判定した場合、ＣＰＵ２００はＳ４０４に進み、処理対象画素（ｊ，ｉ）に対し量子化条件Ｘを設定する。一方、多重化領域１００１に属していると判定した場合、ＣＰＵ２００はＳ４０５に進む。

Ｓ４０５において、ＣＰＵ２００は処理対象画素（ｊ，ｉ）に対応するｂｉｔ情報（１又は０）を取得する。ここで、ｂｉｔ情報について説明する。

本基本例において、付加情報は、それぞれが１ｂｉｔ情報を有するｃｏｄｅ［ｎ］の配列によって表現される。例えば、付加情報が図４のブロック数と同じ２４ビット分の情報の場合、ｃｏｄｅ［ｎ］は、ｃｏｄｅ［０］～ｃｏｄｅ［２３］まで存在し、それぞれが１ｂｉｔ情報を有している。ここで、ｃｏｄｅ［ｎ］とは、画像領域１０００内のｎ番目のブロックのコードを示す。なお、ｎ番目のブロックとは、図５におけるＷ×Ｈ＝２４個のブロックのうち、左上から右方向にカウントして行き、右端に到達したら１つ下方向に移動するというカウント方法における、ｎ番目のブロックである。以上のことより、処理対象画素（ｊ，ｉ）に対応付するｂｉｔ情報は、式（３）によって表わすことができる。
ｂｉｔ ＝ ｃｏｄｅ［ＩＮＴ（ｉ／Ｍ）×Ｗ＋ＩＮＴ（ｊ／Ｎ）］・・・（３）

Ｓ４０６において、ＣＰＵ２００は、処理対象画素（ｊ，ｉ）に対応するｂｉｔ情報が「１」であるか否かを判定する。ｂｉｔ＝０の場合、ＣＰＵ２００はＳ４０７に進み、処理対象画素（ｊ，ｉ）に対し量子化条件Ａを設定する。一方、ｂｉｔ＝１の場合、ＣＰＵ２００はＳ４０８に進み、処理対象画素（ｊ，ｉ）に対し量子化条件Ｂを設定する。

Ｓ４０９において、ＣＰＵ２００は処理対象画素（ｊ，ｉ）に対する量子化処理を行う。すなわち、Ｓ４０４、Ｓ４０７或いはＳ４０８で設定された量子化条件に基づいて、処理対象画素（ｉ，ｊ）に対する量子化処理を行い、記録（１）又は非記録（０）を表す量子価値を決定する。量子化処理の詳細については後に詳しく説明する。

Ｓ４１０において、ＣＰＵ２００は変数ｊをカウントアップし、Ｓ４１１において変数ｊがＷＩＤＴＨ未満か否かを判定する。変数ｊがＷＩＤＴＨ未満である場合、ＣＰＵ２００はＳ４０３に戻り、次の処理対象画素についての処理を行う。一方、変数ｊがＷＩＤＴＨ未満でないと判定した場合、ＣＰＵ２００はＳ４１２に進み、変数ｉをカウントアップする。

Ｓ４１３において、ＣＰＵ２００は、変数ｉがＨＥＩＧＨＴ未満か否かを判定する。変数ｉがＨＥＩＧＨＴ未満である場合、ＣＰＵ２００はＳ４０２に戻り、次の処理対象画素についての処理を行う。一方、変数ｉがＨＥＩＧＨＴ未満でないと判定した場合、本処理を終了する。

ここで、Ｓ４０９で行う量子化処理について説明する。本実施形態において、量子化処理は誤差拡散処理によって行われる。この際、量子化処理部３００（ＣＰＵ２００）は、誤差拡散処理で用いる量子化閾値を、量子化条件によって異ならせる。以下、入力画素が２５６階調の階調値を有する場合を例に、具体的に説明する。

誤差拡散処理において、量子化処理部３００は、処理対象画素の画素値Ｉｎに周辺画素の量子化処理によって生成された誤差Ｅを加算し、得られた値Ｉｎ´を量子化閾値Ｈと比較する。そして、式（４）に従って処理対象画素の量子化値Ｏｕｔを決定する。
Ｉｎ´＞Ｈ のとき Ｏｕｔ＝１
Ｉｎ´≦Ｈ のとき Ｏｕｔ＝０・・・（４）

ここで、Ｏｕｔ＝１は処理対象画素にドットを記録することを意味する。また、Ｏｕｔ＝０は処理対象画素にドットを記録しないことを意味する。そして、本実施形態では、このような誤差拡散処理を行う際に用いる量子化閾値Ｈを、量子化条件に応じて異ならせる。

具体的には、量子化条件Ｘが設定されたとき、量子化処理部３００は、量子化閾値Ｈを画素位置によらず、一律の量子化閾値Ｈ（Ｈ＝１２８）を設定する。一方、量子化条件Ａ又は量子化条件Ｂが設定されたとき、量子化処理部３００は、画素位置に応じて量子化閾値を異ならせる。

図６（ａ）及び（ｂ）は、量子化条件Ａ又は量子化条件Ｂが設定されたときに量子化処理部３００が参照する閾値マトリクスを示す図である。両図において、各マスは１画素に相当する。すなわち、図６（ａ）は横１２画素×縦８画素の画素領域に対応する閾値マトリクスであり、同図（ｂ）はＸ方向８画素、Ｙ方向１２画素の画素領域に対応する閾値マトリクスである。これら閾値マトリクスにおいて、白画素は量子化閾値Ｈとして固定閾値（Ｈ＝１２８）が設定される画素、斜線画素は固定閾値よりも低い変動閾値（ここではＨ＝１０）が設定される画素を示している。なお、ここでは示していないが、量子化条件Ｘの場合は、全ての画素が白画素の閾値マトリクスを使用することとなる。

以下、量子化条件Ａが設定された場合に使用される図６（ａ）に示す閾値マトリクスを第１の閾値マトリクス、量子化条件Ｂが設定された場合に使用する図６（ｂ）に示す閾値マトリクスを第２の閾値マトリクスと称する。第１の閾値マトリクスと第２の閾値マトリクスを比べると、変動閾値が設定される画素（斜線画素）の並びが異なっていることがわる。

式（４）に基づいた量子化処理を行う場合、変動閾値（Ｈ＝１０）が設定される画素は、固定閾値（Ｈ＝１２８）が設定される画素に比べ、量子価値Ｏｕｔが１になりやすく、ドットが配置されやすくなる。このため、第１の閾値マトリクスの下で量子化した領域においては図６（ａ）の斜線に沿ったラインが周期的に出現し、第２の閾値マトリクスの下で量子化した領域においては、図６（ｂ）の斜線に沿ったラインが周期的に出現する。

量子化条件制御部３０２は、ブロック化部３０１が生成した複数のブロックのそれぞれに対し、第１の閾値マトリクスまたは第２の閾値マトリクスのいずれかを、ｃｏｄｅ［０］～ｃｏｄｅ［２３］のｂｉｔ情報に基づいて設定する。これにより、画像領域１０００においては、誤差拡散処理で使用する閾値マトリクスがブロックごとに定められ、特徴の異なるパターンがブロックごとに埋め込まれる。このような特定の周波数特性を有するパターンは、プリント部１０６によって印刷された画像においては視覚的には確認され難いが、その印刷物を記録解像度以上の解像度で撮像した場合は、画像を解析することによって抽出することができる。

図６（ｃ）及び（ｄ）は、閾値マトリクスの別形態を示す図である。これら閾値マトリクスにおいて、白画素は量子化閾値Ｈとして固定閾値（Ｈ＝１２８）が設定される画素、ドットを付した画素は固定閾値よりも低い変動閾値（ここではＨ＝１０）が設定される画素を示している。

図６（ｃ）及び（ｄ）の閾値マトリクスと図６（ａ）及び（ｂ）の閾値マトリクスとの違いは、変動閾値の配列方向と配列周期である。図６（ａ）及び（ｂ）の閾値マトリクスにおいて、変動閾値のラインはＹ方向またはＸ方向に６画素周期に現れるが、図６（ｃ）及び（ｄ）の閾値マトリクスでは、上記の半分の周期すなわちＹ方向またはＸ方向に３画素周期に現れる。図６（ｃ）及び（ｄ）のような閾値マトリクスを用いた場合でも、ｃｏｄｅ［ｎ］のｂｉｔ情報に対応付けられるパターンを各ブロックに埋め込むことができる。

ところで、以上説明したような閾値マトリクスの中に変動閾値を所定の方向に配列させる構成は、組織的ディザ法によるディザ処理を採用した場合にも実現することはできる。しかしながら、全ての画素の閾値が予め定められている組織的ディザ法において、所定の変動閾値を決まった位置に配置させることは、画像の階調性を崩すおそれがある。これに対し、本例のような誤差拡散処理を採用すれば、変動閾値で発生した誤差は周囲の画素に拡散されるため、変動閾値に対応する画素の入力階調値がマクロ的に保存され、階調性の崩れを抑えることができる。

図７（ａ）および（ｂ）は、図６（ａ）～（ｄ）の閾値マトリクスを用いて、画像処理装置１００が出力した印刷物におけるドットの空間周波数を、２次元の周波数領域で示す図である。横軸はＸ方向の周波数、縦軸はＹ方向の周波数を示している。原点は直流成分を示し、原点から離れるにつれて周波数は高くなる。

図６（ａ）に示す第１の閾値マトリクスが使用されたブロックでは、直線Ａで示す周波数ベクトル上の点Ｐａ、点Ｐａ´に、大きなパワースペクトルが現れる。図６（ｂ）に示す第２の閾値マトリクスが使用されたブロックでは、直線Ｂで示す周波数ベクトル上の点Ｐｂ、点Ｐｂ´に、大きなパワースペクトルが現れる。点Ｐａ、点Ｐａ´、点Ｐｂ、点Ｐｂ´は原点からの距離が等しく、円で示される同一周波数帯域に乗っている。

一方、図６（ｃ）に示す閾値マトリクスが使用されたブロックでは、直線Ｃで示す周波数ベクトル上の点Ｐｃ、点Ｐｃ´に、大きなパワースペクトルが現れる。図６（ｄ）に示す閾値マトリクスが使用されたブロックでは、直線Ｄで示す周波数ベクトル上の点Ｐｄ、点Ｐｄ´に、大きなパワースペクトルが現れる。点Ｐｃ、点Ｐｃ´、点Ｐｄ、点Ｐｄ´の原点からの距離は、点Ｐａ、点Ｐａ´、点Ｐｂ、点Ｐｂ´の原点からの距離の２倍であり、円で示される同一周波数帯域上に乗っている。

このように、局所的に強いパワースペクトルが存在する座標は、印刷物の撮像画像を解析することによって取得することができる。図１の付加情報分離部１０８においては、図７（ａ）および（ｂ）の点Ｐａ～Ｐｄのうち、どの点でパワースペクトルが強まっているかを判定することにより、そのブロックで使用された閾値マトリクス即ち付加された符号を判別することができる。

［付加情報の読取り処理］
図８（ａ）は、図１の付加情報分離部１０８に含まれる機能構成を示すブロック図である。入力端子７００に入力される撮像画像は、画像処理装置１００より出力された印刷物を撮像センサ１０７が読み取り、所定の処理を施したものである。撮像センサ１０７の撮像解像度は、画像処理装置１００のプリント部の印刷解像度以上であることが好ましいが、ここでは説明を簡易にするため、撮像解像度も印刷解像度も同等であるとする。個々の画素は多値の（例えば２５６値）の階調値を有している。

ブロック化部７０１は、入力端子７００に入力された撮像画像を分割し複数のブロックを生成する。この際生成するＰ画素×Ｑ画素のブロックは、付加情報多重化部１０５のブロック化部３０１が生成するＮ画素×Ｍ画素のブロックよりも小さいサイズとする。すなわち、以下の関係が成り立つ。
Ｐ≦Ｎ、かつ Ｑ≦Ｍ

更に、ブロック化部７０１は、これらＰ画素×Ｑ画素のブロックを、ＸＹ方向に一定の間隔をおきながら生成し、付加情報多重化部１０５で生成されたＮ画素×Ｍ画素のブロックにＰ画素×Ｑ画素のブロックが１つずつ含まれるようにする。

ブロック化部７０１で生成された複数のブロックの撮像画像は、フィルタリング部７０４に送信される。フィルタリング部７０４は、受信した撮像画像に対し、空間フィルタＡ７０２を用いたフィルタリング処理と、空間フィルタＢ７０３を用いたフィルタリング処理とを並列に行い、得られた結果を間引き部Ａ７０５と間引き部Ｂにそれぞれ送信する。

図９（ａ）および（ｂ）は、空間フィルタＡと空間フィルタＢの例を示す図である。個々のマスが１つの画素を示し、中心の画素が処理対象画素となる。フィルタリング部７０４は、このようなハイパスフィルタを用いた積和演算を行って、処理対象画素の階調値を変換する。

ここで、図９（ａ）に示す空間フィルタＡにおける係数「２」の配列は、図６（ａ）で示した第１の閾値マトリクスの変動閾値の配列と等しく、図７（ａ）の直線Ａ上の周波数ベクトルと同調する。このため、第１の閾値マトリクスが用いられた領域に現れる図６（ａ）のパターンは、空間フィルタＡを用いたフィルタリング処理によって強調される。この際、同じ領域に図８（ｂ）～（ｄ）の空間フィルタを用いたフィルタリング処理を行っても、上記パターンは強調されない。

一方、図９（ｂ）に示す空間フィルタＢにおける係数「２」の配列は、図６（ｂ）で示した第２の閾値マトリクスの変動閾値の配列と等しく、図７（ａ）の直線Ｂ上の周波数ベクトルと同調する。このため、第２の閾値マトリクスが用いられた領域に現れる図６（ｂ）のパターンは、空間フィルタＢを用いたフィルタリング処理によって強調される。この際、同じ領域に図８（ａ）（ｃ）（ｄ）の空間フィルタを用いたフィルタリング処理を行っても、上記パターンは強調されない。このように、付加情報分離部１０８では、画像処理装置１００の付加情報多重化部１０５で使用する閾値マトリクスと同調可能な空間フィルタを、個々の閾値マトリクスに対応付けて予め用意している。

図９（ｃ）および（ｄ）は、付加情報多重化部１０５において図６（ｃ）および（ｄ）で示した閾値マトリクスが使用される場合に用意する空間フィルタを示す。図９（ｃ）の空間フィルタは、図７（ｂ）の直線Ｃ上の周波数ベクトルと同調し、図６（ｃ）の閾値マトリクスを用いた領域で図６（ｃ）のパターンを強調させる。図９（ｄ）の空間フィルタは、図７（ｂ）の直線Ｄ上の周波数ベクトルと同調し、図６（ｄ）の閾値マトリクスを用いた領域で、図６（ｄ）のパターンを強調させる。

図９（ｅ）および（ｆ）は、付加情報多重化部１０５において図６（ｃ）および（ｄ）で示した閾値マトリクスが使用される場合に、対応可能な空間フィルタの別例を示す。図９（ｅ）および（ｆ）の空間フィルタも、図７（ｂ）の直線Ｃの周波数ベクトル及び直線Ｄの周波数ベクトルとそれぞれ同調するが、図９（ｃ）および（ｄ）の空間フィルタよりもサイズが大いため、より多くの周辺画素の情報が取り入れられる。つまり、図７（ｂ）で示した２次元の周波数領域における、点Ｐｃ，Ｐｄのパワーを更に強調させることができる。

図８の説明に戻る。間引き部Ａ７０５および間引き部Ｂ７０６は、空間フィルタＡを用いたフィルタリング処理後の変換値と、空間フィルタＢを用いたフィルタリング処理後の変換値のそれぞれに対し、所定の間引き処理を行う。具体的には、間引き部Ａ７０５では、ブロック内に配列する画素から、図６（ａ）のパターンに基づいて斜線画素を間引き出す処理を、複数の位相について行う。また、間引き部Ｂ７０６では、ブロック内に配列する画素から、図６（ｂ）のパターンに基づいて斜線画素を間引き出す処理を、複数の位相について行う。

変換値加算部７０７は、間引き部Ａ７０５および間引き部Ｂのそれぞれより間引き出された画素の変換値の総和を、位相ごとに求める。この際、間引き出された画素が、各バターンの斜線画素すなわち変動閾値が用いられた画素と一致するような位相では、上記総和が他の位相の総和よりも突出して大きくなる。

分散値算出部７０８は、上記複数の位相それぞれに対応する複数の総和の分散値を、空間フィルタＡ、Ｂについて求める。このとき、ブロック内に出現するパターンと同調しない空間フィルタが用いられた場合は、分散値は比較的小さくなる。一方、ブロック内に出現するパターンと同調する空間フィルタが用いられた場合は、突出して大きな総和となる位相が存在するため、分散値は大きくなる。

また、上記説明した複数の位相に対する間引き、変換値加算、分散値算出の一連の処理を、複数の周期に対して実施する。

判定部７０９は、それぞれの分散値算出部７０８より得られた複数の周期分の分散値を比較し、分散値が最大となる周期に対応する空間フィルタに対応付けられた符号を判定する。

図１０は、付加情報分離部１０８が行う処理を説明するためのフローチャートである。本処理は、図２（ｂ）に示すカメラ付携帯端末１０１のＣＰＵ２１０が、ＲＯＭ２１１に記憶されているプログラムをＲＡＭ２１２に読み出して実行することにより実現される。

本処理が開始されると、ＣＰＵ２１０はＳ１１０１において変数ｉを初期化する。本フローチャートにおいて、変数ｉは、周期の種類を切り替えるための変数である。例えば、図９（ａ）と図９（ｂ）の空間フィルタがブロック化部７０１で生成したブロック内を移動していく際のスキップ画素数が変数ｉに相当する。

Ｓ１１０２において、ＣＰＵ２１０は、変数ｊを初期化する。本フローチャートにおいて、変数ｊは、位相を切り替えるための変数である。例えば、図９（ａ）と図９（ｂ）の空間フィルタがブロック化部７０１で生成したブロック内を移動していく際の各ブロックにおけるＸとＹ方向のスタート位置が変数ｊに相当する。

Ｓ１１０３において、ＣＰＵ２１０は、設定された周期ｉと位相ｊの組み合わせに基づいた間引き処理を行う。具体的には、処理対象となるブロックの中から、ｉとｊの組み合わせによって定められる規則（パターン）に基づいて複数の画素を間引きだす。Ｓ１１０３で行う処理が、図７の間引き部Ａ７０５または間引き部Ｂ７０６で行う処理に相当する。

Ｓ１１０４において、ＣＰＵ２１０は、間引き出された複数の画素の変換値（フィルタ処理後の階調値）の総和を算出し、ＴＯＴＡＬ［ｉ］［ｊ］として記憶する。Ｓ１１０４で行う処理が、図７の変換値加算部７０７で行う処理に相当する。

Ｓ１１０５において、ＣＰＵ２１０は、位相を示す変数ｊをカウントアップし、Ｓ１１０６において、変数ｊがＪ未満か否かを判定する。変数ｊがＪ未満である場合、ＣＰＵ２１０はＳ１１０３に戻り、次の位相についての処理を繰り返す。一方、変数ｊがＪ未満でない場合、ＣＰＵ２１０はＳ１１０７に進む。

Ｓ１１０７において、ＣＰＵ２１０は、変数ｉが固定された下での、位相（ｊ＝０～Ｊ）それぞれに対応する総和の分散値を求め、得られた分散値をＢ［ｉ］として保存する。Ｓ１１０７で行う処理が、図７の分散値算出部７０８で行う処理に相当する。

Ｓ１１０８において、ＣＰＵ２１０は、周期を示す変数ｉをカウントアップし、Ｓ１１０９において、変数ｉがＩ未満か否かを判定する。変数ｉがＩ未満である場合、ＣＰＵ２１０はＳ１１０２に戻り、再び位相ｊを初期化した上で、次の周期についての処理を繰り返す。一方、変数ｉがＩ未満でない場合、ＣＰＵ２１０はＳ１１１０に進む。

Ｓ１１１０において、ＣＰＵ２１０は、Ｉ個の分散値Ｂ［０］～Ｂ［Ｉ－１］の中から最大値を選出し、その最大値の周期ｉをＩｍａｘとして保存する。このように、複数の周期の中から分散値の高い周期ｉを特定することが、図７（ａ）および（ｂ）に示す点Ｐａ～Ｐｄの中から、強いパワースペクトルを有する周波数ベクトルを特定することに相当する。

Ｓ１１１１において、ＣＰＵ２１０は、特定された周期Ｉｍａｘに対応する符号を、処理対象のブロックの符号として決定する。Ｓ１１１０及びＳ１１１１で行う処理が、図７の判定部７０９で行う処理に相当する。以上で本処理が終了する。

なお、図１０で説明したフローチャートは、処理対象のブロックについて行う処理を示すものである。同様の工程は、図８（ａ）のブロック化部７０１によって生成された複数のブロックの全てについて行われる。すなわち、複数のブロックのそれぞれについて符号（０又は１）が決定され、付加情報多重化部１０５で付加した全てのｃｏｄｅ［ｎ］のｂｉｔ情報が読み出され、付加情報が復元される。

ここで、再度図１を参照する。付加情報分離部１０８で復元された付加情報は、付加情報チェック部１０９でその正確性がチェックされる。そして、誤りがある場合はエラーとなり、復元された付加情報は出力端子１１２には出力されない。付加情報チェック部で採用するチェック方法は、ＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）のような公知の技術を用いればよく、本発明の特徴とするところではないため、ここではその詳細な説明を省略する。

以上説明したように、付加情報を多重化させる際に使用する閾値マトリクスと、付加情報を分離する際に使用する空間フィルタ及び間引き処理の規則性とを互いに関連付けておくことにより、多重化された付加情報を復元することができる。

図８（ｂ）は、図１の付加情報分離部１０８に含まれる機能構成の別例を示すブロック図である。入力端子７１０から入力される撮影画像およびブロック化部７１１の機能は図７（ａ）と同様である。

直交変換部７１２は、ブロック化したＰ×Ｑ画素を直交変換する。２次元の直交変換を行う場合、Ｐ＝Ｑとする。直交変換の方法として、ＤＦＴ（離散フーリエ変換）、ＤＣＴ（離散コサイン変換）、ウェーブレット変換等がある。また、ＤＦＴには、ＦＦＴ（高速フーリエ変換）と呼ばれる手法があり、高速にＤＦＴを実施することができる。ただし、ＦＦＴ実施の場合は、ＰとＱは２のべき乗とする。

ベクトル分類部７１３は、直交変換した結果をベクトルに分類する。図６（ａ）に示す第１の閾値マトリクスが使用されたブロックでは、図７（ａ）の直線Ａで示す周波数ベクトル上の点Ｐａに、大きなパワースペクトルが現れる。図６（ｂ）に示す第２の閾値マトリクスが使用されたブロックでは、図７（ａ）直線Ｂで示す周波数ベクトル上の点Ｐｂに、大きなパワースペクトルが現れる。ベクトル分類部７１３は、このような２次元の周波数領域において大きなパワースペクトルが発生する周波数ベクトルを検出する。

変換値加算部７１４は、ベクトル分類部７１３が分類したベクトル毎に電力の総和を算出する。判定部７１５は、変換値加算部７１４が算出したベクトル毎の電力総和を比較して、最大値のベクトルに相当する多重化信号を多重化された符号と判定する。以上のような機能構成を用いても、多重化された付加情報を復元することができる。

［撮像デバイスにおける複数画像の取得］
図１の付加情報チェック部１０９においてエラーと判定された場合、これらブロック機能を制御する読取アプリケーションは、復元された付加情報を出力端子１１２には出力せず、撮像と上記一連の処理を再度繰り返す。これは、撮像時の姿勢が不安定である場合などをカバーする為である。この際、読取アプリケーションは、継続的に動画撮像を行い、得られた動画から複数の静止画を切り出して、繰り返し静止画を取得してもよい。また同様に、ＡＦ、ＡＥ、ＡＷＢではなく、フォーカス位置、露出、シャッタースピード、ホワイトバランスおよび、その他の撮像条件を任意の設定に変更しながら撮像しても良い。

［本実施形態の付加情報］
上述した基本的な埋込み処理では、各ブロックに１種類の付加情報を含ませる構成とした。これに対し本実施形態では、各ブロックに２種類の情報を含ませる構成とする。

図１１（ａ）～（ｄ）は、本実施形態で使用する基準閾値マトリクスを示す。これらマトリクスは、いずれも、図６（ａ）～（ｄ）のうちの１つをＸ方向又はＹ方向に並べたものであり、１２画素×１２画素の領域を有している。

ここで、図１１（ａ）及び（ｂ）は、図７（ａ）の点Ｐａ，Ｐｂに示すように、同一の周波数帯域（以下、第１の周波数帯域と称す）に大きなパワースペクトルを有する。そして、これら１組で、１つの情報（０又は１）が表現可能である。また、図１１（ｃ）及び（ｄ）は、図７（ｂ）の点Ｐｃ，Ｐｄに示すように、点Ｐａ，Ｐｂよりも高い同一周波数帯域（以下、第２の周波数帯域と称す）に、大きなパワースペクトルを有する。そして、これら１組で、上記とは別の情報（１又は０）が表現可能である。

本実施形態では、これら２組の基準マトリクスを組み合わせることにより、同じブロックで２種類の情報を表現するための、４種類の閾値マトリクスを生成する。

図１２（ａ）～（ｄ）は、本実施形態で使用する４種類の閾値マトリクスを示す。図１２（ａ）は、図１１（ａ）と図１１（ｃ）の基準閾値マトリクスを合成させた閾値マトリクスである。図１２（ｂ）は、図１１（ｂ）と図１１（ｃ）の基準閾値マトリクスを合成させた閾値マトリクスである。図１２（ｃ）は、図１１（ａ）と図１１（ｄ）の基準閾値マトリクスを合成させた閾値マトリクスである。図１２（ｄ）は、図１１（ｂ）と図１１（ｄ）の基準閾値マトリクスを合成させた閾値マトリクスである。

いずれの閾値マトリクスも、第１の周波数帯域に大きなパワースペクトルを有する基準閾値マトリクスと、第２の周波数帯域に大きなパワースペクトルを有する基準閾値マトリクスとを、１つずつ組み合わせて合成されたものとなっている。この際、図１２（ａ）～（ｄ）のように、パターンの方向が互いに異なる閾値マトリクス同士を組み合わせるようにすれば、後に情報を復元する際の情報の分離性を高めることができる。

[印刷画像におけるレイアウト]
図１３は、本実施形態における画像領域１０００の構成を説明するための模式図である。ここではＬ版（約５ｉｎｃｈ×約３．５ｉｎｃｈ（１２７ｍｍ×８９ｍｍ））の印刷物１０４を示している。本実施形態において、印刷物１０４の画像領域１０００は、まず複数の単位ブロック１２００に分割される。単位ブロック１２００は、図４で説明したブロックそのものではなく、図４で説明した複数のブロックを含むものである。

ここで印刷物１０４における記録解像度を６００ｄｐｉとすると、印刷物１０４の画像領域１０００は、およそ３０００画素×２１００画素を含むことになる。一方、単位ブロック１２００は４８０画素×４８０画素で構成され、Ｌ版の印刷物１０４には、６×４個の単位ブロックが配置される。

図１４は、１つの単位ブロック１２００の構成を示す図である。単位ブロック１２００の左上には、４８画素×４８画素で構成されるアンカー部１２０１が配されている。アンカー部１２０１は、単位ブロック１２０の向きを示し、読み出し処理を行う際の原点として利用される。アンカー部１２０１の内部は、空白もしくはアンカー部であることを表す情報が埋め込まれている。

単位ブロック１２００において、アンカー部１２０１以外の領域は、複数のブロック１２０３が敷き詰められたデータ領域１２０２である。個々のブロック１２０３は、１２画素×１２画素のサイズを有しており、このサイズは図１１（ａ）～（ｄ）で示した閾値マトリクスのサイズに相当する。

以上の構成の下、１つの単位ブロック１２００には、１５８４個のブロック１２０３が配される。そして、図１２（ａ）～（ｄ）で示した閾値マトリックスで多重化した個々のブロックは２ｂｉｔの情報を表現可能であるため、単位ブロック全体では、４×１５８４の符号を表現することができる。更に、図１３で説明したＬ版の印刷物の場合は、上記単位ブロックが６×４個配されているため、印刷物１０４全体では、４×１５８４×２４の符号を表現することができる。

[撮像デバイスに起因する課題]
印刷物を撮像する際の撮像解像度は、撮像デバイスの解像性能すなわち画素数に依存する。このため、同じ付加情報が埋め込まれた印刷物であっても、撮像デバイスによっては、例えば第１の周波数帯域の付加情報を解析することができても、これよりも高い第２の周波数帯域の付加情報を解析することができないことがある。以下、具体的に説明する。

図１１（ｃ）または（ｄ）のパターンが６００ｄｐｉで埋め込まれている場合、埋め込みの周波数帯域は、約１５０ｃｙｃｌｅ／ｉｎｃｈとなる。一般的に、所定の信号を標本化する場合、これをサンプリングするための周波数は、当該所定の信号の周波数の２倍が必要であるというナイキストの定理が知られている。よって、埋め込み周波数帯域が１５０ｃｙｃｌｅ／ｉｎｃｈの場合、撮像デバイスにおいては、３００ｃｙｃｌｅ／ｉｎｃｈ以上のサンプリング周波数すなわち撮像解像度が得られることが望ましい。しかしながら、図１３で説明したＬ判全体を、例えば２Ｋ（１９２０×１０８０ｐｉｘｅｌ）で撮影した場合、撮像解像度は、約１５０ｃｙｃｌｅ／ｉｎｃｈとなり上記条件は満たされない。つまり、図１１（ａ）または（ｂ）のパターンに対応する付加情報は復元可能であるが、図１１（ｃ）または（ｄ）のパターンに対応する付加情報を復元することができない。

これに対し、図１３で説明したＬ判全体を、例えば４Ｋ（３８４０×２１６０ｐｉｘｅｌ）で撮影した場合、サンプリング周波数は約３００ｃｙｃｌｅ／ｉｎｃｈとなり上記条件は満足される。つまり、図１１（ａ）または（ｂ）のパターンに対応する付加情報に加え、図１１（ｃ）または（ｄ）のパターンに対応する付加情報を復元することができる。

以下、本実施形態の埋め込み処理を利用した例を、いくつかの実施例を挙げて説明する。

（実施例１）
実施例１では、写真画像に、当該写真を撮影した際の様々な情報を付加情報として埋め込む場合について説明する。ここで、具体的な付加情報としては、撮影日時、画素数、メーカ名、モデル名、フラッシュ、シャッター速度、絞り、ＩＳＯ感度などが挙げられる。本実施例では、これら複数の付加情報を、基本情報と詳細情報とに分類し、基本情報は第１の周波数領域を利用して埋め込み、詳細情報は第２の周波数領域を利用して埋め込ようにする。基本情報には、撮影日時、画素数、メーカ名、モデル名などを含むこととする。詳細情報にはフラッシュ、シャッター速度、絞り、ＩＳＯ感度などを含むこととする。

図１５は、本実施例におけるｃｏｄｅと閾値マトリクスの対応関係を示す。本実施例の場合、ｎ番目のブロックに設定されるｃｏｄｅ［ｎ］は、詳細情報を示す上位ｂｉｔと、基本情報を示す下位ｂｉｔから成る２ｂｉｔ情報を有している。すなわち、ｃｏｄｅ［ｎ］は、００、０１、１０、１１の４種類を取りうる。ｃｏｄｅ［ｎ］＝００のとき、図１２（ａ）の閾値マトリクスが使用される。ｃｏｄｅ［ｎ］＝０１のとき、図１２（ｂ）の閾値マトリクスが使用される。ｃｏｄｅ［ｎ］＝１０のとき、図１２（ｃ）の閾値マトリクスが使用される。ｃｏｄｅ［ｎ］＝１１のとき、図１２（ｄ）の閾値マトリクスが使用される。図３の量子化条件制御部３０２は、処理対象画素が含まれるブロックｎに埋め込むべきｃｏｄｅ［ｎ］の内容に応じて、図１２（ａ）～（ｄ）の閾値マトリクスの中の１つを設定し、量子化処理部３００に指示する。

図１６は、本実施形態の量子化条件制御部３０２が行う処理を説明するためのフローチャートである。本処理は、例えば、画像処理装置１００のＣＰＵ２００がＲＯＭ２０１に記憶されているプログラムをＲＡＭ２０２に読み出して実行することにより実現される。

本処理が開始されると、ＣＰＵ２００はＳ１６０１及びＳ１６０２において変数ｉ及びｊを初期化する。また、Ｓ１６０３において、処理対象画素（ｊ，ｉ）が多重化領域１００１（図５参照）に属しているか否かを判定する。上記Ｓ１６０１～Ｓ１６０３の処理は図４で説明したフローチャートのＳ４０１～Ｓ４０３と同等であるため、ここでの説明は割愛する。

Ｓ１６０５において、ＣＰＵ２００は処理対象画素（ｊ，ｉ）に対応するｂｉｔ情報を取得する。ここで取得されるｂｉｔ情報は、００、０１、１０、１１のいずれかとなる。Ｓ１６０６～Ｓ１６０８において、ＣＰＵ２００は、Ｓ１６０５で取得したｂｉｔ情報に基づいて分岐する。そして、ｂｉｔ＝００の場合はＳ１６０９に進み、処理対象画素（ｊ，ｉ）に対し量子化条件Ａを設定する。ｂｉｔ＝０１の場合はＳ１６１０に進み、処理対象画素（ｊ，ｉ）に対し量子化条件Ｂを設定する。ｂｉｔ＝１０の場合はＳ１６１１に進み、処理対象画素（ｊ，ｉ）に対し量子化条件Ｃを設定する。更に、ｂｉｔ＝１１の場合はＳ１６１２に進み、処理対象画素（ｊ，ｉ）に対し量子化条件Ｄを設定する。なお、Ｓ１６０３において多重化領域１００１に属していないと判定した場合は、Ｓ１６０４に進み、処理対象画素（ｊ，ｉ）に対し量子化条件Ｘを設定する。

Ｓ１６１３において、ＣＰＵ２００は、Ｓ１６０４、Ｓ１６０９～Ｓ１６１２のいずれかで設定された量子化条件に基づいて、処理対象画素（ｊ，ｉ）に対する量子化処理を行い、記録（１）又は非記録（０）を表す量子価値を決定する。この際、量子化条件Ａが設定されている場合は図１４（ａ）の閾値マトリクスを用い、量子化条件Ｂが設定されている場合は図１４（ｂ）の閾値マトリクスを用いる。また、量子化条件Ｃが設定されている場合は図１４（ｃ）の閾値マトリクスを用い、量子化条件Ｄが設定されている場合は図１４（ｄ）の閾値マトリクスを用いる。量子化条件Ｘが設定されている場合は全ての画素位置に対し、一律の量子化閾値Ｈを用いる。

Ｓ１６１５以下の処理は、図４で説明したフローチャートと同様であるため、説明は割愛する。

以上説明した本実施例の埋め込み処理によれば、各ブロックに基本情報と詳細情報を重畳させた状態で埋め込むことができる。そして、付加情報が埋め込まれた印刷物を、例えばスマートフォンのような、読み取り解像度が印刷物の記録解像度よりも低いカメラを用いて撮像した場合、アプリケーションは基本情報のみを復元する。一方、４Ｋカメラのような、読み取り解像度が印刷物の記録解像度よりも十分に高いデバイスを用いて撮像した場合、アプリケーションは基本情報と詳細情報の両方を復元することができる。

以上説明したように、本実施例によれば、基本的な情報については、相対的に低い第１の周波数帯域で表現することにより、解像性能が低いカメラで撮像した場合であっても復元できるようにしている。一方、詳細情報については、相対的に高い周波数帯域で表現することにより、解像性能が高いカメラで撮像した場合に復元できるようにしている。すなわち、本実施例によれば、異なる解像性能を有する撮像デバイスにおいて、それぞれに相応する付加情報を復元することができる。

なお、以上では、写真画像に、当該写真を撮影した際の様々な情報を付加情報として埋め込ませる場合について説明したが、無論本実施例の方法は他の分野にも応用することができる。例えば、店舗の広告画像に、当該店舗の店舗名、営業時間、住所、電話番号などを基本情報とし、当該店舗のコンセプト、おすすめ品、イベントなどを詳細情報として、付加情報を埋め込んでもよい。

（実施例２）
実施例２では、印刷画像に、低品質情報と高品質情報を付加情報として埋め込ませる場合について説明する。低品質情報とは、例えばビットレートの低い音声などである。高品質情報とは、例えばビットレートの高い音声などである。そして、低品質情報は第１の周波数領域を利用して埋め込み、高品質情報は第２の周波数領域を利用して埋め込むようにする。

図１７は、本実施例におけるｃｏｄｅ［ｎ］の内容と閾値マトリクスの対応関係を示す。本実施例の場合、低品質情報は１ｂｉｔで示され、高品質情報は低品質情報の上位に１ｂｉｔを追加した２ｂｉｔで示される。つまり、配列する低品質情報の間に、さらに１ｂｉｔ情報を追加することで高品質化されるようになっている。ｃｏｄｅ［ｎ］は、高品質情報と同じ２ｂｉｔである。

例えば、低品質情報として「０」、高品質情報として「１０」を埋め込む場合は、ｃｏｄｅ＝１０となり、図１４（ｃ）の閾値マトリクスを用いることになる。それぞれのｃｏｄｅ［ｎ］の内容と閾値マトリクスとの対応関係は、実施例１で説明した図１４と同じである。

なお、本実施例においても、量子化条件制御部３０２が行う処理フローは、実施例１で説明した図１６を用いることができる。

本実施例によれば、低品質情報は、比較的解像性能が低い例えば２Ｋのカメラでも復元することができる。一方、高品質情報は、２Ｋカメラでは復元できないが、これよりも解像性能が高い例えば４Ｋカメラを用いれば復元することができる。

以上では音声情報を付加情報として埋め込ませる場合について説明したが、無論本実施例の方法は他の分野にも応用することができる。例えば、付加情報自体を画像とし、解像性能が高い撮像デバイスを用いれば、解像性能が低い撮像デバイスを用いた場合よりも高画質な付加画像を復元できるようにしてもよい。

［その他の実施形態］
以上では、例えば第１の周波数帯を利用した付加情報において、直線Ａの方向にパワーを持つか直線Ｂの方向にパワーを持つかによって、付加情報の内容を判定した。しかしながら、付加情報の内容は、複数の方向のパワー組み合わせによって判定することもできる。

図１８（ａ）～（ｄ）は、第１の周波数帯上であって、互いに異なる方向の周波数ベクトルにパワーを持つ２つのパターン（閾値マトリクス）を合成した例を示す。例えば、図１８（ａ）は、図１１（ａ）のパターンと、これを左右反転したパターンを合成したものである。また、図１８（ｂ）は、図１１（ａ）のパターンと、図１１（ｂ）のパターンを左右反転したパターンを合成したものである。図１８（ａ）～（ｄ）のような４種類のパターン（閾値マトリクス）を用意することにより、同一の周波数帯を利用する１つの付加情報について、４種類（４値）の内容を表現することができる。

図１８（ａ）～（ｄ）のパターンに対し、同じ方向の第２の周波数帯のパターンを重ねた場合、解像性能が低い撮像デバイスでは第２の周波数帯だけでなく第１の周波数帯の情報も復元が困難になるおそれがある。これは、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）が原因である。例えば、図１９は、図１８（ｃ）の低周波パターンに、同じ方向の高周波パターンを合成した状態を示している。この場合、図９（ａ）の直線Ａ上にパワーを持つ点が複数現れ、点Ｐａの復元が困難になるおそれが生じる。

このような場合には、低周波のパターンで設定する変動閾値と、低周波のパターンの間に割り込ませた高周波のパターンで設定する変動閾値とを、異ならせることが有効である。図１９において、斜線画素は低周波パターンの変動閾値を設定する画素を示し、ドットを付した画素は低周波の間に割り込ませた高周波パターンの変動閾値を設定する画素を示している。これら２つの変動閾値を、ＭＴＦを考慮しながら調整することにより、低周波のパターンのパワーと高周波のパターンのパワーとを異ならせ、低周波のパターンを読み取りやすくすることができる。

以上では、第１の周波数帯と第２の周波数帯の２つの周波数帯を用い、２種類の情報を表現する場合について説明した。しかしながら、本実施形態は、３つ以上の周波数帯を用いて３種類以上の情報を表現することもできる。例えば、２Ｋ用、４Ｋ用、８Ｋ用のための３種類の周波数帯域を用意し、それぞれに付加情報を埋め込み、８Ｋ用のデバイスだけが全ての付加情報を読み出せるようにしてもよい。

図２０は、３つの周波数帯を用いる場合に使用可能なパワースペクトルの例を示す図である。図中の複数の点は、いずれも固有の符号を示すことができる。そして、ある円上の点に相当するパターンと、別の円上の点に相当するパターンとを合成して得られる閾値マトリクスを用意すれば、解像性能が異なる撮像デバイスのための付加情報を、同じ領域に重畳させることができる。

なお、解像性能が低い撮像デバイスにおいては、復元可能な周波数帯域に限定したフィルタ処理や間引き処理を行うことにより、処理の負荷を軽減することができる。例えば、撮像デバイスが４Ｋカメラである場合、読み取りアプリケーションは、４Ｋ用の空間フィルタを用いたフィルタ処理と４Ｋ用の間引き処理を行えばよく、８Ｋ用の空間フィルタを用いた処理を行う必要はない。

撮像デバイスの解像性能については、以下のツールを用いて予め取得することができる。例えば、カメラ付携帯端末１０１がスマートフォンであって、使用するＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）がＡｎｄｒｏｉｄの場合は、以下が好適に利用可能である。
Ｃａｍｅｒａ２ ＡＰＩ
Ｃａｍｅｒａ２ ＡＰＩ
ＳｔｒｅａｍＣｏｎｆｉｇｕｒａｔｉｏｎＭａｐクラス
ｇｅｔＯｕｔｐｕｔＳｉｚｅｓメソッド。

また、ＯＳがｉＯＳである場合、
ＡＶＣａｐｔｕｒｅＳｅｓｓｉｏｎ インスタンス
ＡＶＣａｐｔｕｒｅＳｅｓｓｉｏｎＰｒｅｓｅｔ シンボル
（４Ｋ例：ＡＶＣａｐｔｕｒｅＳｅｓｓｉｏｎＰｒｅｓｅｔ３８４０ｘ２１６０）
が好適に利用可能である。

以上では、解像性能が異なる複数のデバイスのために、複数の周波数帯域を用意する内容で説明した。しかしながら、このような複数の周波数帯域は、所定の解像性能を有する撮像デバイスを対象としながら、印刷物の限られた領域の中により多くの情報を埋め込むために利用してもよい。すなわち、付加情報を埋め込む際には、復元時に使用が想定される撮像デバイスの解像性能よりも低い解像度（周波数）の周波数領域を複数に分割し、それぞれの周波数領域で異なる付加情報を埋め込めばよい。このようにすれば、限られた画像領域に多種類の付加情報を高密度に埋め込むことが可能となる。

以上では、図１２（ａ）～（ｄ）のような特的なパターンを画像情報に埋め込むために、量子化処理を行う際に使用する閾値マトリクスを利用した。しかしながら、本発明はこのような形態に限定されない。上記特的なパターンは、他の方法によっても画像情報に埋め込むことは可能である。多重化処理は、量子化処理を行う前の多値の階調値に対して、所定の周期性を重畳する形態としてもよい。また、階調値（濃度値）に変換する前の輝度値（ＲＧＢ）に、周期性を重畳しても良い。更に、ＲＧＢの値を、輝度－色差情報など、他の色空間情報（例えばＣＩＥ Ｌ＊ａ＊ｂ＊、ＹＣｒＣｂ信号）に分離して周期性を重畳する方式により多重化を実現しても良い。いずれにせよ、複数の周波数領域のそれぞれにおいて、異なる内容の付加情報を埋め込むことができれば、上記実施形態で説明した効果を得ることはできる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置（情報処理装置）
１０５ 付加情報多重化部

Claims (9)

1. 特定の周波数特性を有するパターンを画像に埋め込むことによって、前記画像に付加情報を付加するための情報処理装置であって、
   前記画像に付加すべき第１の付加情報と第２の付加情報とを取得する取得手段と、
   前記画像の処理対象画素が、
   前記第１の付加情報について２値のうちの第１の値を表すべき画素であり、かつ、前記第２の付加情報について２値のうちの第１の値を表すべき画素である場合には、第１の多重化パターンを用いて量子化を行い、
   前記第１の付加情報について２値のうちの第２の値を表すべき画素であり、かつ、前記第２の付加情報について２値のうちの第１の値を表すべき画素である場合には、第２の多重化パターンを用いて量子化を行い、
   前記第１の付加情報について２値のうちの第１の値を表すべき画素であり、かつ、前記第２の付加情報について２値のうちの第２の値を表すべき画素である場合には、第３の多重化パターンを用いて量子化を行い、
   前記第１の付加情報について２値のうちの第２の値を表すべき画素であり、かつ、前記第２の付加情報について２値のうちの第２の値を表すべき画素である場合には、第４の多重化パターンを用いて量子化を行う
   ように処理する処理手段と、
   前記処理手段によって量子化された結果に基づいて、前記第１の付加情報と前記第２の付加情報とが前記画像に付加された処理済画像を出力する出力手段と、
   を備え、
   前記第１乃至第４の多重化パターンはそれぞれ、第１の周波数帯域の周波数特性を有するパターンと、前記第１の周波数帯域よりも高い第２の周波数帯域の周波数特性を有するパターンとを合成したパターンであることを特徴とする情報処理装置。
2. 前記第１の周波数帯域を有する周波数特性を有するパターンには、第１のパターンと第２のパターンとが含まれ、
   前記第２の周波数帯域を有する周波数特性を有するパターンには、第３のパターンと第４のパターンとが含まれ、
   前記第１の多重化パターンは前記第１のパターンと前記第３のパターンとを合成したパターンであり、
   前記第２の多重化パターンは前記第２のパターンと前記第３のパターンとを合成したパターンであり、
   前記第３の多重化パターンは前記第１のパターンと前記第４のパターンとを合成したパターンであり、
   前記第４の多重化パターンは前記第２のパターンと前記第４のパターンとを合成したパターンである
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第１のパターンと前記第２のパターンとは、互いに異なる方向に前記第１の周波数帯域を有するパターンであり、
   前記第３のパターンと前記第４のパターンとは、互いに異なる方向に前記第２の周波数帯域を有するパターンである
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記第１の付加情報と前記第２の付加情報のそれぞれについて１つの値を表すのに、縦横それぞれ複数の画素を含む１つのブロックを用いることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記処理済画像がカメラを用いて撮像されることで、前記第１の付加情報と前記第２の付加情報とがそれぞれ復元可能であることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記量子化は、誤差拡散法を用いた処理であることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 少なくとも１つのコンピュータを、請求項１乃至６のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。
8. 少なくとも１つのコンピュータを、請求項１乃至６のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
9. 特定の周波数特性を有するパターンを画像に埋め込むことによって、前記画像に付加情報を付加するための情報処理装置の制御方法であって、
   前記画像に付加すべき第１の付加情報と第２の付加情報とを取得する取得工程と、
   前記画像の処理対象画素が、
   前記第１の付加情報について２値のうちの第１の値を表すべき画素であり、かつ、前記第２の付加情報について２値のうちの第１の値を表すべき画素である場合には、第１の多重化パターンを用いて量子化を行い、
   前記第１の付加情報について２値のうちの第２の値を表すべき画素であり、かつ、前記第２の付加情報について２値のうちの第１の値を表すべき画素である場合には、第２の多重化パターンを用いて量子化を行い、
   前記第１の付加情報について２値のうちの第１の値を表すべき画素であり、かつ、
   前記第２の付加情報について２値のうちの第２の値を表すべき画素である場合には、第３の多重化パターンを用いて量子化を行い、
   前記第１の付加情報について２値のうちの第２の値を表すべき画素であり、かつ、前記第２の付加情報について２値のうちの第２の値を表すべき画素である場合には、第４の多重化パターンを用いて量子化を行う
   ように処理する処理工程と、
   前記処理工程によって量子化された結果に基づいて、前記第１の付加情報と前記第２の付加情報とが前記画像に付加された処理済画像を出力する出力工程と、
   を備え、
   前記第１乃至第４の多重化パターンはそれぞれ、第１の周波数帯域の周波数特性を有するパターンと、前記第１の周波数帯域よりも高い第２の周波数帯域の周波数特性を有するパターンとを合成したパターンであることを特徴とする情報処理装置の制御方法。

Images