JP2005159438A - 画像処理方法 - Google Patents

Abstract

【課題】特殊な材料を用いずに電子透かし処理のセキュリティ性をより高めることができる画像処理方法を提供する。
【解決手段】主画像情報の中に不可視状態で副情報を埋め込んだ合成画像情報を作成し、それを記録する画像処理方法において、色差変調を用いた記録可能な電子透かし処理を用いて主画像情報に対し第１副情報を埋め込む。肉眼で等価に見えるＣ、Ｍ、Ｙの３色またはＣ、Ｍ、Ｙ、Ｋの４色の選択的な組合わせにより主画像情報に対しさらに第２副情報を埋め込む。主画像情報に副情報を二重に埋め込むことにより、セキュリティ強度をより高めることが可能になる。
【選択図】 図１

Description

本発明は、たとえば、可視状態の主画像情報（人物の顔画像など）に対して別の付加的な副情報（セキュリティ情報など）を不可視状態で埋め込み合成して合成画像情報を作成し、この作成した合成画像情報を記録媒体上に記録したり、その記録した合成画像情報からその中に埋込まれた副情報を復元したりする画像処理方法に関する。

近年、情報の電子化やインターネットの普及に伴って、画像の偽造や変造防止のために電子透かし、電子署名などの技術が重要視されるようになってきた。特に、主画像情報に付加的な副情報（副画像情報）を不可視状態で埋め込む電子透かし技術は、ＩＤカードなどの個人認証媒体や著作権情報を埋め込んだ写真に対する不正コピー、偽造、改ざん対策として提案されている。

たとえば、印刷物へ出力される画像データに対して、人間が感知しにくい高い空間周波数成分および色差成分の特性を利用してデータを埋め込む電子透かし挿入方法が知られている（たとえば、特許文献１参照）。
また、光学フィルタで確認できる電子透かしの印刷装置が知られている（たとえば、特許文献２参照）。

さらに、偽造追跡パターンの付与に画素形成材（トナーやインク等）の下色除去率（ＵＣＲ率）を変化させて、特定パターンを多重化記録する画像処理装置が知られている（たとえば、特許文献３参照）。
特開平９−２４８９３５号公報 特開２００１−２６８３４６号公報 特開平７−１０７２７９号公報

上記したように、個人認証媒体における個人認証用の顔画像の記録などに電子透かし技術を適用して、顔画像自体のセキュリティ性を高めることが最近要求されてきている。しかし、電子透かし処理単独でセキュリティが万全になるわけでなく、複数の偽造防止方法を組合わせることが求められている。

複数の電子透かし処理を多重化することは、それぞれ埋め込んだ副情報の干渉が生じて主画像情報を乱す原因となり、問題が生じる場合が多い。

前述の偽造追跡パターンの付与に画素形成材（トナーやインク等）の下色除去率（ＵＣＲ率）を変化させて、特定パターンを多重化記録する画像処理装置では、手法が単純なため、１回露見してしまうと簡単に真似できてしまう問題がある。

そこで、本発明は、特殊な材料を用いずに電子透かし処理のセキュリティ性をより高めることができる画像処理方法を提供することを目的とする。

また、本発明は、副情報を二重化することによって副情報のセキュリティ強度を高めることができる画像処理方法を提供することを目的とする。

本発明の画像処理方法は、人間の肉眼で可視状態の主画像情報に対して、人間の肉眼で不可視状態で副情報を埋め込むことによって作成した合成画像情報を記録媒体上に可視状態で記録する画像処理方法において、主画像情報に対して第１副情報を不可視状態で埋め込むことにより第１合成画像情報を作成する第１埋め込みステップと、この第１埋め込みステップにより作成された第１合成画像情報に対して第１色、第２色、第３色の各色成分に色変換処理を施す色変換ステップと、この色変換ステップにより第１色、第２色、第３色の各色成分に色変換された第１合成画像情報に対して、視覚的に等価な第１色、第２色、第３色の３色あるいは第１色、第２色、第３色、第４色の４色を、第２副情報に合わせて選択的に組合わせることにより当該第２副情報を不可視状態で埋め込み、第２合成画像情報を作成する第２埋め込みステップと、この第２埋め込みステップにより作成された第２合成画像情報を、近赤外領域の波長を吸収しない第１色、第２色、第３色のインクおよび近赤外領域の波長を吸収する第４色のインクを用いて記録媒体に記録する記録ステップとを具備している。

また、本発明の画像処理方法は、人間の肉眼で可視状態の主画像情報に対して、人間の肉眼で不可視状態で副情報を埋め込むことによって作成した合成画像情報を記録媒体上に可視状態で記録し、前記記録媒体上に記録された合成画像情報を読取り、この読取った合成画像情報から前記副情報を復元する画像処理方法において、主画像情報および第１副情報および当該第１副情報を復元する際に用いる２値で構成された鍵情報を用いて色差変調処理を行なうことにより主画像情報に対して第１副情報を不可視状態で埋め込み、第１合成画像情報を作成する第１埋め込みステップと、この第１埋め込みステップにより作成された第１合成画像情報に対して第１色、第２色、第３色の各色成分に色変換処理を施す色変換ステップと、この色変換ステップにより第１色、第２色、第３色の各色成分に色変換された第１合成画像情報に対して、視覚的に等価な第１色、第２色、第３色の３色あるいは第１色、第２色、第３色、第４色の４色を、第２副情報に合わせて選択的に組合わせることにより当該第２副情報を不可視状態で埋め込み、第２合成画像情報を作成する第２埋め込みステップと、この第２埋め込みステップにより作成された第２合成画像情報を、近赤外領域の波長を吸収しない第１色、第２色、第３色のインクおよび近赤外領域の波長を吸収する第４色のインクを用いて記録媒体に記録する記録ステップと、前記記録媒体上に記録された第２合成画像情報を読取る読取ステップと、この読取ステップにより読取られた第２合成画像情報から前記鍵情報に固有の空間周波数成分を抽出し、この抽出された空間周波数成分から前記第１副情報を再構成することにより前記第１副情報を復元する第１復元ステップと、前記読取ステップにより読取られた第２合成画像情報から画点を構成しているインクの分光特性を利用して前記第２副情報を復元する第２復元ステップとを具備している。

さらに、本発明の画像処理方法は、人間の肉眼で可視状態の主画像情報に対して、人間の肉眼で不可視状態で副情報を埋め込むことによって作成した合成画像情報を記録媒体上に可視状態で記録する画像処理方法において、第１副情報および第２副情報を作成する副情報作成ステップと、この副情報作成ステップにより作成された第１副情報を不可視状態で主画像情報に埋め込むことにより第１合成画像情報を作成する第１埋め込みステップと、この第１埋め込みステップにより作成された第１合成画像情報に対して第１色、第２色、第３色の各色成分に色変換処理を施す色変換ステップと、この色変換ステップにより第１色、第２色、第３色の各色成分に色変換された第１合成画像情報に対して、視覚的に等価な第１色、第２色、第３色の３色あるいは第１色、第２色、第３色、第４色の４色を、前記副情報作成ステップにより作成された第２副情報に合わせて選択的に組合わせることにより当該第２副情報を不可視状態で埋め込み、第２合成画像情報を作成する第２埋め込みステップと、この第２埋め込みステップにより作成された第２合成画像情報を、近赤外領域の波長を吸収しない第１色、第２色、第３色のインクおよび近赤外領域の波長を吸収する第４色のインクを用いて記録媒体に記録する記録ステップとを具備している。

本発明によれば、特殊な材料を用いずに電子透かし処理のセキュリティ性をより高めることができる画像処理方法を提供できる。

また、本発明によれば、副情報を二重化することによって副情報のセキュリティ強度を高めることができる画像処理方法を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
図１は、第１の実施の形態に係る画像処理方法の全体の流れを示すフローチャートであり、図２は、第１の実施の形態に係る画像処理方法における要部の処理の流れを模式的に示す流れ図である。この例は、たとえば、ＩＤカードなどの個人認証媒体における個人認証用の顔画像の処理に適用した場合を示しており、以下、詳細に説明する。

まず、主画像情報に副情報を埋め込んで合成画像情報を作成し記録する処理の流れについて、図１（ａ）に示すフローチャートおよび図２の流れ図を参照して説明する。
最初に、ステップＳ１０１で画像入力処理が行なわれる。ここでは、個人認証媒体の所持者本人の顔画像をカメラにより入力したり、顔写真をスキャナなどの画像入力装置で取込むことにより、個人の顔画像情報をデジタル化する。通常、この時点では、デジタル化された顔画像情報はＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）成分で格納される。

次に、ステップＳ１０２により、ステップＳ１０１の画像入力処理で得られた顔画像情報である主画像情報（図２：２０１）に対して、あらかじめ設定された２値情報で構成された鍵情報を用いて、補色の関係を利用した色差変調処理により、第１埋め込み処理（電子透かし処理、図２：２０３）を行なう。ここでは、主画像情報に対し第１副情報（図２：２０２）を人間の視覚に感知できないように不可視状態で埋め込んだ第１合成画像情報（図２：２０４）が作成される。ここに、第１埋め込み処理の演算はＲ、Ｇ、Ｂの画像情報で行なう。

次に、ステップＳ１０３により、対象画像情報（ステップＳ１０２で作成された第１合成画像情報）の画像成分をＲ、Ｇ、Ｂから第１色としてのＣ（シアン）、第２色としてのＭ（マゼンタ）、第３色としてのＹ（イエロー）成分に色変換処理を施す。

次に、ステップＳ１０４により、ステップＳ１０３でＣ、Ｍ、Ｙ成分に色変換された第１合成画像情報に対して、第２副情報（図２：２０５）をＣ、Ｍ、Ｙの３色あるいははＣ、Ｍ、Ｙ、第４色としてのＫ（ブラック）の４色を用いて選択的に画素を構成することにより、第２埋め込み処理（図２：２０６）を行なうことにより、第２合成画像情報を作成する。ここに、第２埋め込み処理の演算はＣ、Ｍ、Ｙ（またはＣ、Ｍ、Ｙ、Ｋ）で行なう。

最後に、ステップＳ１０５により、ステップＳ１０４で作成された第２合成画像情報を、近赤外領域の波長を吸収しないＣ、Ｍ、Ｙのインクおよび近赤外領域の波長を吸収するＫのインクを用いて、サーマルヘッドなどの記録デバイスにより、個人認証媒体となるカード状の記録媒体上にＣ、Ｍ、Ｙ（またはＣ、Ｍ、Ｙ、Ｋ）印刷記録処理（図２：２０７）を行なうことにより、第１副情報および第２副情報が不可視状態で埋め込まれた第２合成画像情報（図２：２０８）が記録媒体上に記録される。このようにして第２合成画像情報が記録された記録媒体が個人認証媒体として利用者に渡され、利用者により使用されることになる。

次に、上記したように記録媒体上に記録された合成画像情報から副情報を復元する処理の流れについて、図１（ｂ）に示すフローチャートを参照して説明する。
最初に、ステップ１１１により、スキャナやカメラなどの入力デバイスを用いて、個人認証媒体上に記録された第２合成画像情報をデジタル情報として読取る。次に、ステップＳ１１２により、ステップ１１１により得られた第２合成画像情報に対し、あらかじめ設定された鍵情報を用いて電子透かし復元処理（第１復元処理）を行なうことにより、第１副情報を復元する。

次に、ステップＳ１１３により、ステップ１１１により得られた第２合成画像情報から画点を構成しているインクの分光特性を利用して電子透かし復元処理（第２復元処理）を行なうことにより、第２副情報を復元する。最後に、ステップＳ１１４により、ステップ１１２，１１３における復元結果をディスプレイなどに表示して使用者に知らせる。

図３は、作成されたＩＤカードなどの個人認証媒体３０１の具体例を示している。個人認証媒体３０１には、持ち主の個人認証用顔画像３０２が印刷記録されているが、この顔画像３０２は図１、図２で説明した処理によって作成され記録（印刷）されたものである。また、識別番号（いわゆるＩＤ番号）、氏名、生年月日、有効期限などの個人管理情報３０３が記録されている。これらの個人管理情報３０３を、図１におけるステップＳ１０２，１０４の第１、第２埋め込み処理における副情報として用いることにより、個人認証媒体３０１の認証用顔画像３０２と個人管理情報３０３とが関連付けられるため、個人認証媒体３０１の一部を改ざんしたり、偽造することが困難になり、セキュリティ性を高めることが可能になる。

次に、図１におけるステップＳ１０２の第１埋め込み処理（電子透かし処理）について説明する。本実施の形態では、第１埋め込み処理には一般に電子透かし処理と呼ばれている手法を用いており、特に色差変調処理を用いた電子透かし処理を利用することができる。

この色差変調処理を用いた電子透かし処理の詳細な手法は、たとえば、特開平１１−１６８６１６号公報や特開２００１−２６８３４６号公報などに記述されており、これらを適用することが可能である。これらの手法は、基本的に主画像情報（被埋め込み画像情報）がフルカラー画像であることを前提に記述されているが、これらに対し更に例えば特開平１１−３５５５５４号公報に記述されている技術を加えて応用することにより、白黒画像に対しても副情報（副画像情報）を不可視状態で埋め込むことが可能である。

合成画像情報から第１副情報を復元する処理に関しても、上記公報などに記載されている復元処理を鍵情報を利用して行なうことによって、不可視状態で記録されていた第１副情報が復元される。

図４および図５に、特開平１１−１６８６１６号公報に記述されている色差変調方式を用いた電子透かし処理の流れ図を示し、本実施の形態への適用例を説明する。図４および図５は、前述の図２における一点鎖線２０９で囲まれた部分に相当している。

この方式では、
(1) 人間の視覚特性を利用
・画像の周波数が高くなるほど階調識別能力が低下
・輝度情報よりも色差情報の方が判別困難
(2) 補色の関係 例…赤色＋シアン色＝無彩色（白）（加法混色の場合）
(3) 高周波キャリアパターン画像に補色の関係および色差情報を適用（色差変調処
理）
を用いることにより、画質劣化を招くことなく、主画像情報に副情報を不可視状態で埋め込むことを可能にしている。

上記(2)の例でいえば、赤色とシアン色（＝緑色＋青色）は、加法混色の場合、補色の関係にあり、赤色とシアン色とが隣り合っていても人間の目には判別しにくく無彩色に見える。

上記(3)の例のように、高周波キャリアパターン画像を用いることで、赤色リッチな画素とシアン色リッチな画素とが繰り返し配置されているため、人間の目ではこれらの細かな色差の違いを識別できず、色差量はプラスマイナス「０」と判断してしまう人間の視覚特性を利用している。この方式で作成した合成画像情報（電子透かし入り画像情報）は、格納する画像フォーマットに依存しないので、現在流通しているＢＭＰやＴＩＦＦ、ＪＰＥＧなどの画像フォーマットだけでなく、将来新しい画像フォーマットに変更されても全く問題ない。

図４は、第１埋め込み処理（電子透かし処理）の流れを模式的に示したものである。
図４において、被埋め込み画像情報である主画像情報４０１は、たとえば、個人認証用の顔画像情報、埋め込み情報である第１副情報４０２は、たとえば、主画像情報４０１のセキュリティ性を高める２値画像情報（今回は数字の「１７４」）で、氏名や誕生日などをコード化して２値画像情報としたものや会社のロゴマークなどの図形を用いる。鍵情報４０３は、第１埋め込み処理４０４によって不可視状態で埋め込まれた第１副情報を後で復元するための鍵となる情報であり、これも２値画像情報で表現される。
すなわち、主画像情報４０１と第１副情報４０２と鍵情報４０３とを用いて第１埋め込み処理（電子透かし処理）４０４を行なうことにより、第１合成画像情報（中間画像情報）４０５を作成する。

図５は、特開平１１−１６８６１６号公報に記述されている電子透かし処理の流れを示しており、基本的にこの電子透かし処理方式を適用可能である。以下、この電子透かし処理について簡単に説明しておく。なお、詳細については特開平１１−１６８６１６号公報の記述内容を参照されたい。

被埋め込み画像情報（主画像情報）５０１は、埋め込み情報が埋め込まれる画像情報で、個人認証媒体では所有者の顔写真（顔画像）に相当する。これは、１画素当たり２４ビット（Ｒ、Ｇ、Ｂ各８ビット）の情報を持っている。埋め込み画像情報（副情報）５０２は、埋め込む情報を２値画像情報に変換したもので、個人認証媒体では例えば識別番号などに相当する。これは、１画素あたり１ビットの情報を持っている。マスク画像情報（鍵情報）５０３は、合成処理時および埋め込み画像情報の復元（再生）時に用いる画像情報で、１画素あたり１ビットの情報を持っている。

最初に、平滑化処理ステップ５０４において、埋め込み画像情報５０２の黒画素を「１」、白画素を「０」として平滑化処理を行なう。ここでは、ｘ方向について注目画素の両端の画素を３×１画素の領域を切出して、重み平均を取る。次に、位相変調処理ステップ５０５において、平滑化処理ステップ５０４における平滑化処理の結果を基にマスク画像情報５０３に対し位相変調を行なう。

次に、色差変調処理ステップ５０７において、位相変調処理ステップ５０５における位相変調結果を基に、色差量ΔＣｄを用いて色差変調処理を行なう。この場合、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３成分を別々に計算する。次に、重畳処理ステップ５０８において、色差変調処理ステップ５０７における色差変調結果（重畳用画像情報）５１０と被埋込み画像情報５０１とから、重畳処理を行なうことにより、合成画像情報（中間画像情報）５０９を作成する。

以上の説明からも明らかなように、図５の被埋め込み画像情報５０１と埋め込み画像情報５０２とマスク画像情報５０３は、図４で説明した本実施の形態における主画像情報４０１と第１副情報４０２と鍵情報４０３と全く同じものである。したがって、基本的には図５に示した電子透かし処理方式を本実施の形態に適用可能であることは明らかである。

重畳処理ステップ５０８における重畳処理に関しては、被埋め込み画像情報５０１、重畳用画像情報５１０、合成画像情報５０９を下記のように定義すると、
被埋め込み画像情報： ＳＲＣ_−C（ｘ，ｙ） （Ａ−１）
重畳用画像情報 ： ＳＴＬ_−C（ｘ，ｙ） （Ａ−２）
合成画像情報 ： ＤＥＳ_−C（ｘ，ｙ） （Ａ−３）
ｘ，ｙは画像の座標値
Ｃ＝｛Ｒ（赤）、Ｇ（緑）、Ｂ（青）｝プレーンを示すそれぞれの
値は２４ビットカラー演算の場合、０〜２５５の整数値
次式で表わされる。
ＤＥＳ_−R（ｘ，ｙ）＝ＳＲＣ_−R（ｘ，ｙ）
＋ＳＴＬ_−R（ｘ，ｙ） （Ｂ−１）
ＤＥＳ_−G（ｘ，ｙ）＝ＳＲＣ_−G（ｘ，ｙ）
＋ＳＴＬ_−G（ｘ，ｙ） （Ｂ−２）
ＤＥＳ_−B（ｘ，ｙ）＝ＳＲＣ_−B（ｘ，ｙ）
＋ＳＴＬ_−B（ｘ，ｙ） （Ｂ−３）
本実施の形態では、加法混色での演算として色の基本原色にＲ（赤）、Ｇ（緑）、Ｂ（青）を用いたが、減法混色での演算では色の基本原色にＣ（シアン）、Ｍ（マゼンダ）、Ｙ（イエロー）を用いても本質的には変わらない。

図５の電子透かし処理方式では、上記のように補色の関係を用いて色差変調処理５０７を行なっている。そのときに、あらかじめ定められた色差量ΔＣｄを用いている。これは、あらかじめ実験的に求めた赤とシアンとの輝度値の差分量（一定値）をデータとして保有している。ここに、色差量ΔＣｄは１０〜６０くらいが望ましい。

次に、第１埋め込み処理で埋め込んだ第１副情報を復元する復元処理について説明する。
第１副情報の復元は、第１埋め込み処理の際に用いた鍵情報に基いて特定の空間周波数成分を第１合成画像情報から抽出し、その周波数成分から第１副情報を再構成することにより行なう。鍵情報としては、幾何学模様などで構成された２値（白黒）の画像情報を利用できる。たとえば、１×２画素を単位矩形とする白黒の市松模様や、あらかじめ定めておいたシードを基に作成した擬似乱数パターンなどである。

鍵情報に基いて特定の空間周波数成分を抽出する方法としては、空間周波数フィルタを用いることができる。鍵情報に対応する空間周波数フィルタの係数は、以下の(1)〜(4)の手順にて計算する。なお、係数の計算はあらかじめ行なって結果を格納しておいてもよいし、抽出処理を行なう前、あるいは、その都度、計算して用いてもかまわない。
(1) 鍵情報のサイズを、記録媒体上に記録されている合成画像情報の解像度と、記
録画像入力手段の読取り解像度とを基にして伸縮する。
(2) フーリエ変換を行ない、周波数領域に展開する。なお、変換は整数で行なって
もよいし、実数や複素数に拡張してもよい。
(3) 展開された値を参照し、フィルタの通過域を調整する。
(4) 調整後の値に対してフーリエ逆変換を行ない、得られた値を周波数フィルタ係
数とする。

上記(1)については、たとえば、図６に示す鍵情報を用いて埋め込みを行なった場合に、記録されている合成画像情報の印刷解像度が２００ｄｐｉ、記録画像入力手段の読取り解像度が４００ｄｐｉであったとすると、記録画像入力手段により取込まれる合成画像情報は図６（ｂ）に示すようになる。

図６（ａ）において、白丸６０１は白、黒丸６０２は黒を表わし、６０３は主走査方向の基本周波数波形、６０４は副走査方向の基本周波数波形を表わしている。図６（ｂ）において、白丸６０５は主色リッチ、黒丸６０６は補色リッチなドットを表わしている。この場合、主色が赤（Ｒ）の場合では、補色はシアン（Ｃ）になる。また、６０７は主走査方向の基本周波数波形、６０８は副走査方向の基本周波数波形を表わしている。

埋め込まれた鍵情報は、図６（ｂ）に示す形状６０９へ変換されており、その基本周波数は鍵情報のサイズを読取り解像度と印刷解像度との比の分だけ伸長した場合の周波数と同等になっている。したがって、フィルタ係数を計算する際には、あらかじめ記録、読取りにおける解像度の変化を繰り入れておく。

上記(2)〜(4)にて、合成画像情報から鍵情報の空間周波数成分を抽出する周波数フィルタを設計するが、鍵情報はもともと２値画像情報であるため、エッジ（＝白画素と黒画素とが接する境界）の傾きが急峻であるという特徴を持っている。空間領域においてエッジが急峻であればあるほど、周波数領域においては高調波を多く含むことになるため、急峻なエッジが多い画像情報をそのまま用いて計算された周波数フィルタ係数を使うと、高調波側に載ったノイズが素通しになり、Ｓ／Ｎ比が悪化して副情報の復元に支障をきたす。

このため、上記(3)に示す調整作業が必要となるが、この内容は個々の鍵情報 およびシステムの運用環境に依存する。一般的には、ノイズを抑制するために高調波を阻止し、基本周波数に近い周波数のみを通過させるが、ノイズが少ない環境では、高調波も通過させることで鍵情報の複雑性を積極的に利用し、セキュリティ性を高めるというアプローチもある。

記録画像入力手段にて取込まれた合成画像情報から、上記方法にてあらかじめ計算された周波数フィルタ係数を用い鍵情報の空間周波数成分を抽出するには、以下に示す数１による畳み込み積分を行なう。

ここで、Ｉは記録画像入力手段で取込まれた合成画像情報、ｇは周波数フィルタ係数、Ｋは抽出された鍵情報の空間周波数成分である。

なお、特定の空間周波数成分を抽出する方法は、上記した空間周波数フィルタを用いる方法に限定されるものではなく、周知のフーリエ変換やウェーブレット変換などを利用し、一旦別空間へ写像して処理を施した後、逆に写像することで抽出する方法を用いても構わない。

以上のような処理を行なうことにより、第１合成画像情報から第１副情報を（２値の画像として）復元することができる。

次に、図１におけるステップＳ１０４の第２埋め込み処理について説明する。
第２埋め込み処理には、一般にカラー４色記録で「墨入れ」と言われる手法を応用する。墨入れは、Ｃ、Ｍ、Ｙ以外にＫ（ブラック）のインクを加えた４色記録を行なうことであり、黒のしまりによる画質改善や高価な色インクを節約する目的に使われる手法である。

図７に墨入れの概念を示す。基本は対象画像のグレー成分をＫ（ブラック）で置き換えることである。対象画像の色濃度信号Ｄｒ、Ｄｇ、Ｄｂから共通のグレー成分を除去する下色除去（ＵＣＲ）処理を行なうことにより、必要な３色のインク量Ｃｕ、Ｍｕ、Ｙｕを求めることができる。

図８（ａ）は、Ｃ、Ｍ、Ｙの３色記録のときの画素状態を模式的に示したもの、図８（ｂ）は、Ｃ、Ｍ、Ｙ、Ｋの４色記録のときの画素状態を模式的に示したものである。ここで、図８（ａ）と図８（ｂ）は肉眼で見てマクロ的に等価な色になるように調整することが重要である。

第２埋め込み処理では、２値（画像）情報である第２副情報の「１」または「０」に対応させて選択的に対象画像の画素を図８（ａ）と図８（ｂ）になるように画像情報を書換えた後に、近赤外領域の波長を吸収しないＣ、Ｍ、Ｙのインクおよび近赤外領域の波長を吸収するＫのインクを用いて、記録媒体にＣ、Ｍ、Ｙ（またはＣ、Ｍ、Ｙ、Ｋ）記録処理することにより、第２副情報である２値の情報を不可視状態で埋め込むことが可能になる。

記録に用いるインクに関しては、たとえば、記録装置が熱転写記録方式の場合、Ｃ、Ｍ、Ｙのインクは通常使用されている顔料インクが使用できる。また、Ｋインクはカーボンが含有された顔料インクを用いることで、本実施の形態に使用できる。本発明では、上記のように熱転写記録方式に限らず、電子写真記録方式などの他の記録方式を用いた記録装置（いわゆるレーザプリンタ等）でも適用可能である。

図９に、Ｃ、Ｍ、Ｙの３色記録（特性曲線ａ）およびＣ、Ｍ、Ｙ、Ｋの４色記録（特性曲線ｂ）を行なった場合の入力画像濃度と出力画像濃度との関係を模式的に示す。図９から明らかなように、低濃度領域では３色記録と４色記録の記録特性は一致しているが、中濃度領域から少しづつずれ始め、高濃度領域では同じ入力画像濃度でも記録画像濃度が異なる特性を示す。したがって、図９に示すように低濃度から中濃度の領域ｃを用いることが望ましい。

次に、第２埋め込み処理で埋め込んだ第２副情報を復元する復元処理について説明する。
カラープリンタなどの記録装置で出力されるハードコピー画像は、減法混色の３原色であるＣ、Ｍ、Ｙの色で画点が形成されている。これらの色素の分光濃度の例を図１０に模式的に示す。波長とスペクトル濃度との関係を見ると、Ｙは４５０ｎｍ付近にピークがあり、Ｍは５５０ｎｍ付近にピークがあり、Ｃは６７０ｎｍ付近にピークがある。これらＣ、Ｍ、Ｙを重ね合わせてブラックを表現すると、図１０の一点鎖線で示された分布（特性曲線ｄ）となり、これはＣ、Ｍ、Ｙそれぞれの山を合成したものとなり、４００ｎｍから８００ｎｍの範囲に分布する。それに対して、カーボン（炭素）成分の入ったブラック（Ｋ）は４００ｎｍから８００ｎｍ以上まで分布している（特性曲線ｅ）。そのため、近赤外領域（８００ｎｍ以上）のスペクトル濃度を比較すると、Ｃ、Ｍ、Ｙの合成によるブラックではスペクトル濃度がほぼ「０」に対して、Ｋによるブラックではスペクトル濃度が高いため、これらの違いを区別することが可能である。

このように、主画像情報に対して２種類の副情報（第１、第２副情報）を不可視状態で多重に埋め込んだ記録用画像を作成することが可能になる。

次に、第２の実施の形態について説明する。
図１１は、第２の実施の形態に係る画像処理方法における主画像情報に副情報を埋め込んで合成画像情報を作成し記録する処理の流れを示すフローチャートであり、以下、詳細に説明する。
最初に、ステップＳ１１０１で画像入力処理が行なわれる。ここでは、個人認証媒体の所持者本人の顔画像をカメラにより入力したり、顔写真をスキャナなどの画像入力装置で取込むことにより、個人の顔画像情報をデジタル化する。通常、この時点では、デジタル化された顔画像情報はＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）成分で格納される。次に、ステップＳ１１０２により、第１副情報および第２副情報が作成される。

次に、ステップＳ１１０３により、ステップＳ１１０１の画像入力処理で得られた顔画像情報である主画像情報に対して、あらかじめ設定された２値情報で構成された鍵情報を用いて、補色の関係を利用した色差変調処理により、第１埋め込み処理（電子透かし処理）を行なう。ここでは、主画像情報に対しステップＳ１１０２で作成した第１副情報を人間の視覚に感知できないように不可視状態で埋め込んだ第１合成画像情報が作成される。ここに、第１埋め込み処理の演算はＲ、Ｇ、Ｂの画像情報で行なう。

次に、ステップＳ１１０４により、対象画像情報（ステップＳ１１０３で作成された第１合成画像情報）の画像成分をＲ、Ｇ、ＢからＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）成分に色変換処理を施す。

次に、ステップＳ１１０５により、ステップＳ１１０４でＣ、Ｍ、Ｙ成分に色変換された第１合成画像情報に対して、ステップＳ１１０２で作成した第２副情報をＣ、Ｍ、Ｙの３色あるいははＣ、Ｍ、Ｙ、Ｋ（ブラック）の４色を用いて選択的に画素を構成することにより、第２埋め込み処理（電子透かし処理）を行なうことにより、第２合成画像情報を作成する。ここに、第２埋め込み処理の演算はＣ、Ｍ、Ｙ（またはＣ、Ｍ、Ｙ、Ｋ）で行なう。

最後に、ステップＳ１１０６により、ステップＳ１１０５で作成された第２合成画像情報を、近赤外領域の波長を吸収しないＣ、Ｍ、Ｙのインクおよび近赤外領域の波長を吸収するＫのインクを用いて、サーマルヘッドなどの記録デバイスにより、個人認証媒体となるカード状の記録媒体上にＣ、Ｍ、Ｙ（またはＣ、Ｍ、Ｙ、Ｋ）印刷記録処理を行なうことにより、第１副情報および第２副情報が不可視状態で埋め込まれた第２合成画像情報が記録媒体上に記録される。このようにして第２合成画像情報が記録された記録媒体が個人認証媒体として利用者に渡され、利用者により使用されることになる。

なお、ステップＳ１１０２の副情報作成処理以外は前述した第１の実施の形態と同様であるので、説明は省略する。
また、作成した合成画像情報から副情報を復元する復元処理も前述した第１の実施の形態と同様な手法で実現可能であるので、説明は省略する。

以下、図１２のステップＳ１１０２における副情報作成処理について詳細に説明する。
まず、第１副情報は、第１の実施の形態でも説明したように、たとえば、個人認証媒体の識別番号（いわゆるＩＤ番号）、氏名、生年月日、有効期限などの個人管理情報から読出して作成する。これはオペレータが手動で行なっても、本装置が自動処理しても構わない。

次に、作成した第１副情報に基づいて第２副情報を作成する。この場合、下記のような分類分けが可能である。
(1) 第１副情報と第２副情報とを独立にする。
(2) 第１副情報と第２副情報とを同等なものにする。
(3) 第１副情報の復元の祭に切出す切出し位置を決定するのに第２副情報を用いる。
(4) 第１副情報と第２副情報とを合わせて初めて意味あるものとする。

まず、上記(1)の例について図１２を参照して説明する。図１２（ａ）は第１副情報１２０１、図１２（ｂ）は第２副情報１２１１を示す。たとえば、国籍が「日本」、住所が「東京都・・・」の場合、第１副情報１２０１には「ＴＯＫＹＯ」という文字列１２０２、第２副情報１２１１には「ＪＡＰＡＮ」という文字列１２１２を用いる。別の例としては、ロゴマークなどの図形を用いた例として、第１副情報１２０１には「円」の図形１２０３、第２副情報１２１１には「三角」の図形１２１３を用いる。
このように、第１副情報と第２副情報の内容を異なるようにすることにより、副情報全体の埋め込み容量を増加させることができる。

なお、上記例では、第１副情報と第２副情報に使用する情報の位置をあえて対応させて同じ位置にしたが、本発明ではこれらの制限は存在せず、主画像情報の範囲内ならばどのようにレイアウトしても構わない。

次に、上記(2)の例について図１３を参照して説明する。図１３（ａ）は第１副情報１３０１、図１３（ｂ）は第２副情報１３１１を示す。この場合、第１副情報１３０１の中身と第２副情報１３１１の中身は同じものを表現している。符号１３０２および１３１２が住所の一部を示していて、符号１３０３および１３１３がロゴマークを示している。

このように、第１副情報と第２副情報とを同等なものにすることにより、副情報を多重化することができ、２つの副情報のどちらかが改ざんされた場合に、それが簡単に見破れ、セキュリティ性を向上させることが可能になる。
また、どちらかの副情報が壊れたりして復元できない場合でも、残りの片方が復元できれば副情報を元に戻すことでき、副情報の復元率向上が可能になる。

次に、上記(3)の例について図１４を参照して説明する。図１４（ａ）は第１副情報１４０１、図１４（ｂ）は第２副情報１４１１を示す。たとえば、個人認証媒体の住所が「東京都・・・」で、個人認証媒体の識別番号であるシリアル番号が「１２３８９０」である場合に、第１副情報１４０１には住所の一部である「ＴＯＫＹＯ」という文字列１４０２およびシリアル番号である「１２３８９０」の中間にダミー情報として「４５６７」の文字列を挿入した「１２３４５６７８９０」という文字列１４０３を用いる。

第２副情報１４１１には、たとえば、図１４（ｂ）に示すように、第１副情報１４０１にマスクをかけると正しく第１副情報１４０１の内容が確認できるような位置切出し領域１４１２，１４１３，１４１４を設定したマスク用２値画像を用いる。

この場合、第１副情報１４０１のみを復元しても、「ＴＯＫＹＯ」という文字列１４０２は正しく復元して認識できるが、シリアル番号である「１２３８９０」は中間にダミー情報「４５６７」が挿入してあるため、「１２３４５６７８９０」と復元される。このため、結果としてシリアル番号が誤りという結果になる。しかし、復元した第１副情報１４０１上に復元した第２副情報（マスク用２値画像）１４１１をかけることにより、「ＴＯＫＹＯ」および「１２３８９０」という文字列が正しく認識されることになる。

このように、第１副情報の復元の切出し位置を決定するのに第２副情報を用いることによって、第１副情報および第２副情報の両方を正しく復元してマスクしないと正しい情報がわからないため、セキュリティ性を著しく向上させることができる。
また、第１副情報の復元位置切出し情報を持たせることにより、必要ない部分の画像処理の手間を省くことができるので、処理の省力化および高速化が可能になる。

次に、上記(4)の例について図１５を参照して説明する。図１５（ａ）は第１副情報１５０１、図１５（ｂ）は第２副情報１５１１を示す。たとえば、国籍が「日本」、ロゴマークが「黒丸」の場合、第１副情報１５０１には文字「ＰＡ」を除いた「ＪＡ Ｎ」という文字列１５０２および黒丸の中心部を抜いた「中抜け黒丸」の図形１５０３、第２副情報１５１１には文字「ＪＡ、Ｎ」を除いた「 ＰＡ 」という文字列１５１２および黒丸の抜いた中心部に対応した「小さい黒丸」の図形１５１３を用いる。この場合、第１副情報１５０１のみ、または第２副情報１５１１のみをそれぞれ単独に復元しても、副情報の内容は理解できないようになっている。
しかし、第１副情報１５０１および第２副情報１５１１の両方をそれぞれ復元して合成すると、国籍の「ＪＡＰＮ」およびロゴマークの「黒丸」が正しく認識できることになる。

このように、第１副情報と第２副情報とを合わせて初めて意味あるものとすることによって、第１副情報および第２副情報の両方をそれぞれ正しく復元しないと正しい情報がわからないため、セキュリティ性を著しく向上させることができる。
また、どちらかの情報が改ざんされた場合は、第１副情報と第２副情報とが合成できなくなるので簡単に見分けることが可能になる。

以上説明したような画像処理方法を用いることにより、以下のような作用効果が期待できる。
(1) 特殊な材料を用いずに、電子透かし処理のセキュリティ性をより高めることができる。
(2) 副情報の埋め込み容量の増加が可能になる。
(3) 副情報の多重化によるセキュリティ強度が向上する。
(4) 副情報の切出しを簡易に行なうことが可能になる。
(5) 切出し位置を指定することができるため、副情報にダミー情報を入れてセキュリティ性を高めることが容易に行なえる。

本発明の第１の実施の形態に係る画像処理方法の全体の流れを示すフローチャート。 本発明の第１の実施の形態に係る画像処理方法における要部の処理の流れを模式的に示す流れ図。 作成された個人認証媒体の一例を模式的に示す平面図。 電子透かし埋め込み処理の流れを模式的に示す図。 電子透かし埋め込み処理の手順を模式的に示す流れ図。 第１埋め込み処理で埋め込んだ第１副情報を復元する復元処理について説明する模式図。 第２埋め込み処理に用いる墨入れ処理の概念を示す図、 第２埋め込み処理を行なったときの画素の状態を示す模式図。 第２埋め込み処理を行なったときの記録特性を示す図。 第２埋め込み処理を行なったときの波長とスペクトル濃度との関係を示す図。 本発明の第２の実施の形態に係る画像処理方法の全体の流れを示すフローチャート。 副情報作成処理の第１の例を説明する図。 副情報作成処理の第２の例を説明する図。 副情報作成処理の第３の例を説明する図。 副情報作成処理の第４の例を説明する図。

符号の説明

Ｓ１０１…画像入力ステップ、Ｓ１０２，２０３，４０４…第１埋め込みステップ、Ｓ１０３…色変換ステップ、Ｓ１０４，２０６…第２埋め込みステップ、Ｓ１０５，２０７…記録ステップ、Ｓ１１１…画像入力ステップ（読取りステップ）、Ｓ１１２…第１復元ステップ、Ｓ１１３…第２復元ステップ、Ｓ１１４…結果表示ステップ、８０１…個人認証媒体、３０２…顔画像、３０３…個人管理情報、２０１，４０１…主画像情報、２０２，４０２…第１副情報、２０４，４０５…第１合成画像情報、２０５…第２副情報、４０３…鍵情報、２０８，４０５…第２合成画像情報。

Claims (9)

1. 人間の肉眼で可視状態の主画像情報に対して、人間の肉眼で不可視状態で副情報を埋め込むことによって作成した合成画像情報を記録媒体上に可視状態で記録する画像処理方法において、
   主画像情報に対して第１副情報を不可視状態で埋め込むことにより第１合成画像情報を作成する第１埋め込みステップと、
   この第１埋め込みステップにより作成された第１合成画像情報に対して第１色、第２色、第３色の各色成分に色変換処理を施す色変換ステップと、
   この色変換ステップにより第１色、第２色、第３色の各色成分に色変換された第１合成画像情報に対して、視覚的に等価な第１色、第２色、第３色の３色あるいは第１色、第２色、第３色、第４色の４色を、第２副情報に合わせて選択的に組合わせることにより当該第２副情報を不可視状態で埋め込み、第２合成画像情報を作成する第２埋め込みステップと、
   この第２埋め込みステップにより作成された第２合成画像情報を、近赤外領域の波長を吸収しない第１色、第２色、第３色のインクおよび近赤外領域の波長を吸収する第４色のインクを用いて記録媒体に記録する記録ステップと、
   を具備したことを特徴とする画像処理方法。
2. 前記第１埋め込みステップは、主画像情報および第１副情報および当該第１副情報を復元する際に用いる鍵情報を用いて色差変調処理を行なうことにより主画像情報に対して第１副情報を不可視状態で埋め込み、第１合成画像情報を作成することを特徴とする請求項１記載の画像処理方法。
3. 人間の肉眼で可視状態の主画像情報に対して、人間の肉眼で不可視状態で副情報を埋め込むことによって作成した合成画像情報を記録媒体上に可視状態で記録し、前記記録媒体上に記録された合成画像情報を読取り、この読取った合成画像情報から前記副情報を復元する画像処理方法において、
   主画像情報および第１副情報および当該第１副情報を復元する際に用いる２値で構成された鍵情報を用いて色差変調処理を行なうことにより主画像情報に対して第１副情報を不可視状態で埋め込み、第１合成画像情報を作成する第１埋め込みステップと、
   この第１埋め込みステップにより作成された第１合成画像情報に対して第１色、第２色、第３色の各色成分に色変換処理を施す色変換ステップと、
   この色変換ステップにより第１色、第２色、第３色の各色成分に色変換された第１合成画像情報に対して、視覚的に等価な第１色、第２色、第３色の３色あるいは第１色、第２色、第３色、第４色の４色を、第２副情報に合わせて選択的に組合わせることにより当該第２副情報を不可視状態で埋め込み、第２合成画像情報を作成する第２埋め込みステップと、
   この第２埋め込みステップにより作成された第２合成画像情報を、近赤外領域の波長を吸収しない第１色、第２色、第３色のインクおよび近赤外領域の波長を吸収する第４色のインクを用いて記録媒体に記録する記録ステップと、
   前記記録媒体上に記録された第２合成画像情報を読取る読取ステップと、
   この読取ステップにより読取られた第２合成画像情報から前記鍵情報に固有の空間周波数成分を抽出し、この抽出された空間周波数成分から前記第１副情報を再構成することにより前記第１副情報を復元する第１復元ステップと、
   前記読取ステップにより読取られた第２合成画像情報から画点を構成しているインクの分光特性を利用して前記第２副情報を復元する第２復元ステップと、
   を具備したことを特徴とする画像処理方法。
4. 前記第２復元ステップは、波長が８００ｎｍ以上の近赤外領域を用いて第２合成画像情報の中に第４色で形成されている画素が存在するか否かで第２副情報の２値の区別を行なうことにより第２副情報の復元を行なうことを特徴とする請求項３記載の画像処理方法。
5. 人間の肉眼で可視状態の主画像情報に対して、人間の肉眼で不可視状態で副情報を埋め込むことによって作成した合成画像情報を記録媒体上に可視状態で記録する画像処理方法において、
   第１副情報および第２副情報を作成する副情報作成ステップと、
   この副情報作成ステップにより作成された第１副情報を不可視状態で主画像情報に埋め込むことにより第１合成画像情報を作成する第１埋め込みステップと、
   この第１埋め込みステップにより作成された第１合成画像情報に対して第１色、第２色、第３色の各色成分に色変換処理を施す色変換ステップと、
   この色変換ステップにより第１色、第２色、第３色の各色成分に色変換された第１合成画像情報に対して、視覚的に等価な第１色、第２色、第３色の３色あるいは第１色、第２色、第３色、第４色の４色を、前記副情報作成ステップにより作成された第２副情報に合わせて選択的に組合わせることにより当該第２副情報を不可視状態で埋め込み、第２合成画像情報を作成する第２埋め込みステップと、
   この第２埋め込みステップにより作成された第２合成画像情報を、近赤外領域の波長を吸収しない第１色、第２色、第３色のインクおよび近赤外領域の波長を吸収する第４色のインクを用いて記録媒体に記録する記録ステップと、
   を具備したことを特徴とする画像処理方法。
6. 前記副情報作成ステップは、前記第１副情報および第２副情報を互いに独立な情報として作成することを特徴とする請求項５記載の画像処理方法。
7. 前記副情報作成ステップは、前記第１副情報および第２副情報を等価な情報として作成することを特徴とする請求項５記載の画像処理方法。
8. 前記副情報作成ステップは、前記第１副情報の位置切り出しマスク情報として前記第２副情報を作成することを特徴とする請求項５記載の画像処理方法。
9. 前記副情報作成ステップは、前記第１副情報および第２副情報が単独では意味をなさず、両者を合わせることにより意味あるようにそれぞれの副情報を作成すること特徴とする請求項５記載の画像処理方法。

Images