JP2021189979A - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

Abstract

【課題】各種環境光下にて撮像された評価対象物の特定色領域を正確に可視化または／及び数値化すること。【解決手段】情報処理装置であって、地色領域に特定色領域を有する評価対象物を含む第１画像を取得する画像取得部と、取得した第１画像を平滑化処理して、第２画像を生成する画像生成部と、第１画像の各成分と、第１画像の各成分に対応する第２画像の成分と、を減算または除算して、第３画像を生成する画像演算部と、第１画像における任意領域の色分布を統計処理して統計値を求め、統計値に基づいて第３画像を２値化するための閾値を決定する閾値決定部と、決定した閾値を用いて、第３画像を、変動成分を補正した２値化画像として、特定色領域を抽出する抽出部と、を備える。【選択図】図１

Description

本発明は、特定色領域を抽出する情報処理装置、情報処理方法および情報処理プログラムに関する。

上記技術分野において、特許文献１には、解像度の異なる画像データ間で差分データを生成し、生成した差分データを所定閾値により２値化することにより、画像処理に用いられる基準データを生成する技術が開示されている。

また、特許文献２には、カラーＬＣＤパネルにおいて、黒欠陥の中に白欠陥が存在する色シミだけを検出するために、原画像データとシェーディング画像データとの差分画像データを作成する。そして、作成した差分画像データに対して経験的に求めた閾値を適用して白欠陥および黒欠陥の位置を示す２値画像データをそれぞれ作成し、作成した２値画像データから、黒欠陥の中に白欠陥を含む黒欠陥のみを抽出する技術が開示されている。

さらに、特許文献３には、郵便物処理装置において、郵便物の表面に赤色で印刷された郵便番号記入枠を抽出するために、書状のドロップアウト画像と非ドロップアウト画像とを取得する。そして、ドロップアウト画像の各画素値からオフセット値を引いた値を閾値として、非ドロップアウト画像の対応する画素の画素値を２値化して、赤色領域を抽出する技術が開示されている。

また、特許文献４には、シミ欠陥を検出するために、検査対象画像の各画素の輝度値の統計データとして、平均値、標準偏差、最大値および最小値を計算し、所定の計算式から白シミ閾値および黒シミ閾値を自動的に決定する技術が開示されている。

特開２００８−９９２７３号公報 特開平９−３２９５２７号公報 特開平８−９８００６号公報 特開２００４−２２６２７２号公報

しかしながら、上記文献に記載の技術では、評価対象物が撮像された環境の環境光の影響を考慮していないので、各種環境光下にて撮像された評価対象物の特定色領域を正確に可視化または／及び数値化することができなかった。

したがって、本発明の目的は、上述の課題を解決する技術を提供することにある。

上記目的を達成するため、本発明に係る情報処理装置は、
地色領域に特定色領域を有する評価対象物を含む第１画像を取得する画像取得部と、
取得した前記第１画像を平滑化処理して、第２画像を生成する画像生成部と、
前記第１画像の各成分と、前記第１画像の各成分に対応する前記第２画像の成分と、を減算または除算して、第３画像を生成する画像演算部と、
前記第１画像における任意領域の色分布を統計処理して統計値を求め、前記統計値に基づいて前記第３画像を２値化するための閾値を決定する閾値決定部と、
決定した前記閾値を用いて、前記第３画像を、変動成分を補正した２値化画像として、前記特定色領域を抽出する抽出部と、
を備える。

上記目的を達成するため、本発明に係る情報処理方法は、
地色領域に特定色領域を有する評価対象物を含む第１画像を取得する画像取得ステップと、
取得した前記第１画像を平滑化処理して、第２画像を生成する画像生成ステップと、
前記第１画像の各成分と、前記第１画像の各成分に対応する前記第２画像の成分と、を減算または除算して、第３画像を生成する画像演算ステップと、
前記第１画像における任意領域の色分布を統計処理して統計値を求め、前記統計値に基づき前記第３画像を２値化するための閾値を決定する閾値決定ステップと、
決定した前記閾値を用いて、前記第３画像を、変動成分を補正した２値化画像として、前記特定色領域を抽出する抽出ステップと、
を含む。

上記目的を達成するため、本発明に係る情報処理プログラムは、
地色領域に特定色領域を有する評価対象物を含む第１画像を取得する画像取得ステップと、
取得した前記第１画像を平滑化処理して、第２画像を生成する画像生成ステップと、
前記第１画像の各成分と、前記第１画像の各成分に対応する前記第２画像の成分と、を減算または除算して、第３画像を生成する画像演算ステップと、
前記第１画像における任意領域の色分布を統計処理して統計値を求め、前記統計値に基づき前記第３画像を２値化するための閾値を決定する閾値決定ステップと、
決定した前記閾値を用いて、前記第３画像を、変動成分を補正した２値化画像として、前記特定色領域を抽出する抽出ステップと、
をコンピュータに実行させる。

本発明によれば、各種環境光下にて撮像された評価対象物の特定色領域を正確に可視化または／及び数値化することができる。

本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置の動作の概要を説明するための図である。 本発明の第２実施形態に係る情報処理装置の構成を説明するためのブロック図である。 本発明の第２実施形態に係る情報処理装置が有する閾値テーブルの一例を説明するための図である。 本発明の第２実施形態に係る情報処理装置のハードウェア構成を説明するためのブロック図である。 本発明の第２実施形態に係る情報処理装置の処理手順を説明するためのフローチャートである。 本発明の第３実施形態に係る情報処理装置の構成を説明するためのブロック図である。 本発明の第３実施形態に係る情報処理装置が有するスコア化テーブルの一例を説明するための図である。 本発明の第３実施形態に係る情報処理装置のハードウェア構成を説明するためのブロック図である。 本発明の第３実施形態に係る情報処理装置の処理手順を説明するためのフローチャートである。 本発明の第３実施形態に係る情報処理装置の実施例１を説明するための図である。 本発明の第３実施形態に係る情報処理装置の実施例１を説明するための図である。 本発明の第３実施形態に係る情報処理装置の実施例２を説明するための図である。 本発明の第３実施形態に係る情報処理装置の実施例３を説明するための図である。

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例であり、本発明の技術範囲を以下の記載に限定する趣旨のものではない。

［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、取得した画像から特定色領域を抽出する装置である。

情報処理装置１００は、画像取得部１０１、画像生成部１０２、画像演算部１０３、閾値決定部１０４および抽出部１０５を備える。画像取得部１０１は、地色領域に特定色領域を有する評価対象物を含む第１画像１１１を取得する。画像生成部１０２は、取得した第１画像１１１を平滑化処理して、第２画像１２１を生成する。画像演算部１０３は、第１画像１１１の各成分と、第１画像１１１の各成分に対応する第２画像１２１の成分と、を減算または除算して、第３画像１３１を生成する。閾値決定部１０４は、第１画像１１１における任意領域の色分布を統計処理して統計値１４１を求め、統計値１４１に基づいて第３画像１３１を２値化するための閾値１４２を決定する。抽出部１０５は、決定した閾値１４２を用いて、第３画像１３１を、変動成分を補正した２値化画像として、特定色領域１５１を抽出する。

本実施形態によれば、各種環境光下にて撮像された評価対象物の特定色領域を正確に可視化または／及び数値化することができる。

［第２実施形態］
次に本発明の第２実施形態に係る情報処理装置２００について、図２乃至図６を用いて説明する。図２を参照して、情報処理装置２００の動作の概要を説明する。

ユーザは、自身が所持するスマートフォンやタブレット端末などの携帯端末２１０を用いて、携帯端末２１０のディスプレイに表示された枠２１１の半分以上の領域に評価対象物が入るように、ユーザが評価を得たい対象である評価対象物２２０を撮像する。なお、図２では、評価対象物２２０は、ユーザの左前腕部分としているが、これには限定されない。

携帯端末２１０は、撮像された画像２１２を情報処理装置２００へと送信する。情報処理装置２００は、受信した画像２１２に対して種々の画像処理を行い、特定色領域２１３を画像２１２に重畳した重畳画像２０１を携帯端末２１０へと送信する。

枠２１１の中に特定色領域２１３が含まれていても、含まれていなくてもよいが、含まれていない方が好ましい。そのため、携帯端末２１０のディスプレイに枠２１１を表示することにより、地色領域２１４が、画像２１２内のどの部分なのかを特定し易くしている。したがって、枠２１１の中に特定色領域２１３が含まれていない方が好ましい。また、枠２１１の大きさは、撮像された画像２１２の全画素の０．０１％〜３０％が含まれていることが好ましいが、全画素の０．２％〜１５％が含まれていることがより好ましい。また、枠２１１の半分以上の領域に評価対象物が入るように撮像することが好ましいが、全ての領域に評価対象物が入るように撮像することがより好ましい。なお、携帯端末２１０に設けられているカメラから評価対象物２２０までの距離は、２ｃｍ〜２ｍであることが好ましいが、カメラレンズの性能に依存する。

ユーザが、評価対象物２２０を含む画像２１２を撮像する条件は、様々であり、例えば、屋外の太陽光下で撮像したり、室内の蛍光灯光下やＬＥＤ（Light Emitting Diode）光下で撮像したりする。すなわち、ユーザは、様々な照明環境（環境光）下で評価対象物２２０の撮像を行うが、照明環境により、特定色領域２１３の色味が変動するため、特定色領域２１３の抽出の成否は、照明環境に依存する。

そのため、情報処理装置２００においては、受信した画像２１２に対して、照明環境による影響を低減するための画像処理を行う。情報処理装置２００は、まず初めに、照明によるムラを低減させるため、画像２１２に対して、照明ムラ補正を行う。その後、情報処理装置２００は、照明ムラ補正画像に対して、閾値を用いて２値化して、２値化画像を生成し、２値化画像から特定色領域２１３を抽出する。また、枠２１１の領域の色分布に基づき、地色領域２１４を抽出する。そして、情報処理装置２００は、抽出された地色領域２１４に存在する特定色領域２１３を画像２１２に重畳した重畳画像２０１を生成して、携帯端末２１０へ送信する。携帯端末２１０は、受信した重畳画像２０１をディスプレイに表示する。これにより、ユーザは、評価対象物２２０のうち特定色領域２１３がどの部分に存在するかを容易に認識できる。

次に、図３を参照して、情報処理装置２００の構成について説明する。情報処理装置２００は、画像取得部３０１、画像生成部３０２、画像演算部３０３、閾値決定部３０４、抽出部３０５および出力制御部３０６を備える。

画像取得部３０１は、地色領域２１４に特定色領域２１３を有する評価対象物２２０を含む画像２１２を取得する。なお、ここでは、特定色領域２１３は、赤み領域として説明するが、特定色領域２１３の色は、赤には限定されない。また、画像２１２は、ＲＧＢ色空間の画像である、ＲＧＢ画像である。

画像生成部３０２は、取得した画像２１２を平滑化処理して、平滑化画像３２１を生成する。具体的には、画像生成部３０２は、まず、ＲＧＢ画像である画像２１２をＬ^＊ａ^＊ｂ^＊色空間の画像であるＬ^＊ａ^＊ｂ^＊画像（以下、「Ｌａｂ画像」と省略する）に変換する。

そして、画像生成部３０２は、ＲＧＢ画像をＬａｂ画像に変換した後に、変換されたＬａｂ画像のａ^＊値に対してフィルタ処理を行う。ここで、フィルタ処理は、平滑化処理であり、例えば、平均値フィルタや、ガウシアンフィルタ、移動平均フィルタ、メディアンフィルタ、荷重平均フィルタ、ローパスフィルタなどを含む。平滑化処理により、画像の輝度値が均され、画像の輝度ムラの低減に使用できる。

なお、ＲＧＢ画像からの画像変換は、色相や色空間の変換、例えばＬ^＊ａ^＊ｂ^＊変換、グレースケール変換、ＨＳＶ変換、ＹＣｂＣｒ変換、ＸＹＺ変換、Ｌ^＊ｕ^＊ｖ^＊変換、ＣＭＹ変換、ＨＬＳ変換であってもよく、これに限定されるものではない。そして、検出したい色味に応じて使用する画像変換（色変換）を変えることで、検出対象の色味を確実に検出できる。

画像演算部３０３は、画像２１２の各成分と、画像２１２の各成分に対応する平滑化画像３２１の成分と、を減算または除算して、画像３３１（減除算画像）を生成する。ここで、画像演算部３０３による演算は、画像２１２から平滑化画像３２１を減算または除算しても、これとは反対に、平滑化画像３２１から画像２１２を減算または除算してもよい。画像演算部３０３は、平滑化処理前のａ^＊値の画像に対して、平滑化処理後のａ^＊画像を減算または除算する。これにより、画像２１２の照明ムラ補正ができる。例えば、ａ^＊値により高い赤みを検出する場合には、画像２１２から平滑化画像３２１を減算するのが好ましい。なお、平滑化する画像は、Ｌ^＊画像またはｂ^＊画像であってもよい。

閾値決定部３０４は、画像２１２における枠２１１の領域の色分布を統計処理して統計値３４１を求め、統計値３４１に基づいて、画像３３１を２値化するための閾値３４２を決定する。閾値決定部３０４は、画像２１２をＬａｂ画像に変換した画像の枠２１１の領域のａ^＊値の中央値（統計値３４１）に対応する閾値３４２を決定する。

ここで、閾値３４２は、いくつかのａ^＊値の中央値に対して経験的に決められる値であり、ａ^＊値の中央値に対してある値を閾値３４２とした場合の結果から導き出される。例えば、ａ^＊値の中央値のいくつかに対して、経験的に得られる閾値３４２を割り当て、その結果から、最もよい結果を得られる閾値３４２をグラフ上にプロットする。そして、グラフ上にプロットされた閾値３４２に対して、指数近似、直線近似、対数近似、多項式近似などの各種近似を用いて、検量線を導出する。これにより、ａ^＊値の中央値のそれぞれに対応する閾値３４２が導出される。このように、予めそれぞれのａ^＊値の中央値に対応する閾値３４２を決定しておくことで、その都度、閾値３４２を計算する必要がない。

抽出部３０５は、決定した閾値３４２を用いて、画像３３１を、環境光条件およびカメラパラメータの少なくともいずれかの影響により変動する成分の影響が低減するように補正した２値化画像として、特定色領域２１３を抽出する。ここで、変動成分の補正は、例えば、画像３３１から色調補正値（環境光やホワイトバランス）による影響を除去することをいうが、これには限定されない。

また、抽出部３０５は、枠２１１の領域の色分布に基づいて、地色を抽出する。これにより、地色領域２１４が決定される。地色領域２１４の抽出は、例えば、ＲＧＢ画像である画像２１２をＨＳＶ画像に変換して行われる。すなわち、変換されたＨＳＶ画像の各輝度値の最大値および最小値を用いて、地色領域２１４の抽出を行う。具体的には、枠２１１の領域の、Ｈ値の最小値−２０からＨ値の最大値＋２０，Ｓ値の最小値−２０からＳ値の最大値＋２０，Ｖ値の最小値―２０からＶ値の最大値＋２０の範囲を地色として、この範囲にある領域を二値化された地色領域２１４として抽出する。なお、ここでは、ＲＧＢ画像をＨＳＶ画像に変換して地色領域２１４を抽出する例で説明したが、ＲＧＢ画像の変換方法は、ＨＳＶ変換には限定されない。ＨＳＶ変換を用いる他に、例えば、Ｌ^＊ａ^＊ｂ^＊変換、ＹＣｂＣｒ変換、ＸＹＺ変換、Ｌ^＊ｕ^＊ｖ^＊変換、ＣＭＹ変換およびＨＬＳ変換の平均値、中央値、最頻値、第一四分位数、第三四分位数、標準偏差、最大値、最小値、分散などから地色領域２１４を抽出してもよい。

出力制御部３０６は、抽出された地色領域２１４に存在する特定色領域２１３を画像２１２に重畳して出力する。携帯端末２１０は、出力制御部３０６が出力した重畳画像２０１をディスプレイに表示する。なお、特定色領域２１３が重畳される元の画像２１２は、静止画には限定されず、動画であってもよい。すなわち、出力制御部３０６は、ユーザが撮像した映像やライブ映像（画像２１２）に対して特定色領域２１３を重畳した映像を出力してもよい。

図４を参照して、情報処理装置２００が有する閾値テーブル４０１の一例について説明する。閾値テーブル４０１は、中央値４１１に関連付けて閾値３４２を記憶する。中央値４１１は、ａ^＊値の中央値である。閾値３４２は、画像３３１を２値化して、２値化画像を得るために用いられる基準値である。そして、閾値決定部３０４は、閾値テーブル４０１を参照して閾値３４２を決定する。

図５を参照して、情報処理装置２００のハードウェア構成について説明する。ＣＰＵ(Central Processing Unit)５１０は、演算制御用のプロセッサであり、プログラムを実行することで図３の情報処理装置２００の各機能構成を実現する。ＣＰＵ５１０は複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭ(Read Only Memory)５２０は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース５３０は、ネットワークを介して他の装置などと通信する。なお、ＣＰＵ５１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース５３０は、ＣＰＵ５１０とは独立したＣＰＵを有して、ＲＡＭ(Random Access Memory)５４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ５４０とストレージ５５０との間でデータを転送するＤＭＡＣ(Direct Memory Access Controller)を設けるのが望ましい（図示なし）。さらに、ＣＰＵ５１０は、ＲＡＭ５４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ５１０は、処理結果をＲＡＭ５４０に準備し、後の送信あるいは転送はネットワークインタフェース５３０やＤＭＡＣに任せる。

ＲＡＭ５４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。画像データ５４１は、画像取得部３０１が取得した画像２１２に関するデータである。平滑化画像データ５４２は、画像２１２を平滑化処理して得られる平滑化画像３２１に関するデータである。減除算画像データ５４３は、画像２１２の各成分と、それに対応する平滑化画像３２１の成分と、を減算または除算して得られる画像３３１に関するデータである。閾値データ５４４は、閾値テーブル４００から読み出された閾値に関するデータである。２値化画像データ５４５は、閾値３４２を用いて画像３３１を２値化した２値化画像に関するデータである。

送受信データ５４６は、ネットワークインタフェース５３０を介して送受信されるデータである。また、ＲＡＭ５４０は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域５４７を有する。

ストレージ５５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ５５０は、閾値テーブル４０１を格納する。閾値テーブル４０１は、図４に示した中央値４１１と閾値３４２との関係を管理するテーブルである。

ストレージ５５０は、さらに、画像取得モジュール５５１、画像生成モジュール５５２、画像演算モジュール５５３、閾値決定モジュール５５４および抽出モジュール５５５を格納する。画像取得モジュール５５１は、地色領域２１４に特定色領域２１３を有する評価対象物２２０を含む画像２１２を取得するモジュールである。画像生成モジュール５５２は、画像２１２を平滑化処理して平滑化画像３２１を生成するモジュールである。画像演算モジュール５５３は、画像２１２と平滑化画像３２１とを減算または除算して、画像３３１を生成するモジュールである。閾値決定モジュール５５４は、画像２１２における枠２１１の領域の色分布を統計処理した統計値から画像３３１を２値化するための閾値３４２を決定するモジュールである。抽出モジュール５５５は、閾値３４２を用いて、画像３３１を、変動成分を補正した２値化画像として、特定色領域２１３を抽出するモジュールである。抽出モジュール５５５は、枠２１１の領域の色分布に基づいて、地色領域２１４を抽出するモジュールである。これらのモジュール５５１〜５５５は、ＣＰＵ５１０によりＲＡＭ５４０のアプリケーション実行領域５４７に読み出され、実行される。制御プログラム５５６は、情報処理装置２００の全体を制御するためのプログラムである。

入出力インタフェース５６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース５６０には、表示部５６１、操作部５６２、が接続される。また、入出力インタフェース５６０には、さらに、記憶媒体５６４が接続されてもよい。さらに、音声出力部であるスピーカ５６３や、音声入力部であるマイク（図示せず）、あるいは、ＧＰＳ位置判定部が接続されてもよい。なお、図５に示したＲＡＭ５４０やストレージ５５０には、情報処理装置２００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

図６のフローチャートを参照して、情報処理装置２００の処理手順について説明する。このフローチャートは、図５のＣＰＵ５１０がＲＡＭ５４０を使用して実行し、図３の情報処理装置２００の各機能構成を実現する。ステップＳ６０１において、画像取得部３０１は、画像２１２を取得する。ステップＳ６０３において、画像生成部３０２は、画像２１２を平滑化処理して、平滑化画像３２１を生成する。ステップＳ６０５において、減除算画像を生成する。ステップＳ６０７において、閾値決定部３０４は、画像２１２における枠２１１の領域の色分布を統計処理して統計値３４１を求める。ステップＳ６０９において、閾値決定部３０４は、統計値３４１に基づいて閾値３４２を決定する。ステップＳ６１１において、抽出部３０５は、画像３３１から変動成分を補正した２値化画像を生成する。ステップＳ６１３において、抽出部３０５は、特定色領域２１３を抽出する。ステップＳ６１５において、抽出部３０５は、地色領域２１４を抽出する。ステップＳ６１７において、出力制御部３０６は、重畳画像２０１を出力する。

本実施形態によれば、評価対象物２２０に含まれる特定色領域２１３を元の画像２１２に重畳して表示するので、特定色領域２１３の存在する場所を視覚的に容易に認識できる。また、照明環境の影響を排除して、特定色領域２１３の抽出を行うので、どのような照明環境であっても特定色領域２１３の抽出を精度高く行える。

なお、上述の説明では、情報処理装置２００として、サーバを例に説明をしたが、情報処理装置２００が備える各機能構成は、例えば、スマートフォンやタブレット端末、ＰＣ（Personal Computer）に実装されてもよい。各機能構成がスマートフォンやタブレット端末などの携帯端末に実装される場合は、携帯端末とサーバとの間の通信は不要となる。

［第３実施形態］
次に本発明の第３実施形態に係る情報処理装置７００について、図７〜図１０を用いて説明する。図７は、本実施形態に係る情報処理装置７００の構成を示すブロック図である。本実施形態に係る情報処理装置７００は、上記第２実施形態と比べると、スコア化部７０１を有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

情報処理装置７００は、スコア化部７０１を有する。スコア化部７０１は、地色領域２１４に対する特定色領域２１３の割合に基づいて、特定色領域２１３の存在の程度をスコア化する。具体的には、スコア化部７０１は、地色領域２１４に占める特定色領域２１３の割合（Ｐ）に基づいて、スコア（Ｓ）を算出する。スコア化部７０１は、例えば、Ｐ＝０〜０．１％の場合、Ｓ＝０、Ｐ＝０．１％〜１．０％の場合、Ｓ＝１、Ｐ＝１．０％〜５．０％の場合、Ｓ＝２、Ｐ＞５．０％の場合、Ｓ＝３とする。なお、ここでは、０〜３の４段階で評価したが、例えば、１０段階評価をしても、あるいは、Ａ〜Ｅなどのランク評価をしても、０〜１００の点数評価をしてもよく、これらには限定されない。

図８を参照して、情報処理装置７００が有するスコア化テーブル８０１の一例について説明する。スコア化テーブル８０１は、特定色領域割合８１１に関連付けてスコア８１２を記憶する。特定色領域割合８１１は、地色領域２１４に占める特定色領域２１３の割合（Ｐ）である。スコア８１２は、割合（Ｐ）に基づいて決められる値である。ここでは、０〜３までの４段階でスコア化しているが、スコア化の手法はこれには限定されない。

図９を参照して、情報処理装置７００のハードウェア構成について説明する。ＲＡＭ９４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ９４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。割合データ９４１は、地色領域２１４に占める特定色領域２１３の割合を表すデータである。スコアデータ９４２は、割合（Ｐ）に対応して決定されるスコアに関するデータである。

ストレージ９５０は、スコア化テーブル８０１を格納する。スコア化テーブル８０１は、特定色領域割合８１１とスコア８１２との関係を管理するテーブルである。ストレージ９５０は、さらに、スコア化モジュール９５１を格納する。スコア化モジュール９５１は、地色領域２１４に対する特定色領域２１３の割合に基づき、特定色領域２１３の存在の程度をスコア化するモジュールである。

図１０のフローチャートを参照して、情報処理装置７００の処理手順について説明する。このフローチャートは、図９のＣＰＵ５１０がＲＡＭ９４０を使用して実行し、図７の情報処理装置７００の各機能構成を実現する。ステップＳ１００１において、スコア化部７０１は、地色領域２１４に占める特定色領域２１３の割合を算出する。ステップＳ１００３において、スコア化部７０１は、算出した割合に基づいて、特定色領域２１３の存在の程度をスコア化する。ステップＳ１００５において、出力制御部３０６は、重畳画像２０１にさらにスコアを重畳して出力する。

本実施形態によれば、評価対象物の特定色領域の割合をスコア化するので、肌の改善の度合いを容易に把握できる。

［実施例１］
次に、図１１Ａ〜図１１Ｂを参照して本実施形態の実施例１について説明する。なお、本実施例においては、肌領域（地色領域２１４）の赤み領域（特定色領域２１３）を抽出する例で説明する。情報処理装置７００は、肌を写した肌画像をＲＧＢ画像からＬａｂ画像へと変換する（１１０１→１１０２）。次に、情報処理装置７００は、変換されたＬａｂ画像のａ^＊値に対してフィルタ処理として平滑化処理を行う（１１０３）。そして、情報処理装置７００は、平滑化処理前のａ^＊値画像（１１０２）に対して、平滑化処理後のａ^＊値画像（１１０３）を減算する（１１０４）。画像の任意領域（枠２１１の領域）の色分布を統計処理して統計値を求め、求めた統計値に基づいて２値化するための閾値３４２を算出する（１１０５）。閾値３４２の算出には、予め異なる撮影条件で撮影された同一の画像に存在する特定色領域の面積が、各枠２１１の領域のa*値の中央値に応じて同値となるように閾値３４２を割り当てて、検量線１１５１を作成し、作成した検量線１１５１から閾値３４２を算出する。そして、減算された画像（１１０４）に対して、算出した閾値３４２を用いて、２値化して赤み領域を検出する（１１０４→１１０６）。すなわち、減算された画像（１１０４）において、所定輝度値以上の値を持つ画素と、所定輝度値未満の値を持つ画素とを峻別することにより、２値化された画像（１１０６）を生成し、赤み領域を検出する。

次に、情報処理装置７００は、肌が写っている画像の任意領域（枠２１１の領域）の色分布から肌領域を検出した二値化画像を生成する（１１０１→１１０８）。肌領域の検出は、ＲＧＢ画像をＨＳＶ画像に変換した画像を用いて行われる。そして、肌領域は、例えば、任意領域（枠２１１の領域）のＨ値の最小値―２０からＨ値の最大値＋２０，Ｓ値の最小値−２０からＳ値の最大値＋２０，Ｖ値の最小値―２０からＶ値の最小値＋２０の範囲の領域として検出される。そして、赤み領域を検出した画像と肌部位を検出した画像を乗算する（１１０６×１１０８＝１１０９）。これにより、赤み領域のみを含む画像が得られる。そして、情報処理装置７００は、得られた赤み領域（１１０９）の画像を元の画像（１１０１）に重畳して、重畳画像２０１を出力する。次に、情報処理装置７００は、肌色領域（１１０８）の面積に対する赤み領域（１１０９）の面積の割合を算出する。そして、算出された赤み領域の割合に応じて赤みスコアを決定する。決定された赤みスコアは、重畳画像２０１とともに出力される。

［実施例２］
次に、図１２を参照して本実施形態の実施例２について説明する。本実施例は、異なる３つの環境光下において、肌領域（地色領域２１４）の赤み領域（特定色領域２１３）を抽出する例である。図１２の上段が、ユーザが撮像した画像であり、図１２の下段が、検出結果を示す図である。なお、赤み領域の検出のプロセスは、上記実施例１と同様であるので、説明を省略し、結果のみを提示している。

ここで、画像１２０１は、人工光源環境であり、昼光色照明（色温度：５７００Ｋ〜７１００Ｋ）の下で撮像された画像である。画像１２０２は、自然光源環境であり、太陽光（色温度：５０００Ｋ〜６０００Ｋ）の下で、画像１２０３は、人工光源環境であり、電球色照明（色温度：２６００Ｋ〜３２５０Ｋ）の下で撮像された画像である。図１２の下段に示したように、様々な環境光下であっても、赤み領域を正確に検出し、重畳画像１２０４，１２０５，１２０６として出力できている。

［実施例３］
次に、図１３を参照して本実施形態の実施例３について説明する。本実施例は、異なる３つの環境光下において、肌領域（地色領域２１４）から赤み領域（特定色領域２１３）を抽出する例である。本実施例は、上記実施例２と異なり、様々な環境光下で撮像された画像の枠２１１の中に赤み領域（特定色領域１３１１，１３２１，１３３１）が写り込んでいる画像から、赤み領域を抽出する例である。図１３の上段が、ユーザが撮像した画像であり、図１３の下段が、検出結果を示す図である。なお、赤み領域の検出のプロセスは、上記実施例１と同様であるので、説明を省略し、結果のみを提示している。

ここで、画像１３０１，１３０２、１３０３における環境光は、図１２に示した、画像１２０１，１２０２，１２０３のそれぞれと対応している。そして、図１３の下段に示したように、枠２１１の中に赤み領域が入り込んでいても、赤み領域を正確に検出し、重畳画像１３０４，１３０５，１３０６として出力できている。

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

１００ 情報処理装置
１０１ 画像取得部
１１１ 第１画像
１０２ 画像生成部
１２１ 第２画像
１０３ 画像演算部
１３１ 第３画像
１０４ 閾値決定部
１４１ 統計値
１４２ 閾値
１０５ 抽出部
１５１ 特定色領域
２００ 情報処理装置
２０１ 重畳画像
２１０ 携帯端末
２１１ 枠
２１２ 画像
２１３ 特定色領域
２１４ 地色領域
２２０ 評価対象物
３０１ 画像取得部
３０２ 画像生成部
３２１ 平滑化画像
３０３ 画像演算部
３３１ 画像
３０４ 閾値決定部
３４１ 統計値
３４２ 閾値
３０５ 抽出部
３５１ 重畳画像
３０６ 出力制御部
４０１ 閾値テーブル
５１０ ＣＰＵ
５２０ ＲＯＭ
５３０ ネットワークインタフェース
５４０ ＲＡＭ
５５０ ストレージ
５６０ 入出力インタフェース
７００ 情報処理装置
７０１ スコア化部
８０１ スコア化テーブル
９４０ ＲＡＭ
９５０ ストレージ

Claims (13)

1. 地色領域に特定色領域を有する評価対象物を含む第１画像を取得する画像取得部と、
   取得した前記第１画像を平滑化処理して、第２画像を生成する画像生成部と、
   前記第１画像の各成分と、前記第１画像の各成分に対応する前記第２画像の成分と、を減算または除算して、第３画像を生成する画像演算部と、
   前記第１画像における任意領域の色分布を統計処理して統計値を求め、前記統計値に基づいて前記第３画像を２値化するための閾値を決定する閾値決定部と、
   決定した前記閾値を用いて、前記第３画像を、変動成分を補正した２値化画像として、前記特定色領域を抽出する抽出部と、
   を備える情報処理装置。
2. 前記抽出部は、前記任意領域の色分布に基づいて、前記地色領域を抽出する請求項１に記載の情報処理装置。
3. 前記第１画像は、ＲＧＢ画像であり、
   前記抽出部は、ＲＧＢ画像をＨＳＶ画像に変換した後に、前記地色領域を抽出する請求項２に記載の情報処理装置。
4. 抽出された前記地色領域に存在する前記特定色領域を前記第１画像に重畳して出力する出力制御部をさらに備える請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記地色領域に対する前記特定色領域の割合に基づき、前記特定色領域の存在の程度をスコア化するスコア化部をさらに備える請求項１〜４のいずれか１項に記載の情報処理装置。
6. 予め決定されている、前記統計値と前記閾値との関係に基づいて、前記閾値決定部は、前記閾値決定部で求められた前記統計値から前記閾値を決定する、請求項１〜５のいずれか１項に記載の情報処理装置。
7. 前記第１画像は、ＲＧＢ画像であり、
   前記画像生成部は、ＲＧＢ画像をＬ^＊ａ^＊ｂ^＊画像に変換した後に、平滑化処理を行う、請求項１〜６のいずれか１項に記載の情報処理装置。
8. 前記色分布は、Ｌ^＊ａ^＊ｂ^＊画像である請求項１〜７のいずれか１項に記載の情報処理装置。
9. 前記統計値は、ａ^＊値の中央値である請求項８に記載の情報処理装置。
10. 前記画像生成部は、Ｌ^＊画像、ａ^＊画像またはｂ^＊画像のいずれか１画像に平滑化処理を行う、請求項１〜９のいずれか１項に記載の情報処理装置。
11. 前記変動成分は、環境光条件およびカメラパラメータの少なくともいずれかの影響により変動する成分である請求項１〜１０のいずれか１項に記載の情報処理装置。
12. 地色領域に特定色領域を有する評価対象物を含む第１画像を取得する画像取得ステップと、
    取得した前記第１画像を平滑化処理して、第２画像を生成する画像生成ステップと、
    前記第１画像の各成分と、前記第１画像の各成分に対応する前記第２画像の成分と、を減算または除算して、第３画像を生成する画像演算ステップと、
    前記第１画像における任意領域の色分布を統計処理して統計値を求め、前記統計値に基づき前記第３画像を２値化するための閾値を決定する閾値決定ステップと、
    決定した前記閾値を用いて、前記第３画像を、変動成分を補正した２値化画像として、前記特定色領域を抽出する抽出ステップと、
    を含む情報処理方法。
13. 地色領域に特定色領域を有する評価対象物を含む第１画像を取得する画像取得ステップと、
    取得した前記第１画像を平滑化処理して、第２画像を生成する画像生成ステップと、
    前記第１画像の各成分と、前記第１画像の各成分に対応する前記第２画像の成分と、を減算または除算して、第３画像を生成する画像演算ステップと、
    前記第１画像における任意領域の色分布を統計処理して統計値を求め、前記統計値に基づき前記第３画像を２値化するための閾値を決定する閾値決定ステップと、
    決定した前記閾値を用いて、前記第３画像を、変動成分を補正した２値化画像として、前記特定色領域を抽出する抽出ステップと、
    をコンピュータに実行させる情報処理プログラム。
    

Images