JP2008033654A - 写真画像判別方法、写真画像判別プログラム、及び、写真画像処理装置 - Google Patents

Abstract

【課題】簡便な方法により適切に肌領域を検出でき、有害画像であるか否かを自動判別することのできる写真画像処理装置を提供する。
【解決手段】入力されたカラー画像データから人物の顔領域を検出し、前記顔領域の肌の色差データを抽出する顔情報抽出部４１と、前記肌の色差データと相関のある領域を前記カラー画像データから肌領域として検出する肌領域検出部４２と、前記顔領域と前記肌領域との間の領域連続性を判別する領域判別部４３と、前記領域判別部４３で連続領域と判別された顔領域と肌領域の面積比を算出し、前記面積比に基づいて前記カラー画像データに非着衣の人物画像が含まれるか否かを判別する画像判別部４５からなる写真画像判別部３６を備えてなる。
【選択図】図１

Description

本発明は、入力されたカラー画像データに被写体として非着衣の人物が含まれるか否かを自動判別する写真画像判別方法、写真画像判別プログラム、及び写真画像処理装置に関する。

写真プリントショップやミニラボでは、写真プリント装置を用いて顧客から依頼されたフィルム画像やデジタルカメラで撮影されたデジタル画像をプリント処理する際に、オペレータは前記写真プリント装置のモニタ画面にプリント対象画像を表示させて、色や濃度等を手動操作で補正する画像検閲処理を行なう。このときに、公序良俗に反するポルノ画像等、非着衣の人物が被写体となる有害画像が発見されると、対応する画像のプリント処理を回避するように設定することができる。

このような写真プリント装置には、オペレータによる画像検閲処理を行なわなくとも適正な写真プリントが生成できるように、色や濃度等を自動補正する自動処理モードが備わっている。

そのため、オペレータによる作業の効率化や人件費の削減等の観点から、自動処理モードで写真プリントを生成して出荷する場合には、本来出荷すべきでない上述の有害画像が誤って出荷される可能性があった。

一方、インターネット上で有害画像の流通を回避する技術として、特許文献１には、複数のユーザーで共有できるフィルタリングデータベースを設けて、前記フィルタリングデータベースに有害情報等の情報を共有することで、訪問販売業者や、セールス電話や、インターネット上の有害情報へのアクセス等を排除するフィルタリングデータサーバーが提案されている。

さらに、有害画像であるか否かを判断する画像分析技術として、特許文献２には以下の手法が記載されている。先ず、領域分割された画像データから抽出された複数の肌色領域が予め設定された面積の組合せパターンの何れに属するか決定して、前記複数の肌色領域の面積と重心から肌色分布特徴量を求める。次に個々の肌色領域に対して、各肌色領域が属すると決定された面積の組合せパターンに適合したパターン別基準に肌色分布特徴量を照らして、有害画像と判断されなかった画像を除外する。そして、除外されなかった画像を予め設定された顔画像データのパターンに照らして、有害画像と判断されなかった画像を除外して、ここでも除外されなかった画像が有害画像であると判断するものである。

特開２００４−１０２６６２号公報 特開２００２−１７５５２７号公報

しかし、特許文献１に記載されたフィルタリングデータサーバーは、前記フィルタリングサーバーにおいて共有されている画像にのみ効果を発揮するものであり、個々の画像そのものが有害画像であるか否かを解析する具体的な技術を提供するものではなかった。

また、特許文献２に記載された有害画像の弁別方法は、明度や色相のエッジで分割される肌領域の構成パターンと、多数の猥褻ヌード写真を分析した肌領域の構成パターンとの一致度を照合するものであり、人種による肌領域の色相には相当な開きがあり、対象画像から頭部や胴部等の肌領域を適切に切出すのは容易ではなく、また、弁別処理も煩雑で処理負荷が大きくなり、短時間で多くの写真画像を処理する必要のある写真プリント装置に適用するのは困難であった。

本発明の目的は、上述した従来の問題点に鑑み、簡便な方法により適切に肌領域を検出でき、有害画像であるか否かを自動判別することのできる写真画像判別方法、写真画像判別プログラム、及び、写真画像処理装置を提供する点にある。

上述の目的を達成するため、本発明による写真画像判別方法の第一の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、入力されたカラー画像データから人物の顔領域を検出し、前記顔領域の肌の色差データを抽出する顔情報抽出工程と、前記顔情報抽出工程で抽出された肌の色差データと相関のある領域を前記カラー画像データから肌領域として検出する肌領域検出工程と、前記顔領域と前記肌領域検出工程で検出された肌領域との間の領域連続性を判別する領域判別工程と、前記領域判別工程で連続領域と判別された顔領域と肌領域の面積比を算出し、前記面積比に基づいて前記カラー画像データに非着衣の人物画像が含まれるか否かを判別する画像判別工程を備えてなる点にある。

上述の構成によれば、顔情報抽出工程により抽出された顔領域の肌から当該人物の肌の色差データが抽出されるので、肌領域検出工程では肌領域に明暗の影の有無にかかわらず当該色差データに基づいて当該人物の肌領域が正確に抽出されるようになる。そして、画像判別工程では、領域判別工程で判別された顔領域と肌領域の連続する領域における顔領域と肌領域の面積比に基づいて非着衣の人物画像であるか否かが判別されるのである。ここに、画像判別工程では、非着衣の人物画像の前記面積比と着衣の人物画像の面積比とは大きな隔たりがある点に着目して非着衣の人物画像、つまり有害画像であるか否かが判別されるのである。従って、人種による肌領域の色差情報が様々であっても確実に肌領域を検出することができ、簡便に非着衣の人物画像であるか否かを判別することができるようになる。

同第二の特徴構成は、同請求項２に記載した通り、入力されたカラー画像データから人物の顔領域を検出し、前記顔領域の肌の色差データと向き及び大きさを抽出する顔情報抽出工程と、前記顔情報抽出工程で抽出された肌の色差データと相関のある領域を前記カラー画像データから肌領域として検出する肌領域検出工程と、前記顔領域の向き及び大きさに基づいて当該人物の特定部位に対応する特定領域を推定する特定領域推定工程と、前記肌領域検出工程による検出情報に基づいて前記特定領域推定工程により推定された特定領域における肌領域と非肌領域の面積比を算出し、前記面積比に基づいて前記カラー画像データに非着衣の人物画像が含まれるか否かを判別する画像判別工程を備えてなる点にある。

有害画像に見られる典型的なパターンとして、胸や下腹部といった特定部位が露出している点が挙げられる。従って、顔情報抽出工程で検出された顔領域の向き及び大きさに基づいて、上述の特定部位が画像中のどの領域に存在するかを推定することができる。例えば複数の典型的な被写体のポーズを基準に予め顔領域の向き及び大きさと特定部位の相対位置関係を推定データとして備えることにより、被写体の顔領域の向き及び大きさから特定部位の存在位置を推定することができる。そこで、肌領域検出工程により検出された肌領域のうち、特定領域推定工程により推定された特定領域における肌領域と非肌領域の面積比を算出することにより、当該特定領域における肌領域の露出の程度が判断され、露出の程度が大きいときには非着衣の人物画像、つまり有害画像であると判別することができるようになるのである。

同第三の特徴構成は、同請求項３に記載した通り、入力されたカラー画像データから人物の顔領域を検出し、前記顔領域の肌の色差データと向き及び大きさを抽出する顔情報抽出工程と、前記顔領域の向き及び大きさに基づいて当該人物の特定部位に対応する特定領域を推定する特定領域推定工程と、前記顔情報抽出工程で抽出された肌の色差データと相関のある領域を前記特定領域から肌領域として検出する肌領域検出工程と、前記特定領域における肌領域と非肌領域の面積比を算出し、前記面積比に基づいて前記カラー画像データに非着衣の人物画像が含まれるか否かを判別する画像判別工程を備えてなる点にある。

上述の構成によれば、被写体の顔領域の向き及び大きさから特定部位の存在位置が先に推定され、そのような特定領域に対して肌領域が検出されるので、不要な肌領域を検出する必要が無く、処理の効率化を図ることができる。

同第四の特徴構成は、同請求項４に記載した通り、上述の第一から第三の何れかの特徴構成に加えて、前記顔情報抽出工程で抽出された顔領域または前記肌領域検出工程で検出された肌領域から姿態特徴データを抽出する特徴データ抽出工程と、前記特徴データ抽出工程で抽出された姿態特徴データと予め年齢層毎に予めサンプリングされた姿態特徴データに基づいて被写体の年齢を推定する年齢推定工程をさらに備えている点にある。

上述の第一から第三の何れかの特徴構成を備えた写真画像判別方法により、非着衣の人物が撮影された有害画像であると判別できるのであるが、被写体によっては直ちに有害画像と結論付けることができない場合もある。例えば上半身に着衣が検出されないトレーニング中の男性画像であったり、体に密着した肌色の衣装を着衣している人物画像である場合には有害画像である確率は低い一方で、図８（ｄ）に示すような非着衣の子供や幼児が被写体である場合には、極めて有害な画像と判断されるべきである。

そこで、特徴データ抽出工程では、検出された顔領域や肌領域の画像データから肌の凹凸情報や輪郭情報等、例えば、顔の輪郭、髪型、目鼻等の構成要素、胸の形状、または胴体や手足の輪郭、さらには頭部と身長の比率等でなる姿態特徴データを抽出し、抽出された姿態特徴データと、予め年齢層毎に予めサンプリングされた姿態特徴データとを照合することにより被写体の性別や年齢を判断することができるようになる。その結果、非着衣の子供や幼児が被写体となる悪質な有害画像を適切に検出することができるようになる。

本発明による写真画像判別プログラムの第一の特徴構成は、同請求項５に記載した通り、入力されたカラー画像データから人物の顔領域を検出し、前記顔領域の肌の色差データを抽出する顔情報抽出工程と、前記顔情報抽出工程で抽出された肌の色差データと相関のある領域を前記カラー画像データから肌領域として検出する肌領域検出工程と、前記顔領域と前記肌領域検出工程で検出された肌領域との間の領域連続性を判別する領域判別工程と、前記領域判別工程で連続領域と判別された顔領域と肌領域の面積比を算出し、前記面積比に基づいて前記カラー画像データに非着衣の人物画像が含まれるか否かを判別する画像判別工程をコンピュータに実行させる点にある。

同第二の特徴構成は、同請求項６に記載した通り、入力されたカラー画像データから人物の顔領域を検出し、前記顔領域の肌の色差データと向き及び大きさを抽出する顔情報抽出工程と、前記顔情報抽出工程で抽出された肌の色差データと相関のある領域を前記カラー画像データから肌領域として検出する肌領域検出工程と、前記顔領域の向き及び大きさに基づいて当該人物の特定部位に対応する特定領域を推定する特定領域推定工程と、前記肌領域検出工程による検出情報に基づいて前記特定領域推定工程により推定された特定領域における肌領域と非肌領域の面積比を算出し、前記面積比に基づいて前記カラー画像データに非着衣の人物画像が含まれるか否かを判別する画像判別工程をコンピュータに実行させる点にある。

同第三の特徴構成は、同請求項７に記載した通り、入力されたカラー画像データから人物の顔領域を検出し、前記顔領域の肌の色差データと向き及び大きさを抽出する顔情報抽出工程と、前記顔領域の向き及び大きさに基づいて当該人物の特定部位に対応する特定領域を推定する特定領域推定工程と、前記顔情報抽出工程で抽出された肌の色差データと相関のある領域を前記特定領域から肌領域として検出する肌領域検出工程と、前記特定領域における肌領域と非肌領域の面積比を算出し、前記面積比に基づいて前記カラー画像データに非着衣の人物画像が含まれるか否かを判別する画像判別工程をコンピュータに実行させる点にある。

同第四の特徴構成は、同請求項８に記載した通り、上述の第一から第三の何れかの特徴構成に加えて、前記顔情報抽出工程で抽出された顔領域または前記肌領域検出工程で検出された肌領域から姿態特徴データを抽出する特徴データ抽出工程と、前記特徴データ抽出工程で抽出された姿態特徴データと予め年齢層毎に予めサンプリングされた姿態特徴データに基づいて被写体の年齢を推定する年齢推定工程をコンピュータに実行させる点にある。

本発明による写真画像処理装置の特徴構成は、同請求項９に記載した通り、上述の第一から第四の何れかの特徴構成を備えた写真画像判別プログラムがインストールされて構成されている点にあり、多数枚の入力画像に対するプリント処理が迅速に行われる必要がある写真画像処理装置において、非着衣の人物画像が含まれる画像であるか否かを適切に自動検出できるようになる。

以上説明した通り、本発明によれば、簡便な方法により適切に肌領域を検出でき、有害画像であるか否かを自動判別することのできる写真画像判別方法、写真画像判別プログラム、及び、写真画像処理装置を提供することができるようになった。

以下に、本発明による写真画像判別方法を採用する写真画像処理装置の実施の形態を説明する。

写真プリント注文システムは、図２に示すように、写真ラボ店に設置された複数の受付端末１と、各受付端末１に入力されたプリント注文情報に基づいて写真プリントを生成する写真画像処理装置４としての写真プリント装置とを備えて構成され、来店した顧客Ｍが、携帯電話やデジタルカメラ等のデジタル撮影機器によって撮影された写真画像データが格納されたメディア２を受付端末１に設けられたメディアドライブに挿入して、操作端末から入力された氏名や連絡先等のＩＤ情報、プリント画像情報、プリント枚数、プリントサイズ等を入力すると、内蔵プリンタから受付伝票３が出力されるように構成されている。

受付端末１では入力されたＩＤ情報、プリント画像情報、プリント枚数、プリントサイズ等に基づいてプリント注文情報が生成されて写真画像処理装置４に送信され、写真画像処理装置４は受信したプリント注文情報に基づいて写真プリント５を生成する。

受付伝票３にはプリント仕上がり予定時間が記載され、当該仕上がり予定時間に写真ラボ店の受付カウンタの係員に受付伝票３を提示して料金を支払うと、写真プリントが引き渡される。

前記受付端末１は、図３に示すように、ケース１０と、ケース１０の上部に設置された写真注文受付処理部１１とで構成され、図４に示すように、写真注文受付処理部１１と写真画像処理装置４とがデータ伝送ラインＬで接続されている。

前記写真注文受付処理部１１は、顧客が所持するＣＤ、ＣＦカードやＳＤメモリカード等の各種の可搬性のメディア２に記憶された写真画像データを読取るためのデータ入力手段としての複数種類のメディアドライブ１２と、前記メディアドライブ１２により読み込まれた写真画像を表示する表示手段としての液晶表示部１３と、前記液晶表示部１３に表示された写真画像に対してプリント枚数やプリントサイズ等の注文データを入力するべく、前記液晶表示部１３の表面に配置された入力手段としてのタッチパネル１４等を備えて構成されている。

前記写真画像処理装置４は、各受付端末１から伝送された複数のプリント注文情報に基づいて所定の順序で写真プリントを生成して出力するように構成されており、図４及び図５に示すように、前記受付端末１より入力された前記プリント注文情報に含まれる一連のコマ画像データを格納するハードディスク等でなる画像データ記憶部３０と、前記コマ画像データを表示する表示部３１と、キーボードやマウスを備えた操作入力部３２と、後述する画像処理部３５による画像処理後のデータに基づいて印画紙Ｐを露光して写真プリントを生成する写真プリント部３３と、所定のオペレーティングシステムによる管理の下でインストールされたアプリケーションプログラムに基づいて上述の各ブロックをシステムとして制御するシステムコントローラ３４と、前記表示部３１に表示された写真画像に対する前記操作入力部３２を介した各種操作に基づいて或いは自動的に前記画像データを編集処理する画像処理部３５と、前記プリント注文情報に含まれるコマ画像データに非着衣の人物画像が含まれているか否かを自動判別する写真画像判別部３６とを備えて構成されている。

前記写真プリント部３３は、ロール状の印画紙Ｐが収容されたペーパーマガジン３３０と、前記ペーパーマガジン３３０から印画紙Ｐを引き出して搬送する複数の印画紙搬送ローラ３３１と、前記搬送ローラ３３１を駆動するモータ３３２と、搬送される印画紙Ｐの感光面を露光する蛍光ビーム方式のプリントヘッド３３３と、露光済みの印画紙Ｐに現像、漂白、定着の各処理を施す現像処理部３３４と、現像処理された印画紙Ｐを乾燥しながら搬送する乾燥部３３５と、乾燥された印画紙Ｐを最終のプリントとして排出する排出部３３６とを備えて構成され、前記ペーパーマガジン３３０から引き出された印画紙Ｐは現像処理の前後何れかに配置されたカッター（図示せず）によって所定のプリントサイズにカットされて前記排出部３３６に出力される。

前記プリントヘッド３３３は、赤、緑、青の各波長のレーザから出力され、回転多面鏡で走査される光線束を、後述する画像処理部３５で編集処理された写真画像データのＲ成分、Ｇ成分、Ｂ成分の各画素データに基づいて変調するレーザ式の露光光学系で構成され、印画紙Ｐ上に写真画像を露光する。

前記システムコントローラ３４は、前記写真画像処理装置４を動作させるプログラムを格納するＲＯＭと、データ処理領域や写真画像データ編集のために使用されるＲＡＭと、前記プログラムを実行するＣＰＵと、周辺回路とを備えており、前記プログラムに基づいて前記写真画像処理装置４の各ブロックを制御するように構成されている。

前記画像処理部３５は、前記表示部３１に表示された写真画像に対して、階調補正を行なう濃度補正部３５０と、カラーバランスを調整するカラー補正部３５１と、対象画像を拡大または縮小処理する拡縮処理部３５２等を備えて構成される。

前記システムコントローラ３４は、操作入力部３２を介したオペレータの操作により、画像を自動補正するモードが選択されると、前記画像処理部３５を起動して、前記受付端末１から入力されたプリント注文情報に含まれるコマ画像に対して、順番に濃度補正、カラーバランス補正等の必要な画像処理を実行させるとともに、前記写真画像判別部３６を起動して画像データに非着衣の人物画像が含まれるか否かを自動判別させる。

尚、オペレータの操作により、画像を手動補正するモードが選択されると、図示しない操作画面に表示される操作ボタンを操作することにより画像処理及び写真画像判別処理がプリント注文情報を単位に起動され、当該プリント注文情報に含まれる各画像のサムネイル画像が前記表示部３１に表示される。オペレータは、表示される画像毎に手動操作で画像補正処理を行なうとともに検閲処理を行ない、有害画像のプリント出力を禁止操作することができる。

前記写真画像判別部３６は、図１に示すように、入力されたカラー画像データから人物の顔領域を検出する顔情報抽出部４１と、前記画像データから人物の肌領域を検出する肌領域検出部４２と、前記顔領域と前記肌領域との間の領域連続性を判別する領域判別部４３と、前記画像データから人物の特定部位に対応する特定領域を推定する特定領域推定部４４と、前記画像データに非着衣の人物画像が含まれるか否かを判別する画像判別部４５とを備えて構成されている。

これらの各処理部では、図１に示すように、処理Ａ（実線矢印）、処理Ｂ（点線矢印）、処理Ｃ（一点鎖線矢印）で示す三通りの処理経路の何れかでデータが処理されることにより非着衣の人物画像が含まれるか否が判別されるのであるが、これについては後に詳述する。

さらに、前記写真画像判別部３６は、前記顔領域または前記肌領域から姿態特徴データを抽出する特徴データ抽出部４６と、前記姿態特徴データに基づいて被写体の年齢を推定する年齢推定部４７を備えて構成されており、図１において処理Ｄ（二点鎖線矢印）で示すように、前記年齢推定部４７を経ることで、前記画像判別部４５における非着衣の人物画像が含まれるか否かの判別結果に、当該人物画像の年齢を加えるように構成されている。

前記顔情報抽出部４１は、入力されたカラー画像データから人物の顔領域を検出し、前記顔領域の肌の色差データと、前記顔領域の向きと、前記顔領域の大きさを抽出するように構成されている。

入力されたカラー画像データからの人物の顔領域の検出は、例えば、前記カラー画像データから抽出された濃度エッジやカラーエッジに基づく輪郭が顔領域であるか否かを、予め準備された顔領域の輪郭、目、鼻、口、耳等の複数の要素配置パターンとの一致度を評価することによるパターン認識技術に基づいて検出する等といった公知の技術を用いて実現されるものである。例えば、図６（ａ）に示すように、顔領域が矩形の枠で検出される。

前記顔領域の肌の色差データは、検出された前記顔領域を構成する画素全てにおいてＲ成分、Ｇ成分、Ｂ成分の平均値を導出し、各成分の平均値を〔数１〕に適用してＹＣＣ表色系に変換することで得られるＹＣＣ表色系におけるＣｂ成分（輝度と青の色差）とＣｒ成分（輝度と赤の色差）として算出される。以下、前記顔領域の肌の色差データのうちＣｂ成分をＣｂｓと表記し、Ｃｒ成分をＣｒｓと表記し、まとめて（Ｃｂｓ，Ｃｒｓ）と表記する。尚、Ｙ成分（輝度）を用いず、Ｃｂ成分とＣｒ成分のみを用いることによって、顔領域や肌領域を識別する際に不要な明暗を除外することができる。

前記顔領域の向きは、例えば、検出された顔領域の輪郭、目、鼻、口、耳等の複数の要素間の相対的な位置関係を座標情報として算出して、予め準備された様々な要素間相対位置に対応する顔向きが登録された顔方向パターンを、算出した座標情報と照合することで得られるように構成されている。

前記顔領域の大きさは、検出された前記顔領域の画素数を顔領域の大きさとして算出する。例えば、図６（ａ）における矩形の枠の面積を顔領域の大きさとして算出する。

前記肌領域検出部４２は、前記顔情報抽出部４１で抽出された肌の色差データと相関のある領域を、前記カラー画像データまたは後述する特定領域から肌領域として検出するように構成されている。

詳述すると、前記カラー画像データの全ての画素、または、図８（ａ）において矩形領域Ｔ２として示す特定領域内の全ての画素についての各画素の色差データ（Ｃｂｎ，Ｃｒｎ）を算出する。尚、ｎは画素の番号を表しており、範囲は１（最小値）から被算出画素データ数（最大値）までである。

次に、算出した各画素の色差データ（Ｃｂｎ，Ｃｒｎ）と顔領域の肌の色差データ（Ｃｂｓ，Ｃｒｓ）との距離Ｄｎを〔数２〕により算出して、各画素についての距離Ｄｎが予め設定した閾値よりも大きいか小さいかによって２値化処理を行う。２値化処理の結果、前記距離Ｄｎが前記閾値よりも小さかった領域を肌領域として検出する。尚、前記２値化処理における閾値の算出は、例えば、２値化処理を行う対象である全ての画素を二つのクラスに分けて、二つのクラス間の分離が最大になるように閾値を決める手法である判別分析法等を用いる。

図６（ａ）に示したカラー画像データの全ての画素について２値化処理を行って肌領域を検出した結果を図６（ｂ）に示す。図６（ｂ）において黒色部分が検出された肌領域を示し、灰色部分は肌領域でない領域を示す。

前記領域判別部４３は、前記顔領域と前記肌領域検出部４２で検出された肌領域との間の領域連続性を判別するように構成されており、前記肌領域検出部４２で検出された肌領域に対してラベリング処理を行った後、前記ラベリング処理の結果に基づいて領域連続性の判別を行う。

前記ラベリング処理は、以下のような処理を行うことで、処理を行う画像において連結している画素を一つの領域と見なして共通のラベルを付する処理である。つまり、図７（ａ）に示すように、画像上でラベルが付されておらず且つ所定の条件（例えば白色でない）との条件を満たす画素を見つけ、新しいラベルＲ１を付加して、図７（ｂ）に示すように、新しいラベルＲ１を付加した画素に連結している画素を走査して所定の条件を満たすならば同一のラベルを付加する。図７（ｃ）に示すように、以上の処理を当該画像内にラベルを付加する画素がなくなるまで繰り返す。

一例として、上記の処理を図７（ｄ）に示すような３個の肌領域を有する画像に対して行った場合、図７（ｅ）に示すように、３個の肌領域に対してＲ１からＲ３のラベルが付される。よって、前記肌領域に対してラベリング処理を行うと、前記カラー画像データ内に存在する各肌領域に異なるラベルが付されることになる。

前記領域連続性の判別は、例えば、前記顔領域内の任意の画素の探索を行い最初に探索された画素に付されているラベルを顔領域のラベルとして、前記顔領域のラベルと同一のラベルが付されている肌領域を、前記顔領域との間で領域連続性を有する領域として検出する。

図６（ｂ）に示す肌領域を検出した画像データについて、前記領域連続性の判別を行った結果を図６（ｃ）に示す。図６（ｃ）において黒く塗りつぶされた部分が顔領域と領域連続性を有する領域として検出された肌領域である。

前記特定領域推定部４４は、前記顔領域の向き及び大きさに基づいて当該人物の胸部や下腹部等の予め設定された特定部位に対応する特定領域の位置を推定するように構成されている。

例えば、図８（ａ）に示すように、顔領域を検出した際の矩形領域Ｔ１を、前記矩形領域Ｔ１の縦幅Ｔ１ｙの１．５倍分、被写体の胴体側へ移動させた矩形領域Ｔ２を当該人物の特定部位である胸に対応する特定領域として推定する。

上述の例では、多数の人物画像を分析した結果として、顔領域の縦幅の１．５倍分、被写体の胴体側へ移動させた領域を胸に対応する特定領域として推定するものであるが、推定を行う特定部位によっては、１．５倍ではなく異なる倍率分移動させる構成であってもよいことは言うまでもない。例えば複数の典型的な被写体のポーズを基準に予め顔領域の向き及び大きさと特定部位の相対位置関係を推定データとして備えることにより、被写体の顔領域の向き及び大きさから特定部位の存在位置を推定することができる。

また、上述の例では、被写体の胴体側は下方向であったが、画像によっては必ずしも胴体側が下方向であるとは限らない。例えば、頭を左側にして横になっている人物画像の場合は、胴体側が横方向になるからである。このような場合は、前記顔領域の向きに基づいて前記特定領域を推定する。つまり、口は目の右側にある等の顔を構成する要素間の相対位置から顔領域の向きを割り出して、被写体の胴体側（例えば右側）へ移動させた矩形領域を当該人物の特定部位である胸に対応する特定領域として推定する。

前記画像判別部４５は、前記領域判別部４３で連続領域と判別された顔領域と肌領域の面積比、または、前記肌領域検出部４２による検出情報に基づいて前記特定領域推定部４４により推定された特定領域における肌領域と非肌領域の面積比の何れかの面積比に基づいて、前記カラー画像データに非着衣の人物画像が含まれるか否かを判別するように構成されている。

人間の体全体に対する顔の割合は略同一であることから、人物画像において、当該人物画像が非着衣の場合は、ある顔領域と肌領域の面積比は略同一となるが、当該人物画像が服を着用している場合は、服の部分だけ肌領域が減少するので面積比は不自然に小さくなる。この事実に基づき多数の非着衣人物画像を統計分析することによって、当該人物が非着衣であるか否かを判断する基準となる顔領域閾値を算出する。

そして、前記画像判別部４５は、ある画像において、顔領域と肌領域の面積比が前記顔領域閾値よりも大きい場合は、当該画像に非着衣人物画像が含まれていると判断し、顔領域と肌領域の面積比が前記顔領域閾値以下の場合は、当該画像に非着衣人物画像は含まれていないと判断する。尚、前記顔領域の面積は、図６（ａ）に示す矩形の面積、または、図６（ａ）に示す矩形内に存在する図６（ｂ）において黒色で示される肌領域の面積の何れかである。

また、前記特定領域が胸領域である場合において、非着衣であると領域内の殆どの画素が肌領域となることから、前記特定領域における肌領域の非肌領域に対する面積比は略１００パーセントになるくらいに大きくなるが、服を着用していると領域内の服の部分は肌領域ではないことから前記面積比は小さくなる等といった、ある特定領域における肌領域と非肌領域についての面積比が異なる人物画像において略同一となる事実に基づき、多数の非着衣人物画像の様々な特定領域を統計分析することによって、当該人物が非着衣であるか否かを判断する基準となる特定領域閾値を算出する。

そして、前記画像判別部４５は、ある画像において、特定領域における肌領域と非肌領域の面積比が前記特定領域閾値よりも大きい場合は、当該画像に非着衣人物画像が含まれていると判断し、特定領域における肌領域と非肌領域の面積比が前記特定領域閾値以下の場合は、当該画像に非着衣人物画像は含まれていないと判断する。

前記特徴データ抽出部４６は、前記顔情報抽出部４１で抽出された顔領域または前記肌領域検出部４２で検出された肌領域から姿態特徴データを抽出するように構成されており、肌の凹凸情報や輪郭情報等、例えば、顔の輪郭、髪型、鼻の高さ、唇の色、皺、眉の形等、胸の形状、または胴体や手足の輪郭、さらには頭部と身長の比率等が姿態特徴データとして抽出される。

このような姿態特徴データの抽出は、顔の構成要素の位置に基づいて、前記構成要素に近いほど密に特徴点の位置を設定し、前記構成要素から離れるほど粗に特徴点を設定するサンプリング手法や、設定された特徴点に対しガボールウェーブレット変換を実行することによって、前記特徴点の周辺における濃淡特徴の周期性や方向性を姿態特徴データとして抽出するといった公知の技術を用いて実現される。

前記年齢推定部４７は、前記特徴データ抽出部４６で抽出された姿態特徴データと予め年齢層毎にサンプリングされた姿態特徴データに基づいて被写体の年齢を推定するように構成されている。

被写体の年齢の推定は、例えば、構成要素毎に多数のサンプル画像のうちの代表的なサンプル画像が、または、構成要素毎に多数のサンプル画像を平均化したサンプル画像が姿態特徴データとして予め年齢層毎にデータベースとして登録されており、予め登録されている姿態特徴データと前記特徴データ抽出部４６で抽出された姿態特徴データとで比較を行うことによって、各構成要素毎に年齢層を推定して、最も多数の構成要素によって推定された年齢層を被写体の年齢層として推定するように構成されている。

以下、図９に示すフローチャートにより、写真画像判別部３６における各処理部による処理工程を、図１に示すような処理Ａ（実線矢印）、処理Ｂ（点線矢印）、及び処理Ｃ（一点鎖線矢印）の各経路に沿って説明する。

処理Ａは、図９（ａ）に示すように、顔領域抽出部４１において、入力されたカラー画像データから図６（ａ）に示すように顔領域（図中、矩形枠で囲まれた領域）を検出し、前記顔領域を構成する画素から前記顔領域の色差データを抽出する（ＳＡ１）。

次いで、肌領域検出部４２において、前記カラー画像データから図６（ｂ）に示すように肌領域（図中、黒く塗り潰された領域）を検出し（ＳＡ２）、領域判別部４３において、前記肌領域の領域連続性を判別して、図６（ｃ）に示すように顔領域が含まれる肌領域（図中、黒く塗り潰された領域）を検出する（ＳＡ３）。

そして、画像判別部４５において、前記顔領域と前記肌領域の面積比に基づいて前記カラー画像データに非着衣の人物画像が含まれるか否かを判別する（ＳＡ４）。

処理Ｂは、図９（ｂ）に示すように、顔領域抽出部４１において、入力されたカラー画像データから図６（ａ）に示すように顔領域（図中、矩形枠で囲まれた領域）を検出し、前記顔領域を構成する画素から前記顔領域の色差データ・向き・大きさを抽出する（ＳＢ１）。

次いで、肌領域検出部４２において、前記カラー画像データから図６（ｂ）に示すように肌領域（図中、黒く塗り潰された領域）を検出し（ＳＢ２）、特定領域推定部４４において、前記顔領域の向きや大きさから、図８（ｂ）に示すように前記カラー画像データに含まれる人物画像の特定領域（図中、矩形枠で囲まれた領域のうち下方の領域）を推定する（ＳＢ３）。

そして、画像判別部４５において、前記特定領域における肌領域（（図８（ｃ）中、矩形枠で囲まれた領域のうち下方の領域の黒く塗りつぶされた領域）と非肌領域（（図８（ｃ）中、矩形枠で囲まれた領域のうち下方の領域の黒く塗りつぶされていない領域）の面積比に基づいて前記カラー画像データに非着衣の人物画像が含まれるか否かを判別する（ＳＢ４）。

処理Ｃは、図９（ｃ）に示すように、顔領域抽出部４１において、入力されたカラー画像データから図６（ａ）に示すように顔領域（図中、矩形枠で囲まれた領域）を検出し、前記顔領域を構成する画素から前記顔領域の色差データ・向き・大きさを抽出する（ＳＣ１）。

次いで、特定領域推定部４４において、前記顔領域の向きや大きさから、図８（ａ）に示すように前記カラー画像データに含まれる人物画像の特定領域（図中、矩形枠で囲まれた領域のうち下方の領域）を推定し（ＳＣ２）、肌領域検出部４２において、前記特定領域の画像データから図８（ｃ）に示すように肌領域（（図中、矩形枠で囲まれた領域のうち下方の領域の黒く塗りつぶされた領域）を検出する（ＳＣ３）。

そして、画像判別部４５において、前記特定領域における肌領域（（図８（ｃ）中、矩形枠で囲まれた領域のうち下方の領域の黒く塗りつぶされた領域）と非肌領域（（図８（ｃ）中、矩形枠で囲まれた領域のうち下方の領域の黒く塗りつぶされていない領域）の面積比に基づいて前記カラー画像データに非着衣の人物画像が含まれるか否かを判別する（ＳＣ４）。

以上説明した写真画像処理装置４には、以下に示す何れかの組み合わせによる写真画像判別プログラムまたは全てのプログラムがインストールされ、当該写真画像判別プログラム及びそれを実行するＣＰＵ及び周辺回路により前記写真画像判別部３６の各処理部が実現されるように構成されている。

第一の写真画像判別プログラムは、入力されたカラー画像データから人物の顔領域を検出し、前記顔領域の肌の色差データを抽出する顔情報抽出工程と、前記顔情報抽出工程で抽出された肌の色差データと相関のある領域を前記カラー画像データから肌領域として検出する肌領域検出工程と、前記顔領域と前記肌領域検出工程で検出された肌領域との間の領域連続性を判別する領域判別工程と、 前記領域判別工程で連続領域と判別された顔領域と肌領域の面積比を算出し、前記面積比に基づいて前記カラー画像データに非着衣の人物画像が含まれるか否かを判別する画像判別工程をコンピュータに実行させるための写真画像判別プログラムである。

第二の写真画像判別プログラムは、入力されたカラー画像データから人物の顔領域を検出し、前記顔領域の肌の色差データと向き及び大きさを抽出する顔情報抽出工程と、前記顔情報抽出工程で抽出された肌の色差データと相関のある領域を前記カラー画像データから肌領域として検出する肌領域検出工程と、前記顔領域の向き及び大きさに基づいて当該人物の特定部位に対応する特定領域を推定する特定領域推定工程と、前記肌領域検出工程による検出情報に基づいて前記特定領域推定工程により推定された特定領域における肌領域と非肌領域の面積比を算出し、前記面積比に基づいて前記カラー画像データに非着衣の人物画像が含まれるか否かを判別する画像判別工程をコンピュータに実行させるための写真画像判別プログラムである。

第三の写真画像判別プログラムは、入力されたカラー画像データから人物の顔領域を検出し、前記顔領域の肌の色差データと向き及び大きさを抽出する顔情報抽出工程と、前記顔領域の向き及び大きさに基づいて当該人物の特定部位に対応する特定領域を推定する特定領域推定工程と、前記顔情報抽出工程で抽出された肌の色差データと相関のある領域を前記特定領域から肌領域として検出する肌領域検出工程と、前記特定領域における肌領域と非肌領域の面積比を算出し、前記面積比に基づいて前記カラー画像データに非着衣の人物画像が含まれるか否かを判別する画像判別工程をコンピュータに実行させるための写真画像判別プログラムである。

そして、第四の写真画像判別プログラムは、前記顔情報抽出工程で抽出された顔領域または前記肌領域検出工程で検出された肌領域から姿態特徴データを抽出する特徴データ抽出工程と、前記特徴データ抽出工程で抽出された姿態特徴データと予め年齢層毎に予めサンプリングされた姿態特徴データに基づいて被写体の年齢を推定する年齢推定工程をコンピュータに実行させるための写真画像判別プログラムである。

以下、別実施形態について説明する。上述の実施形態では、特徴データ抽出部４６において抽出される姿態特徴データが顔領域から抽出される場合について主に説明したが、前記姿態特徴データは顔領域以外から抽出されてもよい。例えば、肌領域であれば、身長、胸の大きさや形、ウエストやヒップの輪郭や大きさ等を構成要素とした姿態特徴データとして抽出する構成であってもよい。

写真画像判別部３６は、上述の実施形態で説明した処理Ａ・処理Ｂ・処理Ｃの処理の何れを実行するか選択して、さらに、前記処理Ａ・処理Ｂ・処理Ｃの何れかの処理を実行する際に、上述の実施形態で説明した処理Ｄを同時に実行するか否かを選択する処理選択部（図示せず）を備えている構成であってもよい。

例えば、前記処理選択部が、写真画像処理装置４の表示部３１に実行可能な処理を表示しておき、オペレータが操作入力部３２から実行する処理を選択入力する構成であってもよい。

写真画像処理装置４は、図１０に示すように、受付端末１から伝送されたプリント注文情報に含まれるコマ画像に非着衣の人物画像が含まれると、写真画像判別部３６によって判別されたときに、前記写真画像処理装置４のオペレータに注意を喚起する通知部３７を備えている構成であってもよい。

詳述すると、前記通知部３７は、前記写真画像判別部３６により非着衣の人物画像が含まれると判別されたときに、出力された写真プリントの最上面に、当該プリント注文情報に含まれる全コマ画像を一枚の記録媒体に縮小プリントした警告用のインデックスプリントを出力する警告プリント出力部（図示せず）を備えて構成されている。

また、前記通知部３７は、前記写真画像判別部３６により非着衣の人物画像が含まれると判別されたときに、オペレータに注意を喚起するメッセージを前記表示部３１に表示するように構成されている。

さらに、図１０に示すように、写真画像処理装置４は、各受付端末１から伝送された複数のプリント注文情報に含まれるコマ画像に非着衣の人物画像が含まれると、写真画像判別部３６によって判別されたときに、当該プリント注文情報に対する写真プリント処理を留保し、他のプリント注文情報に基づく写真プリント処理を優先して実行する優先プリント処理部３８を、前記通知部３７の代わりに、または、前記通知部３７に加えて備えている構成であってもよい。

上述の実施形態では、写真画像処理装置４は受付端末１より入力された写真画像データを処理する構成について説明したが、前記写真画像処理装置４はフィルムスキャナを備えて構成されており、顧客２から受け取った写真フィルムに格納されているコマ画像を前記フィルムスキャナで読み取る構成であってもよい。

上述の実施形態では、写真プリント注文システムは、図２に示すように、写真ラボ店に設置された受付端末１が顧客２に対応する、つまり、自動受付を行う構成について説明したが、前記写真プリント注文システムは、上記以外の構成であってもよい。

例えば、前記写真ラボ店に常駐している店員が顧客２から撮影画像データが格納された記憶媒体や写真フィルムを受け取って、出来上がった写真プリントを顧客２に渡す、つまり、店員が顧客２に対応するような構成であってもよい。

また、顧客２が携帯電話やインターネット等によって撮影画像データのプリントを注文するような構成であってもよい。詳述すると、顧客２は、遠隔地より撮影画像データを写真ラボ店または多数の写真ラボ店を統括するＷＥＢサーバ等に送信して、前記撮影画像データのプリントを注文する。料金の決済は携帯電話やインターネット等によるカード決済等で行う。写真プリントが出来上がったら、プリントを行った写真ラボ点から直接、または、前記ＷＥＢサーバ経由で、写真プリントが出来上がった旨を顧客２の携帯電話等に知らせ、或いは郵送するような構成であってもよい。

尚、上述した各実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において、各ブロックの具体的構成を適宜変更設計できることはいうまでもない。

本発明による写真画像判別部の機能ブロック構成図 写真プリント注文システムの説明図 受付端末の説明図 写真画像処理装置の外観図 写真画像処理装置の説明図 （ａ）は、顔領域の検出を示し、（ｂ）は、肌領域の検出を示し、（ｃ）は、領域連続性の判別を示す説明図 （ａ）は、最初の画素にラベルが付された状態を示し、（ｂ）は、最初の画素に隣接した画素にラベルが付された状態を示し、（ｃ）は、全ての画素のラベルが付された状態を示し、（ｄ）は、３領域を有する画像を示し、（ｅ）は、３領域を有する画像にラベルを付した状態を示すラベリング処理の説明図 （ａ）は、特定領域の検出を示し、（ｂ）は、肌領域状態での特定領域の検出を示し、（ｃ）は、特定領域での肌領域の検出を示し、（ｄ）は、非着衣の子供を示す説明図 （ａ）は、領域判別部を含む処理Ａを示し、（ｂ）は、肌領域検出部の次に特定領域推定部を行う処理Ｂを示し、（ｃ）は、特定領域推定部の次に肌領域検出部を行う処理Ｃを示す写真画像判別部の動作のフローチャート 通知部を備えている写真画像処理装置の説明図

符号の説明

４：写真画像処理装置
３６：写真画像判別部
４１：顔情報抽出部
４２：肌領域検出部
４３：領域判別部
４４：特定領域推定部
４５：画像判別部
４６：特徴データ抽出部
４７：年齢推定部

Claims (9)

1. 入力されたカラー画像データから人物の顔領域を検出し、前記顔領域の肌の色差データを抽出する顔情報抽出工程と、
   前記顔情報抽出工程で抽出された肌の色差データと相関のある領域を前記カラー画像データから肌領域として検出する肌領域検出工程と、
   前記顔領域と前記肌領域検出工程で検出された肌領域との間の領域連続性を判別する領域判別工程と、
   前記領域判別工程で連続領域と判別された顔領域と肌領域の面積比を算出し、前記面積比に基づいて前記カラー画像データに非着衣の人物画像が含まれるか否かを判別する画像判別工程を備えてなる写真画像判別方法。
2. 入力されたカラー画像データから人物の顔領域を検出し、前記顔領域の肌の色差データと向き及び大きさを抽出する顔情報抽出工程と、
   前記顔情報抽出工程で抽出された肌の色差データと相関のある領域を前記カラー画像データから肌領域として検出する肌領域検出工程と、
   前記顔領域の向き及び大きさに基づいて当該人物の特定部位に対応する特定領域を推定する特定領域推定工程と、
   前記肌領域検出工程による検出情報に基づいて前記特定領域推定工程により推定された特定領域における肌領域と非肌領域の面積比を算出し、前記面積比に基づいて前記カラー画像データに非着衣の人物画像が含まれるか否かを判別する画像判別工程を備えてなる写真画像判別方法。
3. 入力されたカラー画像データから人物の顔領域を検出し、前記顔領域の肌の色差データと向き及び大きさを抽出する顔情報抽出工程と、
   前記顔領域の向き及び大きさに基づいて当該人物の特定部位に対応する特定領域を推定する特定領域推定工程と、
   前記顔情報抽出工程で抽出された肌の色差データと相関のある領域を前記特定領域から肌領域として検出する肌領域検出工程と、
   前記特定領域における肌領域と非肌領域の面積比を算出し、前記面積比に基づいて前記カラー画像データに非着衣の人物画像が含まれるか否かを判別する画像判別工程を備えてなる写真画像判別方法。
4. 前記顔情報抽出工程で抽出された顔領域または前記肌領域検出工程で検出された肌領域から姿態特徴データを抽出する特徴データ抽出工程と、前記特徴データ抽出工程で抽出された姿態特徴データと予め年齢層毎にサンプリングされた姿態特徴データに基づいて被写体の年齢を推定する年齢推定工程をさらに備えている請求項１から３の何れかに記載の写真画像判別方法。
5. 入力されたカラー画像データから人物の顔領域を検出し、前記顔領域の肌の色差データを抽出する顔情報抽出工程と、
   前記顔情報抽出工程で抽出された肌の色差データと相関のある領域を前記カラー画像データから肌領域として検出する肌領域検出工程と、
   前記顔領域と前記肌領域検出工程で検出された肌領域との間の領域連続性を判別する領域判別工程と、
   前記領域判別工程で連続領域と判別された顔領域と肌領域の面積比を算出し、前記面積比に基づいて前記カラー画像データに非着衣の人物画像が含まれるか否かを判別する画像判別工程をコンピュータに実行させるための写真画像判別プログラム。
6. 入力されたカラー画像データから人物の顔領域を検出し、前記顔領域の肌の色差データと向き及び大きさを抽出する顔情報抽出工程と、
   前記顔情報抽出工程で抽出された肌の色差データと相関のある領域を前記カラー画像データから肌領域として検出する肌領域検出工程と、
   前記顔領域の向き及び大きさに基づいて当該人物の特定部位に対応する特定領域を推定する特定領域推定工程と、
   前記肌領域検出工程による検出情報に基づいて前記特定領域推定工程により推定された特定領域における肌領域と非肌領域の面積比を算出し、前記面積比に基づいて前記カラー画像データに非着衣の人物画像が含まれるか否かを判別する画像判別工程をコンピュータに実行させるための写真画像判別プログラム。
7. 入力されたカラー画像データから人物の顔領域を検出し、前記顔領域の肌の色差データと向き及び大きさを抽出する顔情報抽出工程と、
   前記顔領域の向き及び大きさに基づいて当該人物の特定部位に対応する特定領域を推定する特定領域推定工程と、
   前記顔情報抽出工程で抽出された肌の色差データと相関のある領域を前記特定領域から肌領域として検出する肌領域検出工程と、
   前記特定領域における肌領域と非肌領域の面積比を算出し、前記面積比に基づいて前記カラー画像データに非着衣の人物画像が含まれるか否かを判別する画像判別工程をコンピュータに実行させるための写真画像判別プログラム。
8. 前記顔情報抽出工程で抽出された顔領域または前記肌領域検出工程で検出された肌領域から姿態特徴データを抽出する特徴データ抽出工程と、前記特徴データ抽出工程で抽出された姿態特徴データと予め年齢層毎に予めサンプリングされた姿態特徴データに基づいて被写体の年齢を推定する年齢推定工程をコンピュータに実行させるための請求項５から７の何れかに記載の写真画像判別プログラム。
9. 請求項５から８の何れかに記載の写真画像判別プログラムがインストールされた写真画像処理装置。