JP4661980B2 - 画像認識装置およびプログラム - Google Patents

Description

この発明は、撮影画内に含まれている被写体部分と予め被写体認識用として登録されている登録画像とを比較することによって当該被写体を認識する画像認識装置およびプログラムに関する。

従来、カメラ撮影された撮影画像を解析し、その中に写っている人物部分を抽出し、その人物は誰かを認識する技術として、たとえば、輝度変化などに影響されずに目、鼻などの特徴点を安定的に抽出して人物認証を高精度で行うようにした人物認証装置が知られている（特許文献１参照）。また、画像認識された人物の名前あるいは撮影年の情報をその画像に関連付けて表示するようにした画像処理装置が知られている（特許文献２参照）。

特開平０９−２５１５３４号公報 特開２００３−１５０９３２号公報

しかしながら、上述した特許文献１、２の技術にあっては、撮影画像内の人物部分と比較される比較対象の全ての画像（辞書画像／参照画像）と比較する必要があるため、比較対象の画像数が膨大であればある程、認識時間が長くなって認識効率が悪くなると共に、比較対象の画像同士が類似し合うことも多くなり、誤認識および認識率の低下を招くという問題があった。
ところで、複数の人物を集合撮影する際に、被写体である各人物は、たとえば、家族関係、交友関係、会社関係、親戚関係など撮影者にとって共通の人間関係にある場合が多く、集合撮影する各人物同士は、撮影者を通して関連付けられている可能性が高い。

第１の発明の課題は、撮影画像内に含まれている複数の被写体を個別に認識する場合に、各被写体同士の関連性をも考慮して各被写体を効率良く認識できるようにすることである。
第２の発明の課題は、撮影画像内に含まれている複数の被写体を個別に認識する場合に、各被写体同士の関連性をも考慮して各被写体を精度良く認識できるようにすることである。

請求項１記載の発明（第１の発明）は、撮影画像内に含まれている顔画像部分と予め顔画像認識用として登録されている登録画像とを比較することによって当該顔画像を認識する画像認識装置であって、顔画像認識用として顔画像毎に登録されている登録画像に対応してその顔画像の属性を示す属性情報を記憶管理する顔画像情報記憶手段と、撮影画像内に含まれている複数の顔画像を順次指定してその各々を個別に認識する過程で、ある顔画像を指定してその認識を行った際に、この顔画像に対応する属性情報に基づいて同一属性を持つ登録画像を比較対象として優先的に選択し、この選択範囲内の各登録画像と他の顔画像部分とを比較することによって当該顔画像を認識する認識手段とを具備したことを特徴とする。
更に、コンピュータに対して、上述した請求項１記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項５記載の発明）。

なお、請求項１記載の発明は次のようなものであってもよい。
前記認識手段は、撮影画像内に含まれている複数の顔画像のうち、撮影画像の中央部に含まれている顔画像を最初に指定する（請求項２記載の発明）。

前記認識手段は、撮影画像内に含まれている複数の顔画像のうち、最大サイズあるいは写り具合が最良の顔画像を最初に指定する（請求項３記載の発明）。

前記顔画像情報記憶手段は、登録画像に対応してその属性情報と共に、この顔画像の識別情報を記憶管理し、前記認識手段によって認識された顔画像に対応する識別情報を取得して出力する（請求項４記載の発明）。

請求項１記載の発明（第１の発明）によれば、顔画像認識用として顔画像毎に登録されている登録画像に対応してその顔画像の属性を示す属性情報が記憶管理されている状態において、撮影画像内に含まれている複数の顔画像を順次指定してその各々を個別に認識する過程で、ある顔画像を指定してその認識を行った際に、この顔画像に対応する属性情報に基づいて同一属性を持つ登録画像を比較対象として優先的に選択し、この選択範囲内の各登録画像と他の顔画像部分とを比較することによって当該顔画像を認識するようにしたから、撮影画像内に含まれている複数の顔画像を個別に認識する場合に、各顔画像同士の関連性をも考慮しながら比較対象を絞り込むことができる。たとえば、複数の人物を集合撮影する際に、顔画像である各人物は、家族関係、交友関係、会社関係、親戚関係など撮影者にとって共通の人間関係にある場合が多いために、各顔画像同士の関連性に基づいて比較対象を絞り込むことができ、登録画像の数が膨大であっても、各顔画像を効率良く認識することが可能となる。なお、顔画像は、人物に限らず、たとえば、複数のペット、または観光地内の複数の建物などであってもよい。

請求項２記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、撮影画像内に含まれている複数の顔画像のうち、撮影画像の中央部に含まれている顔画像を最初に指定するようにしたから、各顔画像同士の関連性を判断する際にその基準となる顔画像を容易に特定することが可能となる。

請求項３記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、撮影画像内に含まれている複数の顔画像のうち、最大サイズあるいは写り具合が最良の顔画像を最初に指定するようにしたから、各顔画像同士の関連性を判断する際にその基準となる顔画像を容易に特定することが可能となる。

請求項４記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、登録画像に対応してその属性情報と共にこの顔画像の識別情報が記憶管理されている状態において、認識された顔画像に対応する識別情報を取得して出力するようにしたから、たとえば、認識された顔画像の名前、メールアドレスなどの送付先を取得して出力することができる。すなわち、撮影画像を電子メールに添付して相手先に送付する際に、撮影画像をその相手先に適切に送付することができ、撮影画像毎に何が写っているかを確認しながら各送付先を探し出すという面倒な作業が不要となると共に、画像送付を忘れることを防ぐことが可能となる。

カメラ付き携帯端末の基本的構成要素を示したブロック図。 登録データベースを構成する登録レコードＲＴの内容を示した図。 画像ファイルＧＦの内容を示した図。 送付データベースを構成する送付レコードＡＤの内容を示した図。 カメラ撮影および撮影画像のメール送信に関する処理を示したフローチャート。 図５に続く、フローチャート。 図６に続く、フローチャート。 図５に続く、フローチャート。 第２実施形態において、各人物毎に得られた複数の認識候補を例示した図。 第２実施形態の特徴部分を示すフローチャート。

（第１実施例）
以下、図１〜図８を参照して本発明の第１実施例を説明する。
図１は、この実施形態におけるカメラ付き携帯端末の基本的構成要素を示したブロック図である。
このカメラ付き携帯端末は、カメラ付きの携帯電話、ＰＤＡ等の携帯端末であり、ネットワーク網（地上系／衛星系移動体通信網、インターネット網）を介して撮影画像を電子メールにて送信する機能を有している。この場合、ＴＣＰ／ＩＰ通信プロトコルを利用したＨＴＴＰプロトコル等によって、カメラ付き携帯端末と送付先端末との間でデジタル化（パケット化）された撮影画像の送受信を行うようにしている。
なお、この実施形態の特徴部分を詳述する前に、この実施形態のハードウェア上の構成について以下、説明しておく。

ＣＰＵ１は、記憶装置２内のオペレーティングシステム、各種アプリケーションソフトに応じてこのカメラ付き携帯端末の全体動作を制御する中央演算処理装置である。記憶装置２は、プログラム記憶領域とデータ記憶領域とを有し、磁気的、光学的、半導体メモリ等、その駆動系によって構成されている。この記録装置２はハードディスク等の固定的なメモリのほか、ＣＤ−ＲＯＭ、ＤＶＤ等の着脱自在な記憶媒体を装着可能な構成であってもよい。この記憶装置２内のプログラム領域には、後述する図５〜図８に示す動作手順に応じて本実施例を実現するためのアプリケーションプログラムが格納され、また、そのデータ領域には、後述する図２〜図４に示すデータ（人物データベース、画像ファイル、送付データベース）が格納されている。この記憶装置２内のプログラム、データは、必要に応じてＲＡＭ（たとえば、スタティックＲＡＭ）３にロードされたり、ＲＡＭ３内のデータが記憶装置２にセーブされる。なお、ＲＡＭ３は、プログラム実行領域と作業領域とを有している。

一方、ＣＰＵ１にはその入出力周辺デバイスである通信装置４、入力装置５、表示装置６、カメラ装置７がバスラインを介して接続されており、入出力プログラムに応じてＣＰＵ１はそれらの動作を制御する。入力装置５には、通常備えられているシャッターボタン等の各種ボタンのほか、この実施形態特有のボタンとして、後述する特殊モードボタン、画像登録ボタン、送信設定ボタン、送信ボタン等が備えられている。カメラ装置７は、ＣＣＤイメージセンサ等を撮像素子として使用するデジタルスチルカメラであり、このカメラ置７によって撮影された撮影画像（カラー画像）は、記憶装置２内に保存されるほかに、電子メールに添付されて送付先端末に送信される。

図２は、人物データベースを構成する各人物登録レコードＲＴの内容を示した図である。
人物登録レコードＲＴは、予め登録されている被写体（人物）毎に、その被写体画像と送付先とを対応付けて記憶管理するもので、人物毎に「人物画像」、「名前」、「メールアドレス」、「人物ＩＤ」、「人物属性」の各項目を有している。この「人物画像」、「名前」、「メールアドレス」は、たとえば、送付先メールアドレス帳（図示せず）から任意に読み出して人物登録レコードＲＴ内にセットされたものであり、「人物画像」は、人物の顔を中心として撮影された顔画像であり、人物認識用として人物毎に予め登録されている登録画像である。「人物ＩＤ」は、人物登録レコードＲＴが生成される毎に発行された人物識別情報（登録レコード識別情報）である。「人物属性」は、ユーザ（撮影者）と被写体となる人物との人間関係を示すもので、その属性値”００”は親族関係、その属性値”０１”は学校時代関係、その属性値”０２”は会社関係、その属性値”０３”は取引関係、‥‥を示している。この場合、何れかの属性値を１つ登録する場合に限らず、たとえば、学校時代関係、取引関係のように、２以上の属性値を登録するようにしてよい。

図３は、画像ファイルＧＦ、図４は、送付データベースを構成する送付レコードＡＤの内容を示した図である。
画像ファイルＧＦは、撮影された各撮影画像を１画像１ファイル形式で記憶管理するもので、撮影毎に更新される撮影Ｎｏ（一連Ｎｏ）に対応付けて各撮影画像を記憶管理する構成となっている。送付レコードＡＤは、各撮影画像を人物ＩＤ別に分類管理するもので、「人物ＩＤ」に対応して複数の「撮影Ｎｏ」を記憶可能な構成となっている。ここで、カメラ付き携帯端末は、撮影画像を解析することによって人物登録レコードＲＴ内に登録されている「人物画像」が撮影画像内に含まれているか否かを認識し、登録画像が含まれていれば、この人物ＩＤに対応付けてその「撮影Ｎｏ」を送付レコードＡＤ内にセットするようにしている。また、送付レコードＡＤ内の各「撮影Ｎｏ」に基づいて画像ファイルＧＦをアクセスして該当する撮影画像を読み出すと共に、送付レコードＡＤ内の「人物ＩＤ」に基づいて人物登録レコードＲＴをアクセスして該当する「メールアドレス」を読み出し、各撮影画像をこのメールアドレス宛に送付するようにしている。

次ぎに、この第１実施形態におけるカメラ付き携帯端末の動作概念を図５〜図８に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作を逐次実行する。また、伝送媒体を介して伝送されてきた上述のプログラムコードにしたがった動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体の他、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態特有の動作を実行することもできる。

図５〜図８は、カメラ撮影時および撮影画像のメール送信時に関する処理を示したフローチャートである。
先ず、ＣＰＵ１は、通常の撮影モードから特殊モードに移行させるボタン操作の有無をチェックし（図５のステップＳ１）、特殊モードボタンが操作された場合には、他のボタン操作の有無をチェックする（ステップＳ２）。なお、この特殊モードは、特殊モードボタンが操作される毎にセット／リセットが繰り返されるもので、特殊モードにおいて、画像登録ボタン、送信設定ボタン、送信ボタンの何れかが操作された場合には（ステップＳ２でＹＥＳ）、この操作ボタンの種類を判別し、画像登録ボタンであれば（ステップＳ３）、送付先メールアドレス帳の内容を一覧表示させる（ステップＳ４）。

この一覧表示の中から任意の人物が選択指定された場合には（ステップＳ５）、このアドレス帳から指定人物対応の「人物画像」、「名前」、「メールアドレス」を読み出すと共に（ステップＳ６）、「人物ＩＤ」を生成発行し（ステップＳ７）、この「人物画像」、「名前」、「メールアドレス」、「人物ＩＤ」を含む新たな人物登録レコードＲＴを生成して記憶管理する（ステップＳ８）。以下、登録終了が指示されるまで（ステップＳ９）、上述の登録レコード生成処理が１レコード毎に繰り返される（ステップＳ５〜Ａ９）。

このようにして人物対応の各登録レコードが生成管理されている状態において、送信設定ボタンが操作された場合には（ステップＳ１０）、現在、送信モードにセットされているか否かを調べる（ステップＳ１１）。この送信モードは、撮影画像を送信可能な状態にセットする動作モードであり、送信設定ボタンが操作される毎に、そのセット／リセットが繰り返される。いま、送信モードにセットされている状態において、送信設定ボタンが操作された場合には、送信モードをリセットするが（ステップＳ１３）、送信モードがリセットされている状態において、送信設定ボタンが操作された場合には、送信モードにセットする（ステップＳ１２）。

一方、上述の特殊モードが解除（リセット）されている状態において、シャッターボタンが操作された場合には（ステップＳ１４）、それに応答して画像撮影が行われると共に（図６のステップＳ２１）、撮影Ｎｏを更新して新たな撮影Ｎｏを発行し（ステップＳ２２）、この撮影Ｎｏを付加した撮影画像を画像ファイルＧＦとして保存する（ステップＳ２３）。そして、送信モードがセットされているか否かを調べ（ステップＳ２４）、それがリセットされていれば、図５の最初のステップＳ１に戻るが、送信モードがセットされていれば、この撮影画像を解析することによって（ステップＳ２５）、撮影画像内に含まれている全人物の顔部分の抽出を行う（ステップＳ２６）。

そして、上述のようにして抽出した全ての人物の顔部分を順次指定しながら個別に各人物を認識する処理を行うが、それに先だって認識対象として最初に指定する人物を特定するための処理が行われる（ステップＳ２７〜Ａ３３）。先ず、抽出した全ての顔部分を評価し、顔の向き、顔の隠れ状態などが極端に悪いものを除いた写りの良い顔画像（人物）を選択する（ステップＳ２７）。そして、選択した各顔画像のうち、当該撮影画像の中央部に顔画像が位置しているか否かを判別し（ステップＳ２８）、撮影画像の中央部に顔画像が有れば（ステップＳ２９でＹＥＳ）、この顔画像の人物を最初の認識対象として指定する（ステップＳ３０）。

また、撮影画像の中央部に顔画像が無ければ（ステップＳ２９でＮＯ）、選択した各顔画像の大きさを比較し、その大きさにかなりの差が有るかをチェックする （ステップＳ３１）。ここで、選択した各顔画像の大きさに差が有れば、その中から最大サイズの顔画像を選択して（ステップＳ３２）、当該顔画像の人物を最初の認識対象として指定するが（ステップＳ３０）、各顔画像の大きさが略同様であれば（ステップＳ３１でＮＯ）、選択した各顔画像の中から最も写りの良い顔画像を選択して（ステップＳ３３）、当該顔画像の人物を最初の認識対象として指定する（ステップＳ３０）。

このようにして最初の認識対象としての人物が指定されると、この顔画像に基づいて人物データベースを構成する各人物登録レコードＲＴを検索し、その登録画像としての各「人物画像」と比較する(ステップＳ３４)。この場合、画像の顔の向き、大きさに補正した後、顔の輪郭、目、口、鼻、額等の形、位置、大きさ、髪型、メガネの有無と種類等を個別に比較するほか、それらを総合比較することによって画像比較を行う(以下、同様)。この結果、両人物が特徴的に一致することが認識されて当該人物が特定されると、この登録画像に対応付けられている「人物ＩＤ」および「人物属性」をその人物登録レコードＲＴから読み出して、「人物ＩＤ」および「人物属性」を特定する(ステップＳ３５)。

次ぎに、図７のステップＳ３６に移り、撮影画像内から抽出した各顔画像のうち、未指定の顔画像が有るかを調べるが、最初は、１番目の顔画像を指定した場合であるから、未指定の顔画像のうち、その何れか１つを２番目の認識対象として指定する（ステップＳ３８）。そして、指定した顔画像に基づいて人物認識を行うが、２番目以降の人物認識時には、上述した１番目の人物認識時に得られた人物属性を考慮した人物認識が行われる（ステップＳ３９）。すなわち、１番目の人物認識時に得られた人物属性に基づいて人物データベースを構成する各人物登録レコードＲＴを検索し、同一の人物属性を持つ各登録画像を比較対象として選択し、この選択範囲内の各登録画像と２番目に指定された顔画像とを比較することによって人物認識を行う。言い換えれば、人物データベース内の全ての登録画像を比較対象とするのではなく、１番目の人物認識時に得られた人物属性（人間関係）に基づいて絞り込まれた範囲内の比較対象を参照して人物認識を行う。

この結果、１番目の人物の人間関係に基づいて絞り込まれた範囲内の何れかの登録画像と２番目に指定された顔画像とが所定レベル以上の一致し、当該人物が特定されると（ステップＳ４０でＹＥＳ）、この登録画像に対応付けられている「人物ＩＤ」をその人物登録レコードＲＴから読み出して「人物ＩＤ」を特定する（ステップＳ４１）。一方、絞り込まれた範囲内の各登録画像には２番目に指定された顔画像に一致する人物を含まれていない場合には（ステップＳ４０でＮＯ）、通常と同様（１番目の人物と同様）に、人物データベース内の全登録画像を比較対象として人物認識を行い（ステップＳ４２）、その結果、人物が特定されると、当該登録画像に対応付けられている「人物ＩＤ」をその人物登録レコードＲＴから読み出して「人物ＩＤ」を特定する（ステップＳ４１）。

以下、ステップＳ３６に戻り、未指定の顔画像の有無を調べ、全ての顔画像を指定し終わるまで上述の動作が繰り返される。ここで、全ての顔画像を指定し終わった場合には、特定された各人物ＩＤ毎に、その撮影Ｎｏを人物対応の送付レコードＡＤ内にセットする（ステップＳ３７）。その後、図５の最初のステップＳ１に移る。この場合、特定された人物対応の送付レコードＡＤが存在していれば（作成済みであれば）、この撮影Ｎｏを該当レコード内に追加登録するが、該当レコードＡＤが存在していなければ、特定された人物対応の送付レコードＡＤを新規作成するようにしている。

他方、上述の特殊モードにセットされている状態において、送信ボタンが操作された場合には（図８のステップＳ５１）、１つの送付レコードＡＤを指定し、この送付レコードＡＤ内の「人物ＩＤ」に基づいて人物登録レコードＲＴをアクセスし、該当する「メールアドレス」を読み出してメール宛先としてセットする（ステップＳ５２）。次に、指定した送付レコードＡＤ内から各「撮影Ｎｏ」を読み出し、この「撮影Ｎｏ」に基づいて該当する画像ファイルＧＦを取得し（ステップＳ５３）、この各撮影画像ファイルを圧縮ファイルに変換して当該メールに添付する（ステップＳ５４）。そして、メール送信を行った後に（ステップＳ５５）、この送信済みの送付レコードＡＤを削除する（ステップＳ５６）。以下、他の送付レコードＡＤがあれば（ステップＳ５７でＹＥＳ）、この送付レコードＡＤを順次指定しながら上述の送付処理を繰り返す（ステップＳ５１〜Ａ５７）。

以上のように、この第１実施例のカメラ付き携帯端末において、ＣＰＵ１は、人物データベース内に登録画像（人物顔画像）に対応してその人物属性が記憶管理されている状態において、カメラ装置７によって撮影された撮影画像内に含まれている複数の人物を順次指定してその各々を個別に認識する過程で、ある人物を指定してその認識を行った際に、この人物に対応する属性に基づいて同一属性を持つ登録画像を比較対象として優先的に選択し、この選択範囲内の各登録画像と他の人物とを比較することによって当該人物を認識するようにしたから、撮影画像内の複数の人物を個別に認識する場合において、各人物同士の人間関係（家族関係、交友関係、会社関係、親戚関係など）に基づいて比較対象を絞り込むことができ、登録画像の数が膨大であっても、各人物を効率良く認識することが可能となる。

この場合、ＣＰＵ１は、撮影画像内に含まれている複数の人物のうち、撮影画像の中央部に含まれている人物を最初に指定したり、撮影画像内に含まれている複数の人物のうち、最大サイズあるいは写り具合が最良の人物を最初に指定するようにしたから、各人物同士の関連性を判断する際にその基準となる人物を容易に特定することが可能となる。

人物データベース内に登録画像に対応してその人物属性と共にこの人物の名前、メールアドレスが記憶管理されている状態において、認識された人物に対応する名前、メールアドレスを取得してメール送信するようにしたから、撮影画像を電子メールに添付して相手先に送付する際に、撮影画像をその相手先に適切に送付することができ、撮影画像毎に何が写っているかを確認しながら各送付先を探し出すという面倒な作業が不要となると共に、画像送付を忘れることを防ぐことが可能となる。

なお、上述した第１実施例においては、その属性値として親族関係、学校時代関係、会社関係、取引関係、‥‥を例示したが、たとえば、学校時代関係を大学時代、高校時代の友人関係、サークル関係などのように、より詳細な関係を登録したり、階層構造でその関係を関連付けてもよい。この場合、下位階層から上位階層に比較対象を段階的に選択するようにしてもよい。

また、上述した第１実施例においては、被写体として、人物を例示したが、たとえば、複数のペット、または観光地内の複数の建物などであってもよく、また、撮影画像内の複数の被写体は、人物同士、ペット同士に限らず、たとえば、人物とペットであってもよい。また、撮影画像内の複数の被写体を認識した後にその認識結果を選択候補として案内表示するようにしてもよい。

一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（たとえば、ＣＤ−ＲＯＭ、フレキシブルディスク、ＲＡＭカード等）を提供するようにしてもよい。すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、被写体認識用として被写体毎に登録されている登録画像に対応してその被写体の属性を示す属性情報を記憶管理する機能と、撮影画像内に含まれている複数の被写体を順次指定してその各々を個別に認識する過程で、ある被写体を指定してその認識を行った際に、この被写体に対応する属性情報に基づいて同一属性を持つ登録画像を比較対象として選択し、この選択範囲内の各登録画像と他の被写体部分とを優先的に比較することによって当該被写体を認識する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
（実施例２）

以下、この発明の第２実施例について図９および図１０を参照して説明する。
なお、上述した第１実施例においては、最初の人物を指定してその認識を行った際に、この人物に対応する属性に基づいて同一属性を持つ登録画像を比較対象として優先的に選択することによって比較対象範囲を絞り込むようにしたが、この第２実施例においては、撮影画像内に含まれている複数の人物を個別に認識する場合に、類似する登録画像が多くても各人物を精度良く認識できるようにしたものである。すなわち、この第２実施例においては、各人物毎に複数の認識候補を得ると共に、各人物毎に得られた複数の認識候補の中から各人物に共通する属性を持つ認識候補を各人物の認識結果として決定することにより各人物を精度良く認識できるようにしたものである。
ここで、両実施例において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施例の特徴部分を中心に説明するものとする。

図９は、各人物毎に得られた複数の認識候補を例示した図である。
この場合、人物Ａ、Ｂ、Ｃに対応して複数の人物ＩＤとその属性を認識候補として得た場合を示している。すなわち、複数の人物を個別に認識する際に、人物毎に類似度の高い複数個の登録画像を認識候補として特定し、人物登録レコードＲＴから各登録画像対応の人物ＩＤと人物属性を読み出したものである。この各人物対応の認識候補の中から人物属性が共通する人物ＩＤを選択して各人物の認識結果として決定するようにしている。たとえば、図９の例では、人物Ａ、Ｂ、Ｃに共通する人物属性は「００１」であるため、この人物属性「００１」に対応付けられている人物ＩＤが各人物の認識結果として決定される。

図１０は、この第２実施例の特徴部分を示すフローチャートであり、上述した図５〜図８のうち、図６に代わるフローチャートであり、図５、図７、図８は、上述した第１実施例と同様であるため、以下、図１０を参照して、この第２実施例の特徴部分を説明するものとする。
先ず、ＣＰＵ１は、特殊モードが解除（リセット）されている状態において、シャッターボタンが操作された場合には（図５のステップＳ１４）、それに応答して画像撮影が行われると共に（図１０のステップＳ６１）、撮影Ｎｏを更新して新たな撮影Ｎｏを発行し（ステップＳ６２）、この撮影Ｎｏを付加した撮影画像を画像ファイルＧＦとして保存する（ステップＳ６３）。そして、送信モードがセットされているか否かを調べ（ステップＳ６４）、それがリセットされていれば、図５の最初のステップＳ１に戻るが、送信モードがセットされていれば、この撮影画像を解析することによって（ステップＳ６５）、撮影画像内に含まれている全人物の顔部分の抽出を行う（ステップＳ６６）。

そして、抽出した全ての人物の顔部分を順次指定しながら個別に各人物を認識する処理を行う。先ず、抽出した各人物の顔部分のうち、その何れか１つの顔画像を認識対象として指定した後（ステップＳ６７）、この顔画像に基づいて人物データベースを構成する各人物登録レコードＲＴを検索し、その登録画像としての各「人物画像」と比較する（ステップＳ６８）。この場合、特徴的に一致する一致度（類似度）が所定レベル以上の登録画像の有無をチェックし、該当する類似画像が１つも存在していなければ（ステップＳ６９でＮＯ）、次のステップＳ７１に移るが、該当する類似画像が１つでも存在していれば、一致度（類似度）の高い順に３つの人物ＩＤおよび人物属性をその人物登録レコードＲＴから読み出して当該人物の認識候補として特定する（ステップＳ７０）。

次ぎに、未指定の顔画像が有るかを調べるが（ステップＳ７１）、最初は、１番目の顔画像を指定した場合であるから、未指定の顔画像のうち、その何れか１つを２番目の認識対象として指定する（ステップＳ６７）。以下、全ての顔画像を指定し終わるまで上述の動作が繰り返される（ステップＳ６７〜Ａ７１）。ここで、全ての顔画像を指定し終わった場合には、各人物毎に特定した複数の人物ＩＤ（認識候補）のうち、各人物に共通する人物属性を特定すると共に（ステップＳ７２）、この人物属性対応の人物ＩＤを特定する（ステップＳ７３）。これによって特定された各人物ＩＤ毎に、その撮影Ｎｏを人物対応の送付レコードＡＤ内にセットする（ステップＳ７４）。その後、図５の最初のステップＳ１に移る。

以上のように、この第２実施例のカメラ付き携帯端末において、ＣＰＵ１は、人物データベース内に登録画像（人物顔画像）に対応してその人物属性が記憶管理されている状態において、カメラ装置７によって撮影された撮影画像内に含まれている複数の人物を順次指定してその各々を個別に認識する過程で、各人物毎に複数の認識候補を得ると共に、各人物毎に得られた複数の認識候補の中から各人物に共通する属性を持つ認識候補を各人物の認識結果として決定するようにしたから、各人物に共通する人間関係（家族関係、交友関係、会社関係、親戚関係など）を考慮して各人物を認識することができ、類似する登録画像が多くても、各人物を精度良く認識することが可能となる。

なお、上述した第２実施例においても、その属性値として親族関係、学校時代関係、会社関係、取引関係などに限らず、たとえば、大学時代、高校時代の友人関係、サークル関係などのように、より詳細な関係であってもよい。被写体としては、人物に限らず、複数のペット、または観光地内の複数の建物などであってもよく、また、撮影画像内の複数の被写体は、人物同士、ペット同士に限らず、たとえば、人物とペットであってもよい。

一方、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、被写体認識用として被写体毎に登録されている登録画像に対応してその被写体の属性を示す属性情報を記憶管理する機能と、撮影画像内に含まれている複数の被写体を順次指定してその各々を個別に認識する過程で、各被写体毎に複数の認識候補を得ると共に、各被写体毎に得られた複数の認識候補の中から各被写体に共通する属性情報を持つ認識候補を各被写体の認識結果として決定する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。

その他、上述した第１および第２実施形態においては、シャッター操作が行われる毎に、撮影画像を解析することによって画像認識して送付レコードＡＤを作成するようにしたが、このような画像解析および送付レコードＡＤの作成は、シャッター操作毎に行わず、例えば、シャッター非操作時の空き時間において、保存されている各撮影画像を順次読み出して実行するようにしてもよい。
また、上述した第１および第２実施形態においては、登録レコードＲＴ内に１人物に対応して１種類の画像を登録するようにしたが、画像比較時の認識率を向上させる為に、撮影方向等が異なる複数の画像を登録するようにしてもよい。

上述した第１および第２実施形態においては、撮影画像をメールに添付して送信するようにしたが、カラー印刷された撮影画像をファクシミリ装置にてＦＡＸ送信するようにしてもよく、送信形態は問わない。また、送付する撮影画像は、静止画に限らず、動画であってもよい。
上述した第１および第２実施形態においては、カメラ付き携帯端末に適用した場合を例示したが、他のカメラ装置によって撮影された各撮影画像を受信取得して、送付先に送信するようにした画像送信装置であってもよい。

１ ＣＰＵ
２ 記憶装置
４ 通信装置
５ 入力装置
６ 表示装置
７ カメラ装置
ＲＴ 登録レコード
ＧＦ 画像ファイル
ＡＤ 送付レコード

Claims (5)

1. 撮影画像内に含まれている顔画像部分と予め顔画像認識用として登録されている登録画像とを比較することによって当該顔画像を認識する画像認識装置であって、
   顔画像認識用として顔画像毎に登録されている登録画像に対応してその顔画像の属性を示す属性情報を記憶管理する顔画像情報記憶手段と、
   撮影画像内に含まれている複数の顔画像を順次指定してその各々を個別に認識する過程で、ある顔画像を指定してその認識を行った際に、この顔画像に対応する属性情報に基づいて同一属性を持つ登録画像を比較対象として優先的に選択し、この選択範囲内の各登録画像と他の顔画像部分とを比較することによって当該顔画像を認識する認識手段と、
   を具備したことを特徴とする画像認識装置。
2. 前記認識手段は、撮影画像内に含まれている複数の顔画像のうち、撮影画像の中央部に含まれている顔画像を最初に指定する、
   ようにしたことを特徴とする請求項１記載の画像認識装置。
3. 前記認識手段は、撮影画像内に含まれている複数の顔画像のうち、最大サイズあるいは写り具合が最良の顔画像を最初に指定する、
   ようにしたことを特徴とする請求項１記載の画像認識装置。
4. 前記顔画像情報記憶手段は、登録画像に対応してその属性情報と共に、この顔画像の識別情報を記憶管理し、
   前記認識手段によって認識された顔画像に対応する識別情報を取得して出力する、
   ようにしたことを特徴とする請求項１記載の画像認識装置。
5. コンピュータに対して、
   顔画像認識用として顔画像毎に登録されている登録画像に対応してその顔画像の属性を示す属性情報を記憶管理する機能と、
   撮影画像内に含まれている複数の顔画像を順次指定してその各々を個別に認識する過程で、ある顔画像を指定してその認識を行った際に、この顔画像に対応する属性情報に基づいて同一属性を持つ登録画像を比較対象として選択し、この選択範囲内の各登録画像と他の顔画像部分とを優先的に比較することによって当該顔画像を認識する機能と、
   を実現させるためのプログラム。

Images