JP4671133B2 - 画像処理装置 - Google Patents

Description

本発明は画像処理装置に係り、特に携帯電話回線やインターネット等の通信回線を通じてカメラで撮影された画像等を外部機器に送出する機能を有する画像処理装置に関する。

近年では、無線ＬＡＮ機能を搭載したデジタルカメラやカメラ付きの携帯電話等において、カメラにより撮影した画像を、パソコン等の他の機器を介さずに携帯電話回線やインターネット等の通信回線を利用して外部機器に送信することが可能となっている。そのため、ユーザが撮影した画像の不特定多数人への公開が簡易に行える状況となっており、それに伴い、撮影画像内に意図せずに映り込んでしまっている不特定者の個人のプライバシーを侵害する可能性が生じている。

撮影画像内に写っている人物や物を公開しないようにする技術として特許文献１、２には次のような提案がなされている。特許文献１には、カメラで撮影した画像から顔画像を検出し、検出した顔画像と、予め登録されている特定人物の顔画像とを照合して、一致した場合にはその顔画像の部分にマスク処理（抽象化処理）を施さず、不一致の場合にはその顔画像にマスク処理を施すようにした装置が開示されている。

特許文献２には、画像を蓄積した画像処理装置において、操作端末から画像の送信が要求されると、送信する画像内の所要の部分にマスク処理を施すと共に、そのマスク処理の内容（マスク領域の大きさ等）を、操作端末を使用するユーザのレベルに応じて変更するものが開示されている。
特開２００４−６２５６０号公報 特開２００３−４６７４５号公報

しかしながら、特許文献１によれば、予め登録している特定人物以外の顔にマスク処理が施されるため、顔画像を登録していない人物には常にマスク処理が施されるという欠点があった。

また、特許文献２では、撮影画像内に映り込む物が決まっている場合に適用可能なもので、ユーザが任意に画角を決めて撮影した撮影画像には適用することができない。

本発明はこのような事情に鑑みてなされたもので、カメラで撮影された画像（静止画及び動画）を外部機器に送出する場合に、個人のプライバシーを保護する人物の顔に簡易なユーザ操作で確実にマスク処理を施せるようにした画像処理装置を提供することを目的とする。

前記目的を達成するために、請求項１に記載の画像処理装置は、画像を取り込む画像取込手段と、前記画像取込手段により取り込まれた画像内から人物の顔画像を検出する顔画像検出手段と、前記顔画像検出手段により検出された同一画像内の各顔画像を面積が最大の顔画像と比較したときの大きさ、各顔画像の顔の向き、又は、各顔画像と同一人物の顔画像が写っている他の画像の数に基づいて、該各顔画像に対してマスク処理を施すか否かを判断する自動マスク判断手段と、前記画像取込手段により取り込まれた画像に対して、前記自動マスク判断手段によりマスク処理を施すと判断された顔画像の領域にマスク処理を施した画像を外部機器に送出し、又は、前記画像取込手段により取り込まれた画像、及び、前記自動マスク判断手段によりマスク処理を施すと判断された顔画像の領域を示す情報を外部機器に送出する送出手段と、を備えたことを特徴としている。

本発明によれば、画像を送信する際にプライバシーを保護する人物の顔画像に自動的にマスク処理が施され、又は、マスク処理を施す領域の情報が画像と共に外部機器に送出されるため、ユーザの手間なくプライバシー保護が図られた画像を外部機器に送信することができる。

請求項４に記載の画像処理装置は、画像を取り込む画像取込手段と、前記画像取込手段により取り込まれた画像内から人物の顔画像を検出する顔画像検出手段と、前記顔画像検出手段により顔画像として検出された各領域を識別可能に表示した画面であって、前記顔画像検出手段により検出された各顔画像に対してマスク処理を施すか否かの判断をユーザが入力するための操作画面を表示する表示手段と、前記表示手段の画面上でのユーザの操作に従って前記顔画像検出手段により検出された各顔画像に対してマスク処理を施すか否かを判断する手動マスク判断手段と、前記画像取込手段により取り込まれた画像に対して、前記手動マスク判断手段によりマスク処理を施すと判断された顔画像の領域にマスク処理を施した画像を外部機器に送出し、又は、前記画像取込手段により取り込まれた画像、及び、前記手動マスク判断手段によりマスク処理を施すと判断された顔画像の領域を示す情報を外部機器に送出する送出手段と、を備え、前記画像取込手段により取り込まれる画像が複数のフレーム画像からなる動画である場合に、前記表示手段は、前記顔画像検出手段により顔画像が検出されたフレーム画像のうち、新しい人物の顔画像が登場するフレーム画像に対する前記操作画面を順次表示することを特徴としている。

本発明によれば、画像を送信する際にユーザは画像内の各顔画像についてマスク処理を施すか否かの選択を行う簡易な操作のみで確実にプライバシー保護が図られた画像を外部機器に送信することができる。

請求項７に記載の画像処理装置は、画像を取り込む画像取込手段と、前記画像取込手段により取り込まれた画像内から人物の顔画像を検出する顔画像検出手段と、前記顔画像検出手段により検出された各顔画像に対してマスク処理を施すか否かを自動で判断する自動マスク判断手段と、前記顔画像検出手段により顔画像として検出された各領域を識別可能に表示すると共に、前記自動マスク判断手段によりマスク処理を施すと判断された顔画像の領域と、マスク処理を施さないと判断された顔画像の領域とを識別可能に表示する画面であって、前記顔画像検出手段により検出された各顔画像に対してマスク処理を施すか否かの判断をユーザが入力するための操作画面を表示する表示手段と、前記顔画像検出手段により検出された各顔画像に対してマスク処理を施すか否かの前記自動マスク判断手段による判断結果を、前記表示手段の画面上でのユーザの操作に従って修正し、前記顔画像検出手段により検出された各顔画像に対してマスク処理を施すか否かの判断を行う手動マスク判断手段と、前記画像取込手段により取り込まれた画像に対して、前記手動マスク判断手段によりマスク処理を施すと判断された顔画像の領域にマスク処理を施した画像を外部機器に送出し、又は、前記画像取込手段により取り込まれた画像、及び、前記手動マスク判断手段によりマスク処理を施すと判断された顔画像の領域を示す情報を外部機器に送出する送出手段と、を備えたことを特徴としている。

本発明は、送信する画像の各顔画像にマスク処理を施すか否かの判断を半自動化すると共に、自動での判断をユーザが修正できるようにして適切にマスク処理を施す顔画像を選択できるようにしたものである。

請求項２に記載の画像処理装置は、請求項１に記載の発明において、前記自動マスク判断手段は、判断対象の画像に対して前記顔画像検出手段により検出された各顔画像と同一人物の顔画像が、既に記録されている他の画像の所定数以上に写っているか否かによってマスク処理を施すか否かを判断することを特徴としている。

本発明は、同一人物の顔画像が所定数以上の画像に写っている場合には意図的に撮影された人物である可能性が高いため、その顔画像にはマスク処理を施さないというような自動マスク判断の一形態を示している。

請求項３に係る画像処理装置は、請求項１に記載の発明において、前記画像取込手段により取り込まれる画像が複数のフレーム画像からなる動画である場合に、前記自動マスク判断手段は、各フレーム画像に対して前記顔画像検出手段により検出された同一人物の顔画像が所定数以上のフレーム画像に写っているか否かによってマスク処理を施すか否かを判断することを特徴としている。

本発明は、動画において、同一人物の画像が所定数以上のフレーム画像に写っている場合には意図的に撮影された人物である可能性が高いため、その顔画像にはマスク処理を施さないというような自動マスク判断の一形態を示している。

請求項８に係る画像処理装置は、請求項７に記載の発明において、前記自動マスク判断手段は、前記顔画像検出手段により検出された各顔画像の大きさ、数、画角内の位置、又は、顔の向きに基づいて、各顔画像についてマスク処理を施すか否かを判断することを特徴としている。

請求項９に係る画像処理装置は、請求項７に記載の発明において、前記自動マスク判断手段は、判断対象の画像に対して前記顔画像検出手段により検出された各顔画像と同一人物の顔画像が、既に記録されている他の画像の所定数以上に写っているか否かによってマスク処理を施すか否かを判断することを特徴としている。

請求項１０に係る画像処理装置は、請求項７に記載の発明において、前記画像取込手段により取り込まれる画像が複数のフレーム画像からなる動画である場合に、前記自動マスク判断手段は、各フレーム画像に対して前記顔画像検出手段により検出された同一人物の顔画像が所定数以上のフレーム画像に写っているか否かによってマスク処理を施すか否かを判断することを特徴としている。

請求項１４に係る画像処理装置は、請求項４〜１３のうちのいずれか１に記載の発明において、前記画像取込手段により１つの画像が取り込まれると、前記顔画像検出手段により検出された各顔画像に対して前記表示手段によりマスク処理を施すか否かの判断をユーザが入力するための前記操作画面の表示が自動的に行われるモードを備えたことを特徴としている。

本発明によれば、所定のモードにおいて１つの画像を取込むと、その画像の送信が行われる前に各顔画像にマスク処理を施すか否かの判断をユーザが入力する操作画面が自動的に表示される。これによって画像を取り込んだ際にはその画像を送信することを考慮してプライバシーの保護が図られると共に、送信優先のＧＵＩの提供によるＧＵＩの簡便化が図れる。

請求項１５に係る画像処理装置は、請求項４〜１３のうちのいずれか１に記載の発明において、前記送出手段による画像の送出を指示する操作が行われると、前記顔画像検出手段により検出された各顔画像に対して前記表示手段によりマスク処理を施すか否かの判断をユーザが入力するための操作画面の表示が行われるモードを備えたことを特徴としている。

本発明は、所定のモードにおいて画像の送信を指示すると、その画像の送信が行われる前に各顔画像にマスク処理を施すか否かの判断をユーザが入力する操作画面が自動的に表示される。これによって画像を送信する際にプライバシーの保護が確実に図られると共に、送信優先のＧＵＩの提供によるＧＵＩの簡便化が図れる。

請求項１２に係る画像処理装置は、請求項７〜１１のうちのいずれか１の発明において、前記画像取込手段により取り込まれる画像が複数のフレーム画像からなる動画である場合に、前記表示手段は、前記顔画像検出手段により顔画像が検出されたフレーム画像のうち、新しい人物の顔画像が登場するフレーム画像に対する前記操作画面を順次表示することを特徴としている。

本発明は、動画を送信する際に各顔画像にマスク処理を施すか否かの判断をユーザが入力する操作画面の表示に関する一形態を示している。

請求項１３に係る画像処理装置は、請求項４、５、又は、１２に記載の発明において、前記表示手段は、前記操作画面として新しく登場する人物の顔画像を、該人物が写っているフレーム画像の数に応じた大きさ、又は、濃さにより表示することを特徴としている。

本発明によれば、各顔画像にマスク処理を施すか否かの判断をユーザが入力するための操作画面の見やすさが向上する。

請求項１６に係る画像処理装置は、請求項４〜１５のうちのいずれか１の画像処理装置において、前記表示手段は、前記操作画面として前記顔画像検出手段により検出された顔画像を一覧表示することを特徴としている。

本発明によれば、各顔画像にマスク処理を施すか否かの判断をユーザが入力するための操作画面の見やすさが向上する。

請求項１１に係る画像処理装置は、請求項７〜１０のうちのいずれか１に記載の発明において、前記画像取込手段により取り込まれる画像が複数のフレーム画像からなる動画である場合に、前記表示手段は、前記操作画面として前記顔画像検出手段により検出された各顔画像を同一人物の顔画像が写っているフレーム画像の数を添えて表示することを特徴としている。

本発明によれば、各顔画像にマスク処理を施すか否かの判断をユーザが入力するための操作画面の見やすさが向上する。

請求項１７に係る画像処理装置は、請求項１６に記載の発明において、前記画像取込手段により取り込まれる画像が複数のフレーム画像からなる動画である場合に、前記表示手段は、前記操作画面として前記顔画像検出手段により検出された同一人物の顔画像のうち最も正面を向いている顔画像を表示することを特徴としている。

本発明によれば、各顔画像にマスク処理を施すか否かの判断をユーザが入力するための操作画面の見やすさが向上する。

請求項１８に係る画像処理装置は、請求項１６に記載の発明において、前記画像取込手段により取り込まれる画像が複数のフレーム画像からなる動画である場合に、前記表示手段は、前記操作画面として前記顔画像検出手段により検出された同一人物の各顔画像のうち最も面積が大きい顔画像を表示することを特徴としている。

本発明によれば、各顔画像にマスク処理を施すか否かの判断をユーザが入力するための操作画面の見やすさが向上する。

請求項１９に係る画像処理装置は、請求項１〜１８のうちのいずれか１に記載の発明において、マスク処理が施されていない前記画像取込手段により取り込まれた画像を保存用メモリに保存することを特徴としている。

本発明は、元画像を保存しておく態様を示している。

本発明に係る画像処理装置によれば、カメラで撮影された画像（静止画及び動画）を外部機器に送出する場合に、個人のプライバシーを保護する人物の顔に簡易なユーザ操作で確実にマスク処理を施すことができるようになる。

以下、添付図面に従って本発明に係る画像処理装置を実施するための最良の形態について詳説する。

図１、図２は、それぞれ本発明が適用されたデジタルカメラの正面斜視図と背面斜視図である。同図に示すように、デジタルカメラ１０（以下、カメラ１０と称す）のカメラボディ１２の正面には、撮影レンズ１４、フラッシュ１６、ファインダ窓１８等が設けられている。カメラボディ１２の上面には、シャッターボタン２０、電源／モードスイッチ２２、モードダイヤル２４等が設けられており、背面には、ファインダ接眼部２６、液晶モニタ２８、ズームボタン３０、十字ボタン３２、ＭＥＮＵ／ＯＫボタン３４、ＤＩＳＰボタン３６、ＢＡＣＫボタン３８等が設けられている。また、図示しないカメラボディ１２の底面には、開閉自在なカバーを介してバッテリーを収納するためのバッテリー収納室と、保存用メモリとしてのメモリカードを装填するためのカードスロットとが設けられている。

撮影レンズ１４は、例えば、沈胴式のズームレンズで構成されており、撮影モードの下、デジタルカメラ １０の電源をＯＮにすると、カメラボディ１２から繰り出され、ＯＦＦにすると、沈胴する。

フラッシュ１６は、低照度下において、被写体に補助光を照射する装置であって、撮影レンズ１４の上部に配置されている。

シャッターボタン２０は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。デジタルカメラ１０は、このシャッターボタン２０を半押しすることにより、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動合焦）、ＡＷＢ（Automatic White Balance ：自動ホワイトバランス）が機能し、全押しすることにより撮影が行われる。

電源／モードスイッチ２２は、デジタルカメラ１０の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、デジタルカメラ １０のモードを設定するモードスイッチとしての機能を有しており、「ＯＦＦ位置」、「再生位置」、「撮影位置」の間をスライド自在に設けられている。デジタルカメラ１０は、この電源／モードスイッチ２２を「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ２２を「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。

モードダイヤル２４は、デジタルカメラ１０の動作モードを設定するモード設定手段として機能し、デジタルカメラ１０の動作モードがこのモードダイヤル２４の設定位置に応じたモードに設定される。例えば、静止画撮影を行う静止画撮影モード、動画撮影を行う動画撮影モード、撮影した画像を通信回線等を通じて外部機器に送出する送信モード等に切り替えられる。尚、静止画撮影モードにおいてもオート撮影モード、ポートレート撮影モード、夜景撮影モード等の各種異なる撮影モードに設定することができるようになっている。

液晶モニタ２８は、カラー表示が可能な液晶ディスプレイで構成されている。この液晶モニタ２８は、再生モード時に撮影済み画像を表示するための画像表示パネルとして利用されるとともに、各種設定時にユーザインターフェース表示パネルとして利用される。また、撮影時には必要に応じてスルー画像が表示されて、画角確認用の電子ファインダとして利用される。

ズームボタン３０は、望遠側へのズームを指示するズームテレボタン３０Ｔと、広角側へのズームを指示するズームワイドボタン３０Ｗとで構成され、このズームボタン３０が操作されることにより、撮影画角が変化する。

十字ボタン３２は、上下左右４方向に押圧操作することができるようにされており、各方向の指示を入力するボタンとして機能する。

ＭＥＮＵ／ＯＫボタン３４は、各モードの通常画面からメニュー画面への遷移を指示するボタン（ＭＥＮＵボタン）として機能するとともに、選択内容の確定、処理の実行等を指示するボタン（ＯＫボタン）として機能する。

ＤＩＳＰボタン３６は、背面表示パネルの表示内容の切り替えを指示するボタンとして機能し、ＢＡＣＫボタン３８は、入力操作のキャンセル等を指示するボタンとして機能する。

図３は、上記カメラ１０の内部構成を示したブロック図である。同図のカメラ１０は、一般的なデジタルカメラと同様に構成を有しており、上記撮影レンズ１４、撮像素子５０、アナログ信号処理部５２、Ａ／Ｄ変換部５４、ＣＰＵ６０、操作部６２、記録部６４、表示部６８、送信部７０等を備えている。

まず、画像の取込みに関する構成部について説明すると、撮影レンズ１４は、被写体の像を結像するための光学系であり、被写体から入射した光を撮像素子５０の撮像面（受光面）に被写体像として結像させる。尚、必要に応じてフラッシュ１６がＣＰＵ６０の制御によって発光し、被写体に照明光が照射される。図では省略しているが撮影レンズ１４には、焦点調整ためのフォーカスレンズ、焦点距離調整（撮影倍率調整）のためのズームレンズ（変倍レンズ）、光量調整のための絞り等を構成要素として備えており、それらは、ＣＰＵ６０の指令に従って図示しないモータにより駆動されるようになっている。ＣＰＵ６０は、操作部６２から与えられる操作信号等によりそれらのモータを駆動してフォーカスレンズ、ズームレンズ、絞りを制御する。ここで、操作部６２は、上記カメラボディ１２に設けられた各種操作部材とそれらの操作部材の操作内容を示す操作信号を出力する操作検出回路を１つのブロックで示したものである。例えば、ＣＰＵ６０は、シャッターボタン２０が半押しされたことを示す操作信号が操作部６２から与えられると、詳細を省略するオートフォーカス処理により合焦となる位置にフォーカスレンズを移動させる。また、図１、２に示したズームボタン３０が操作され、その操作内容を示す操作信号が操作部６２から与えられると、その操作信号に従ってズームレンズを移動させる。

撮像素子５０は、ＣＣＤ等の固体撮像素子であり、撮影レンズ１４によって撮像面に結像された被写体像を光電変換により電気信号に変換して被写体画像を示す画像信号を出力する。

アナログ信号処理部５２は、撮像素子５０から出力された画像信号を取り込み、取り込んだ画像信号に所要のアナログ信号処理を施す。例えば、相関二重サンプリング処理やゲイン調整等の処理がアナログ信号処理部５２により画像信号に施される。アナログ信号処理部５２により所要の処理が施されて出力された画像信号は、Ａ／Ｄ変換部５４によりデジタル信号に変換されて、画像データとしてＣＰＵ６０に取り込まれる。

ＣＰＵ６０は、カメラ全体を統括的に制御する演算処理部であり、本カメラ１０における各動作はＣＰＵ６０における処理によって制御されている。同図のＣＰＵ６０のブロック内には複数の処理部が示されており、ＣＰＵ６０において行われる画像処理に関する各種処理がそれらの複数の処理部で分けて行われるものとしている。上記のようにＡ／Ｄ変換部５４からＣＰＵ６０に取り込まれた画像データには、デジタル信号処理部８０により所要のデジタル信号処理が施される。例えば、階調変換、ホワイトバランス補正、γ補正処理などがデジタル信号処理部８０により施される。

以上説明した構成部により適正に処理された画像の取込みが行われる。尚、動画の取込みの場合には、上記のような画像の取込みが連続的に行われると共に、各画像はフレーム画像として動画を構成する。

また、同図のカメラ１０には画像（動画も含む）の記録、表示、又は、送信等を行うための構成部を備えている。

記録部６４は、保存用メモリとしてカメラ１０に装填されたメモリカード又は保存用メモリとしてカメラ１０に内蔵されているメモリに対して画像データ等のデータの書込み又は読出しを行う処理部である。例えば撮影モード（静止画撮影モードや動画撮影モード）においてシャッターボタン２０が全押しされて上記のように取り込まれた画像や、後述のようにマスク処理された画像等を保存用メモリに記録する場合、それらのデータは、ＣＰＵ６０の記録再生信号処理部８２により記録用のデータに形式変換（圧縮処理等）され、そのデータがＣＰＵ６０から記録部６４に伝送される。記録部６４は、ＣＰＵ６０から与えられたデータを保存用メモリに書き込み、保存する。尚、同図のバッファメモリ６６には、ＣＰＵ５０において処理する画像データ等を一時的に格納するために使用される。

表示部６８は、カメラ１０の液晶モニタ２８に画像等を表示させるための処理を行う。例えば、撮影モード（静止画撮影モードや動画撮影モード）においてシャッターボタン２０が全押しされていない状態のときに取り込まれた画像をスルー画像として液晶モニタ２８に表示させる場合や、再生モードにおいて保存用メモリに記録されている画像を読み出してその画像を液晶モニタ２８に表示する場合、又は、後述のようにマスク処理に関する操作・確認画面を表示する場合等において、ＣＰＵ６０から与えられる表示用画像を液晶モニタ２８に表示させる。液晶モニタ２８に表示させる表示用画像は、ＣＰＵ６０の表示画像生成部９０により生成され、その画像信号が表示部６８に伝送される。尚、保存用メモリに記録されている画像を液晶モニタ２８に表示させる場合、記録部６４によりその画像データが保存用メモリから読み出される。そして、読み出された画像データがＣＰＵ６０の記録再生信号処理部８２により表示用のデータに形式変換（伸長処理等）され、表示画像生成部９０により表示用画像の画像信号が生成される。

送信部７０は、携帯電話や無線ＬＡＮ等の基地局に無線通信により接続するための通信手段を備えている。この送信部７０と基地局とが無線通信により接続されることによって、携帯電話回線やインターネット等の通信回線を通じて他の機器との間で通信を行うことが可能になっている。このような通信機能により、上記のように取り込んだ画像や、保存用メモリに記録されている画像等のデータを外部機器に送信することができるようになっており、外部機器に送信するデータがＣＰＵ６０から送信部７０に与えられると、そのデータが送信部７０から通信回線に送出される。尚、本発明は、カメラ１０と基地局の間を無線で接続する場合に限らず、有線により通信回線にカメラ１０を接続する場合であっても適用でき、また、携帯電話回線やインターネット等の通信回線を使用せずに直接、有線又は無線によりカメラ１０と外部機器とを接続する場合であっても適用できる。

また、本カメラ１０には、画像を外部機器に送信する場合には、画像内において、本来撮影する意図がないような不特定者の顔にマスク処理を施することによって、不特定者のプライバシーを保護するプライバシー保護機能を備えている。このプライバシー保護機能の画像処理に関連して、ＣＰＵ６０には、顔画像抽出部８４、マスク判断部８６、マスク処理部８８が示されている。

顔画像抽出部８４は、上記のように撮像素子５０により取り込まれた画像（撮影画像）の中から顔画像を抽出（検出）する処理を行う。例えば、撮影画像の各画素の階調色から、肌色部分を抽出し、その肌色部分の面積が予め設定された閾値以上であった場合にその肌色部分を人物の顔として検出する。又は、周知のパターン認識技術を用いて、目や口などの顔の特定部分を抽出することで人物の顔（顔画像）を検出する。尚、顔画像を検出する方法は他の方法を用いてよい。

マスク判断部８６は、顔画像抽出部８４により抽出された各顔画像について、マスク処理を施すか否か（マスク対象とするかマスク非対象とするか）を自動で判断し、又は、ユーザ操作に基づき判断する処理部である。

マスク処理部８８は、マスク判断部８６によりマスク処理を施すと判断された顔画像にマスク処理を施す。例えば、マスク処理としてモザイク処理を施す。但し、マスク処理は顔を不明瞭にする処理であれば良く、モザイク以外のマスクパターンを施す処理でもよい。また、マスクパターンは複数の候補の中からユーザが選択できるようにしてもよい。

マスク処理部８８によりマスク処理が施された画像は、記録再生信号処理部８２により記録用（送信用）のデータに形式変換され、ＣＰＵ６０から送信部７０に伝送されて外部に送出される。

以上の如く構成されたカメラ１０において、送信する画像内の不特定者のプライバシーを保護するためのプライバシー保護機能について詳説する。

図４は、上記カメラ１０で画像を送信する際のプライバシー保護機能に関する基本的な処理手順を示したフローチャートである。

まず、シャッターボタン２０が全押しされて撮影開始信号が操作部６２からＣＰＵ６０に与えられると（ステップＳ１０）、撮影レンズ１４により結像された被写体像が記録用の被写体画像として撮像素子５０により光電変換される（ステップＳ１２）。これによって得られた被写体画像の画像信号が撮像素子５０から出力されると、その画像信号に対してアナログ信号処理部５２により所要のアナログ信号処理が施された後、Ａ／Ｄ変換部５４によりデジタル信号に変換される（ステップＳ１４）。デジタル信号に変換された画像信号は、ＣＰＵ６０に画像データとして取り込まれ、ＣＰＵ６０（ＣＰＵ６０のデジタル信号処理部８０）により所要のデジタル信号処理が施される（ステップＳ１６）。以上のステップＳ１０〜ステップＳ１６の処理により、適正に処理された画像の取込みが行われる。

次に、ＣＰＵ６０（ＣＰＵ６０の顔画像抽出部８４）は、上記のようにして撮像素子５０により取り込んだ画像（撮影画像）から人物の顔の画像（顔画像）を抽出（検出）する（ステップＳ１８）。続いて、顔画像が抽出された撮影画像を後述のプライバシー保護機能の処理（マスク処理）を施す対象の撮影画像として選択する（ステップＳ２０）。そして、撮影画像と抽出した顔画像等に関する情報をバッファメモリ６６に記録し（ステップＳ２２）、ステップＳ１０に戻る。

尚、動画撮影モードにおける動画の撮影時には、所定の撮影停止信号が操作部６２からＣＰＵ６０に入力されるまで上記ステップＳ１０〜ステップＳ２２の処理が繰り返し実行され、その間に順次取り込まれた各画像が動画におけるフレーム画像を構成する。

一方、ユーザの所定の操作によって操作部６２から画像の送信を指示する送信開始信号がＣＰＵ６０に入力されると（ステップＳ２４）、ステップＳ２０においてマスク処理の対象画像として選択された各撮影画像に対して次のステップＳ２６からのプライバシー保護機能の処理を実行する。尚、ユーザが所定の操作を行うことによってステップＳ２６からの処理に移行するのではなく、バッファメモリ６６の空き容量が所定量以下となった場合や、取り込まれた撮影画像が規定のコマ数となった場合等に自動的に以下のステップＳ２６からの処理に移行するようにしてもよい。

まず、ＣＰＵ６０（ＣＰＵ６０のマスク判断部８６）は、撮影画像から抽出された各顔画像についてマスク処理を施すか否か、即ち、マスク対象とするかマスク非対象とするかに分けるための自動マスク判断処理を行う（ステップＳ２６）。この自動マスク判断処理の具体的態様については後述する。また、自動マスク判断処理を行うことなく次の処理に移行してもよい。

続いて、ＣＰＵ６０（ＣＰＵ６０の表示画像生成部９０）は、撮影画像の各顔画像にマスク対象とマスク非対象とを識別するマークを付けたマスク判断用画像を生成し、その画像信号を表示部６８に出力して液晶モニタ２８にマスク判断画面を表示させる（ステップＳ２８）。

図５は、そのマスク判断画面の態様を例示した図である。同図においてカメラ１０の液晶モニタ２８のマスク判断画面１００として、送信する撮影画像が表示されると共に画面下に操作案内情報が表示される。その撮影画像内において、自動マスク判断処理によりマスク対象として選択された顔画像のマスク領域（顔画像を含む四角形状範囲）が緑色の破線枠１０２で表示され、マスク非対象として選択された顔画像のマスク領域が赤色の破線枠１０４で表示される。尚、マスク対象とマスク非対象の顔画像を色で識別できるようにするのではなく、文字、記号、又は、図形で識別してもよいし、顔画像の領域を示す枠線の線種等によって識別できるようにしてもよい。

ユーザは、そのマスク判断画面１００において、現在、マスク対象として選択されている顔画像と、マスク非対象として選択されている顔画像を確認し、それらの選択が適切か否かを判断する。もし、適切でない場合には、各顔画像について手動操作でマスク対象とマスク非対象の選択（手動マスク判断操作）を実施する。同図のマスク判断画面１００においては、例えば、マスク判断画面１００の下の案内情報に従って十字ボタン３２を操作してマスク対象としたい（モザイクをかける）人物の顔画像を選択状態（例えば破線枠が点滅）にし、ＭＥＮＵ／ＯＫボタン３４を押してその顔画像をマスク対象に決定する。マスク非対象としたい顔画像にはこの操作を実施しない。このような操作を繰り返して各顔画像についてマスク対象とするかマスク非対象とするかの選択を行う（ステップＳ３０）。選択操作が終了した場合には例えばＢＡＣＫボタン３８を押して以上の手動マスク判断操作を終了する。

ＣＰＵ６０（ＣＰＵ６０のマスク判断部８６）は、操作部６２からの操作信号により上記のユーザの操作を検出し、それに従い、各顔画像をマスク対象とマスク非対象のいずかに設定する。尚、自動マスク判断の結果が適正な場合にユーザがいずれの顔画像についてもマスク対象かマスク非対象かの選択を変更せず手動マスク判断操作を終了した場合には、自動マスク判断処理の結果がそのまま採用される。

手動マスク判断操作が終了した場合、続いてＣＰＵ６０（ＣＰＵ６０のマスク処理部８８）は、撮影画像のマスク対象として選択された顔画像にマスク処理を施す。そして、ＣＰＵ６０（ＣＰＵ６０の表示画像生成部９０）は、そのマスク処理を施した撮影画像の画像信号を表示部６８に出力し、液晶モニタ２８にプレビュー表示させる（ステップＳ３２）。

ユーザは、プレビュー表示によりマスク処理が施された撮影画像を確認した結果、もし、適切にマスク処理が施されていないことを確認した場合には、再選択の操作を行う。これによりステップＳ３０における手動マスク判断操作の処理に戻る。

一方、ステップＳ３２のプレビュー表示において、適切にマスク処理が施されているとの確認をしたことを示す所定の操作をユーザが行うと、ＣＰＵ６０（ＣＰＵ６０の記録再生信号処理部８２）は、マスク処理が施された撮影画像を記録用（送信用）のデータに変換し、そのデータを送信部７０を通じて通信回線に送出する（ステップＳ３４）。

尚、以上のフローチャートの処理では、ステップＳ３２においてプレビュー表示を行っているが、プレビュー表示を行うことなくステップＳ３４の送信の処理を行うようにしてもよい。

また、上記処理では、検出された各顔画像についてマスク対象とするかマスク非対象とするかの判断がＣＰＵ６０において自動で行われた後（自動マスク判断処理の後）、その結果が適切でない場合に、ユーザが判断（手動マスク判断操作）するようにしているが、その際、自動マスク判断の結果のうち、判断が適切でない顔画像のみについて手動マスク判断操作によりマスク対象とするかマスク非対象とするかを修正できるようにしてもよい。また、自動マスク判断処理と手動マスク判断操作の両方を行うのではなく、いずれかのみによって各顔画像をマスク対象とするかマスク非対象とするかを選択するようにしてもよい。

また、上記処理は静止画撮影モードで撮影された静止画を対象とした処理であるが、動画撮影モードで撮影された動画についても動画を構成する各フレーム画像について上記処理を行うことによって送信する動画にプライバシー保護のためのマスク処理を施すことができる。

図６は、上記カメラ１０で画像を送信する際のプライバシー保護機能に関する処理手順の一態様を示したフローチャートである。尚、図４に示したフローチャートと同一又は類似の処理には図４と同一ステップ番号を付している。

まず、ユーザが例えば図１のモードダイヤル２４を操作して所定のモード（例えば送信モードと称す）を選択し、ＣＰＵ６０が操作部６２からの操作信号により、送信モードに設定されたことを検出すると（ステップＳ４０）、以下の処理を実行する。

送信モードが選択された後、シャッターボタン２０が全押しされて撮影開始信号が操作部６２からＣＰＵ６０に与えられると（ステップＳ１０）、撮影レンズ１４により結像された被写体像が記録用の被写体画像として撮像素子５０により光電変換される（ステップＳ１２）。これによって得られた被写体画像の画像信号が撮像素子５０から出力されると、その画像信号に対してアナログ信号処理部５２により所要のアナログ信号処理が施された後、Ａ／Ｄ変換部５４によりデジタル信号に変換される（ステップＳ１４）。デジタル信号に変換された画像信号は、ＣＰＵ６０に画像データとして取り込まれ、ＣＰＵ６０（ＣＰＵ６０のデジタル信号処理部８０）により所要のデジタル信号処理が施される（ステップＳ１６）。以上のステップＳ１０〜ステップＳ１６の処理により、適正に処理された画像の取込みが行われる。

このようにして撮像素子５０から１コマ分の撮影画像（動画撮影の場合には複数のフレーム画像からなる一連の動画）が取り込まれると、次のステップ１８からの処理に自動的に移行する。まず、ＣＰＵ６０（ＣＰＵ６０の顔画像抽出部８４）は、撮影画像から人物の顔画像を抽出（検出）する（ステップＳ１８）。そして、ＣＰＵ６０（ＣＰＵ６０のマスク判断部８６）は、撮影画像から抽出された各顔画像についてマスク対象とするかマスク非対象とするかに分けるための自動マスク判断処理を行う（ステップＳ２６）。

続いて、ＣＰＵ６０（ＣＰＵ６０の表示画像生成部９０）は、図５に示したマスク判断画面１００と同様に撮影画像の各顔画像にマスク対象とマスク非対象とを識別するマークを付けたマスク判断用画像を生成し、その画像信号を表示部６８に出力して液晶モニタ２８にマスク判断画面を表示させる（ステップＳ２８）。

次に、ユーザは、そのマスク判断画面において、上述のように必要に応じて手動マスク判断操作を行い、各顔画像についてマスク対象とするかとマスク非対象とするかの選択を行う（ステップＳ３０）。選択操作が終了した場合には所定の操作（例えばＢＡＣＫボタン３８を押す）により以上の手動マスク判断操作を終了する。

ＣＰＵ６０（ＣＰＵ６０のマスク判断部８６）は、操作部６２からの操作信号によりユーザの操作を検出し、それに従い、各顔画像をマスク対象とマスク非対象のいずかに設定する。尚、自動マスク判断の結果が適正な場合にユーザがいずれの顔画像についてもマスク対象かマスク非対象かの選択を変更せず手動マスク判断操作を終了した場合には、自動マスク判断の結果がそのまま採用される。

手動マスク判断操作が終了した場合、続いてＣＰＵ６０（ＣＰＵ６０のマスク処理部８８）は、撮影画像のマスク対象として選択された顔画像にマスク処理を施す。そして、ＣＰＵ６０（ＣＰＵ６０の表示画像生成部９０）は、そのマスク処理を施した撮影画像の画像信号を表示部６８に出力し、液晶モニタ２８にプレビュー表示させる（ステップＳ３２）。

ユーザは、プレビュー表示によりマスク処理が施された撮影画像を確認した結果、もし、適切にマスク処理が施されていないことを確認した場合には、再選択の操作を行う。これによりステップＳ３０における手動マスク判断操作の処理に戻る。

一方、ステップＳ３２のプレビュー表示において、適切にマスク処理が施されているとの確認をしたことを示す所定の操作をユーザが行うと、ＣＰＵ６０（ＣＰＵ６０の記録再生信号処理部８２）は、マスク処理が施された撮影画像を記録用（送信用）のデータに変換し、そのデータを送信部７０を通じて通信回線に送出する（ステップＳ３４）。

尚、以上のフローチャートの処理では、ステップＳ３２においてプレビュー表示を行っているが、プレビュー表示を行うことなくステップＳ３４の送信の処理を行うようにしてもよい。

また、上記処理では、検出された各顔画像についてマスク対象とするかマスク非対象とするかの判断がＣＰＵ６０において自動で行われた後（自動マスク判断処理の後）、その結果が適切でない場合に、ユーザが判断（手動マスク判断操作）するようにしているが、その際、自動マスク判断の結果のうち、判断が適切でない顔画像のみについて手動マスク判断操作によりマスク対象とするかマスク非対象とするかを修正できるようにしてもよい。また、自動マスク判断処理と手動マスク判断操作の両方を行うのではなく、いずれかのみによって各顔画像をマスク対象とするかマスク非対象とするかを選択するようにしてもよい。

また、上記処理の主要な処理手順は、動画撮影モードで撮影された動画についても適用することができ、１つの動画の取込み（１回分の動画の撮影）が行われると、自動的にプライバシー保護のための処理（自動マスク判断処理や手動マスク判断操作の処理）に移行し、その後、その動画を送信するという送信モードを動画撮影の場合にも設けることができる。

図７は、上記カメラ１０で画像を送信する際のプライバシー保護機能に関する処理手順の一態様を示したフローチャートである。尚、図４又は図６に示したフローチャートと同一又は類似の処理には図４又は図６と同一ステップ番号を付している。

まず、ユーザが例えば図１のモードダイヤル２４を操作して所定のモード（例えば送信モードと称す）を選択し、ＣＰＵ６０が操作部６２からの操作信号により、送信モードに設定されたことを検出すると（ステップＳ４０）、以下の処理を実行する。

送信モードが選択された後、シャッターボタン２０が全押しされて撮影開始信号が操作部６２からＣＰＵ６０に与えられると（ステップＳ１０）、撮影レンズ１４により結像された被写体像が記録用の被写体画像として撮像素子５０により光電変換される（ステップＳ１２）。これによって得られた被写体画像の画像信号が撮像素子５０から出力されると、その画像信号に対してアナログ信号処理部５２により所要のアナログ信号処理が施された後、Ａ／Ｄ変換部５４によりデジタル信号に変換される（ステップＳ１４）。デジタル信号に変換された画像信号は、ＣＰＵ６０に画像データとして取り込まれ、ＣＰＵ６０（ＣＰＵ６０のデジタル信号処理部８０）により所要のデジタル信号処理が施される（ステップＳ１６）。以上のステップＳ１０〜ステップＳ１６の処理により、適正に処理された画像の取込みが行われる。

このようにして撮像素子５０から１コマ分の撮影画像（動画撮影の場合には複数のフレーム画像からなる一連の動画）が取り込まれると、次のステップ１８からの処理に自動的に移行する。まず、ＣＰＵ６０（ＣＰＵ６０の顔画像抽出部８４）は、撮影画像から人物の顔画像を抽出（検出）する（ステップＳ１８）。そして、ＣＰＵ６０（ＣＰＵ６０のマスク判断部８６）は、撮影画像から抽出された各顔画像についてマスク対象とするかマスク非対象とするかに分けるための自動マスク判断処理を行う（ステップＳ２６）。

続いて、撮影画像及び自動マスク判断処理の結果情報等をバッファメモリ６６に記録し（ステップＳ４２）、ステップＳ１０に戻る。尚、バッファメモリ６６の代わりに保存用メモリに記録してもよい。

一方、ユーザの所定の操作によって操作部６２から画像の送信を指示する送信開始信号がＣＰＵ６０に入力されると（ステップＳ２４）、ＣＰＵ６０（ＣＰＵ６０の表示画像生成部９０）は、バッファメモリ６６に記録した各撮影画像について以下のステップＳ２８からの処理を実行する。

まず、ＣＰＵ６０（ＣＰＵ６０の表示画像生成部９０）は、図５に示したマスク判断画面１００と同様に撮影画像の各顔画像にマスク対象とマスク非対象とを識別するマークを付けたマスク判断用画像を生成し、その画像信号を表示部６８に出力して液晶モニタ２８にマスク判断画面を表示させる（ステップＳ２８）。

次に、ユーザは、そのマスク判断画面において、上述のように必要に応じて手動マスク判断操作を行い、各顔画像についてマスク対象とするかとマスク非対象とするかの選択を行う（ステップＳ３０）。選択操作が終了した場合には所定の操作（例えばＢＡＣＫボタン３８を押す）により以上の手動マスク判断操作を終了する。

ＣＰＵ６０（ＣＰＵ６０のマスク判断部８６）は、操作部６２からの操作信号により上記のユーザの操作を検出し、それに従い、各顔画像をマスク対象とマスク非対象のいずかに設定する。尚、自動マスク判断の結果が適正な場合にユーザがいずれの顔画像についてもマスク対象かマスク非対象かの選択を変更せず手動マスク判断操作を終了した場合には、自動マスク判断の結果がそのまま採用される。

手動マスク判断操作が終了した場合、続いてＣＰＵ６０（ＣＰＵ６０のマスク処理部８８）は、撮影画像のマスク対象として選択された顔画像にマスク処理を施す。そして、ＣＰＵ６０（ＣＰＵ６０の表示画像生成部９０）は、そのマスク処理を施した撮影画像の画像信号を表示部６８に出力し、液晶モニタ２８にプレビュー表示させる（ステップＳ３２）。

ユーザは、プレビュー表示によりマスク処理が施された撮影画像を確認した結果、もし、適切にマスク処理が施されていないことを確認した場合には、再選択の操作を行う。これによりステップＳ３０における手動マスク判断操作の処理に戻る。

一方、ステップＳ３２のプレビュー表示において、適切にマスク処理が施されているとの確認をしたことを示す所定の操作をユーザが行うと、ＣＰＵ６０（ＣＰＵ６０の記録再生信号処理部８２）は、マスク処理が施された撮影画像を記録用（送信用）のデータに変換し、そのデータを送信部７０を通じて通信回線に送出する（ステップＳ３４）。

尚、以上のフローチャートの処理では、ステップＳ３２においてプレビュー表示を行っているが、プレビュー表示を行うことなくステップＳ３４の送信の処理を行うようにしてもよい。

また、上記処理では、検出された各顔画像についてマスク対象とするかマスク非対象とするかの判断がＣＰＵ６０において自動で行われた後（自動マスク判断処理の後）、その結果が適切でない場合に、ユーザが判断（手動マスク判断操作）するようにしているが、その際、自動マスク判断の結果のうち、判断が適切でない顔画像のみについて手動マスク判断操作によりマスク対象とするかマスク非対象とするかを修正できるようにしてもよい。また、自動マスク判断処理と手動マスク判断操作の両方を行うのではなく、いずれかのみによって各顔画像をマスク対象とするかマスク非対象とするかを選択するようにしてもよい。

また、上記処理の主要な処理手順は、動画撮影モードで撮影された動画についても適用することができ、動画の送信が指示された場合に、その動画を送信する前に自動的にプライバシー保護のための処理（自動マスク判断処理や手動マスク判断操作の処理）に自動的に移行という手順を動画を送信する場合にも適用することができる。

図８、図９は、上記カメラ１０で画像を送信する際のプライバシー保護機能に関する処理手順の一態様を示したフローチャートであり、これらの図８、図９のフローチャートに示す処理手順は、各々、図６、図７の処理手順と略一致している。図６、図７の処理手順と相違する点は、図８、図９の各フローチャートの処理では、図８のステップＳ１６、図９のステップＳ４２においてＣＰＵ６０（ＣＰＵ６０のデジタル信号処理部８０）により所要のデジタル信号処理が施されて取り込まれた撮影画像が、保存用メモリとしてカメラ１０に装填されるメモリカード、又は、保存用メモリとしてカメラ１０に内蔵されたメモリに記録されることである。これによれば、マスク処理を施す前の元画像を保存用メモリにしておくことができる。

図１０は、上記カメラ１０で画像を送信する際のプライバシー保護機能に関する処理手順を示したフローチャートであり、特に動画を送信する際の処理手順を示したフローチャートである。

詳細は省略するが、動画撮影モードにおいて、動画撮影が開始され動画の取込みが行われて終了すると（ステップＳ５０）、ＣＰＵ６０（ＣＰＵ６０の顔画像抽出部８４）は、撮影動画の各フレーム（フレーム画像）から人物の顔画像を抽出（検出）する（ステップＳ５２）。

次に、ＣＰＵ６０（ＣＰＵ６０のマスク判断部８６）は、撮影動画の各フレームから抽出された各顔画像についてマスク対象とするかマスク非対象とするかに分けるための自動マスク判断処理を行う（ステップＳ５４）。そして、自動マスク判断所処理の結果情報等をバッファメモリ６６に記録する（ステップＳ５６）。

次に、ユーザの所定操作によって操作部６２から動画の送信を指示する送信開始信号がＣＰＵ６０に入力されると（ステップＳ５８）、以下のステップＳ６０からの処理を開始する。

まず、ＣＰＵ６０（ＣＰＵ６０の表示画像生成部９０）は、顔画像が検出されたフレーム画像のうちで最初のフレーム画像について画像内の各顔画像にマスク対象とマスク非対象とを識別するマークを付けたマスク判断用画像を生成し、その画像信号を表示部６８に出力して液晶モニタ２８にマスク判断画面を表示させる（ステップＳ６０）。

図１１は、そのマスク判断画面の態様を例示した図である。同図において液晶モニタ２８のマスク判断画面１１０として、フレーム画像が表示されると共に画面下に操作案内情報が表示される。画面右側には、フレーム画像内において抽出された各顔画像を規定の大きさに縮小又は拡大したサムネイル画像が表示されると共に現在選択状態にある顔画像が識別可能な状態で表示されるようになっている。そのフレーム画像内において、例えば自動マスク判断処理によりマスク対象として選択された顔画像のマスク領域（顔画像を含む四角形状範囲）が緑色の破線枠１１２で表示され、マスク非対象として選択された顔画像のマスク領域が赤色の破線枠１１４で表示される。尚、マスク対象とマスク非対象の顔画像を色で識別できるようにするのではなく、文字、記号、又は、図形で識別してもよいし、顔画像の領域を示す枠線の線種等によって識別できるようにしてもよい。

ユーザは、そのマスク判断画面１１０において、現在、マスク対象として選択されている顔画像と、マスク非対象として選択されている顔画像を確認し、それらの選択が適切か否かを判断する。もし、適切でない場合には、各顔画像について手動操作でマスク対象とマスク非対象の選択（手動マスク判断操作）を実施する。同図のマスク判断画面１１０においては、例えば、十字ボタン３２を上下方向に操作すると、選択される顔画像が順に切り替わると共に、マスク判断画面１１０の右側のサムネイル画像の表示において現在選択状態にある顔画像に対応するサムネイル画像が他と異なる態様で表示され、どの顔画像が現在選択されているかが示される。これによってユーザは所望の顔画像を選択状態とした後、画面下の案内情報に従って十字ボタン３２を左右方向に操作して選択状態の顔画像をマスク対象とするかマスク非対象とするかの選択を行う。このような操作を繰り返して各顔画像についてマスク対象とマスク非対象の選択を行う（ステップＳ６２）。選択操作が終了した場合には例えばＢＡＣＫボタン３８を押す。

このようにして最初のフレーム画像についての手動マスク判断操作時において、ＣＰＵ６０（ＣＰＵ６０のマスク判断部８６）は、操作部６２からの操作信号により上記のユーザ操作を検出し、それに従い、各顔画像をマスク対象とマスク非対象のいずれかに設定する。尚、自動マスク判断の結果が適正な場合にユーザがいずれの顔画像についてもマスク対象かマスク非対象かの選択を変更しなかった場合には、自動マスク判断処理の結果がそのまま採用される。

次に、ＣＰＵ６０（ＣＰＵ６０の表示画像生成部９０）は、顔画像が検出されたフレーム画像のうちで新しい人物の顔画像が登場するフレーム画像について各顔画像にマスク対象とマスク非対象とを識別するマークを付けたマスク判断用画像を生成し、その画像信号を表示部６８に出力して液晶モニタ２８に図１１と同様に構成されるマスク判断画面１１０を表示させる（ステップＳ６４）。

ここで、図１１において、例えば、領域１１６の顔画像が新しく登場した人物の顔画像であり、その顔画像が他の既に登場している人物の顔画像と識別可能なマークを付して表示される。例えば、新しく登場した人物の顔画像のマスク領域が他の顔画像のマスク領域と異なる青色の破線枠１１６で表示される。

ユーザは、そのマスク判断画面１１０において、初期のフレーム画像が表示されたときのマスク判断画面１１０での操作と同様にして各顔画像についてマスク対象とするかマスク非対象とするかの選択を行う（ステップＳ６６）。尚、実際には新しく登場した人物の顔画像についてのみマスク対象とするかマスク非対象とするかを選択すればよい。

一方、ＣＰＵ６０（ＣＰＵ６０のマスク判断部８６）は、操作部６２からの操作信号によりユーザ操作を検出し、それに従い、各顔画像をマスク対象とするかマスク非対象とするかを設定する。

そして、新しい人物の顔画像が登場したフレーム画像について順次、以上のステップＳ６４とステップＳ６６の処理を繰り返す。全てのフレーム画像について以上の手動マスク判断操作の処理が終了すると、ＣＰＵ６０（ＣＰＵ６０のマスク処理部８８）は、各フレーム画像においてマスク対象として選択された顔画像にマスク処理を施す。そして、ＣＰＵ６０（ＣＰＵ６０の表示画像生成部９０）はマスク処理を施した動画を生成し、その動画信号を表示部６８を介して液晶モニタ２８にプレビュー表示させる（ステップＳ６８）。

ユーザは、プレビュー表示によりマスク処理が施された撮影動画を確認した結果、もし、適切にマスク処理が施されていないことを確認した場合には、再選択の操作（再度マスク判断操作を行うことの指示操作）を行う。これによりステップＳ６６における手動マスク判断操作の処理に戻る。

一方、ステップＳ６８のプレビュー表示において、適切にマスク処理が施されているとの確認をしたことを示す所定の操作をユーザが行うと、ＣＰＵ６０（ＣＰＵ６０の記録再生信号処理部８２）は、マスク処理が施された撮影動画を記録用（送信用）のデータに変換し、そのデータを送信部７０を通じて通信回線に送信する（ステップＳ７０）。

尚、以上のフローチャートの処理では、ステップＳ６８においてプレビュー表示を行っているが、プレビュー表示を行うことなくステップＳ７０の送信の処理を行うようにしてもよい。

また、上記処理では、検出された各顔画像についてマスク対象とするかマスク非対象とするかの判断がＣＰＵ６０による自動マスク判断処理と手動マスク判断操作の両方で行うようにしているが、いずれか一方のみを行うようにしてもよい。

次に、図４、図６、図７、図８、図９のステップＳ２６や、図１０のステップＳ５４で示した自動マスク判断処理の具体的内容について説明する。図１２は、自動マスク判断処理の処理手順の一態様を示したフローチャートである。

図４等のフローチャートで説明したように、撮像素子５０から撮影画像（動画も含む）を取り込み、その撮影画像から人物の顔画像を抽出すると（ステップＳ８０）、自動マスク判断処理において以下の処理を実行する。

まず、ＣＰＵ６０（ＣＰＵ６０のマスク判断部８６）は、撮影画像から抽出した顔画像の人数を判定する（ステップＳ８２）。一人と判定した場合には、撮影構図上、意図的に撮影された人物である可能性が高いため、その顔画像をマスク非対象として選択する（ステップＳ９０）。

一方、ステップＳ８２において複数人と判定した場合には、次に各顔画像の面積を計算する（ステップＳ８４）。続いて、最も面積の大きな顔画像を主被写体として選択する（ステップＳ８６）。そして、各顔画像について主被写体との顔画像の面積（顔面積）の差を求め、その顔面積の差の大きさを判定する（ステップＳ８８）。

ステップＳ８８において、顔面積の差が所定値未満と判定した場合には、その顔画像は、撮影画像全体の画角範囲に対して主被写体と同様の大きさで写っていると判断することができ、撮影構図上、意図的に撮影された人物である可能性が高いため、マスク非対象として選択する（ステップＳ９０）。

一方、ステップＳ８８において、顔面積の差が所定値以上と判定した場合には、続いて、顔の向きを判定する（ステップＳ９２）。正面を向いていると判定した場合には、撮影構図上、意図的に撮影された人物（撮影されることを意識していた人物）である可能性が高いため、その顔画像をマスク非対象として選択する（ステップＳ９０）。正面ではなく横等を向いていると判定した場合には、続いて、撮影画像全体の画角内での位置を判定する（ステップＳ９４）。中央部と判定した場合には、撮影構図上、意図的に撮影された人物である可能性が高いため、その顔画像をマスク非対象として選択する（ステップＳ９０）。周辺部と判定した場合には、撮影構図上、意図的に撮影された人物でない可能性が高いため、プライバシー保護のためにその顔画像をマスク対象として選択する（ステップＳ９６）。

以上のように撮影画像から抽出された顔画像をマスク対象とするかマスク非対象とするかを、撮影構図上の顔画像の重要性の評価に基づいて判断することで適切にマスク対象とマスク非対象の顔画像を選別することができる。即ち、撮影構図上の重要性を評価する要素として、顔画像の面積、顔の向き、画角内での顔の位置があり、顔画像の面積が大きい程、顔の向きが正面である程、画角内での顔の位置が中央である程、撮影構図上の重要性が高く、意図的に撮影された人物である可能性が高いため、マスク非対象として選択することが適切となる。但し、撮影構図上の重要性の評価は、上記以外の他の要素を含めてもよいし、また、上記の要素のうちいずれか１つ又は複数の要素によってマスク対象とするかマスク非対象とするかを判断してもよい。

また、上記フローチャートの処理では、顔面積が最大の主被写体に対して、顔面積の差が所定値未満の場合にマスク非対象としたが、差ではなく比で判断してもよいし、顔面積の絶対値で判断してもよい。

図１３は、自動マスク判断処理の処理手順の一態様を示したフローチャートである。

図４等のフローチャートで説明したように、撮像素子５０から撮影画像（動画も含む）を取り込み、その撮影画像から人物の顔画像を抽出すると（ステップＳ１００）、自動マスク判断処理において以下の処理を実行する。

まず、ＣＰＵ６０（ＣＰＵ６０のマスク判断部８６）は、撮影画像から抽出した顔画像と同一人物の顔画像が、保存用メモリやバッファメモリ６６に記録されている他の撮影画像に写っているか否かを判定する（ステップＳ１０２）。ＮＯと判定した場合には、その人物は、意図的に撮影された人物ではなく偶然撮影された人物である可能性が高いためその顔画像をマスク対象として選択する（ステップＳ１０６）。

一方、ステップＳ１０２においてＹＥＳと判定した場合、同一人物の顔画像が映っている撮影画像が、連写された撮影画像の中だけか否かを判定する（ステップＳ１０４）。ＹＥＳとは判定した場合には、その人物は、意図的に撮影された人物ではなく偶然撮影された人物である可能性が高いためその顔画像をマスク対象として選択する（ステップＳ１０６）。一方、ＮＯと判定した場合には、その人物は、意図的に撮影された人物である可能性が高いため、その顔画像をマスク非対象として選択する（ステップＳ１０８）。

以上のフローチャートのステップＳ１０２において撮影画像から抽出した顔画像と同一人物の顔画像が他の撮影画像に写っているか否かを判定する方法として、保存用メモリ等に記録されている全ての撮影画像の顔画像と照合を行ってもよいし、保存用メモリに記録されている撮影画像から抽出された顔画像の人物別のライブラリを作成しておき、ライブラリ内の顔と照合を行ってもよい。ライブラリを作成しておくことで、照合対象の顔画像が少なくなり、判定時間が短縮される。また、何コマ以上の場合にマスク対象とするかは自由に設定できる。更に、各顔画像と同一人物の顔画像が他の撮影画像に何コマ分あったかの情報を図５等のマスク判断画面において表示すると好適である。

ただし、同一人物の顔画像が複数あったとしても、それが一連の連写の中である場合は同一人物の顔画像のコマ数としては除く必要がある。そのため、ライブラリを作る場合には一連の連写から同一人物の顔画像が何コマ分検出されても１コマとカウントすると良い。また、全ての撮影画像の顔画像と照合を行う場合には、同一の連写の中の同一人物の顔画像はコマ数としてカウントしないことが好適である。

図１４は、動画に対する自動マスク判断処理の処理手順の一態様を示したフローチャートである。

動画撮影（動画の取込み）を行い、撮影動画の各フレーム画像から人物の顔画像を抽出すると（ステップＳ１１０）、ＣＰＵ６０（ＣＰＵ６０のマスク判断部８６）は、各フレーム画像から抽出した各顔画像について、同一人物の顔画像が所定フレーム数以上に写っているか否かを判定する（ステップＳ１１２）。

ＮＯと判定した場合には、その顔画像をマスク対象として選択する（ステップＳ１１４）。一方、ＹＥＳと判定した場合には、その顔画像をマスク非対象として選択する（ステップＳ１１６）。

以上の処理により動画内の顔画像が意図的に撮影されたものか否かが適切に判断され、各顔画像をマスク対象とするかマスク非対象とするかが適切に選択される。

次に、図１０のステップＳ６０、ステップＳ６４等において動画に対する手動マスク判断操作を行うためのマスク判断画面の表示に関する処理について説明する。

図１５は、動画に対するマスク判断画面の表示に関する処理手順の一態様を示したフローチャートである。動画撮影（動画の取込み）が行われると（ステップＳ１２０）、ＣＰＵ６０（ＣＰＵ６０の顔画像抽出部８４）は、撮影動画の各フレーム（フレーム画像）から人物の顔画像を抽出（検出）する（ステップＳ１２２）。そして、ＣＰＵ６０（ＣＰＵ６０のマスク判断部８６）は自動マスク判断を行ってマスク対象の顔画像とマスク非対象の顔画像とに分ける（ステップＳ１２４）。

次に、ＣＰＵ６０（ＣＰＵ６０の表示画像生成部９０）は、各フレーム画像から抽出された各顔画像について同一人物の顔画像が写っているフレーム画像の数（フレーム数）をカウントする（ステップＳ１２６）。そして、ユーザが各顔画像をマスク対象とするかマスク非対象とするかを選択する手動マスク判断操作を行うためのマスク判断画面（図１１参照）を液晶モニタ２８に表示する際に、そのマスク判断画面内に表示するフレーム画像内において、各人物の顔画像をステップＳ１２６でカウントしたフレーム数に応じた大きさで表示する（ステップＳ１２８）。例えば、フレーム数が多い人物ほど顔画像を大きくして表示する。

尚、図１０のステップＳ６４において新しい人物の顔画像が登場するフレーム画像を判断画面に表示する場合に、図１６のマスク判断画面１２０に示すようにその人物の顔画像のみ登場するフレーム数に応じて顔画像の大きさ等を変化させるようにしてもよい。図１６のマスク判断画面１２０の構成は図１１に示したマスク判断画面１１０と同じであるから説明を省略する。

また、図１０のステップＳ６４において新しい人物の顔画像が登場するフレーム画像をマスク判断画面に表示する場合に、その新しく登場した人物の顔画像の大きさを無条件に本来の大きさよりも大きく表示するようにしてもよい。

また、上記のようにフレーム数に応じて顔画像の大きさを変化させるのではなく、顔画像の明るさ又は濃さ等、他の要素を変化させてもよい。

図１７は、動画に対するマスク判断画面の表示に関する処理手順の一態様を示したフローチャートである。動画撮影（動画の取込み）が行われると（ステップＳ１３０）、ＣＰＵ６０（ＣＰＵ６０の顔画像抽出部８４）は、撮影動画の各フレーム（フレーム画像）から人物の顔画像を抽出（検出）する（ステップＳ１３２）。そして、ＣＰＵ６０（ＣＰＵ６０のマスク判断部８６）は自動マスク判断を行ってマスク対象の顔画像とマスク非対象の顔画像とに分ける（ステップＳ１３４）。

次に、ＣＰＵ６０（ＣＰＵ６０の表示画像生成部９０）は、各フレーム画像から抽出された各顔画像を撮影画像内から切り抜く（ステップＳ１３６）。そして、ユーザが各顔画像をマスク対象とするかマスク非対象とするかを選択する手動マスク判断操作を行うためのマスク判断画面として、それらの切り抜いた顔画像を液晶モニタ２８に一覧表示させる（ステップＳ１３８）。

図１８は、そのマスク判断画面を例示した図である。同図においてマスク判断画面１３０には、各フレーム画像から抽出されて切り抜かれた顔画像が一覧表示され、例えば、現在、マスク対象として選択されている顔画像の輪郭が緑色の破線枠１３２で表示され、マスク非対象として選択されている顔画像の輪郭が赤色の破線枠１３４で表示されるようになっている。このマスク判断画面１３０において、ユーザは、十字ボタン３２を上下方向に操作して、所望の顔画像を選択状態にし、十字ボタン３２を左右方向に操作することによってその選択状態の顔画像をマスク対象とマスク非対象のいずれかに設定することができる。

このようにマスク判断画面は図５、図１１のように撮影画像そのものを表示するのではなく、顔画像のみの一覧表示であってもよいし、また、図５等のように撮影画像そのものを表示する態様と、図１８のように一覧表示する態様とをユーザ操作によって切り替えられるようにしてもよい。

尚、上記フローチャートにおいてステップＳ１３４とステップＳ３６の処理は順序を逆にしてもよい。また、図１８のマスク判断画面１３０のように各顔画像を一覧表示する場合に、各顔画像の大きさが一定となるように各顔画像を大きさを調整することが好ましい。また、各顔画像の配列する順序は、各顔画像が登場したフレーム画像の時間順とすることが考えられるが、古い順とするか新しい順にするかなどユーザが選択できるようにすると好適である。

図１９は、動画に対するマスク判断画面の表示に関する処理手順の一態様を示したフローチャートである。動画撮影が行われると（ステップＳ１４０）、ＣＰＵ６０（ＣＰＵ６０の顔画像抽出部８４）は、撮影動画の各フレーム（フレーム画像）から人物の顔画像を抽出（検出）する（ステップＳ１４２）。

次に、ＣＰＵ６０（ＣＰＵ６０の表示画像生成部９０）は、各フレーム画像から抽出された各顔画像について同一人物の顔画像が写っているフレーム画像の数（フレーム数）をカウントする（ステップＳ１４４）。そして、ＣＰＵ６０（ＣＰＵ６０のマスク判断部８６）は自動マスク判断を行ってマスク対象の顔画像とマスク非対象の顔画像とに分ける（ステップＳ１４６）。

次いでＣＰＵ６０（ＣＰＵ６０の表示画像生成部９０）は、ユーザが各顔画像をマスク対象とするかマスク非対象とするかを選択する手動マスク判断操作を行うためのマスク判断画面（図１１、図１８参照）を液晶モニタ２８に表示する際に、そのマスク判断画面内に表示する各人物の顔画像にステップＳ１４４でカウントしたフレーム数を添えて表示する（ステップＳ１４８）。

図２０は、図１１のマスク判断画面１１０と同様に構成されたマスク判断画面において、新しく登場した人物の顔画像（破線枠１１６の顔画像）に対して登場するフレーム数（枠１１８内の数値）を添えて表示した例であり、図２１は、図１８のマスク判断画面１３０と同様に構成されたマスク判断画面において、一覧表示された各顔画像の上部にフレーム数を沿えて表示した例である。

尚、各顔画像の人物が登場するフレーム数の代わり、登場する時間（秒数）を表示してもよい。その時間は登場するフレーム数から算出することができる。

次に、動画に対するマスク判断画面の表示において特に図１８のように顔画像を一覧表示する場合について説明する。

図２２は、動画に対するマスク判断画面の表示において顔画像を一覧表示する場合の処理手順の一態様を示したフローチャートである。動画撮影（動画の取込み）が行われると（ステップＳ１５０）、ＣＰＵ６０（ＣＰＵ６０の顔画像抽出部８４）は、撮影動画の各フレーム（フレーム画像）から人物の顔画像を抽出（検出）する（ステップＳ１５２）。そして、ＣＰＵ６０（ＣＰＵ６０のマスク判断部８６）は自動マスク判断を行ってマスク対象の顔画像とマスク非対象の顔画像とに分ける（ステップＳ１５４）。

次に、ＣＰＵ６０（ＣＰＵ６０の表示画像生成部９０）は、各フレーム画像から抽出された各顔画像を撮影画像内から切り抜く（ステップＳ１５６）。このとき、同一人物について複数のフレーム画像に顔画像が写っている場合には、その中で最も正面を向いている顔画像を切り抜く。そして、ユーザが各顔画像をマスク対象とするかマスク非対象とするかを選択する手動マスク判断操作を行うためのマスク判断画面として、それらの切り抜いた顔画像を液晶モニタ２８に図１８にように一覧表示させる（ステップＳ１５８）。

これによれば、マスク判断画面においてユーザが各顔画像の人物の判別が行い易くなる。

図２３は、動画に対するマスク判断画面の表示において顔画像を一覧表示する場合の処理手順の一態様を示したフローチャートである。動画撮影が行われると（ステップＳ１６０）、ＣＰＵ６０（ＣＰＵ６０の顔画像抽出部８４）は、撮影動画の各フレーム（フレーム画像）から人物の顔画像を抽出（検出）する（ステップＳ１６２）。そして、ＣＰＵ６０（ＣＰＵ６０のマスク判断部８６）は自動マスク判断を行ってマスク対象の顔画像とマスク非対象の顔画像とに分ける（ステップＳ１６４）。

次に、ＣＰＵ６０（ＣＰＵ６０の表示画像生成部９０）は、各フレーム画像から抽出された各顔画像を撮影画像内から切り抜く（ステップＳ１６６）。このとき、同一人物について複数のフレーム画像に顔画像が写っている場合には、その中で最も面積の大きい顔画像を切り抜く。そして、ユーザが各顔画像をマスク対象とするかマスク非対象とするかを選択する手動マスク判断操作を行うためのマスク判断画面として、それらの切り抜いた顔画像を図１８のように液晶モニタ２８に一覧表示させる（ステップＳ１６８）。

これによれば、マスク判断画面においてユーザが各顔画像の人物の判別が行い易くなる。

以上上記実施の形態では、マスク処理を施した撮影画像（動画を含む）を外部機器に送出するようにしたが、これに限らず、マスク処理を施していない元画像の情報（データ）と、これにマスク処理を施すマスク領域の情報とを送信するようにしてもよい。この場合、元画像とマスク領域の情報を取得した外部機器においてマスク処理が施されるため、カメラ１０においてマスク処理部８８が不要となる。図２４は、送信する撮影画像の全画角範囲１５０内におけるマスク領域１５２の一例を示した図である。同図に示すようにマスク領域１５２を四角形とした場合に、マスク領域１５０は、左上の頂点の座標（Ｘ１、Ｙ１）と右下の頂点の座標（Ｘ２、Ｙ２）の２点により特定することができる。また、マスク領域を円形とする場合にはその中心と半径の情報を元画像に添付して送信し、マスク領域を楕円とする場合には、楕円の中心と長辺及び短辺の情報を元画像に添付して送信し、四角形以外の多角形とする場合には頂点のうちの一部の座標を下画像に添付して送信すればよい。

また、画像とマスク領域の情報を送信する際に、図２４のように送信する画像とその画像上にマスク領域を示す枠を液晶モニタ２８に表示し、ユーザが確認できるようにしてもよい。

更に、画像とマスク領域の情報を送信する際に、マスク領域に施すマスク処理のマスクパターンの情報も添付してもよい。

また、上記実施の形態では、本発明をデジタルカメラに適用した場合について説明したが、本発明は、カメラ付き携帯電話等のカメラ機能とデータ通信機能（無線に限らず有線によるデータ通信であってよい）を備えた装置において適用できる。更に、自己の装置において撮像手段を備えていない装置においても適用できる。即ち、画像取込み手段として、上記実施の形態では自己の装置が備える撮像手段によって画像を取り込む場合について説明したが、画像取込み手段として他の装置から画像データを取り込む装置においても本発明を適用することができる。例えば、パソコンのように画像処理機能とデータ通信機能を備えることが可能な任意の画像処理装置において、本発明を適用することができる。

本発明が適用されたデジタルカメラの正面斜視図。 本発明が適用されたデジタルカメラの背面斜視図。 図１のカメラの内部構成を示したブロック図。 画像を送信する際におけるプライバシー保護機能に関する基本的な処理手順を示したフローチャート。 図４においてユーザがマスク対象／非対象を選択する際のマスク判断画面を例示した図。 画像を送信する際のプライバシー保護機能に関する処理手順の一態様を示したフローチャート。 画像を送信する際のプライバシー保護機能に関する処理手順の一態様を示したフローチャート。 画像を送信する際のプライバシー保護機能に関する処理手順の一態様を示したフローチャート。 画像を送信する際のプライバシー保護機能に関する処理手順の一態様を示したフローチャート。 動画を送信する際のプライバシー保護機能に関する処理手順を示したフローチャート。 図１０においてユーザがマスク対象／非対象を選択する際のマスク判断画面を例示した図。 自動マスク判断処理の処理手順の一態様を示したフローチャート。 自動マスク判断処理の処理手順の一態様を示したフローチャート。 動画に対する自動マスク判断処理の処理手順の一態様を示したフローチャート。 動画に対するマスク判断画面の表示に関する処理手順の一態様を示したフローチャート。 図１５においてユーザがマスク対象／非対象を選択する際のマスク判断画面を例示した図。 動画に対するマスク判断画面の表示に関する処理手順の一態様を示したフローチャート。 図１７においてユーザがマスク対象／非対象を選択する際のマスク判断画面を例示した図。 動画に対するマスク判断画面の表示に関する処理手順の一態様を示したフローチャート。 図１９においてユーザがマスク対象／非対象を選択する際のマスク判断画面を例示した図。 図１９においてユーザがマスク対象／非対象を選択する際のマスク判断画面を例示した図。 動画に対するマスク判断画面の表示において顔画像を一覧表示する場合の処理手順の一態様を示したフローチャート。 動画に対するマスク判断画面の表示において顔画像を一覧表示する場合の処理手順の一態様を示したフローチャート。 送信する撮影画像の全画角範囲内におけるマスク領域の一例を示した図。

符号の説明

１０…デジタルカメラ、１２…カメラボディ、１４…撮影レンズ、２０…シャッターボタン、２８…液晶モニタ、５０…撮像素子、５２…アナログ信号処理部、６０…ＣＰＵ、６２…操作部、６４…記録部、６８…表示部、７０…送信部、８０…デジタル信号処理部、８２…記録再生信号処理部、８４…顔画像抽出部、８６…マスク判断部、８８…マスク処理部、９０…表示画像生成部

Claims (19)

1. 画像を取り込む画像取込手段と、
   前記画像取込手段により取り込まれた画像内から人物の顔画像を検出する顔画像検出手段と、
   前記顔画像検出手段により検出された同一画像内の各顔画像を面積が最大の顔画像と比較したときの大きさ、各顔画像の顔の向き、又は、各顔画像と同一人物の顔画像が写っている他の画像の数に基づいて、該各顔画像に対してマスク処理を施すか否かを判断する自動マスク判断手段と、
   前記画像取込手段により取り込まれた画像に対して、前記自動マスク判断手段によりマスク処理を施すと判断された顔画像の領域にマスク処理を施した画像を外部機器に送出し、又は、前記画像取込手段により取り込まれた画像、及び、前記自動マスク判断手段によりマスク処理を施すと判断された顔画像の領域を示す情報を外部機器に送出する送出手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記自動マスク判断手段は、判断対象の画像に対して前記顔画像検出手段により検出された各顔画像と同一人物の顔画像が、既に記録されている他の画像の所定数以上に写っているか否かによってマスク処理を施すか否かを判断することを特徴とする請求項１の画像処理装置。
3. 前記画像取込手段により取り込まれる画像が複数のフレーム画像からなる動画である場合に、前記自動マスク判断手段は、各フレーム画像に対して前記顔画像検出手段により検出された同一人物の顔画像が所定数以上のフレーム画像に写っているか否かによってマスク処理を施すか否かを判断することを特徴とする請求項１の画像処理装置。
4. 画像を取り込む画像取込手段と、
   前記画像取込手段により取り込まれた画像内から人物の顔画像を検出する顔画像検出手段と、
   前記顔画像検出手段により顔画像として検出された各領域を識別可能に表示した画面であって、前記顔画像検出手段により検出された各顔画像に対してマスク処理を施すか否かの判断をユーザが入力するための操作画面を表示する表示手段と、
   前記表示手段の画面上でのユーザの操作に従って前記顔画像検出手段により検出された各顔画像に対してマスク処理を施すか否かを判断する手動マスク判断手段と、
   前記画像取込手段により取り込まれた画像に対して、前記手動マスク判断手段によりマスク処理を施すと判断された顔画像の領域にマスク処理を施した画像を外部機器に送出し、又は、前記画像取込手段により取り込まれた画像、及び、前記手動マスク判断手段によりマスク処理を施すと判断された顔画像の領域を示す情報を外部機器に送出する送出手段と、
   を備え、
   前記画像取込手段により取り込まれる画像が複数のフレーム画像からなる動画である場合に、前記表示手段は、前記顔画像検出手段により顔画像が検出されたフレーム画像のうち、新しい人物の顔画像が登場するフレーム画像に対する前記操作画面を順次表示することを特徴とする画像処理装置。
5. 前記画像取込手段により取り込まれる画像が複数のフレーム画像からなる動画である場合に、前記表示手段は、前記操作画面として前記顔画像検出手段により検出された各顔画像を同一人物の顔画像が写っているフレーム画像の数を添えて表示することを特徴とする請求項４の画像処理装置。
6. 画像を取り込む画像取込手段と、
   前記画像取込手段により取り込まれた画像内から人物の顔画像を検出する顔画像検出手段と、
   前記顔画像検出手段により顔画像として検出された各領域を識別可能に表示した画面であって、前記顔画像検出手段により検出された各顔画像に対してマスク処理を施すか否かの判断をユーザが入力するための操作画面を表示する表示手段と、
   前記表示手段の画面上でのユーザの操作に従って前記顔画像検出手段により検出された各顔画像に対してマスク処理を施すか否かを判断する手動マスク判断手段と、
   前記画像取込手段により取り込まれた画像に対して、前記手動マスク判断手段によりマスク処理を施すと判断された顔画像の領域にマスク処理を施した画像を外部機器に送出し、又は、前記画像取込手段により取り込まれた画像、及び、前記手動マスク判断手段によりマスク処理を施すと判断された顔画像の領域を示す情報を外部機器に送出する送出手段と、
   を備え、
   前記画像取込手段により取り込まれる画像が複数のフレーム画像からなる動画である場合に、前記表示手段は、前記操作画面として前記顔画像検出手段により検出された各顔画像を同一人物の顔画像が写っているフレーム画像の数を添えて表示することを特徴とする画像処理装置。
7. 画像を取り込む画像取込手段と、
   前記画像取込手段により取り込まれた画像内から人物の顔画像を検出する顔画像検出手段と、
   前記顔画像検出手段により検出された各顔画像に対してマスク処理を施すか否かを自動で判断する自動マスク判断手段と、
   前記顔画像検出手段により顔画像として検出された各領域を識別可能に表示すると共に、前記自動マスク判断手段によりマスク処理を施すと判断された顔画像の領域と、マスク処理を施さないと判断された顔画像の領域とを識別可能に表示する画面であって、前記顔画像検出手段により検出された各顔画像に対してマスク処理を施すか否かの判断をユーザが入力するための操作画面を表示する表示手段と、
   前記顔画像検出手段により検出された各顔画像に対してマスク処理を施すか否かの前記自動マスク判断手段による判断結果を、前記表示手段の画面上でのユーザの操作に従って修正し、前記顔画像検出手段により検出された各顔画像に対してマスク処理を施すか否かの判断を行う手動マスク判断手段と、
   前記画像取込手段により取り込まれた画像に対して、前記手動マスク判断手段によりマスク処理を施すと判断された顔画像の領域にマスク処理を施した画像を外部機器に送出し、又は、前記画像取込手段により取り込まれた画像、及び、前記手動マスク判断手段によりマスク処理を施すと判断された顔画像の領域を示す情報を外部機器に送出する送出手段と、
   を備えたことを特徴とする画像処理装置。
8. 前記自動マスク判断手段は、前記顔画像検出手段により検出された各顔画像の大きさ、数、画角内の位置、又は、顔の向きに基づいて、各顔画像についてマスク処理を施すか否かを判断することを特徴とする請求項７の画像処理装置。
9. 前記自動マスク判断手段は、判断対象の画像に対して前記顔画像検出手段により検出された各顔画像と同一人物の顔画像が、既に記録されている他の画像の所定数以上に写っているか否かによってマスク処理を施すか否かを判断することを特徴とする請求項７の画像処理装置。
10. 前記画像取込手段により取り込まれる画像が複数のフレーム画像からなる動画である場合に、前記自動マスク判断手段は、各フレーム画像に対して前記顔画像検出手段により検出された同一人物の顔画像が所定数以上のフレーム画像に写っているか否かによってマスク処理を施すか否かを判断することを特徴とする請求項７の画像処理装置。
11. 前記画像取込手段により取り込まれる画像が複数のフレーム画像からなる動画である場合に、前記表示手段は、前記操作画面として前記顔画像検出手段により検出された各顔画像を同一人物の顔画像が写っているフレーム画像の数を添えて表示することを特徴とする請求項７〜１０のうちのいずれか１の画像処理装置。
12. 前記画像取込手段により取り込まれる画像が複数のフレーム画像からなる動画である場合に、前記表示手段は、前記顔画像検出手段により顔画像が検出されたフレーム画像のうち、新しい人物の顔画像が登場するフレーム画像に対する前記操作画面を順次表示することを特徴とする請求項７〜１１のうちのいずれか１の画像処理装置。
13. 前記表示手段は、前記操作画面として新しく登場する人物の顔画像を、該人物が写っているフレーム画像の数に応じた大きさ、又は、濃さにより表示することを特徴とする請求項４、５、又は、１２の画像処理装置。
14. 前記画像取込手段により１つの画像が取り込まれると、前記顔画像検出手段により検出された各顔画像に対して前記表示手段によりマスク処理を施すか否かの判断をユーザが入力するための前記操作画面の表示が自動的に行われるモードを備えたことを特徴とする請求項４〜１３のうちのいずれか１の画像処理装置。
15. 前記送出手段による画像の送出を指示する操作が行われると、前記顔画像検出手段により検出された各顔画像に対して前記表示手段によりマスク処理を施すか否かの判断をユーザが入力するための操作画面の表示が行われるモードを備えたことを特徴とする請求項４〜１３のうちのいずれか１の画像処理装置。
16. 前記表示手段は、前記操作画面として前記顔画像検出手段により検出された顔画像を一覧表示することを特徴とする請求項４〜１５のうちのいずれか１の画像処理装置。
17. 前記画像取込手段により取り込まれる画像が複数のフレーム画像からなる動画である場合に、前記表示手段は、前記操作画面として前記顔画像検出手段により検出された同一人物の顔画像のうち最も正面を向いている顔画像を表示することを特徴とする請求項１６の画像処理装置。
18. 前記画像取込手段により取り込まれる画像が複数のフレーム画像からなる動画である場合に、前記表示手段は、前記操作画面として前記顔画像検出手段により検出された同一人物の各顔画像のうち最も面積が大きい顔画像を表示することを特徴とする請求項１６の画像処理装置。
19. マスク処理が施されていない前記画像取込手段により取り込まれた画像を保存用メモリに保存することを特徴とする請求項１〜１８のうちのいずれか１の画像処理装置。

Images