JP2002051316A - 画像通信端末 - Google Patents

Abstract

(57)【要約】 【課題】 大掛かりな追従機構を用いることなく、利用
者の位置にカメラ部側が追従し、利用者を良好な位置で
撮影できる画像通信端末を提供する。 【解決手段】 カメラ部４で撮影された画像について、
顔領域の位置及び大きさを抽出する顔抽出部７と、利用
者に画像を表示する表示部３と、相手の情報処理装置に
対し、画像についての双方向通信を行う通信部９と、カ
メラ部４で撮影された画像内において移動可能に設定さ
れる矩形の送信領域内の画像を、通信部９へ出力する送
信データ処理部８とを備える。そして、カメラ部４で撮
影された画像中において、送信領域と一体的に移動する
有効領域が設定され、顔領域が有効領域を逸脱した場合
に限り、顔領域の位置及び大きさに合わせて送信領域の
位置を移動する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像通信端末に関
し、より特定的には、利用者が自分又は近くにいる他人
の姿をカメラ部で撮影し、この撮影した画像を相手に送
信しながら対話を行うための画像通信端末に関する。

【０００２】

【従来の技術】周知のように、相手に画像を送信しなが
ら対話を行う画像通信端末としては、テレビ電話、テレ
ビ会議システム、ビデオメール等、種々の形態のものが
ある。これらのいずれの形態であっても、利用者が自分
又は近くにいる他人（以下、単に「利用者」という）の
姿を相手に送信するためには、画像通信端末に内蔵又は
外部接続されるカメラ部と被写体となる利用者とが、常
に適切な位置関係になっていなければならない。

【０００３】この適切な位置関係を維持するためには、
カメラ部に光軸を移動させる機構やズーム機構等を設
け、カメラ部を利用者の動きに追従させる方法が考えら
れる。しかし、この方法では、追従動作に必要なカメラ
部及び関連機構が大掛かりになって、画像通信端末の小
型化及び低コスト化を図れない。特に、携帯性が重要で
あるモバイル端末や携帯（テレビ）電話等の画像通信端
末に、このような機構を設けるのは現実的ではない。

【０００４】一方、画像通信端末から利用者へ、カメラ
部に対する利用者の位置に関する情報を提供し、利用者
が自らカメラ部に合わせるようにして、上記適切な位置
関係を維持する方法も考えられる。

【０００５】具体的には、第１の手法として、ピクチャ
インピクチャ方式又は画面分割方式により、画面の一部
を自分（利用者自身）の姿を映すために利用することが
従来より行われている。しかしながら、この手法では、
自分の姿を映すために画面のかなりの部分が占有され、
結果的に相手の姿が小さくなって見辛くなるという問題
がある。また、第２の手法として、自分の画像と相手の
画像とを切り替えながら表示することも従来より行われ
ている。しかしながら、この手法では、画面が度々切り
替えられてしまうので、利用者は切り替えが気になって
会話に集中し難いという問題がある。加えて、上記第１
及び第２のいずれの手法によっても、通常の会話（自分
と相手とが膝を交えて行う会話）環境から、あまりにも
かけ離れた環境であり、利用者は不自然な感じを禁じ得
ない。

【０００６】そこで、このような問題点に対応すべく、
特開平８−２５１５６１号公報には、自分の姿を表示さ
せず、かつ、カメラ部の追従機構を省略できる技術が開
示されている。この公報の技術では、カメラ部で利用者
自身を撮影し、利用者の位置を検出し、検出した位置が
撮影範囲を逸脱したかどうかを判断する。そして、逸脱
した場合のみ、次のいずれかの方法によってその旨を利
用者へ通知する。 （１）相手の姿をほぼ画面いっぱいに表示しておき、逸
脱した場合には相手の画像に変化を付けることで（例え
ば、相手の姿を変形させる等）、利用者へその旨を通知
する。 （２）画面内に、相手の姿を表示する領域だけでなく文
字表示領域を確保する。そして、逸脱した場合には文字
表示領域に逸脱した旨のメッセージを表示することで、
利用者へその旨を通知する。

【０００７】

【発明が解決しようとする課題】しかしながら、上記
（１）及び（２）のいずれの方法にしても、利用者の位
置が撮影範囲を逸脱しなければ、利用者へは何の通知も
されない。また、利用者が常識的な使用をしている場合
には、そう頻繁に撮影範囲を逸脱するものではない。従
って、利用者は、ほとんどの場合（つまり逸脱していな
い時）、撮影範囲に対する自分の位置を確認することが
できない。

【０００８】さらに、上記（１）の方法では、逸脱した
場合に、突然相手の姿が変化するので、利用者は驚いて
会話を途切らせたりしてしまう。また、上記（２）の方
法では、表示する文字（メッセージ）が潰れてしまわな
いようにするため、ある程度広い文字表示領域が必要と
なる。このため、文字表示領域に圧迫されて画像表示領
域が小さくなり、相手の姿が小さく見辛くなり易い。加
えて、上記（１）及び（２）のいずれの方法にしても、
画面における利用者の大きさについては全く関知されて
おらず、カメラ部に対する利用者の遠近方向の適否が不
明である。

【０００９】それ故、本発明の目的は、大掛かりな追従
機構を用いることなく、利用者の位置にカメラ部側が追
従し、利用者を良好な位置で撮影できる画像通信端末を
提供することである。また、本発明のさらなる目的は、
相手を見易く表示した自然な会話を確保しつつ、利用者
が自分の写り（撮影位置）を常に確認できる画像通信端
末を提供することである。

【００１０】

【課題を解決するための手段および発明の効果】第１の
発明は、カメラ部で撮影された利用者の画像を相手に送
信する画像通信端末であって、利用者からの入力を受け
付ける入力部と、利用者を撮影するカメラ部と、カメラ
部で撮影された画像から、利用者の顔の位置及び大きさ
（顔領域）を抽出する顔抽出部と、利用者に画像を表示
する表示部と、相手の情報処理装置に対し、少なくとも
画像の通信を行う通信部と、カメラ部で撮影された画像
の領域よりも小さく、かつ、当該画像の領域内で移動可
能に設定される矩形の送信領域の画像を、通信部へ出力
する送信データ処理部とを備え、カメラ部で撮影された
画像の領域内に、送信領域と一体的に移動する有効領域
が設定され、送信データ処理部は、抽出された顔領域が
有効領域を逸脱した場合に、当該顔領域の位置に合わせ
て送信領域の設定位置を移動させることを特徴とする。

【００１１】上記のように、第１の発明によれば、顔領
域が有効領域を逸脱していないかを判定し、有効領域を
逸脱している場合には、顔領域の位置に合わせて送信領
域の位置を移動させる。これにより、顔領域の動きに送
信領域が追従することとなり、利用者が写り具合を気に
しなくても、おおよその位置にいるだけで、適切にフレ
ーミングした自画像が相手へ送信されることになる。し
かも、カメラ部の光軸移動部やズーム部のような大がか
りな追従機構がいらず、画像通信端末の携帯性をそこな
わない。また、顔領域が有効領域内にあれば、送信領域
は移動しないので、相手側に送信される画像、特に利用
者の背景画像が頻繁にぶれるようなことはなく、相手の
酔いを防止できる。

【００１２】第２の発明は、第１の発明に従属する発明
であって、有効領域は、送信領域よりも小さく、かつ、
送信領域内に設定されることを特徴とする。

【００１３】上記のように、第２の発明によれば、顔領
域は、送信領域を逸脱する前に必ず有効領域を逸脱する
ので、送信領域外に顔領域がはみ出して顔の一部が欠け
るような事態を回避できる。

【００１４】第３の発明は、第１の発明に従属する発明
であって、送信データ処理部は、抽出された顔領域が有
効領域を逸脱した場合、当該顔領域が送信領域の中心に
位置するように、送信領域を移動させることを特徴とす
る。

【００１５】第４の発明は、第１の発明に従属する発明
であって、送信データ処理部は、抽出された顔領域が有
効領域を逸脱した場合、当該顔領域が送信領域の中心よ
り上方向に位置するように、送信領域を移動させること
を特徴とする。

【００１６】第５の発明は、第４の発明に従属する発明
であって、送信データ処理部は、抽出された顔領域が有
効領域を逸脱した場合、当該顔領域が送信領域の中心又
は中心より上方向に位置するように、入力部から入力さ
れる送信モード情報に応じて切り替えて、送信領域を移
動させることを特徴とする。

【００１７】上記のように、第３の発明によれば、顔領
域が送信領域の中心に位置するように移動させるので、
顔アップの好ましいフレーミングを実現できる。また、
第４の発明によれば、顔領域が送信領域の中心より上方
向に位置するように移動させるので、バストアップの好
ましいフレーミングを実現できる。さらに、第５の発明
によれば、利用者の好みに応じて、上記顔アップ／バス
トアップのフレーミングを選択できる。

【００１８】第６の発明は、第４の発明に従属する発明
であって、表示部は、入力部から入力される情報に応じ
て、送信領域内の画像と顔領域とをモニタ表示し、利用
者は、モニタ表示を参照して、入力部への入力により送
信領域の位置を縦横方向に調節可能なことを特徴とす
る。

【００１９】上記のように、第６の発明によれば、利用
者は、送信領域内の画像と顔領域とをモニタし、送信領
域の位置を適宜調節することによって、任意のフレーミ
ングで自画像を相手に送信できる。

【００２０】第７の発明は、カメラ部で撮影された利用
者の画像を相手に送信する画像通信端末であって、利用
者からの入力を受け付ける入力部と、利用者を撮影する
カメラ部と、カメラ部で撮影された画像から、利用者の
顔の位置及び大きさ（顔領域）を抽出する顔抽出部と、
利用者に画像を表示する表示部と、相手の情報処理装置
に対し、少なくとも画像の通信を行う通信部と、カメラ
部で撮影された画像の領域よりも小さく、かつ、当該画
像の領域内で移動可能に設定される矩形の送信領域の画
像を、通信部へ出力する送信データ処理部とを備え、カ
メラ部で撮影された画像の領域内に、送信領域と一体的
に移動する有効領域が設定され、送信データ処理部は、
抽出された顔領域が有効領域を逸脱した場合に、当該顔
領域の位置に合わせて送信領域の設定位置を移動させ、
かつ、抽出された顔領域の画像輝度に基づいて、カメラ
部で撮影された画像内にある顔の視認性が向上するよう
に、送信領域の画像輝度を補正して通信部へ出力するこ
とを特徴とする。

【００２１】第８の発明は、第７の発明に従属する発明
であって、送信データ処理部は、送信領域の画像輝度に
加え、色調も補正して通信部へ出力することを特徴とす
る。

【００２２】第９の発明は、カメラ部で撮影された利用
者の画像を相手に送信する画像通信端末であって、利用
者からの入力を受け付ける入力部と、利用者を撮影する
カメラ部と、カメラ部で撮影された画像から、利用者の
顔の位置及び大きさ（顔領域）を抽出する顔抽出部と、
利用者に画像を表示する表示部と、相手の情報処理装置
に対し、少なくとも画像の通信を行う通信部と、カメラ
部で撮影された画像の領域よりも小さく、かつ、当該画
像の領域内で移動可能に設定される矩形の送信領域の画
像を、通信部へ出力する送信データ処理部とを備え、カ
メラ部で撮影された画像の領域内に、送信領域と一体的
に移動する有効領域が設定され、送信データ処理部は、
抽出された顔領域が有効領域を逸脱した場合に、当該顔
領域の位置に合わせて送信領域の設定位置を移動させ、
かつ、抽出された顔領域の画像輝度に基づいて、カメラ
部で撮影された画像内にある顔の視認性が向上するよう
に、カメラ部の露出レベルの値を設定することを特徴と
する。

【００２３】上記のように、第７〜第９の発明によれ
ば、逆光のような場合でも、利用者の顔が常に見えるよ
うな画像を相手側へ送信することが可能となる。これに
より、屋外においても周りの照明環境を気にすることな
く画像通信端末を用いて相手と対話することが可能とな
る。

【００２４】第１０の発明は、カメラ部で撮影された利
用者の画像を相手に送信する画像通信端末であって、利
用者を撮影するカメラ部と、カメラ部で撮影された画像
から、利用者の顔の位置を抽出する顔抽出部と、利用者
に相手から受信した画像を表示する表示部と、抽出され
た顔の位置に基づいて、カメラ部で撮影された画像中に
おける利用者の顔の位置を、利用者に通知する通知制御
部と、相手の情報処理装置に対し、少なくとも画像の通
信を行う通信部とを備える。

【００２５】上記のように、第１０の発明によれば、利
用者は、撮影画像中の自分の位置を通知されるので、自
分の姿が画面を逸脱していない場合であっても、自分の
位置を確認しながら安心して相手との会話を進めること
ができる。万一、利用者が画面から逸脱しても、相手の
姿が突如変化するようなことはないので、利用者は、落
ち着いて通知を参照しながら、正しい位置へ復帰し、会
話を継続できる。しかも、カメラ部に利用者への追従機
構を設ける必要はないので、画像通信端末を軽量化かつ
低消費電力化させることができる。このため、携帯（テ
レビ）電話やモバイル端末等の携帯性が重視される機器
にも、好適に用いることができる。

【００２６】第１１の発明は、第１０の発明に従属する
発明であって、顔抽出部は、利用者の顔の位置と共に顔
の大きさも抽出し、通知制御部は、カメラ部で撮影され
た画像中における利用者の顔の位置及び大きさを、利用
者に通知することを特徴とする。

【００２７】上記のように、第１１の発明によれば、顔
領域の大きさも抽出して通知することにより、利用者
は、顔領域の位置及び大きさの両方の情報を得ることが
できる。従って、利用者は、これらの情報を参照して、
画面上の位置と遠近方向の位置とを、適正に保持するこ
とができる。また、利用者は、自画像を得なくとも、自
分が画面のどの位置にどの位の大きさで写っているのか
を確認できる。

【００２８】第１２の発明は、第１０の発明に従属する
発明であって、通知制御部は、抽出された顔の位置のみ
又は位置と大きさとを示す目印を、表示部に表示させる
ことを特徴とする。

【００２９】上記のように、第１２の発明によれば、利
用者は、表示部に表示される相手の姿を見ながら、通常
の会話と同じように集中して会話を行える。また、利用
者は、簡潔な目印を参照して、自分の位置を確認でき
る。

【００３０】第１３の発明は、第１２の発明に従属する
発明であって、目印は、相手から受信した画像上に表示
されることを特徴とする。

【００３１】上記のように、第１３の発明によれば、相
手の姿の上に目印が現れるので、目印のためだけに広い
画面の領域を確保する必要がなく、相手の姿をより大き
くかつ見易く表示できる。しかも、利用者は、目印を見
るために視線を変える必要がなく、長時間会話しても疲
労が少ない。

【００３２】第１４の発明は、第１２の発明に従属する
発明であって、目印は、相手から受信した画像外に表示
されることを特徴とする。

【００３３】上記のように、第１４の発明によれば、目
印を相手の画像から外すことにより、相手の画像に目印
が干渉せず、より鮮明に相手の姿を見ることができる。

【００３４】第１５の発明は、第１２の発明に従属する
発明であって、通知制御部は、抽出された顔の位置を、
表示部とは別個に備える位置通知部を介して通知するこ
とを特徴とする。

【００３５】上記のように、第１５の発明によれば、位
置通知部を表示部とは別個に備えることにより、表示部
の画面全部を相手の姿の表示に割り当てることができる
ので、相手の姿をより広くかつ見易く表示できる。

【００３６】第１６の発明は、第１０の発明に従属する
発明であって、通知制御部によって行われる利用者への
通知方法を、利用者からの指示に従って切り替え可能と
することを特徴とする。

【００３７】上記のように、第１６の発明によれば、利
用者は、好みの通知方法を選択することができる。

【００３８】第１７の発明は、第１〜第１６の発明に従
属する発明であって、顔抽出部は、カメラ部で撮影され
た画像からエッジ部（人物の外郭や顔の輪郭等に相当す
る画素）を抽出して、当該エッジ部だけの画像（エッジ
画像）を生成するエッジ抽出部と、予め定めた形状を、
相似で大きさを異ならせた種々のサイズによって、中心
点で同心状に複数設けたテンプレートを記憶するテンプ
レート記憶部と、テンプレートを構成する各サイズの形
状毎に、エッジ画像上の座標位置と投票数とを対応付け
てそれぞれ記憶する投票結果記憶部と、エッジ部の各画
素位置にテンプレートの中心点を順次移動させ、移動さ
せた当該画素位置毎に、各サイズの形状を形成する全画
素の位置に対応する各座標位置について、投票結果記憶
部に記憶されている投票数をそれぞれ増加又は減少させ
る投票部と、投票結果記憶部に記憶されている各投票数
に基づいて、対象画像に含まれる顔の位置及び大きさを
求める解析部とを備える。

【００３９】上記のように、第１７の発明によれば、処
理負担が軽い投票処理（基本的には加算のみ）とその評
価だけで、顔の位置を高速に検出できる。しかも、相似
で同心状の複数の形状を備えたテンプレートを用いてい
るから、顔を含むであろうエッジ部が、これらの形状の
うち、いずれの大きさに近いかという実質的な近似を行
っていることになり、顔の大きさも高速に抽出できる。
このように、処理負担を大幅に軽減できるので、現状の
パーソナルコンピュータレベルの処理能力でも、ほぼ実
時間で顔を抽出できる。また、対象画像のうち、どの部
分に顔領域があるかという点や、顔領域の個数などは、
抽出前に不明であって差し支えなく、広い範囲の対象画
像について、一様に顔を検出でき、極めて汎用性が高
い。

【００４０】第１８の発明は、第１７の発明に従属する
発明であって、予め定めた形状は、円であることを特徴
とする。

【００４１】上記のように、第１８の発明によれば、形
状群は、円であるため、テンプレートの中心点から、形
状の全ての画素までの距離が常に一定になり、投票結果
の精度を高く保持できる。

【００４２】第１９の発明は、第１〜第１６の発明に従
属する発明であって、顔抽出部は、所定のテンプレート
画像を入力し、当該画像のエッジ法線方向ベクトルを求
め、当該エッジ法線方向ベクトルから評価ベクトルを生
成し、当該評価ベクトルを直交変換するテンプレート画
像処理部と、カメラ部で撮影された画像を入力し、当該
画像のエッジ法線方向ベクトルを求め、当該エッジ法線
方向ベクトルから評価ベクトルを生成し、当該評価ベク
トルを直交変換する入力画像処理部と、テンプレート画
像及び撮影された画像のそれぞれについて生成された直
交変換後の各評価ベクトルについて、対応スペクトルデ
ータを積和計算する積和部と、積和計算の結果を逆直交
変換して類似値のマップを生成する逆直交変換部とを備
え、評価ベクトルは、該当する画像のエッジ法線方向ベ
クトルを偶数倍角変換した成分を含み、類似値の算出
式、直交変換及び逆直交変換は、いずれも線形性を有す
るものであることを特徴とする。

【００４３】上記のように、第１９の発明によれば、背
景部分の輝度ばらつきにより、テンプレート画像のエッ
ジ法線方向ベクトルと、カメラ部で撮影された画像（入
力画像）のエッジ法線方向ベクトルとのなす角θの内積
（ｃｏｓθ）の正負が反転する場合でも、類似値に影響
が無く、正当にマッチングを評価できる。

【００４４】第２０の発明は、第１９の発明に従属する
発明であって、顔抽出部は、評価ベクトルの表現におい
て、エッジ法線方向ベクトルを極座標表現した場合の角
度に基づいて計算した値を用いることを特徴とする。

【００４５】第２１の発明は、第１〜第１６の発明に従
属する発明であって、顔抽出部は、カメラ部で撮影され
た画像から顔として抽出された位置及び大きさが、真に
顔であるか否かを判定する顔・非顔判定部をさらに備
え、顔と判定した場合にのみ抽出結果を出力することを
特徴とする。

【００４６】第２２の発明は、第１７の発明に従属する
発明であって、顔抽出部は、投票結果記憶部に記憶され
ている内容に基づいて、カメラ部で撮影された画像から
顔として抽出された位置及び大きさが、真に顔であるか
否かを判定する顔・非顔判定部をさらに備え、顔と判定
した場合にのみ抽出結果を出力することを特徴とする。

【００４７】第２３の発明は、第１９の発明に従属する
発明であって、顔抽出部は、逆直交変換部で生成された
類似値に基づいて、カメラ部で撮影された画像から顔と
して抽出された位置及び大きさが、真に顔であるか否か
を判定する顔・非顔判定部をさらに備え、顔と判定した
場合にのみ抽出結果を出力することを特徴とする。

【００４８】上記のように、第２１〜第２３の発明によ
れば、実際の顔が顔領域の第１候補以外にある場合で
も、安定した顔領域の抽出が可能になる。また、画像中
に顔がない場合でも顔がないと判定することができるの
で、顔の位置を移動して表示する必要がない場合を自動
的に検出することが可能になる。

【００４９】第２４の発明は、第２１の発明に従属する
発明であって、顔・非顔判定部は、カメラ部で撮影され
た画像から顔として抽出された領域から得られる画像特
徴を用いて、サポートベクトル関数の判定結果に基づい
て顔・非顔の判定を行うことを特徴とする。

【００５０】第２５の発明は、第２４の発明に従属する
発明であって、顔・非顔判定部は、カメラ部で撮影され
た画像から顔として抽出された領域から得られるエッジ
法線方向ベクトルを画像特徴とすることを特徴とする。

【００５１】第２６の発明は、第２４の発明に従属する
発明であって、顔・非顔判定部は、カメラ部で撮影され
た画像から顔として抽出された領域から得られるエッジ
法線のヒストグラムを画像特徴とすることを特徴とす
る。

【００５２】

【発明の実施の形態】以下、図面を参照しながら、本発
明の各実施形態を説明する。 （第１の実施形態）図１は、本発明の第１の実施形態に
係る画像通信端末の構成を示すブロック図である。図１
において、第１の実施形態に係る画像通信端末は、入力
部２と、表示部３と、カメラ部４と、表示制御部５と、
自画像メモリ６と、顔抽出部７と、送信データ処理部８
と、通信部９と、受信データ処理部１０と、相手画像メ
モリ１１とを備える。まず、第１の実施形態に係る画像
通信端末の各構成の概要を説明する。

【００５３】図１に示すように、本実施形態の画像通信
端末では、入力部２、表示部３及びカメラ部４が、利用
者１に臨んでいる。入力部２は、キーボード（テンキー
等を含む）やマウス等で構成され、利用者１が送信モー
ド及びその他必要な情報を入力するために利用される。
表示部３は、ＬＣＤ等で構成され、画面上で相手の画像
や表示制御部５の指示に従った目印等を、利用者１に向
けて表示する。目印については後で詳述するが、利用者
１が画面中における自分の顔の位置や大きさを確認でき
る指標である。カメラ部４は、レンズ等の光学系及びＣ
ＣＤ等の電気系で構成され、利用者１を撮影するために
用いられる。このカメラ部４で撮影された画像（以下、
対象画像という）は、フレーム毎に自画像メモリ６に格
納される。表示制御部５は、表示部３の画面表示（主と
して、受信した相手画像の表示）を制御する。また、表
示制御部５は、入力部２から入力される情報に応じて、
顔抽出部７で抽出された顔領域に基づいた目印を、表示
部３の画面上に表示させる。

【００５４】顔抽出部７は、自画像メモリ６に格納され
た対象画像に対して、存在する顔の位置及び大きさを調
べ、これらの情報を顔領域として表示制御部５及び送信
データ処理部８へ出力する。なお、この顔抽出部７につ
いては、本発明に適用可能な手法を後で詳細に説明す
る。送信データ処理部８は、顔抽出部７で抽出された顔
領域の位置に合わせて送信領域を設定する。そして、送
信データ処理部８は、入力部２から指示された送信モー
ドに従って、自画像メモリ６に格納された対象画像の
内、送信領域内の画像データを通信部９へ送出する。通
信部９は、通信経路を介して、相手の情報処理装置（画
像通信端末を含む）と、少なくとも画像データの通信を
行う。ここでの通信モードは任意であり、例えば、内線
電話のように基地局等を介さない子機間通信でもよい
し、テレビ電話のような基地局等を介する同期型通信又
は非同期型通信でもよい。受信データ処理部１０は、通
信部９を介して受信した相手の画像データを処理して、
フレーム毎に相手画像メモリ１１へ格納する。

【００５５】なお、本実施形態では、通信部９が双方向
通信を行う場合を一例に挙げて説明するが、利用者１か
ら相手に画像データを単方向通信するビデオメール等に
も本発明を適用することができる。この場合、相手の情
報処理装置は、送信される画像データを受信して画面表
示させる構成のみを持つものであってもよい。

【００５６】次に、図２〜図６を用いて、送信データ処
理部８が行う顔領域の位置に合わせた追従処理について
説明する。まず、カメラ部４による撮影領域３０と、通
信部９から送信される画像の送信領域３１との関係は、
一般的に図３のようになる。送信領域３１は、撮影領域
３０よりも小さな矩形領域である。カメラ部４は、送信
領域３１より広い撮影領域３０で被写体（利用者１）を
撮影するが、画像通信端末からは送信領域３１内の画像
だけが相手に送信される。図３の例では、撮影領域３０
は、ｘ方向長さＡ、ｙ方向長さＢであり、送信領域３１
は、ｘ方向長さＬ、ｙ方向長さＭである。また、Ｌ＜Ａ
及びＭ＜Ｂであり、各々の長さＡ、Ｂ、Ｌ、Ｍは、固定
的である。図３の例では、送信領域３１の左上点（ｘ
１，ｙ１）を基準点としている。この基準点は、撮影領
域３０内を移動可能であり、基準点が定まることで、送
信領域３１の位置が一意に定まるようにしている。な
お、送信領域３１の左上点以外の点を基準としてもよ
い。

【００５７】一方、本実施形態では、顔抽出部７で抽出
された顔領域の位置及び大きさを、円形の目印Ｒで表現
する。この目印Ｒの中心が顔領域の中心であり、目印Ｒ
の直径が顔領域の大きさに相当する。なお、目印Ｒは、
円形以外の形状であっても構わない。

【００５８】図３の状態では、目印Ｒで示される顔領域
が送信領域３１の右側へ逸脱している。従って、目印Ｒ
に基づいて図中矢印で示すように、送信領域３１を右側
へ移動させれば、好ましいフレーミングになる。そこ
で、本実施形態では、目印Ｒが内部に含まれるように送
信領域３１を移動させる。図４は、送信領域３１を移動
させた後の状態（左上点（ｘ２，ｙ２））を示してい
る。ここで、本実施形態では、図４に示しているよう
に、送信領域３１の内側にさらに有効領域３２を設定
し、有効領域３２と送信領域３１とが一体的に移動する
ようにしている。そして、目印Ｒが送信領域３１ではな
く有効領域３２を逸脱したかどうかをチェックし、逸脱
した場合には、図３から図４のように送信領域３１及び
有効領域３２を移動させることとした。

【００５９】ここで、有効領域３２を狭くすると、目印
Ｒが有効領域３２を逸脱する確率が上がり、相手の酔い
を招来しやくすくなる。従って、図４に示しているよう
に、有効領域３２を広めにとって、送信領域３１の移動
を抑えることが望ましい。このようにしても、顔領域は
見易い位置にある。

【００６０】加えて、本実施形態では、送信領域３１の
移動直後の目印Ｒの位置を、送信モード（バストアップ
モード又はバストアップモード）によって切り替えられ
るようにしている。図４は、目印Ｒが送信領域３１に対
してｘ方向中心かつｙ方向中心よりやや上方に位置す
る、バストアップモードによる画像表示手法の例であ
る。なお、顔アップモードとは、目印Ｒが送信領域３１
に対してｘ方向中心かつｙ方向中心に位置する画像表示
手法である。さらには、本実施形態では、図５に示すよ
うに、これらのモードから目印Ｒを好みの方向にオフセ
ットさせることを可能とする。これによれば、例えば、
利用者１が自分と共に持参している物を一緒に相手に見
せたいと考えるような場合等、種々の要求に対応できる
ようになる。

【００６１】次に、図２を参照して、送信データ処理部
８が行う追従処理の各プロセスを説明する。まず、利用
者１が、入力部２から送信モード（バストアップモード
／顔アップモード）を入力する（ステップＳ２０１）。
次に、カメラ部４によって利用者１が撮影され、対象画
像として自画像メモリ６に格納される（ステップＳ２０
２）。この撮影の時には、利用者１は、広い撮影領域３
０内に顔が写る位置に居さえすれば十分である。次に、
顔抽出部７が、対象画像内の顔領域（顔の位置及び大き
さ）を抽出し、抽出した顔領域を送信データ処理部８へ
出力する（ステップＳ２０３）。

【００６２】顔領域が抽出されると、送信データ処理部
８は、送信モードに従って顔領域に送信領域３１を合わ
せる（ステップＳ２０４）。具体的には、図４に示すよ
うに、顔領域が送信領域３１内に含まれるように送信領
域３１の左上点が決定される。次に、送信領域３１内
に、有効領域３２が設定され（ステップＳ２０５）、図
４の送信領域３１内の画像が表示部３によって利用者１
へモニタ表示される（ステップＳ２０６）。なお、この
ステップＳ２０６では、利用者１自身の画像表示を省略
し、目印Ｒのみを表示してもよい。次に、利用者１が、
入力部２を用いてモニタ表示されたフレーミングでよい
か（送信領域３１をロックするか）どうかを入力する
（ステップＳ２０７）。利用者１が、送信領域３１のオ
フセットを希望する場合には、入力部２は、移動情報の
入力を受け付けて、送信領域３１の位置を調節する（ス
テップＳ２１５）。その後、処理がステップＳ２０５へ
戻り、再度利用者１の確認を仰ぐ。

【００６３】上記ステップＳ２０７でフレーミングが完
了すると、相手との画像通信が開始される（ステップＳ
２０８）。なお、適当な割り込み処理部を設けて、通信
途中でもステップＳ２０１〜Ｓ２０７の処理を行えるよ
うにすることもできる。通信が開始されると、通信部９
及び受信データ処理部１０を介して、相手画像メモリ１
１に格納された相手の画像が、表示部３の画面上に表示
される（ステップＳ２０９）。ここで再び、カメラ部４
が利用者１を撮影し（ステップＳ２１０）、顔抽出部７
が顔領域を抽出し（ステップＳ２１１）、送信データ処
理部８が顔領域が有効領域３２を逸脱したかどうかチェ
ックする（ステップＳ２１２）。

【００６４】ここで、図６に示すように逸脱していれ
ば、送信データ処理部８は、上記ステップＳ２０４と同
様に送信モードに従って送信領域３１の左上点を移動さ
せた後（ステップＳ２１３）、顔抽出部７において再び
抽出された顔領域が有効領域３２を逸脱したかどうか再
チェックする（ステップＳ２１１，Ｓ２１２）。一方、
逸脱していなければ、送信データ処理部８は、送信領域
３１を移動させることなく通信を継続させる。なお、利
用者が自分の写り具合を確認しながら安心して通信した
い場合には、例えばピクチャインピクチャ方式を用い
て、相手の画像と共に自分の画像が画面内に表示される
ようにしてもよい。そして、ステップＳ２０９〜Ｓ２１
３の処理が、通信終了まで繰り返される（ステップＳ２
１４）。

【００６５】以上のように、本発明の第１の実施形態に
係る画像通信端末によれば、大掛かりな追従機構を用い
ることなく、画像通信端末の携帯性を損なわずに、実質
的に利用者の動きに追従した撮影及び画像通信を行うこ
とができる。すなわち、利用者は、写り具合を気にしな
くとも好ましいフレーミングで撮影され、自画像が相手
に送信される。また、顔領域が有効領域内にあれば、送
信領域は移動しないので、相手側に送信される画像、特
に利用者側の背景画像が、頻繁にぶれるようなことがな
くなり相手の酔いを防止できる。

【００６６】ところで、周知のように、カメラ部４に用
いるカメラによっては、自動露出補正の機能を有するも
のがある。自動露出補正とは、明るさが最適となるよう
に自動的に画像の輝度を補正する機能であり、一般に画
像全体又は数点の平均輝度に基づいて画像内の各画素の
輝度を変更することで行われる。しかしながら、逆光等
のように対象画像全体の平均輝度に比べ顔領域の平均輝
度が低い場合には、利用者１の顔が真っ黒になってしま
うという問題が残る。そこで、このような場合の対策と
して、送信データ処理部８では、顔抽出部７で抽出され
た顔領域に基づいて、カメラ部４が撮影した対象画像の
明るさを顔の視認性が向上するように輝度を補正した
後、通信部９へ送信するようにすればよい。

【００６７】具体的には、送信データ処理部８が、顔領
域内部の平均輝度の理想値（理想平均輝度ａ）を予め記
憶している。そして、送信データ処理部８は、顔抽出部
７で抽出された顔領域内部の平均輝度Ｉを求め、カメラ
部４で撮影された対象画像の輝度Ｙ１を新たな輝度Ｙ２
に変更するため、対象画像の各画素に対して、Ｙ２＝Ｙ
１×（ａ／Ｉ）を施す。これにより、顔領域内部が理想
平均輝度ａとなるように補正することができる。また、
この理想平均輝度ａを用いて、輝度だけでなく色相につ
いても同様に変更することも考えられる。なお、これ以
外に、送信データ処理部８が、顔領域内部が平均輝度Ｉ
である場合に顔領域が理想平均輝度ａとなる、設定すべ
きカメラ部４の露出レベルを持っている場合もあり得
る。この場合には、送信データ処理部８が、顔領域内部
の平均輝度Ｉに対する露出レベルをカメラ部４へ通知す
ることにより、顔領域の明るさが理想値になるように補
正することが可能となる。

【００６８】このようにすれば、逆光のような場合で
も、利用者１の顔が常に見えるような画像を相手側へ送
信することが可能となる。これにより、屋外においても
周りの照明環境を気にすることなく画像通信端末を用い
て相手と対話することが可能となる。

【００６９】（第２の実施形態）上記第１の実施形態で
は、簡単な追従機構を用い、画像通信端末側が利用者の
動きに自動的に合わせることによって、利用者をフレー
ム内に捉えた適切な画像を相手側に送信できる手法を説
明した。次に、この第２の実施形態では、追従機構を用
いることなく、利用者側が画像通信端末に合わせて動け
るような表示を行うことにより、利用者をフレーム内に
捉えた適切な画像を相手側に送信できる手法を説明す
る。

【００７０】図７は、本発明の第２の実施形態に係る画
像通信端末の構成を示すブロック図である。図７におい
て、第２の実施形態に係る画像通信端末は、入力部２２
と、表示部３と、カメラ部４と、表示制御部２５と、自
画像メモリ６と、顔抽出部７と、送信データ処理部８
と、通信部９と、受信データ処理部１０と、相手画像メ
モリ１１とを備える。まず、第２の実施形態に係る画像
通信端末の各構成の概要を説明する。

【００７１】図７に示すように、本実施形態の画像通信
端末では、入力部２２、表示部３及びカメラ部４が、利
用者１に臨んでいる。入力部２２は、キーボード（テン
キー等を含む）やマウス等で構成され、利用者１が通知
モード、送信モード及びその他必要な情報を入力するた
めに利用される。本実施形態では、入力部２２に点灯
（又は点滅）が可能なテンキーが具備されている。表示
部３は、ＬＣＤ等で構成され、画面上で相手の画像や表
示制御部２５の指示に従った目印等を、利用者１に向け
て表示する。目印については後で詳述するが、利用者１
が画面中における自分の顔の位置や大きさを確認できる
指標である。なお、入力部２２及び表示部３によって、
相手側への送信画像における利用者１の顔の位置及び大
きさを、利用者１へ通知する通知部１２が構成される。
カメラ部４は、レンズ等の光学系及びＣＣＤ等の電気系
で構成され、利用者１を撮影するために用いられる。こ
のカメラ部４で撮影された画像（対象画像）は、フレー
ム毎に自画像メモリ６に格納される。表示制御部２５
は、表示部３の画面表示（主として、受信した相手画像
の表示）を制御する。また、表示制御部２５は、入力部
２２から入力される通知モードに応じ、顔抽出部７で抽
出された顔領域に基づいて、目印を表示部３の画面上に
表示させたり、入力部２２のテンキーを点灯させたりす
る。

【００７２】顔抽出部７は、自画像メモリ６に格納され
た対象画像に対して、存在する顔の位置及び大きさを調
べ、これらの情報を顔領域として表示制御部２５及び送
信データ処理部８へ出力する。なお、この顔抽出部７に
ついては、本発明に適用可能な手法を後で詳細に説明す
る。送信データ処理部８は、入力部２２から指示された
送信モードに従って、自画像メモリ６に格納された対象
画像を、そのまま又は後述する加工を施して通信部９へ
送出する。通信部９は、通信経路を介して、相手の情報
処理装置（画像通信端末を含む）と、少なくとも画像デ
ータの通信を行う。ここでの通信モードは任意であり、
例えば、内線電話のように基地局等を介さない子機間通
信でもよいし、テレビ電話のような基地局等を介する同
期型通信又は非同期型通信でもよい。受信データ処理部
１０は、通信部９を介して受信した相手の画像データを
処理して、フレーム毎に相手画像メモリ１１へ格納す
る。

【００７３】次に、図８〜図１０を参照して、表示制御
部２５が表示部３の画面上に表示させる目印の一例を説
明する。なお、これらの例は、適宜組み合わせて用いる
ことができる。まず、図８（ａ）〜（ｄ）は、利用者１
の顔の位置（ここでは、顔抽出部７で抽出された顔領域
の中心）だけを、表示部３の画面上に目印Ｒで表示させ
る例である。図中矩形で示した領域が表示部３の画面で
あり、ここに相手の画像が表示される。図８（ａ）〜
（ｃ）では、目印Ｒが相手の画像内に重畳させて表示さ
れる。図８（ｄ）では、目印Ｒが相手の画像外に表示さ
れる。これらの目印Ｒの表示は、相手の画像のフレーム
に同期して更新してもよいし、非同期で更新してもよ
い。図８（ａ）は、目印Ｒとして十字線を用い、線の交
点が利用者１の顔の位置を示すようにしたものである。
図８（ｂ）は、目印Ｒとして矢印を用い、双方の矢印で
特定される点が利用者１の顔の位置を示すようにしたも
のである。図８（ｃ）は、目印Ｒとして十字又は×印の
図形を用い、図形の位置が顔の位置を示すようにしたも
のである。図８（ｄ）は、目印Ｒとして相手の画像の枠
外に表示される縦横ルーラを用い、縦ルーラ上に付され
た印と横ルーラ上に付された印とで特定される点が利用
者１の顔の位置を示すようにしたものである。

【００７４】次に、図９（ａ）〜（ｃ）は、利用者１の
顔の位置及び大きさ（顔抽出部７で抽出された顔領域全
体）を、表示部３の画面上に目印Ｒで表示させる例であ
る。図９（ａ）は、目印Ｒとして縦横２本ずつの平行線
を用い、この平行線で囲まれた矩形領域が利用者１の顔
の位置及び大きさを示すようにしたものである。図９
（ｂ）は、目印Ｒとして相手の画像の枠外に表示される
縦横ルーラを用い、縦ルーラ上に付された幅付き印と横
ルーラ上に付された幅付き印とで特定される領域が利用
者１の顔の位置及び大きさを示すようにしたものであ
る。図９（ｃ）では、目印Ｒとして顔領域に近似する円
（又は楕円）を用い、円領域が利用者１の顔の位置及び
大きさを示すようにしたものである。

【００７５】なお、これらの目印Ｒは、相手の画像に依
存せずに表示させてもよいし、依存して表示させてもよ
い。前者としては、例えば、相手の画像にかかわらず所
定の色（黒一色等）で目印Ｒを表示させることである。
後者としては、例えば、表示させる目印Ｒが相手の画像
上でわかり難くなる場合に、目印Ｒを表示させる画素の
輝度を変化させたり、そのＲＧＢ値を変化（反転）させ
ることである。いずれにしても、これらの目印Ｒは、相
手の画像の邪魔にならぬように表示することが望まし
い。

【００７６】さらに、図１０は、利用者１の顔のおおよ
その位置を、表示部３ではなく入力部２２で表示させる
例である。図１０に示すように、目印Ｒとして点灯が可
能なテンキーを用い、このテンキーのいずれかを点灯さ
せることで顔の位置を利用者１へ通知することができ
る。図１０では、「３」のキーを点灯させているので、
顔の位置が画面の「右上」にあることを通知できる。同
様に、「１」のキーなら画面の「左上」、「５」のキー
なら画面の「真中」、「９」のキーなら画面の「右下」
というように、概略の位置表示を行える。なお、このよ
うな概略位置の通知であっても、十分実用に値する。

【００７７】なお、本実施形態では、入力部２２から表
示制御部２５へ与えられる通知モードによって、図８〜
図１０のいずれの方法で顔の位置を通知させるかを切り
替えることが可能なようにしている。さらに、これらの
通知は、常時行ってもよいし、利用者１が入力部２２で
通知を指示した時のみ行ってもよい。また、概略位置の
通知を行う方法としては、図１０に示す入力部２２のテ
ンキーの点灯以外にも、音や光によることもできる。例
えば、音の場合には、スピーカから発するインターバル
や周波数を顔の位置に応じて変化させたり、光の場合に
は、点灯させる明るさや点滅のインターバルを顔の位置
に応じて変化させること等が考えられる。

【００７８】次に、図１１を参照して、送信データ処理
部８が通信部９を介して送信する利用者１の画像例につ
いて説明する。本実施形態では、相手側へ送信される画
像が、入力部２２から送信データ処理部８へ与えられる
送信モードによって、選択できるようになっている。こ
こで、利用者１側（自分側）では、相手の画像の上に、
図１１（ａ）のような目印Ｒ（図９（ａ）〜（ｃ）の組
み合わせ）が表示されているものとする。このとき、送
信データ処理部８は、送信モードによって、種々の形態
で自画像を相手に送信することができる。例えば、送信
モードが「通常」であれば、図１１（ｂ）のように、送
信データ処理部８は、カメラ部４の取得画像をそのまま
送信する。また、送信モードが「目印付き」であれば、
図１１（ｃ）に示すように、送信データ処理部８は、顔
抽出部７で抽出された顔領域を参照して、取得画像に目
印Ｒを合成した自画像を作成し、相手に送信する。さら
に、送信モードが「顔のみ」であれば、図１１（ｄ）に
示すように、送信データ処理部８は、取得画像から顔抽
出部７で抽出された顔領域のみを切り取った自画像を、
相手に送信する。

【００７９】送信モードに基づくこれらの画像処理は、
周知技術によって簡単に実現することができるので、そ
の詳しい説明は省略する。ここで、図１１（ｃ）のよう
に「目印付き」で自画像を送信すれば、例えば自分がど
こに居るのかわかり難い画像（暗闇の中に居る画像）を
送信する場合であっても、相手に自分の位置を正確に把
握させることが可能となる。また、図１１（ｄ）のよう
に、「顔のみ」で自画像を送信すれば、背景が写らない
ので相手に見られたくない部分を隠すことができ、プラ
イバシーを保護できる。なお、このように背景を隠して
も、顔の表情等は相手に伝わるので、会話に支障はな
い。なお、上記説明した送信モードは、互いにユニーク
であれば、他の任意の区別法によることも可能である。

【００８０】以上のように、本発明の第２の実施形態に
係る画像通信端末によれば、抽出した顔領域に基づく目
印を用いて、利用者の画面上の位置関係を簡潔かつ適切
に表現することができる。従って、利用者は、自分の顔
の位置が画面を逸脱した場合はもとより、自分の顔の位
置が画面を逸脱していない場合であっても、自分の顔の
位置を確認しながら、安心して相手との会話を進めるこ
とができる。また、上記第１の実施形態に比べ追従機構
を省略しているので、画像通信端末の携帯性を良好にさ
せることができる。

【００８１】（顔抽出部７の詳細な実施例）次に、上述
した本発明の第１及び第２の実施形態に係る画像通信端
末に適用できる顔抽出部７の具体的な実施例を、３通り
説明する。なお、顔抽出部７には、以下に説明する３つ
の手法の他に、色情報に基づくもの、目や口等の顔の部
分に着目するもの、テンプレートマッチングによるもの
等、周知のさまざまな手法を適用させることが可能であ
る。

【００８２】＜実施例１＞図１２は、実施例１の顔抽出
部７の構成を示すブロック図である。図１２において、
顔抽出部７は、エッジ抽出部５１と、テンプレート記憶
部５２と、投票結果記憶部５３と、投票部５４と、解析
部５５とを備える。

【００８３】エッジ抽出部５１は、カメラ部４が撮影し
た対象画像からエッジ部を抽出し、エッジ部だけの画像
（以下、エッジ画像という）を生成する。ここで、エッ
ジ部とは、人物の外郭や顔の輪郭等に相当する部分（画
素）であって、対象画像内の高周波成分となる部分であ
る。このエッジ抽出部５１には、対象画像から高周波成
分を取り出すＳｏｂｅｌフィルタ等を用いるのが好まし
い。

【００８４】テンプレート記憶部５２には、予め定めた
形状を、相似で大きさを異ならせた種々のサイズによっ
て、中心点で同心状に複数設けたテンプレートのデータ
が記憶されている。このテンプレートの形状には、円、
楕円、正多角形、多角形等を用いることができるが、中
心点から形状線（形状を形成する各画素）までの距離が
常に一定である円を用いることが最も好ましい。これに
より、後述する投票結果の精度を高くさせることができ
る。以下、この実施例１では、図１３に示すように、中
心点がＰで半径が異なる同心円を複数設けたテンプレー
トを用いた場合を説明する。ここで、テンプレートを構
成する複数の円ｔ１〜ｔｎ（ｎは、任意の整数）は、図
１３に示すテンプレートのように、一定間隔で半径が変
化する構成であってもよいし、不定間隔で半径が変化す
る構成であってもよい。また、テンプレートを構成する
複数の円ｔ１〜ｔｎは、全ての線幅が１ドット（対象画
像の１画素に相当）で構成されてもよいし、一部又は全
部の線幅が２ドット以上（すなわち、円環形状）で構成
されてもよい。なお、以下の説明では、円及び円環を総
称して単に「円」という。

【００８５】この複数の円ｔ１〜ｔｎは、まとめて１つ
のテンプレートとして扱われてテンプレート記憶部５２
に記憶されるが、実際の処理では、テンプレートを構成
する各円ｔ１〜ｔｎは、独立して扱われることとなる。
このため、各円ｔ１〜ｔｎを形成する画素データは、テ
ンプレート記憶部５２において、例えばテーブル形式で
それぞれ記憶される。

【００８６】投票結果記憶部５３には、後述する投票部
５４において行われる投票処理の結果を記憶する領域
（以下、投票記憶領域という）が、テンプレート記憶部
５２に記憶されているテンプレートを構成する各サイズ
の形状毎に、設けられている。この例では、各サイズの
形状が円ｔ１〜ｔｎであるので、投票結果記憶部５３に
は、円ｔ１〜ｔｎに関してｎ個の投票記憶領域が設けら
れることとなる。なお、この投票記憶領域は、対象画像
に対応する範囲を有する。

【００８７】投票部５４は、エッジ抽出部５１で生成さ
れたエッジ画像について、テンプレート記憶部５２に記
憶されているテンプレートを用いて、投票処理を行う。
図１４は、投票部５４で行われる投票処理の手順を示す
フローチャートである。図１４を参照して、投票部５４
は、まず、投票結果記憶部５３にアクセスして、各投票
記憶領域内の座標を表す成分（投票値）を、全て零に初
期化する（ステップＳ６０１）。次に、投票部５４は、
エッジ画像内のエッジ部の先頭画素位置に、テンプレー
トの中心点Ｐをセットする（ステップＳ６０２）。この
先頭画素位置は、例えば、エッジ画像上を左上から右上
又は左下へ順次走査して行き、最初に検出されたエッジ
部の画素の位置とすればよい。

【００８８】次に、投票部５４は、テンプレートを構成
する形状（この例では、円ｔ１〜ｔｎ）を特定するカウ
ンタｉを、「１」に初期化する（ステップＳ６０３）。
次に、投票部５４は、カウンタｉ（＝１）によって特定
される円ｔ１について、円ｔ１を形成する全画素のエッ
ジ画像上のｘｙ座標をそれぞれ取得する（ステップＳ６
０４）。そして、投票部５４は、投票結果記憶部５３に
設けられた円ｔ１に関する投票記憶領域において、取得
した各ｘｙ座標を表す成分にそれぞれ「１」を加算して
投票を行う（ステップＳ６０５）。この処理が終わる
と、投票部５４は、カウンタｉを１つインクリメントし
て、ｉ＝２とする（ステップＳ６０７）。次に、投票部
５４は、カウンタｉ（＝２）によって特定される円ｔ２
について、円ｔ２を形成する全画素のエッジ画像上のｘ
ｙ座標をそれぞれ取得する（ステップＳ６０４）。そし
て、投票部５４は、投票結果記憶部５３に設けられた円
ｔ２に関する投票記憶領域において、取得した各ｘｙ座
標を表す成分にそれぞれ「１」を加算して投票を行う
（ステップＳ６０５）。

【００８９】以降同様にして、投票部５４は、ｉ＝ｎに
なるまでカウンタｉを１つずつインクリメントしながら
（ステップＳ６０６，Ｓ６０７）、テンプレートを構成
する全形状である円ｔ３〜ｔｎについて、上記ステップ
Ｓ６０４及びＳ６０５の投票処理を繰り返し行う。これ
により、各円ｔ１〜ｔｎに関する投票記憶領域のそれぞ
れに、先頭画素位置における投票処理が行われることに
なる。そしてさらに、投票部５４は、エッジ部の次の画
素位置にテンプレートの中心点Ｐをセットして上記ステ
ップＳ６０３〜Ｓ６０７の処理を繰り返し行うことを、
エッジ画像内のエッジ部の全画素に対して、１回ずつ行
う（ステップＳ６０８，Ｓ６０９）。すなわち、投票部
５４による投票処理は、テンプレートの中心点Ｐがエッ
ジ部の全画素を這うように行われる。

【００９０】例えば、図１５に示すエッジ画像に上記投
票処理を施すことによって、投票結果記憶部５３に設け
られたｎ個の投票記憶領域には、図１６に示すような投
票数が記憶される。なお、図１６では、図面を見易くす
るため、エッジ部の一部の画素位置で投票処理が行われ
た場合を示している。図１６において、実線円の部分
が、上記ステップＳ６０５においてテンプレートの各サ
イズの形状（円ｔ１〜ｔｎ）に基づいて投票された座標
成分に相当し、座標数「１」となる。また、上述したよ
うに各投票数は累積加算されるので、図１６の実線円が
交差する部分（図中、●印で示す）は、交差する数が多
いほど投票数が高いことを表している。

【００９１】そのため、中心点を持つ円又は楕円に近似
した顔の輪郭を表現するエッジ部に、上述した投票処理
を施せば、その中心点付近に高い投票数が集中すること
となる。従って、高い投票値が集中する部分を判断すれ
ば、顔の中心を特定することが可能になる。また、この
ような高い投票値が集中する現象は、テンプレートの中
でも、顔の輪郭を表現するエッジ部の最小幅と等しい又
は非常に近い半径を持つ円形状を用いた場合に、より顕
著に現れる。従って、この現象がどの円形状の投票記憶
領域に顕著に現れているかを判断すれば、顔の大きさを
特定することが可能になる。この点は、一般化ハフ変換
と似ていると言える。しかし、本発明の顔抽出方法で
は、同心状に複数サイズの形状を持つテンプレートを使
用することにより、エッジ部の中心点と共にその大きさ
も一度に特定できるという点で、一般化ハフ変換とは明
確に異なる。

【００９２】なお、上記ステップＳ６０１において、各
投票記憶領域内の座標を表す成分を、全て予め定めた最
大値に初期化し、上記ステップＳ６０５において、取得
した各ｘｙ座標を表す成分からそれぞれ「１」を減算し
て投票を行ってもよい。この場合、低い投票値が集中す
る部分を判断すれば、顔の中心を特定することが可能で
あり、この集中現象がどの円形状の投票記憶領域に顕著
に現れているかを判断すれば、顔の大きさを特定するこ
とが可能になる。また、上記ステップＳ６０５におい
て、投票数を加算又は減算させる値は「１」以外であっ
てもよく、値を自由に設定することができる。

【００９３】次に、投票結果記憶部５３に記憶された投
票結果に基づいて、対象画像の顔領域を特定する手法を
説明する。解析部５５は、投票部５４による投票処理が
完了した後、投票結果記憶部５３に記憶された投票結果
に基づいて、そのクラスタを評価して、対象画像に含ま
れる顔の位置及び大きさを求める。図１７は、解析部５
５で行われる解析処理の手順を示すフローチャートであ
る。

【００９４】図１７を参照して、解析部５５は、まず、
テンプレートを構成する形状（この例では、円ｔ１〜ｔ
ｎ）を特定するカウンタｊを、「１」にセットする（ス
テップＳ７０１）。次に、解析部５５は、カウンタｊ
（＝１）によって特定される円ｔ１について、投票結果
記憶部５３の円ｔ１に関する投票記憶領域に記憶されて
いる投票結果を参照して、投票数が予め定めたしきい値
Ｇ（例えば、２００等）を越える成分だけを抽出する
（ステップＳ７０２）。このしきい値Ｇは、対象画像の
精細度や所望する抽出精度に基づいて、任意に定めるこ
とができる。次に、解析部５５は、抽出した成分だけを
対象に、クラスタリングを行い（ステップＳ７０３）、
クラスタ化された各領域の分散値及び共分散値をそれぞ
れ計算する（ステップＳ７０４）。このクラスタリング
における類似度は、ユークリッド平方距離、標準化ユー
クリッド平方距離、マハラノビスの汎距離又はミンコフ
スキー距離のいずれを用いて判断されてもよい。また、
クラスタの形成には、最短距離法（ＳＬＩＮＫ：single
linkage clustering method）、最長距離法（ＣＬＩＮ
Ｋ：complete linkage clustering method）又は群平均
法（ＵＰＧＭＡ：unweighted pair-group method using
arithmetic averages）のいずれを用いてもよい。

【００９５】次に、解析部５５は、クラスタ化された各
領域の分散値及び共分散値を、予め定めたしきい値Ｈと
比較する（ステップＳ７０５）。そして、このステップ
Ｓ７０５において各値がしきい値Ｈ未満の場合、解析部
５５は、その領域の中心点を顔の中心点とみなして、こ
の時のカウンタｊ（＝１）が指す円ｔ１のサイズ（直
径）を顔の短軸長とし（ステップＳ７０６）、この短軸
長に一定値（経験的に定める）を加えた長さを顔の長軸
長として決定する（ステップＳ７０７）。そして、解析
部５５は、この決定した中心点、短軸長及び長軸長を、
解析結果として保持する（ステップＳ７０８）。一方、
上記ステップＳ７０５において各値がしきい値Ｈ以上の
場合、解析部５５は、その領域の中心点が顔の中心点で
はないと判断して、次の処理に移る。

【００９６】この処理が終わると、解析部５５は、カウ
ンタｊを１つインクリメントして、ｊ＝２とする（ステ
ップＳ７１０）。次に、解析部５５は、カウンタｊ（＝
２）によって特定される円ｔ２について、投票結果記憶
部５３の円ｔ２に関する投票記憶領域に記憶されている
投票結果を参照して、投票数が予め定めたしきい値Ｇを
越える成分だけを抽出する（ステップＳ７０２）。次
に、解析部５５は、抽出した成分だけを対象に、クラス
タリングを行い（ステップＳ７０３）、クラスタ化され
た各領域の分散値及び共分散値をそれぞれ計算する（ス
テップＳ７０４）。次に、解析部５５は、クラスタ化さ
れた各領域の分散値及び共分散値を、予め定めたしきい
値Ｈと比較する（ステップＳ７０５）。そして、このス
テップＳ７０５において各値がしきい値Ｈ未満の場合、
解析部５５は、その領域の中心点を顔の中心点とみなし
て、この時のカウンタｊ（＝２）が指す円ｔ２のサイズ
を顔の短軸長とし（ステップＳ７０６）、この短軸長に
一定値を加えた長さを顔の長軸長として決定する（ステ
ップＳ７０７）。そして、解析部５５は、この決定した
中心点、短軸長及び長軸長を、解析結果として追加して
保持する（ステップＳ７０８）。一方、上記ステップＳ
７０５において各値がしきい値Ｈ以上の場合、解析部５
５は、その領域の中心点が顔の中心点ではないと判断し
て、次の処理に移る。

【００９７】以降同様にして、解析部５５は、ｊ＝ｎに
なるまでカウンタｊを１つずつインクリメントしながら
（ステップＳ７０９，Ｓ７１０）、投票結果記憶部５３
に記憶されている各円ｔ３〜ｔｎに関する投票記憶領域
について、上記ステップＳ７０２〜Ｓ７０８の解析処理
を繰り返し行う。これにより、各円ｔ１〜ｔｎに関する
投票記憶領域における、顔領域抽出の解析結果を得るこ
とができる。この解析結果は、表示制御部５，２５及び
送信データ処理部８へ出力される。

【００９８】このように、実施例１の顔抽出部７では、
負担が軽い投票処理（基本的には加算処理のみ）と投票
数の評価だけで、顔の位置を高速に抽出できる。しか
も、相似で同心状の複数サイズの形状を備えたテンプレ
ートを用いているので、顔領域であろうエッジ部が、こ
れらの形状のいずれのサイズに近いかという実質的な近
似を行っていることになり、顔の大きさも高速に抽出で
きる。

【００９９】＜実施例２＞次に、実施例２として、直交
変換後の空間でパターンマッチングを行うことにより処
理量の削減を図り、携帯電話等のような限られた処理量
を要求される端末において有効となる手法を説明する。
図１８は、実施例２の顔抽出部７の構成を示すブロック
図である。図１８において、顔抽出部７は、テンプレー
ト画像処理部８０と、入力画像処理部９０と、積算部１
０１と、逆直交変換部（逆ＦＦＴ）１０２と、マップ処
理部１０３とを備える。この実施例２の手法は、テンプ
レート画像処理部８０及び入力画像処理部９０におい
て、テンプレート画像及び入力画像（対象画像）にそれ
ぞれ線形性を有する直交変換を施し、それらを積算した
後に逆直交変換して、類似値Ｌを求めるものである。

【０１００】ここで、実施例２では、直交変換としてＦ
ＦＴ（高速離散フーリエ変換）を使用する場合を説明す
るが、この他にＨａｒｔｌｅｙ変換や数論的変換等を用
いることもできる。これら他の変換方法を使用する場合
には、以下の説明中の「フーリエ変換」とある部分を、
これらの変換方法に読み替えればよい。また、テンプレ
ート画像処理部８０及び入力画像処理部９０のいずれに
おいても、エッジ法線方向ベクトルの内積を利用し、エ
ッジ法線方向ベクトルの方向が近いほど、高い相関が出
るようにしている。しかも、この内積は、偶数倍角表現
を用いて評価される。以下簡単のため、偶数倍角の例と
して２倍角の場合を説明するが、４倍角や６倍角等の他
の偶数倍角においても、実施例２と同様の効果を奏する
ことができる。

【０１０１】まず、テンプレート画像処理部８０につい
て説明する。図１８において、テンプレート画像処理部
８０は、エッジ抽出部８１と、評価ベクトル生成部８２
と、直交変換部（ＦＦＴ）８３と、圧縮部８４と、記録
部８５とを備える。

【０１０２】エッジ抽出部８１は、入力されるテンプレ
ート画像に対して、ｘ方向及びｙ方向のそれぞれについ
て微分処理（エッジ抽出）を施し、テンプレート画像の
エッジ法線方向ベクトルを出力する。本実施例２では、
ｘ方向について、

【数１】 なるＳｏｂｅｌフィルタを用い、ｙ方向について、

【数２】 なるＳｏｂｅｌフィルタを用いている。これらのフィル
タ（１）及び（２）より、次式（３）で定義されるテン
プレート画像のエッジ法線方向ベクトルが求められる。

【数３】

【０１０３】評価ベクトル生成部８２は、エッジ抽出部
８１からテンプレート画像のエッジ法線方向ベクトルを
入力し、次に述べる処理を行って、テンプレート画像の
評価ベクトルを直交変換部８３へ出力する。まず、評価
ベクトル生成部８２は、次式（４）を用いて、テンプレ
ート画像のエッジ法線方向ベクトルを長さについて正規
化する。

【数４】 これは、照明変動のような撮影条件が変化する場合、エ
ッジの強度（長さ）は影響を受け易いが、エッジの角度
は影響を受け難いことを考慮させるためである。そこ
で、本実施例２では、後述するように、入力画像処理部
９０において対象画像のエッジ法線方向ベクトルを長さ
「１」に正規化している。これに合わせて、テンプレー
ト画像処理部８０においても、テンプレート画像のエッ
ジ法線方向ベクトルを長さ「１」に正規化している。ま
た、周知のように、三角関数については次式（５）の倍
角公式が成立する。

【数５】 この倍角公式を用いて、エッジベクトルを次式（６）に
基づいて正規化する。

【数６】

【０１０４】以下、この式（６）について説明する。ま
ず、定数ａは、微小エッジ除去用のしきい値であって、
定数ａより小さなベクトルをゼロベクトルにしているの
は、ノイズ等を除去するためである。次に、ｘｙ各成分
が、式（４）のｘｙ各成分の倍角に係る余弦・正弦の従
属関数になっている点について、説明する。ここで、テ
ンプレートの評価ベクトルＴと、対象画像の評価ベクト
ルＩとのなす角をθとし、その内積、つまりｃｏｓθを
類似尺度として用いると、次のような問題がある。例え
ば、テンプレート画像が、図１９（ａ）に示すもので、
対象画像が、同図（ｂ）に示すものであるとする。ここ
で、図１９（ｂ）の背景部分の画像は、左半分が対象物
よりも明るく、右半分が対象物よりも暗くなっている。
画像のみで見れば、図１９（ａ）のテンプレート画像の
中心が、同図（ｂ）の対象画像の中心に一致する時、対
象物が完全に一致するので、このとき類似値は最大にな
らなければならない。そして、エッジ法線方向ベクトル
は、対象物の画像から外側に向くものを正とすると、図
１９（ｂ）の明るい背景部分でも暗い背景部分でも、対
象物から見て同じ向き（外向き／内向き）でなければな
らない。しかしながら、このとき、図１９（ｂ）の背景
部分の輝度が、対象物の左右でばらついていると、図１
９（ｂ）に矢印で示しているように、向きが反対（明る
い背景部分では対象物の外側向き、暗い背景部分では対
象物の内側向き）になってしまう。このような場合、本
来、最大の類似値となるべき場合において、必ずしも類
似値が高い値にならず、誤認識を招き易い。

【０１０５】以上の点を図２０を用いて、さらに詳しく
説明する。テンプレート画像の評価ベクトルＴと、対象
画像の評価ベクトルＩとのなす角θの内積ｃｏｓθを類
似値として用いる場合、上述したように、対象物の周囲
にある背景画像の輝度ばらつきによって、対象画像の評
価ベクトルの方向は、Ｉ方向又はその正反対のＩ’方向
のいずれかになる可能性がある。このため、類似尺度で
ある内積は、ｃｏｓθとｃｏｓθ’との２通りがあり得
ることになる。しかも、θ＋θ’＝πであり、ｃｏｓθ
＝ｃｏｓ（π−θ’）＝−ｃｏｓθである。つまり、ｃ
ｏｓθを類似尺度として用いると、本来、類似値を増や
すように作用しなければならない場合において、逆に類
似値を減らすことになる場合がある。また、類似値を減
らすように作用しなければならない場合において、逆に
類似値を増やすことになる場合がある。

【０１０６】そこで、本実施例２では、θの倍角の余弦
（ｃｏｓ２θ）を、類似値の式に使用している。こうす
ると、ｃｏｓθ’＝−ｃｏｓθとなっていても、式
（５）の倍角公式から、ｃｏｓ２θ’＝ｃｏｓ２θとな
る。つまり、類似値を増やすように作用しなければなら
ない場合には、背景部分に影響されずに類似値は高くな
る。従って、背景部分の画像に輝度ばらつきがあって
も、正当に画像のマッチングを評価することができる。
以上の点は、２倍角だけでなく、４倍角や６倍角などで
も同様に成立する。これにより、偶数倍角評価により、
背景の輝度条件にかかわらず、安定してパターンを抽出
できる。なお、この表現の他にもここで、ＴｘとＴｙの
値の組み合わせからｃｏｓθ＝Ｔｘ，ｓｉｎθ＝Ｔｙと
表現されるθの値（すなわち、エッジ法線方向ベクトル
を極座標表現した場合の位相角）として、Ｔｘ，Ｔｙの
２つではなく１つの値で表現することも可能である。ま
た、θを０〜３６０度でなく、例えば８ビット表現と
し、マイナスの値を２の補数表現として２進数で表現し
た場合（すなわち、−１２８〜１２７とした場合）、−
１２８に１を加算した場合は０となり、循環表現とな
る。このため、θに関する倍角計算及び類似値計算にお
いて、１２７を超えた場合に−１２８とする処理が自動
的に行われる。

【０１０７】次に、類似値の計算について説明する。よ
り具体的には、本実施例２では、次式（７）により、類
似値Ｌを定義する。

【数７】 なお、評価ベクトルを（Ｖｘ，Ｖｙ），（Ｔｘ，Ｔｙ）
ではなく、Ｖθ，Ｔθとした場合は次式（８）となる。

【数８】 なお、ここでは評価ベクトルの要素が１つの場合もベク
トルと標記している。

【０１０８】ここで、式（７）及び式（８）は、加算及
び積算のみからなるので、類似値Ｌは、対象画像及びテ
ンプレート画像のそれぞれの評価ベクトルについて線形
である。従って、式（７）及び式（８）をフーリエ変換
すると、フーリエ変換の離散相関定理により、

【数９】

【数１０】 となる。なお、式（９）及び式（１０）において、
“〜”はフーリエ変換値を、“＊”は複素共役を表して
いる。

【０１０９】また、式（９）又は式（１０）を逆フーリ
エ変換すれば、式（７）又は式（８）の類似値Ｌが得ら
れる。そして、式（９）及び式（１０）より、次の２点
が明らかとなる。 １．直交変換した後の変換値においては、テンプレート
画像に係るフーリエ変換値と、対象画像に係るフーリエ
変換値とを、単純に積和すればよい。 ２．テンプレート画像に係るフーリエ変換値と、対象画
像に係るフーリエ変換値とを、同時に求める必要はな
く、テンプレート画像に係るフーリエ変換値を対象画像
のフーリエ変換値に先行して求めておいても構わない。

【０１１０】そこで、本実施例２では、テンプレート画
像処理部８０に記録部８５を設け、対象画像の入力に先
立ち、圧縮部８４の出力を記憶しておくことにしてい
る。これにより、対象画像が入力画像処理部９０に入力
された後は、テンプレート画像処理部８０は、何らテン
プレート画像の処理を行う必要がない。従って、画像通
信端末の処理能力を、入力画像処理部９０及び積算部１
０１より後段の処理に集中させることができ、一層処理
を高速化できる。

【０１１１】次に、評価ベクトル生成部８２よりも後段
の構成を説明する。図１８に示すように、テンプレート
画像処理部８０において、評価ベクトル生成部８２から
出力されるテンプレート画像の評価ベクトルは、直交変
換部８３によりフーリエ変換され、圧縮部８４に出力さ
れる。圧縮部８４は、フーリエ変換後の評価ベクトルを
削減して、記録部８５に格納する。図２１に示すよう
に、変換後の評価ベクトルは、ｘｙ両方向について高低
さまざまな周波数成分を含んでいる。本発明者らの実験
によれば、全ての周波数成分について処理を行わなくと
も、低周波数成分（例えば、ｘｙ両方向について、低周
波側半分ずつ等）について処理を行えば、十分な精度が
得られることがわかっている。なお、図２１において、
斜線を付していない領域（−ａ≦ｘ≦ａ，−ｂ≦ｙ≦
ｂ）が元の領域であり、斜線を付した領域（−ａ／２≦
ｘ≦ａ／２，−ｂ／２≦ｙ≦ｂ／２）が削減後の領域で
ある。すなわち、処理量は１／４となる。このようにす
れば、処理対象を削減して、さらに高速な処理を実現で
きる。なお、圧縮部８４及び記録部８５は、データ量が
小さい時や高速性が要求されない時は、省略することも
可能である。

【０１１２】次に、入力画像処理部９０について説明す
る。図１８において、入力画像処理部９０は、エッジ抽
出部９１と、評価ベクトル生成部９２と、直交変換部
（ＦＦＴ）９３と、圧縮部９４とを備える。入力画像処
理部９０は、テンプレート画像処理部８０と同等の処理
を行う。すなわち、エッジ抽出部９１は、式（１）及び
式（２）を用いて対象画像のエッジ法線方向ベクトルを
出力する。また、評価ベクトル生成部９２は、エッジ抽
出部９１から対象画像のエッジ法線方向ベクトルを入力
し、テンプレート画像処理部８０の評価ベクトル生成部
８２と同等の処理を行い、評価ベクトルを生成する。評
価ベクトル生成部９２から出力される対象画像の評価ベ
クトルは、直交変換部９３によりフーリエ変換され圧縮
部９４に出力される。圧縮部９４は、フーリエ変換後の
評価ベクトルを削減して、積算部１０１へ出力する。こ
こで、圧縮部９４は、テンプレート画像処理部８０の圧
縮部８４と同一の周波数帯に処理対象を削減する。

【０１１３】次に、積算部１０１以降を説明する。テン
プレート画像処理部８０及び入力画像処理部９０の処理
が完了すると、積算部１０１は、記録部８５と圧縮部９
４とから、テンプレート画像及び対象画像の各評価ベク
トルのフーリエ変換値を入力する。そこで、積算部１０
１は、式（９）又は式（１０）による積和演算を行い、
結果（類似値Ｌのフーリエ変換値）を逆直交変換部１０
２へ出力する。逆直交変換部１０２は、類似値Ｌのフー
リエ変換値を逆フーリエ変換し、類似値ＬのマップＬ
（ｘ，ｙ）をマップ処理部１０３へ出力する。マップ処
理部１０３は、このマップＬ（ｘ，ｙ）から、値の高い
点（ピーク）を抽出し、その位置と値とを出力する。な
お、マップ処理部１０３以降は、必要に応じて自由に構
成することができる。

【０１１４】さて、対象画像のサイズをＡ（＝２^γ）と
し、テンプレート画像のサイズをＢとすると、テンプレ
ート画像を対象画像上で順次走査させ、各位置での相関
値を求めるためには、 積の回数＝２ＡＢ の計算回数が必要になる。なお、ここでの計算回数は、
計算コストが高い積の回数で評価する。一方、本実施例
２は、直交変換部８３，９３による２回のＦＦＴ、積算
部１０１の積和計算、及び逆直交変換部１０２による１
回の逆ＦＦＴが必要で、 積の回数＝３｛（２γ−４）Ａ＋４｝＋２Ａ の計算回数で済む。これらの計算回数を比較すると、例
えば、Ａ＝２５６×２５６＝２¹⁶とし、Ｂ＝６０×６０
とした場合、本実施例２による積の計算回数は約１／１
００となり、非常に高速な処理が可能になり、処理量の
削減につながる。

【０１１５】このように、実施例２の顔抽出部７では、
少ない処理量で顔の位置を抽出できる。そのため、携帯
型の画像通信端末のように限られた処理量が要求される
場面においても、顔の位置及び大きさを抽出することが
可能となる。また、倍角表現を行うことで携帯型の画像
通信端末のように撮影場所や時間が限定されず、あらゆ
る撮影条件を想定しなければならない場面においても、
安定して顔を抽出することが可能になる。

【０１１６】＜実施例３＞上記実施例１及び実施例２の
顔抽出手法では、対象画像内に顔が存在しない場合で
も、顔に近い部分を強引に顔領域として抽出してしま
う。そこで、次に実施例３として、実施例１及び実施例
２の顔抽出手法によって抽出された顔の位置及び大きさ
が、真に顔であるか否かをさらに判定する手法を説明す
る。

【０１１７】これを実現するためには、図１２に示す実
施例１の解析部５５の後段、又は図１８に示す実施例２
のマップ処理部１０３の後段に、抽出された顔領域が真
の顔であるか否かを判定する構成（顔・非顔判定部）を
設ける。実施例１の解析部５５の後段に顔・非顔判定部
を設ける場合、最も簡単には、顔・非顔を判断するため
のしきい値を予め定め、解析部５５から出力される領域
の投票値及び顔の大きさから求めた値が、このしきい値
を越えれば当該領域が顔であると判断させる。ここで、
投票値及び顔の大きさから求めた値とは、投票値を顔の
大きさで割った値である。このような処理を行うのは、
顔の大きさに比例する投票値を、顔の大きさで正規化さ
せる理由による。また、実施例２のマップ処理部１０３
の後段に顔・非顔判定部を設ける場合、最も簡単には、
顔・非顔を判断するためのしきい値を予め定め、マップ
処理部１０３から出力される領域の類似値が、このしき
い値を越えれば当該領域が顔であると判断させる。な
お、上記実施例１及び実施例２では、顔抽出部７から出
力される顔領域が１つである場合を説明したが、複数の
顔領域が出力される場合であっても、上述した本実施例
３の顔・非顔判定を適用させることができる。

【０１１８】そして、顔・非顔判定部で顔でないと判断
された顔領域は、顔抽出部７から表示制御部５及び送信
データ処理部８へは、出力されない。なお、上記第１の
実施形態における送信データ処理部８は、顔抽出部７か
ら顔領域が出力されない場合、送信領域３１の位置を移
動させずに前時刻の送信領域３１をそのまま用いる。ま
た、一定時間顔領域が出力されない場合には、初期位置
（例えば、撮影領域３０の中央）に送信領域３１を設定
する。

【０１１９】一方、上述したしきい値による判断方法で
はなく、サポートベクトル関数を用いて顔・非顔を判定
する方法がある。以下に、サポートベクトル関数を用い
た顔・非顔判定を概説する。なお、サポートベクトル自
体は公知の技術であり、文献「Ｓｕｐｐｏｒｔ Ｖｅｃ
ｔｏｒ Ｍａｃｈｉｎｅｓによる複数カテゴリの識別
（電子情報通信学会信学技法ＰＲＭＵ９８−３６（１９
９８−０６））」に詳しく説明されている。

【０１２０】図２２は、実施例３の顔抽出部７の構成の
内、実施例１及び実施例２の構成に追加される構成部分
を示すブロック図である。図２２において、実施例３で
の追加構成は、画像サイズ正規化部１１１と、特徴ベク
トル抽出部１１２と、顔・非顔判定部１１３と、顔・非
顔学習辞書１１４とを備える。この図２２の構成は、実
施例１の解析部５５の後段、又は実施例２のマップ処理
部１０３の後段に追加される。

【０１２１】画像サイズ正規化部１１１は、解析部５５
又はマップ処理部１０３から出力される顔領域部分の画
像を、対象画像から切り出す。そして、画像サイズ正規
化部１１１は、切り出した画像（以下、顔領域候補画像
という）について、各画素における画像特徴（例えば、
エッジ強度、色の値、輝度値等）を求めた後、一定サイ
ズに正規化を行う。ここでは、顔領域候補画像を１０×
１０画素の大きさに拡大又は縮小（すなわち正規化）し
た例を説明する。特徴ベクトル抽出部１１２は、正規化
された顔領域候補画像の輝度情報を特徴データの１つと
して取得する。この例では、１０×１０画素の画像に正
規化されているので、１００次元の特徴ベクトルｘｉ
（０≦ｉ＜１００）が取得されることとなる。

【０１２２】ここで、特徴ベクトル抽出部１１２は、エ
ッジ法線方向ベクトルを特徴ベクトルとして抽出しても
よい。具体的には、顔領域候補画像に対してＸ方向ｓｏ
ｂｅｌフィルタとＹ方向ｓｏｂｅｌフィルタとをかけ、
各画素におけるＸ方向の強度及びＹ方向の強度を基にし
て方向ベクトルを計算する。この計算では、値として角
度と強さとが算出されるので、強度は無視して角度のみ
を取り出す。そして、２５６階調を基準として各方向の
正規化を実施し、特徴ベクトルとして使用する。また、
特徴ベクトル抽出部１１２は、顔領域候補画像内部の正
規化された角度毎のヒストグラムを計算して、エッジ法
線のヒストグラムを特徴ベクトルとして抽出してもよ
い。

【０１２３】そして、顔・非顔判定部１１３は、顔・非
顔学習辞書１１４に予め用意されている特徴画像及びパ
ラメータを用い、以下の計算式によって顔領域の顔・非
顔判定を行う。

【数１１】 ここで、Ｋ（ ）はカーネル関数を、αｉは対応するＬ
ａｇｒａｎｇｅ係数を、ｙｉは教師データを示し、学習
辞書が顔の時に＋１が、非顔の時に−１が適用される。
なお、カーネル関数には、上記した式（１２）以外にも
多項式Ｋ（Ｓｉ，Ｘｉ）＝（Ｓｉ・Ｘｉ＋１）や、２層
ニューラルネットワークＫ（Ｓｉ，Ｘｉ）＝ｔａｎｈ
（Ｓｉ・Ｘｉ−δ）を用いることが可能である。

【０１２４】顔・非顔判別の結果を図２３に示す。顔・
非顔判定部１１３では、上式（１２）の結果が０より大
きい時に顔領域候補画像が顔画像と判定され、０より小
さい時に非顔画像と判定される。同様に他の顔領域候補
画像に対しても顔・非顔判定が行われる。この図２３の
例では、画像１２１が顔画像と判定され、画像１２２〜
１２４が非顔画像と判定されている。顔・非顔学習辞書
１１４では、教師データとして顔画像及び非顔画像が用
意され、識別に使用される同じ特徴データを用いて辞書
の作成が行われる。

【０１２５】このように、実施例３の顔抽出部７では、
実際の顔が顔領域の第１候補以外にある場合でも、安定
した顔領域の抽出が可能になる。また、画像中に顔がな
い場合でも顔がないと判定することができるので、顔の
位置を移動して表示する必要がない場合を自動的に検出
することが可能になる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る画像通信端末の
構成を示すブロック図である。

【図２】送信データ処理部８が行う追従処理の手順を示
すフローチャートである。

【図３】撮影領域３０と送信領域３１との関係を説明す
る図である。

【図４】撮影領域３０と送信領域３１との関係を説明す
る図である。

【図５】撮影領域３０と送信領域３１との関係を説明す
る図である。

【図６】撮影領域３０と送信領域３１との関係を説明す
る図である。

【図７】本発明の第２の実施形態に係る画像通信端末の
構成を示すブロック図である。

【図８】表示部３の画面上に表示される目印の一例を示
す図である。

【図９】表示部３の画面上に表示される目印の一例を示
す図である。

【図１０】入力部２２のテンキーを用いて通知される目
印の一例を示す図である。

【図１１】相手側の情報処理装置の画面上に表示される
利用者１側の画像の一例を示す図である。

【図１２】実施例１の顔抽出部７の構成を示すブロック
図である。

【図１３】テンプレート記憶部５２に記憶されているテ
ンプレートの一例を示す図である。

【図１４】投票部５４で行われる投票処理の手順を示す
フローチャートである。

【図１５】エッジ抽出部５１で抽出されるエッジ画像の
一例を説明する図である。

【図１６】投票処理によって投票結果記憶部５３の投票
記憶領域に記憶される投票数の概念を説明する図であ
る。

【図１７】解析部５５で行われる解析処理の手順を示す
フローチャートである。

【図１８】実施例２の顔抽出部７の構成を示すブロック
図である。

【図１９】エッジ抽出部８１及び９１に入力されるテン
プレート画像及び対象画像の一例を示す図である。

【図２０】内積の正負反転を説明する図である。

【図２１】評価ベクトルの圧縮処理を説明する図であ
る。

【図２２】実施例３の顔抽出部７の構成の一部を示すブ
ロック図である。

【図２３】顔・非顔判別部１１３で行われた顔・非顔判
別結果の一例を示す図である。

【符号の説明】

１…利用者 ２，２２…入力部 ３…表示部 ４…カメラ部 ５，２５…表示制御部 ６…自画像メモリ ７…顔抽出部 ８…送信データ処理部 ９…通信部 １０…受信データ処理部 １１…相手画像メモリ １２…通知部 ３０…撮影領域 ３１…送信領域 ３２…有効領域 ５１，８１，９１…エッジ抽出部 ５２…テンプレート記憶部 ５３…投票結果記憶部 ５４…投票部 ５５…解析部 ８２，９２…評価ベクトル生成部 ８３，９３…直交変換部（ＦＦＴ） ８４，９４…圧縮部 ８５…記録部 １０１…積算部 １０２…逆直交変換部（逆ＦＦＴ） １０３…マップ処理部 １１１…画像サイズ正規化部 １１２…特徴ベクトル抽出部 １１３…顔・非顔判定部 １１４…顔・非顔学習辞書 １２１〜１２４…画像 Ｒ…目印 ｔ１〜ｔｎ…円形状

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 1/46 Ｈ０４Ｎ 7/14 7/14 1/46 Ｚ (72)発明者 高田 雄二 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 吉澤 正文 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 濱崎 省吾 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 吉村 哲也 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 岩佐 克博 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5B057 AA20 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE03 CE17 DA07 DB02 DB06 DB09 DC16 DC32 5C064 AA01 AA02 AB02 AB04 AC04 AC12 AC15 AD01 AD08 AD14 5C079 HA01 HB01 LA07 LB11 MA17 5L096 CA02 EA21 FA06 FA59 FA69 JA09

Claims (26)

【特許請求の範囲】
1. 【請求項１】 カメラ部で撮影された利用者の画像を相
   手に送信する画像通信端末であって、 利用者からの入力を受け付ける入力部と、 利用者を撮影するカメラ部と、 前記カメラ部で撮影された画像から、利用者の顔の位置
   及び大きさ（以下、顔領域という）を抽出する顔抽出部
   と、 利用者に画像を表示する表示部と、 相手の情報処理装置に対し、少なくとも画像の通信を行
   う通信部と、 前記カメラ部で撮影された画像の領域よりも小さく、か
   つ、当該画像の領域内で移動可能に設定される矩形の送
   信領域の画像を、前記通信部へ出力する送信データ処理
   部とを備え、 前記カメラ部で撮影された画像の領域内に、前記送信領
   域と一体的に移動する有効領域が設定され、 前記送信データ処理部は、抽出された前記顔領域が前記
   有効領域を逸脱した場合に、当該顔領域の位置に合わせ
   て前記送信領域の設定位置を移動させることを特徴とす
   る、画像通信端末。
2. 【請求項２】 前記有効領域は、前記送信領域よりも小
   さく、かつ、前記送信領域内に設定されることを特徴と
   する、請求項１に記載の画像通信端末。
3. 【請求項３】 前記送信データ処理部は、抽出された前
   記顔領域が前記有効領域を逸脱した場合、当該顔領域が
   前記送信領域の中心に位置するように、前記送信領域を
   移動させることを特徴とする、請求項１に記載の画像通
   信端末。
4. 【請求項４】 前記送信データ処理部は、抽出された前
   記顔領域が前記有効領域を逸脱した場合、当該顔領域が
   前記送信領域の中心より上方向に位置するように、前記
   送信領域を移動させることを特徴とする、請求項１に記
   載の画像通信端末。
5. 【請求項５】 前記送信データ処理部は、抽出された前
   記顔領域が前記有効領域を逸脱した場合、当該顔領域が
   前記送信領域の中心又は中心より上方向に位置するよう
   に、前記入力部から入力される送信モード情報に応じて
   切り替えて、前記送信領域を移動させることを特徴とす
   る、請求項４に記載の画像通信端末。
6. 【請求項６】 前記表示部は、前記入力部から入力され
   る情報に応じて、前記送信領域内の画像と前記顔領域と
   をモニタ表示し、 利用者は、前記モニタ表示を参照して、前記入力部への
   入力により前記送信領域の位置を縦横方向に調節可能な
   ことを特徴とする、請求項４に記載の画像通信端末。
7. 【請求項７】 カメラ部で撮影された利用者の画像を相
   手に送信する画像通信端末であって、 利用者からの入力を受け付ける入力部と、 利用者を撮影するカメラ部と、 前記カメラ部で撮影された画像から、利用者の顔の位置
   及び大きさ（以下、顔領域という）を抽出する顔抽出部
   と、 利用者に画像を表示する表示部と、 相手の情報処理装置に対し、少なくとも画像の通信を行
   う通信部と、 前記カメラ部で撮影された画像の領域よりも小さく、か
   つ、当該画像の領域内で移動可能に設定される矩形の送
   信領域の画像を、前記通信部へ出力する送信データ処理
   部とを備え、 前記カメラ部で撮影された画像の領域内に、前記送信領
   域と一体的に移動する有効領域が設定され、 前記送信データ処理部は、抽出された前記顔領域が前記
   有効領域を逸脱した場合に、当該顔領域の位置に合わせ
   て前記送信領域の設定位置を移動させ、かつ、抽出され
   た前記顔領域の画像輝度に基づいて、前記カメラ部で撮
   影された画像内にある顔の視認性が向上するように、前
   記送信領域の画像輝度を補正して前記通信部へ出力する
   ことを特徴とする、画像通信端末。
8. 【請求項８】 前記送信データ処理部は、前記送信領域
   の画像輝度に加え、色調も補正して前記通信部へ出力す
   ることを特徴とする、請求項７に記載の画像通信端末。
9. 【請求項９】 カメラ部で撮影された利用者の画像を相
   手に送信する画像通信端末であって、 利用者からの入力を受け付ける入力部と、 利用者を撮影するカメラ部と、 前記カメラ部で撮影された画像から、利用者の顔の位置
   及び大きさ（以下、顔領域という）を抽出する顔抽出部
   と、 利用者に画像を表示する表示部と、 相手の情報処理装置に対し、少なくとも画像の通信を行
   う通信部と、 前記カメラ部で撮影された画像の領域よりも小さく、か
   つ、当該画像の領域内で移動可能に設定される矩形の送
   信領域の画像を、前記通信部へ出力する送信データ処理
   部とを備え、 前記カメラ部で撮影された画像の領域内に、前記送信領
   域と一体的に移動する有効領域が設定され、 前記送信データ処理部は、抽出された前記顔領域が前記
   有効領域を逸脱した場合に、当該顔領域の位置に合わせ
   て前記送信領域の設定位置を移動させ、かつ、抽出され
   た前記顔領域の画像輝度に基づいて、前記カメラ部で撮
   影された画像内にある顔の視認性が向上するように、前
   記カメラ部の露出レベルの値を設定することを特徴とす
   る、画像通信端末。
10. 【請求項１０】 カメラ部で撮影された利用者の画像を
    相手に送信する画像通信端末であって、 利用者を撮影するカメラ部と、 前記カメラ部で撮影された画像から、利用者の顔の位置
    を抽出する顔抽出部と、 利用者に相手から受信した画像を表示する表示部と、 抽出された前記顔の位置に基づいて、前記カメラ部で撮
    影された画像中における利用者の顔の位置を、利用者に
    通知する通知制御部と、 相手の情報処理装置に対し、少なくとも画像の通信を行
    う通信部とを備える、画像通信端末。
11. 【請求項１１】 前記顔抽出部は、利用者の前記顔の位
    置と共に顔の大きさも抽出し、 前記通知制御部は、前記カメラ部で撮影された画像中に
    おける利用者の前記顔の位置及び大きさを、利用者に通
    知することを特徴とする、請求項１０に記載の画像通信
    端末。
12. 【請求項１２】 前記通知制御部は、抽出された前記顔
    の位置のみ又は位置と大きさとを示す目印を、前記表示
    部に表示させることを特徴とする、請求項１０に記載の
    画像通信端末。
13. 【請求項１３】 前記目印は、相手から受信した画像上
    に表示されることを特徴とする、請求項１２に記載の画
    像通信端末。
14. 【請求項１４】 前記目印は、相手から受信した画像外
    に表示されることを特徴とする、請求項１２に記載の画
    像通信端末。
15. 【請求項１５】 前記通知制御部は、抽出された前記顔
    の位置を、前記表示部とは別個に備える位置通知部を介
    して通知することを特徴とする、請求項１２に記載の画
    像通信端末。
16. 【請求項１６】 前記通知制御部によって行われる利用
    者への通知方法を、利用者からの指示に従って切り替え
    可能とすることを特徴とする、請求項１０に記載の画像
    通信端末。
17. 【請求項１７】 前記顔抽出部は、 前記カメラ部で撮影された画像からエッジ部（人物の外
    郭や顔の輪郭等に相当する画素）を抽出して、当該エッ
    ジ部だけの画像（以下、エッジ画像という）を生成する
    エッジ抽出部と、 予め定めた形状を、相似で大きさを異ならせた種々のサ
    イズによって、中心点で同心状に複数設けたテンプレー
    トを記憶するテンプレート記憶部と、 前記テンプレートを構成する各サイズの形状毎に、前記
    エッジ画像上の座標位置と投票数とを対応付けてそれぞ
    れ記憶する投票結果記憶部と、 前記エッジ部の各画素位置に前記テンプレートの中心点
    を順次移動させ、移動させた当該画素位置毎に、前記各
    サイズの形状を形成する全画素の位置に対応する各座標
    位置について、前記投票結果記憶部に記憶されている前
    記投票数をそれぞれ増加又は減少させる投票部と、 前記投票結果記憶部に記憶されている前記各投票数に基
    づいて、前記対象画像に含まれる顔の位置及び大きさを
    求める解析部とを備える、請求項１〜１６のいずれかに
    記載の画像通信端末。
18. 【請求項１８】 前記予め定めた形状は、円であること
    を特徴とする、請求項１７に記載の画像通信端末。
19. 【請求項１９】 前記顔抽出部は、 所定のテンプレート画像を入力し、当該画像のエッジ法
    線方向ベクトルを求め、当該エッジ法線方向ベクトルか
    ら評価ベクトルを生成し、当該評価ベクトルを直交変換
    するテンプレート画像処理部と、 前記カメラ部で撮影された画像を入力し、当該画像のエ
    ッジ法線方向ベクトルを求め、当該エッジ法線方向ベク
    トルから評価ベクトルを生成し、当該評価ベクトルを直
    交変換する入力画像処理部と、 前記テンプレート画像及び前記撮影された画像のそれぞ
    れについて生成された直交変換後の各評価ベクトルにつ
    いて、対応スペクトルデータを積和計算する積和部と、 前記積和計算の結果を逆直交変換して類似値のマップを
    生成する逆直交変換部とを備え、 前記評価ベクトルは、該当する画像の前記エッジ法線方
    向ベクトルを偶数倍角変換した成分を含み、前記類似値
    の算出式、直交変換及び逆直交変換は、いずれも線形性
    を有するものであることを特徴とする、請求項１〜１６
    のいずれかに記載の画像通信端末。
20. 【請求項２０】 前記顔抽出部は、前記評価ベクトルの
    表現において、前記エッジ法線方向ベクトルを極座標表
    現した場合の角度に基づいて計算した値を用いることを
    特徴とする、請求項１９に記載の画像通信端末。
21. 【請求項２１】 前記顔抽出部は、前記カメラ部で撮影
    された画像から顔として抽出された位置及び大きさが、
    真に顔であるか否かを判定する顔・非顔判定部をさらに
    備え、顔と判定した場合にのみ抽出結果を出力すること
    を特徴とする、請求項１〜１６のいずれかに記載の画像
    通信端末。
22. 【請求項２２】 前記顔抽出部は、前記投票結果記憶部
    に記憶されている内容に基づいて、前記カメラ部で撮影
    された画像から顔として抽出された位置及び大きさが、
    真に顔であるか否かを判定する顔・非顔判定部をさらに
    備え、顔と判定した場合にのみ抽出結果を出力すること
    を特徴とする、請求項１７に記載の画像通信端末。
23. 【請求項２３】 前記顔抽出部は、前記逆直交変換部で
    生成された前記類似値に基づいて、前記カメラ部で撮影
    された画像から顔として抽出された位置及び大きさが、
    真に顔であるか否かを判定する顔・非顔判定部をさらに
    備え、顔と判定した場合にのみ抽出結果を出力すること
    を特徴とする、請求項１９に記載の画像通信端末。
24. 【請求項２４】 前記顔・非顔判定部は、前記カメラ部
    で撮影された画像から顔として抽出された領域から得ら
    れる画像特徴を用いて、サポートベクトル関数の判定結
    果に基づいて顔・非顔の判定を行うことを特徴とする、
    請求項２１に記載の画像通信端末。
25. 【請求項２５】 前記顔・非顔判定部は、前記カメラ部
    で撮影された画像から顔として抽出された領域から得ら
    れるエッジ法線方向ベクトルを前記画像特徴とすること
    を特徴とする、請求項２４に記載の画像通信端末。
26. 【請求項２６】 前記顔・非顔判定部は、前記カメラ部
    で撮影された画像から顔として抽出された領域から得ら
    れるエッジ法線のヒストグラムを前記画像特徴とするこ
    とを特徴とする、請求項２４に記載の画像通信端末。