JP3399995B2 - 映像信号追尾方法及びビデオカメラシステム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段（図１〜図１４） 作用（図１〜図１４） 実施例 発明の効果

【０００２】

【産業上の利用分野】本発明は映像信号追尾方法及びビ
デオカメラシステムに関し、特に人の顔をほぼ同じ大き
さの画像として映出できるようにしたものである。

【０００３】

【従来の技術】従来、オートズーム機能をもつカメラと
して一眼レフカメラがあり、ＣＣＤ（charge coupled d
evice ）ラインセンサを用いて被写体とカメラとの間の
距離を正確に求めてズームモータを動かすようにしたも
のが提案されている。この従来の一眼レフカメラにおけ
るオートズームカメラシステムにおいては、被写体を人
間に限定し、ユーザが操作ボタンによつて顔のアツプ、
バストシヨツト及び全身のシヨツトを予め選択してお
き、各シヨツトに応じて予めプログラムされている被写
体との距離に対するズームレンズ位置を参照しながら当
該ズームレンズ位置に適合するようにズームモータを駆
動するようになされている。

【０００４】かかる一眼レフカメラにおいては、別途オ
ートフオーカスのためにＣＣＤラインセンサが設けられ
ているので、前ピン及び後ピンの判断や、正確な距離の
測定をなし得、これにより比較的簡易にオートズームシ
ステムを構成することができる。

【０００５】

【発明が解決しようとする課題】しかしながらこの一眼
レフカメラのオートズームシステムの手法は、山登り制
御方式のオートフオーカスシステムを有するビデオカメ
ラにおいては、正確な距離の測定をすることができない
ので、そのままは利用できない。本発明は以上の点を考
慮してなされたもので、被写体となる人がカメラに近づ
いたり遠ざかつたりしたとき、常にほぼ同じ大きさの顔
の画像を得ることができるようにした映像信号追尾方法
及びビデオカメラシステムを提案しようとするものであ
る。

【０００６】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、ズーミング動作する撮像手段１か
ら得られる撮像信号Ｓ１に基づいて、被写体画像部を含
む映像を表示画面ＰＩＣに表示させる出力映像信号Ｓ３
を形成する映像信号追尾方法及びビデオカメラシステム
であつて、表示画面ＰＩＣに表示すべき映像を複数の小
領域ＡＲに分割し（ＳＰ１１）、小領域ＡＲに対応する
撮像信号Ｓ１の色特性に基づいて、被写体画像部の候補
となる被写体画像候補小領域ＡＲＡ１、ＡＲＢ１を抽出
し、被写体画像候補小領域ＡＲＡ１、ＡＲＢ１の集まり
の間に空白小領域が生じたとき、当該空白小領域のうち
被写体画像候補小領域ＡＲＡ１、ＡＲＢ１と隣接する当
該空白小領域を被写体画像候補小領域ＡＲＡ１、ＡＲＢ
１と併合して被写体画像部の検出領域ＡＲＡ２、ＡＲＢ
２として決定し（ＳＰ１２）、検出領域ＡＲＡ２、ＡＲ
Ｂ２の大きさが予め決められている基準の大きさと一致
するように撮像手段１をズーミング動作させることによ
り（ＲＴ１）、表示画面ＰＩＣ上に常時基準の大きさに
対応する大きさの被写体画像部を表示させるようにす
る。

【０００７】

【作用】小領域ＡＲ内の被写体画像部の色特性に基づい
て、被写体画像候補小領域ＡＲＡ１、ＡＲＢ１を統合し
て被写体画像部の検出領域ＡＲＡ２、ＡＲＢ２として決
定し、その大きさを基準の大きさと一致するように撮像
手段１をズーミング動作させることにより、一段と簡易
な構成によつて常に同じ大きさの被写体画像部の映像を
映出できるような映像信号追尾方法及びビデオカメラシ
ステムを容易に実現できる。

【０００８】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【０００９】図１において、ＶＣＳは全体としてビデオ
カメラシステムを示し、ビデオカメラシステムＶＣＳは
被写体として人間顔モデルを対象とした人間顔モデルに
よる人間認識装置（Autonomous Target Tracker with H
uman Recognition, ＡＴＴ−ＨＲ）システムに応用でき
るものである。ビデオカメラシステムＶＣＳは、被写体
である人間顔モデルから到来する撮像光ＬＡをレンズブ
ロツク部１のレンズ２、アイリス３を順次通つて例えば
ＣＣＤ（charge coupled device ）でなる撮像素子４に
受けて被写体像を表す撮像出力信号Ｓ１を信号分離／自
動利得調整回路部５に与える。

【００１０】信号分離／自動利得調整回路部５は撮像出
力信号Ｓ１をサンプルホールドすると共に、オートアイ
リス（ＡＥ）システム（図示せず）からの制御信号によ
つて撮像出力信号Ｓ２が所定のゲインをもつように利得
制御され、かくして得られる撮像出力信号Ｓ２をアナロ
グ／デイジタル変換回路６を介してデイジタルカメラ処
理回路７に供給する。デイジタルカメラ処理回路７は撮
像出力信号Ｓ２に基づいて輝度信号Ｙ、クロマ信号Ｃ並
びに色差信号Ｒ−Ｙ及びＢ−Ｙを形成し、輝度信号Ｙ及
びクロマ信号Ｃをデイジタル／アナログ変換回路８を介
してビデオ信号Ｓ３として送出する。

【００１１】これに加えてデイジタルカメラ処理回路７
は被写体ズーム用検出信号Ｓ４として輝度信号Ｙ並びに
色差信号Ｒ−Ｙ及びＢ−Ｙを追従制御回路部１１に供給
し、追従制御回路部１１はこの被写体ズーム用検出信号
Ｓ４に基づいてレンズブロツク部１について設けられた
ズーミング駆動モータ１２に対する追従制御信号Ｓ５を
発生する。

【００１２】追従制御回路１１はデイジタルカメラ処理
回路７から得られる輝度信号Ｙ、並びに色差信号Ｒ−Ｙ
及びＢ−Ｙをローパスフイルタ１３を介して画面縮小回
路１４に与える。画面縮小回路１４はデイジタルカメラ
処理回路７から送出される各画素の輝度信号Ｙ並びに色
差信号Ｒ−Ｙ及びＢ−Ｙを追従信号処理回路１５から送
出される画面縮小制御信号Ｓ２１によつて、図３に示す
ように、表示画面ＰＩＣを32×32個の小領域ＡＲ又は16
×16個の小領域ＡＲに分割する処理を実行する。

【００１３】かくして画面縮小回路１４から32×32個の
小領域ＡＲ又は16×16個の小領域ＡＲに対応する色差信
号Ｒ−Ｙ及びＢ−Ｙを飽和度／色相検出回路１６に与え
ることにより色相信号ＨＵＥ及び飽和度信号ＳＡＴを画
像メモリ１７に供給すると共に、輝度信号Ｙを直接画像
メモリ１７に供給する。この場合画像メモリ１７は32×
32ブロツク分のメモリエリアを有し、かくして画面縮小
回路１４から１フイールド分の画素データが32×32個の
小領域又は16×16個の小領域に対応して送出される32×
32又は16×16ブロツク分の画像情報に圧縮して画像メモ
リ１７に格納し、その結果一般的には１フイールド分の
画素についてのメモリ容量を用意する必要があるのに対
して、図１の場合は、これを一段と簡略化し得るように
なされている。

【００１４】飽和度／色相検出回路１６は色差信号Ｒ−
Ｙ及びＢ−Ｙを直交座標／極座標変換することにより色
相信号ＨＵＥ及び飽和度信号ＳＡＴを形成し、かくして
輝度信号Ｙ、色相信号ＨＵＥ及び飽和度信号ＳＡＴによ
つて被写体としての人間顔モデルを人間が知覚できる視
覚刺激に基づいて被写体認識をする。因に一般に人間が
知覚できる視覚刺激は図２に示すように、Ｌ軸とこれに
直交するＳＨ平面を有するいわゆるＨＬＳ系と呼ばれる
色座標系によつて表現される。Ｌ軸は明るさ（Lightnes
s ）を表し、輝度信号Ｙに相当する。ＳＨ平面はＬ軸に
直交する極座標で表現される。ＳＨ平面において、Ｓは
飽和度（Saturation）を表し、Ｌ軸からの距離によつて
表現される。またＨは色相（Hue ）を表し、色差信号Ｂ
−Ｙの方向を０°としたときの角度によつて色相を表
す。

【００１５】このＨＬＳ系の立体は、光源が明るくなる
と色座標すなわちＳＨ平面がＬ軸に沿つて上方向に行く
と共に、すべての色が白になる。このとき飽和度Ｓが減
少して行く。これに対して光源が暗くなると、色座標す
なわちＳＨ平面がＬ軸に沿つて下方向に行くと共に、す
べての色が黒になる。このとき同時に飽和度Ｓも減少し
て行く。このようなＨＬＳ色座標系の特徴に基づいて、
飽和度Ｓ及び輝度Ｙは光源の明るさの影響を受け易く、
従つて被写体の特徴量を表すパラメータとしては最適と
は言い難いことが分る。これとは逆に色相Ｈは被写体固
有の特徴量を表現するものとして、光源の影響を受け難
い量であることが分る。

【００１６】ただしそうであるといつても、被写体の色
がＬ軸上の近傍にあるような場合、すなわち白、黒、灰
色の場合は、色相Ｈの信号が情報としての意味をもたな
くなり、最悪の場合Ｓ／Ｎの悪い画像では白であるにも
かかわらず様々な色相Ｈのベクトルをもつている可能性
があることが分る。かかるＨＬＳ色座標系の性質を利用
して追従制御回路部１１は被写体である人間顔モデルの
特徴を抽出し、特徴に変化が生じたときこれに追従する
ようにズーミング駆動モータ１２を駆動することにより
結果としてビデオ信号Ｓ３として被写体の動きに追従し
てズーミングするような映像信号を得るようにする。

【００１７】すなわち、画像メモリ１７に記憶された被
写体ズーム用検出信号Ｓ４は、マイクロプロセツサ構成
の追従信号処理回路１５から送出されるブロツク指定信
号Ｓ２２をアドレス発生回路１８に与えることにより、
図３に示すように、実質上画像メモリ１７内に形成され
ている表示画面ＰＩＣをｘｙ直交座標（ｘ、ｙ）に基づ
いて所定の大きさの小領域ＡＲに分割するようなアドレ
ス信号Ｓ２３を画像メモリ１７に供給させる。かくして
画像メモリ１７の表示画面ＰＩＣを構成する各ブロツク
のデータは小領域ＡＲごとに読み出されて各小領域ＡＲ
ごとに１つの画像情報として評価される。

【００１８】この実施例の場合、表示画面ＰＩＣはｘ方
向及びｙ方向にそれぞれ32個（又は16個）の小領域ＡＲ
に分割され、かくして32×32個（又は16×16個）の小領
域ＡＲについて直交座標（ｘ、ｙ）の座標ｘ＝ｉ、ｙ＝
ｊを指定することにより指定される小領域ＡＲの画像情
報Ｉ（ｘ＝ｉ、ｙ＝ｊ）を読み出すことができる。この
ようにして画像メモリ１７から小領域ＡＲごとに読み出
される画像情報Ｉ（ｘ＝ｉ、ｙ＝ｊ）のうち、色相信号
ＨＵＥ成分がゲート回路１９を通つて肌色検出回路２０
に与えられるのに対して、輝度信号Ｙ成分が直接髪の毛
検出回路２１に与えられる。

【００１９】肌色検出回路２０は人間の顔モデルのうち
肌の画像部分を検出するもので、到来する各ブロツクの
色相信号ＨＵＥ成分が所定の肌色範囲に入つていると
き、肌色候補検出出力Ｓ２４を送出する。実際上色相信
号ＨＵＥ成分のダイナミツクレンジは角度で０〜359 °
の範囲の値をとる。これに対して髪の毛検出回路２１は
人間顔モデルの画像部分のうち髪の毛の領域を検出する
もので、この実施例の場合輝度信号Ｙのダイナミツクレ
ンジは数値０〜 255（８ビツト）で表現されており、各
画素の輝度信号Ｙが値50以下のときこれを黒として当該
画素が髪の毛領域にあると判定して、髪の毛候補検出信
号Ｓ２５を追従信号処理回路１５に送出する。

【００２０】この実施例の場合、ゲート回路１９に対し
てコンパレータ構成の色相ノイズゲート信号形成回路２
５が設けられ、画像メモリ１７から各ブロツクごとに読
み出される飽和度信号ＳＡＴを追従信号処理回路１５か
ら送出されるノイズ判定信号Ｓ２６と比較し、飽和度信
号ＳＡＴが所定レベル以下のときゲート回路１９を閉動
作させるゲート信号Ｓ２７をゲート回路１９に与えるこ
とにより、当該画素の色相信号ＨＵＥ成分を肌色検出回
路２０に入力させないようになされている。

【００２１】因に飽和度／色相検出回路１６において検
出された色相信号ＨＵＥがＬ軸の近傍（図２）にあると
き、このことは当該色相信号ＨＵＥは飽和度が小さいた
めにノイズに埋もれて情報としての意味をもつていない
おそれがあるので、このような意味をもたない色相信号
ＨＵＥをゲート回路１９において除去する。以上の構成
において、追従信号処理回路１５は図４に示すズーム処
理手順ＲＴ１を実行することにより、表示画面ＰＩＣ上
に常にほぼ同じ大きさの顔画像を映出させるような処理
を実行する。

【００２２】すなわち追従信号処理回路１５はズーム処
理手順ＲＴ１に入ると、まずステツプＳＰ１においてユ
ーザが顔のアツプシヨツト、バストシヨツト又は全身の
フルシヨツトを選択するのを待ち受け、このときのフレ
ーム番号ＦＮをＦＮ＝１に選定し、かくして追従信号処
理回路１５はビデオカメラシステムＶＣＳを初期設定す
る。その後追従信号処理回路１５はステツプＳＰ２に移
つて顔抽出処理手順ＲＴ２に従つて顔領域を抽出し、フ
レーム番号ＦＮをＦＮ＋１にインクリメントする。

【００２３】顔抽出処理手順ＲＴ２は図５及び図６に示
すように、画像メモリ１７に取り込んだ各ブロツクに対
応する輝度信号Ｙ、色相信号ＨＵＥ及び飽和度信号ＳＡ
Ｔに基づいて得られる肌色検出信号Ｓ２４及び髪の毛候
補検出信号Ｓ２５から表示画面ＰＩＣ上の画像の特徴を
判断して、常時表示画面ＰＩＣ上に映出される人の顔モ
デルの大きさがほぼ同じになるような追従制御信号Ｓ５
をズーミング駆動モータ１２に与える。

【００２４】すなわち追従信号処理回路１５は、図５の
顔抽出処理手順ＲＴ２に入ると、まずステツプＳＰ１１
において表示画面ＰＩＣを32×32個の小領域ＡＲに分割
した後、各小領域ＡＲに含まれる画素のブロツクについ
て、肌色検出回路２０及び髪の毛検出回路２１において
当該画素のブロツクの画像部分が肌色及び髪の毛である
か否かの検出をさせ、当該小領域が肌色領域候補である
とき当該肌色候補検出信号Ｓ２４を取り込むと共に、当
該小領域ＡＲが髪の毛領域候補であるとき髪の毛候補検
出信号Ｓ２５を取り込む。

【００２５】このようにしてステツプＳＰ１１の処理が
終わると、追従信号処理回路１５には図３又は図７に示
すように髪の毛候補小領域ＡＲＡ及び肌色候補小領域Ａ
ＲＢと判定された小領域ＡＲの分布状態が得られる。こ
こで、図３のように、髪の毛候補小領域ＡＲＡ及び肌色
小領域ＡＲＢがそれぞれ隙間なく隣接し、しかも髪の毛
候補小領域ＡＲＡの集まり及び肌色候補小領域ＡＲＢの
集まりの間にも隙間がないような候補の抽出結果が得ら
れると、この場合には被写体としての人間顔モデルの実
態に適合するような情報が得られていることを意味す
る。

【００２６】しかしながら通常は、被写体に対する光源
の向きや反射の仕方が一様ではないために、図７に示す
ように、髪の毛候補小領域ＡＲＡ及び肌色候補小領域Ａ
ＲＢの集まりの中に空白領域はでき、これに加えて髪の
毛候補小領域ＡＲＢの集まり及び肌色候補小領域ＡＲＢ
の集まり間においても空白小領域ができるような抽出結
果が得られることが多い。

【００２７】不連続領域の「併合ルール１」は『IF Ｉ
（ｉ＋ｐ、ｊ＋ｑ）＝髪の毛領域候補、（ｐ、ｑ＝＋１
or−１or０、ただしｐ＝ｑ＝０を除く） Then Ｉ
（ｉ、ｊ）＝髪の毛領域候補』として併合する。この不
連続領域の「併合ルール１」は、アドレス（ｘ＝ｉ、ｙ
＝ｊ）領域において、当該小領域ＡＲを中心として隣接
する小領域に髪の毛候補小領域ＡＲＡがあつた場合には
当該指定小領域（ｘ＝ｉ、ｙ＝ｊ）の画像情報Ｉ（ｉ、
ｊ）を髪の毛候補小領域ＡＲＡに併合することを意味す
る。

【００２８】例えば図７において空白小領域（ｘ＝６、
ｙ＝５）（△印を付して示す）を指定領域としたとき、
当該空白小領域（ｘ＝６、ｙ＝５）を囲む周囲の小領域
ＡＲ、すなわち（ｘ＝５、ｙ＝４）（ｘ＝６、ｙ＝４）
（ｘ＝７、ｙ＝４）（ｘ＝７、ｙ＝５）（ｘ＝７、ｙ＝
６）（ｘ＝６、ｙ＝６）（ｘ＝５、ｙ＝６）及び（ｘ＝
５、ｙ＝６）の小領域ＡＲには髪の毛候補小領域ＡＲＡ
１として髪の毛領域（ｘ＝６、ｙ＝４）が含まれている
ので、「併合ルール１」によつて当該空白小領域（ｘ＝
６、ｙ＝５）は髪の毛候補小領域ＡＲＡ１の集まりに併
合される。また不連続領域の「併合ルール２」は、「併
合ルール１」を適用した後に適用され、その内容は『IF
Ｉ（ｉ、ｊ）＝肌色領域候補ａｎｄＩ（ｉ＋ｐ、ｊ＋
ｑ）＝肌色領域候補（ｐ、ｑ＝１ｏｒ−１ｏｒ０、ただ
しｐ＝ｑ＝０を除く）ThenＩ（ｉ、ｊ）＝肌色領域候
補』として併合する。

【００２９】この不連続領域の「併合ルール２」は髪の
毛候補小領域ＡＲＡについて上述したと同様に、指定小
領域（ｘ＝ｉ、ｙ＝ｊ）についてこれに隣接する領域に
肌色領域候補があれば、当該指定された小領域（ｘ＝
ｉ、ｙ＝ｊ）の画像情報Ｉ（ｘ＝ｉ、ｙ＝ｊ）を肌色候
補小領域ＡＲＢであるとして併合する。例えば図７にお
いて空白小領域（ｘ＝６、ｙ＝６）（×印を付して示
す）を指定小領域としたとき、当該空白小領域（ｘ＝
６、ｙ＝６）を囲む周囲の小領域ＡＲ、すなわち（ｘ＝
５、ｙ＝５）（ｘ＝６、ｙ＝５）（ｘ＝７、ｙ＝５）
（ｘ＝７、ｙ＝６）（ｘ＝７、ｙ＝７）（ｘ＝６、ｙ＝
７）（ｘ＝５、ｙ＝７）及び（ｘ＝５、ｙ＝６）の小領
域ＡＲには肌色候補小領域ＡＲＢ１として肌色小領域
（ｘ＝７、ｙ＝７）が含まれているので、「併合ルール
２」によつて当該空白小領域（ｘ＝６、ｙ＝６）は肌色
候補小領域ＡＲＢ１の集まりに併合される。

【００３０】かくしてステツプＳＰ１２の不連続領域の
併合処理が終わると、図７に示すように、髪の毛候補小
領域ＡＲＡ１の集まりの間に空白小領域があるために髪
の毛候補小領域ＡＲＡ１の集まりが不連続であつたもの
が、図８に示すように併合領域ＡＲＡ２によつて埋めて
行くことができる。肌色候補小領域ＡＲＢ１についても
同様に、図７に示すように、肌色候補小領域ＡＲＢ１の
集まりの間に空白があるために当該肌色候補小領域ＡＲ
Ｂ１が不連続であつたものが、図８に示すように当該空
白を併合肌色候補小領域ＡＲＢ２によつて埋めることが
できる。

【００３１】追従信号処理回路１５はステツプＳＰ１２
の処理が終了すると、ステツプＳＰ１３に移つて髪の毛
領域及び肌色領域の決定を「髪の毛領域の決定ルール
１」及び「肌色領域の決定ルール２」によつて決定す
る。「髪の毛領域の決定ルール１」は、『IF Ｉ（ｉ、
ｊ）＝髪の毛領域候補 and Ｉ（ｉ＋ｐ、ｊ＋ｑ）＝髪
の毛領域候補（ｐ、ｑ＝＋１or−１or０、ただしｐ＝ｑ
＝０を除く） Then Ｉ（ｉ、ｊ）、Ｉ（ｉ＋ｐ、ｊ＋
ｑ）を髪の毛領域』として統合する。

【００３２】この「髪の毛領域の決定ルール１」は、ア
ドレス（ｘ＝ｉ、ｙ＝ｊ）の小領域において、当該小領
域を中心として隣接する小領域に髪の毛候補小領域があ
つた場合には当該指定領域（ｘ＝ｉ、ｙ＝ｊ）の画像情
報Ｉ（ｉ、ｊ）を髪の毛小領域群ＨＲに統合することを
意味する。また「肌色領域の決定ルール２」は、『IF
Ｉ（ｉ、ｊ）＝肌色領域候補 and Ｉ（ｉ＋ｐ、ｊ＋
ｑ）＝肌色領域候補（ｐ、ｑ＝＋１or−１or０、ただし
ｐ＝ｑ＝０を除く） Then Ｉ（ｉ、ｊ）、Ｉ（ｉ＋
ｐ、ｊ＋ｑ）を肌色領域』として統合する。

【００３３】この「肌色領域の決定ルール２」は、髪の
毛候補小領域について上述したと同様に、指定小領域
（ｘ＝ｉ、ｙ＝ｊ）についてこれに隣接する領域に肌色
候補小領域があれば、当該指定された小領域（ｘ＝ｉ、
ｙ＝ｊ）の画像情報Ｉ（ｘ＝ｉ、ｙ＝ｊ）及び肌色候補
小領域がある隣接領域の画像情報を肌色小領域群ＦＣに
統合する。

【００３４】そこで例えば上述したように「髪の毛領域
の併合ルール１」によつて髪の毛小領域に併合された△
印が付された領域（ｘ＝６、ｙ＝５）（図７）について
「髪の毛領域の決定ルール１」を適用すれば、小領域
（ｘ＝６、ｙ＝５）の周囲の小領域すなわち（ｘ＝５、
ｙ＝４）（ｘ＝６、ｙ＝４）（ｘ＝７、ｙ＝４）（ｘ＝
７、ｙ＝５）（ｘ＝７、ｙ＝６）（ｘ＝６、ｙ＝６）
（ｘ＝５、ｙ＝６）及び（ｘ＝５、ｙ＝５）の小領域に
は髪の毛候補小領域として髪の毛小領域（ｘ＝５、ｙ＝
５）、（ｘ＝５、ｙ＝４）、（ｘ＝６、ｙ＝４）（ｘ＝
７、ｙ＝４）及び（ｘ＝７、ｙ＝５）が含まれているの
で、領域（ｘ＝５、ｙ＝４）（ｘ＝６、ｙ＝４）（ｘ＝
７、ｙ＝４）（ｘ＝７、ｙ＝５）（ｘ＝６、ｙ＝５）及
び（ｘ＝５、ｙ＝５）が髪の毛小領域群ＦＣ１として統
合される。

【００３５】また例えば上述したように「肌色領域の併
合ルール２」によつて肌色小領域に併合された×印が付
された小領域（ｘ＝６、ｙ＝６）について「肌色領域の
決定ルール２」を適用すれば、小領域（ｘ＝６、ｙ＝
６）の周囲の小領域、すなわち（ｘ＝５、ｙ＝５）（ｘ
＝６、ｙ＝５）（ｘ＝７、ｙ＝５）（ｘ＝７、ｙ＝６）
（ｘ＝７、ｙ＝７）（ｘ＝６、ｙ＝７）（ｘ＝５、ｙ＝
７）及び（ｘ＝５、ｙ＝６）の小領域には肌色領域候補
として肌色小領域（ｘ＝７、ｙ＝６）、（ｘ＝７、ｙ＝
７）及び（ｘ＝６、ｙ＝７）が含まれているので、領域
（ｘ＝６、ｙ＝６）（ｘ＝７、ｙ＝６）（ｘ＝７、ｙ＝
７）及び（ｘ＝６、ｙ＝７）が肌色小領域群ＦＣ１とし
て統合される。

【００３６】このようにしてステツプＳＰ１２及びＳＰ
１３において不連続小領域の併合、並びに髪の毛小領域
及び肌色小領域の統合処理をすることにより、表示画面
ＰＩＣは、図８に示すように、小領域群ＨＲ１及びＨＲ
２が髪の毛領域として統合され、かつ小領域群ＦＣ１及
びＦＣ２が肌色領域として統合される。その後追従信号
処理回路１５は図６のステツプＳＰ１４に移つて、統合
された髪の毛領域ＨＲ１及びＨＲ２並びに肌色領域ＦＣ
１及びＦＣ２の面積Area Hair並びにArea Skinを算出
する。図８の表示画面ＰＩＣの場合、髪の毛領域ＨＲ１
の面積Area Hair ＨＲ１はこれに含まれる領域の総数
としてArea Hair ＨＲ１＝４５と算出され、同様にし
て髪の毛領域群ＨＲ２の面積はArea Hair ＨＲ２＝１
４、肌色領域群ＦＣ１の面積はArea Skin ＦＣ１＝６
６、肌色領域群ＦＣ２の面積はArea Skin ＦＣ２＝１
０としても算出される。

【００３７】続いて追従信号処理回路１５はステツプＳ
Ｐ１５に移つて顔領域を決定する処理を「顔領域決定ル
ール１」及び「顔領域決定ルール２」の条件を満たすこ
とを条件として判定する。「顔領域決定ルール１」は１
つの髪の毛小領域群と１つの肌色小領域群とを１組の領
域と考えて、当該１つの髪の毛領域群の面積Area Hair
と１つの肌色小領域群の面積Area Skinとの面積比が、
『IF (Area Hair) ／(Area Skin) ＜５and (Area
Hair) ／(Area Skin) ＞１／５ Then 顔領域候補で
ある』と決定する。

【００３８】この「顔決定ルール１」は、髪の毛小領域
群と肌色小領域群の面積比が５倍以内かつ1/5 倍以上で
あれば、この小領域群の組は顔領域である可能性がある
と判定する。このような判定をするのは、表示画面ＰＩ
Ｃ上輝度レベルが暗い小領域が多数あるような画像（例
えば背景に暗幕がある場合などのように）、この暗い小
領域をすべて髪の毛領域として判断するおそれがあるの
でこれを防止し、同様にして肌色の小領域が顔の肌色以
外に大量に存在するような場合には顔領域の判断を正し
くできなくなるおそれがあり、かかる誤判断を防止する
ものである。

【００３９】また「顔領域決定ルール２」は、『IF Ｉ
（ｉ、ｊ）＝髪の毛領域 and Ｉ（ｉ、ｊ−１）＝肌色
領域 Then Neighbor＝Neighbor＋1 IF Neighbor>
3 Then 髪の毛領域＋肌色領域は顔である』と決定す
る。この「顔領域決定ルール２」は、画面の上側が髪の
毛小領域群であり（すなわちＩ（ｉ、ｊ）であり）、か
つ下側が肌色小領域群であり（すなわちＩ（ｉ、ｊ−
１）の領域であり）、しかもこれら髪の毛小領域群及び
肌色小領域群が最低３つの小領域で接しているという条
件があれば、この髪の毛小領域群及び肌色小領域群の組
を顔であると判断する。

【００４０】この「顔領域決定ルール２」を適用するこ
とにより、図８の表示画面ＰＩＣのうち、一対の小領域
群、すなわち髪の毛小領域群ＨＲ１及び肌色小領域群Ｆ
Ｃ１の組は８つの小領域で接しているのでルール２を満
たしており、従つて１つの顔であると判断する。これに
対して一対の領域群、すなわち髪の毛小領域群ＨＲ２及
び肌色小領域群ＦＣ２の組は接している小領域がないの
で、ルール２の条件を満たしておらず、従つて顔領域の
判断から除外される。

【００４１】かくして追従信号処理回路１５は顔の抽出
処理を終了し、ステツプＳＰ１６から図４のメインルー
チンに戻る。続いて追従信号処理回路１５は図４のメイ
ンルーチンにおいてステツプＳＰ３に移つてステツプＳ
Ｐ２において決定した顔領域の面積Area Faceを「髪の
毛領域＋肌色領域」として求める。かくして追従信号処
理回路１５はフレーム番号ＦＮ＝１についての顔領域の
面積を検出し、その後ステツプＳＰ４に移つて現在選定
されたシヨツトの種類に対応する顔の基準面積Area St
d を顔面積テーブルから引いて来る。

【００４２】ここで顔面積テーブルは２種類の画面分割
方法、すなわち32×32ブロツク及び16×16ブロツクそれ
ぞれについて、アツプシヨツトモードが選定されたとき
の基準面積Area Std ＝400 及び100 に設定されてお
り、バストシヨツトが選定されたときの基準面積Area
Std ＝100 及び25に選定され、フルシヨツトが選択され
たときの基準面積Area Std が25及び７に選定されてい
る。続いて追従信号処理回路１５はステツプＳＰ５に移
つて基準顔面積と現在の被写体の検出顔面積とを比較
し、その差が０になるような追従制御信号Ｓ５をズーム
駆動モータ１２に供給する。

【００４３】そのとき追従制御信号Ｓ５による制御量Co
ntrol Signalは、画面分割の仕方に基づいてルール１及
びルール２のように決められている。ルール１は画面分
割が16×16ブロツクの場合で、『ＩＦ画面分割＝16×16
Then Control Signal＝（Area Face−Area Std ）の
ように、制御量Control Signalとして検出顔面積Area
Faceと基準顔面積Area Std との差の値を４倍した値』
として求められる。これに対してルール２は32×32ブロ
ツクに画面分割した場合の制御量を指定するもので、
『ＩＦ画面分割＝32×32 Then Control Signal＝（Area
Face−Area Std ）のように、制御量Control Signalと
して検出顔面積Area Faceと基準顔面積Area Std との
差の値』に規定されている。

【００４４】かくして追従信号処理回路１５はフレーム
番号ＦＮ＝１についてのズーム処理を終了し、続いて上
述のステツプＳＰ２に戻つて次のフレームＦＮ＝ＦＮ＋
１についてのズーム処理を繰り返し実行する。追従信号
処理回路１５がこのようなズーム処理を繰り返すと、ズ
ーミング駆動モータ１２はレンズブロツク部１のレンズ
２を現在の検出顔面積の値がステツプＳＰ４において顔
面積テーブルから引いた基準顔面積Area Std とほぼ同
じ値にズーム制御され、かくして表示画面ＰＩＣ上に映
出される顔画像の大きさは常に基準顔面積Area Std に
相当する大きさを維持することになる。

【００４５】以上の構成によれば、被写体としての顔モ
デルがカメラに近づいて来たり、カメラから離れて行つ
たりしたような場合でも、表示画面ＰＩＣ上に常に同じ
大きさの顔画像を映出することができるようにレンズブ
ロツクのレンズ２をズーム制御することができ、かくす
るにつき１眼レフカメラにおいて用いられているような
距離センサのような手段を用意する必要性をなくし得、
この分全体としての構成が一段と簡易なビデオカメラシ
ステムを実現できる。

【００４６】なお上述の実施例においては、ズーミング
手段としてレンズブロツク部１のレンズ２をズーミング
駆動モータ１２によつて光学的にズーム処理するように
した場合について述べたが、ズーミング手段としてはこ
れに限らず、例えばレンズブロツク部１の固体撮像素子
４から得られる撮像信号Ｓ１に基づいて得たデイジタル
ビデオ信号をフレームメモリに取込み、当該フレームメ
モリを追従信号処理回路１５から得られる追従制御信号
Ｓ５に対応する読出し方で読み出すことにより実効的に
画像を拡大又は縮小したような画像を得ることによりズ
ーム処理をするようにしても、上述の場合と同様の効果
を得ることができる。

【００４７】

【発明の効果】上述のように本発明によれば、小領域内
の被写体画像部の色特性に基づいて、被写体画像候補小
領域を統合して被写体画像部の検出領域として決定し、
その大きさを基準の大きさと一致するように撮像手段を
ズーミング動作させることにより、一段と簡易な構成に
よつて常に同じ大きさの被写体画像部の映像を映出でき
るような映像信号追尾方法及びビデオカメラシステムを
容易に実現できる。

【図面の簡単な説明】

【図１】図１は本発明によるビデオカメラシステムの一
実施例を示すブロツク図である。

【図２】図２は視覚刺激を表すＨＬＳ色座標系の説明に
供する略線図である。

【図３】図３は小領域に分割することにより画像情報を
得るようにした表示画面ＰＩＣを示す略線図である。

【図４】図４はズーム処理手順を示すフローチヤートで
ある。

【図５】図５は顔抽出処理手順を示すフローチヤートで
ある。

【図６】図６は図５に続いて顔抽出処理手順を示すフロ
ーチヤートである。

【図７】図７は検出された髪の毛領域及び肌色領域をも
つ表示画面ＰＩＣを示す略線図である。

【図８】図８は図７の髪の毛領域及び肌色領域を併合及
び統合処理してなる表示画面ＰＩＣを示す略線図であ
る。

【符号の説明】

ＶＣＳ……ビデオカメラシステム、１……レンズブロツ
ク部、２……レンズ、３……アイリス、４……固体撮像
素子、５……信号分離／自動利得調整回路部、７……デ
イジタルカメラ処理回路、１１……追従制御回路部、１
２……ズーミング駆動モータ、１４……画面縮小回路、
１５……追従信号処理回路、１６……飽和度／色相検出
回路、１７……画像メモリ、１８……アドレス発生回
路、２０……肌色検出回路、２１……髪の毛検出回路。

フロントページの続き (56)参考文献 特開 平２−87876（ＪＰ，Ａ) 特開 平３−77927（ＪＰ，Ａ) 特開 昭63−223974（ＪＰ，Ａ) 特開 平４−60769（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/222 - 5/247

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】ズーミング動作する撮像手段から得られる
   撮像信号に基づいて、被写体画像部を含む映像を表示画
   面に表示させる出力映像信号を形成する映像信号追尾方
   法であつて、上記表示画面に表示すべき上記映像を複数の 小領域に分
   割し、上記小領域に対応する上記撮像信号の色特性に基づい
   て、上記被写体画像部の候補となる被写体画像候補 小領
   域を抽出し、 上記被写体画像候補小領域の集まりの間に空白小領域が
   生じたとき、当該空白小領域のうち上記被写体画像候補
   小領域と隣接する当該空白小領域を上記被写体画像候補
   小領域と併合して上記被写体画像部の検出領域として決
   定し、上記検出領域の大きさが予め決められている基準の大き
   さと 一致するように上記撮像手段をズーミング動作させ
   ることにより、上記表示画面上に常時上記基準の大きさ
   に対応する大きさの上記被写体画像部を表示させること
   を特徴とする映像信号追尾方法。
2. 【請求項２】ズーミング動作する撮像手段から得られる
   撮像信号に基づいて、被写体画像部を含む映像を表示画
   面に表示させる出力映像信号を形成するビデオカメラシ
   ステムであつて、上記表示画面に表示すべき上記映像を 複数の小領域に分
   割する手段と、上記小領域に対応する上記撮像信号の色特性に基づい
   て、上記被写体画像部の候補となる被写体画像候補 小領
   域を抽出する手段と、 上記被写体画像候補小領域の集まりの間に空白小領域が
   生じたとき、当該空白小領域のうち上記被写体画像候補
   小領域と隣接する当該空白小領域を上記被写体画像候補
   小領域と併合して上記被写体画像部の検出領域として決
   定する手段と、上記検出領域の大きさが予め決められている基準の大き
   さと 一致するように上記撮像手段をズーミング動作させ
   ることにより、上記表示画面上に常時上記基準の大きさ
   に対応する大きさの上記被写体画像部を表示させる手段
   とを具えることを特徴とするビデオカメラシステム。