JP2014023159A - 撮影装置、その撮影制御方法及び眼球認識装置 - Google Patents

Abstract

【課題】 動く対象体から顔領域／眼球領域を容易に検出することができる撮影装置、その撮影制御方法及び眼球認識装置を提供する。
【解決手段】 撮影装置の撮影制御方法が開示される。本撮影制御方法は、対象体を撮像するステップと、撮像された対象体の映像内から顔領域を検出するステップと、検出された顔領域の位置に応じて撮影装置の位置を調整し、検出された顔領域の大きさが予め設定された大きさの範囲を満たすように、撮影装置のズーミング（Ｚｏｏｍｉｎｇ）状態を調整する調整ステップとを含む。
【選択図】 図１

Description

本発明は、撮影装置、その撮影制御方法及び眼球認識装置に関し、より詳細には、対象体の眼球認識のための撮影装置、その撮影制御方法及び眼球認識装置に関する。

今日、デジタル技術が発展するにつれ、映像情報を分析して特定領域または特徴部分に区分することができる技術が開発されている。このような分析技術の中で顔認識技術は、デジタルカメラだけでなく、セキュリティ技術を行う装置等に採用される技術として、多様な方式で多角度から研究及び開発されているのが現状である。

一般に、顔検出は任意の入力映像に対して当該領域内に人の顔が存在するか否かを認識し、もし顔が存在する場合、映像内に存在する各人の顔を探し当てて、その位置を表示するものとして、監視システム、犯罪捜査用のマグショットマッチング（ｍｕｇ ｓｈｏｔ ｍａｃｈｉｎｇ）システム、顔情報を用いた検索システム及び客体指向コーディングシステム等に活用されてよい。

このような顔検出システムにおいてワンステップ更に進み、最近は人の眼球の動きを用いてインターフェースまたは虹彩を用いた個人認識システムの実現を目的として、人の眼球を認識する方法に関する研究が盛んに行われている。

ただ、このような眼球認識方法において、最も問題となることが眼球検出の正確度である。

よって、より正確に対象体の眼球を検出するための方策への模索が求められる。

米国登録特許第７９９０４２２号 韓国特開第２００６−１１２７１９号公報

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、動く対象体から顔領域／眼球領域を容易に検出することができる撮影装置、その撮影制御方法及び眼球認識装置を提供することにある。

上述の目的を達成するための本発明の一実施形態に係る撮影装置の撮影制御方法は、対象体を撮像するステップと、前記撮像された対象体の映像内から顔領域を検出するステップと、前記検出された顔領域の位置に応じて前記撮影装置の位置を調整し、前記検出された顔領域の大きさが予め設定された大きさの範囲を満たすように、前記撮影装置のズーミング（Ｚｏｏｍｉｎｇ）状態を調整する調整ステップとを含む。

そして、前記撮像するステップは、赤外線を発光するステップと、前記対象体によって、前記発光された赤外線の反射された反射赤外線を受光するステップと、前記受光された反射赤外線を用いて対象体を検出するステップと、前記検出された対象体を自動的に追跡して撮像するステップとを含んでよい。

なお、前記予め設定された大きさの範囲は、前記対象体の眼球領域を検出するために、撮像領域に撮像されるべき前記対象体の顔領域の大きさであってよい。

そして、前記検出された顔領域の位置を前記対象体の位置している３次元空間座標系における顔領域の位置とマッピングするステップを更に含んでよい。

なお、前記調整ステップは、前記マッピングされた３次元空間座標系における顔領域の水平位置に応じて、前記撮影装置を水平方向に回転させるステップと、前記マッピングされた３次元空間座標系における顔領域の垂直位置に応じて、前記撮影装置を垂直方向にティルティングさせるステップと、前記顔領域の大きさが前記予め設定された第１大きさの範囲未満である場合にズームイン（Ｚｏｏｍ−Ｉｎ）動作を行い、前記顔領域の大きさが予め設定された第２大きさの範囲を超過する場合にズームアウト（Ｚｏｏｍ−Ｏｕｔ）動作を行うステップとを含んでよい。

そして、前記調整された撮影装置に撮像された顔領域から眼球領域を検出するステップを更に含んでよい。

一方、上述の目的を達成するための本発明の一実施形態に係る撮影装置は、対象体を撮像する撮像部と、前記撮影装置の位置を調整するための位置調整部と、前記撮影装置のズーミング状態を調整するためのズーミング調整部と、前記撮像された対象体の映像内から顔領域を検出する映像処理部と、前記検出された顔領域の位置に応じて前記撮影装置の位置を調整するように前記位置調整部を制御し、前記検出された顔領域の大きさが予め設定された大きさの範囲を満たすように前記撮影装置のズーミング状態を調整するように、前記ズーミング調整部を制御する制御部とを含む。

なお、赤外線を発光する赤外線発光部と、前記対象体によって、前記発光された赤外線の反射された反射赤外線を受光する赤外線受光部とを含み、前記映像処理部は、前記受光された反射赤外線を用いて対象体を検出し、前記制御部は、前記検出された対象体を自動的に追跡して撮像するように前記撮影装置を制御してよい。

そして、前記予め設定された大きさの範囲は、前記対象体の眼球領域を検出するために、撮像領域に撮像されるべき前記対象体の顔領域の大きさであってよい。

なお、前記制御部は、前記検出された顔領域の位置を前記対象体の位置している３次元空間座標系における顔領域の位置とマッピングしてよい。

そして、前記制御部は、前記マッピングされた３次元空間座標系における顔領域の水平位置に応じて、前記撮影装置を水平方向に回転させ、前記マッピングされた３次元空間座標系における顔領域の垂直位置に応じて、前記撮影装置を垂直方向にティルティングさせるように前記位置調整部を制御し、前記顔領域の大きさが前記予め設定された第１大きさの範囲未満である場合にズームイン（Ｚｏｏｍ−Ｉｎ）動作を行い、前記顔領域の大きさが予め設定された第２大きさの範囲を超過する場合にズームアウト（Ｚｏｏｍ−Ｏｕｔ）動作を行うように前記ズーミング制御部を制御してよい。

そして、前記制御部は、前記調整された撮影装置に撮像された顔領域から眼球領域を検出するように前記映像処理部を制御してよい。

一方、上述の目的を達成するための本発明の一実施形態に係る眼球認識装置は、画面を表示するディスプレイ装置と、ディスプレイ装置の一領域に配置された撮影装置と、前記ディスプレイ装置及び前記撮影装置を制御する制御部とを含み、前記撮影装置は、対象体を撮像する撮像部と、前記撮影装置の位置を調整するための位置調整部と、前記撮影装置のズーミング状態を調整するためのズーミング調整部と、前記撮像された対象体の映像内から顔領域を検出する映像処理部とを含み、前記制御部は、前記検出された顔領域の位置に応じて前記撮影装置の位置を調整するように前記位置調整部を制御し、前記検出された顔領域の大きさが予め設定された大きさの範囲を満たすように前記撮影装置のズーミング状態を調整するように前記ズーミング調整部を制御する。

そして、前記制御部は、前記調整された撮影装置に撮像された顔領域から検出された眼球領域に対応する情報を用いて前記ディスプレイ装置の動作を制御してよい。

一方、撮影装置の撮影制御方法を行うためのプログラムコードが記録された記録媒体において、前記撮影制御方法は、対象体を撮像するステップと、前記撮像された対象体の映像内から顔領域を検出するステップと、前記検出された顔領域の位置に応じて前記撮影装置の位置を調整し、前記検出された顔領域の大きさが予め設定された大きさの範囲を満たすように、前記撮影装置のズーミング（Ｚｏｏｍｉｎｇ）状態を調整する調整ステップとを含む。

以上説明したように、本発明によれば、撮影された対象体の撮影映像内から検出された顔領域の位置に応じて撮影装置の位置を調整し、検出された顔領域の大きさが予め設定された大きさの範囲を満たすように撮影装置のズーミング状態を調整することにより、動く対象体の顔領域／眼球領域を容易に検出することができる。

本発明の一実施形態に係る撮影装置を示すブロック図である。 図１に係る撮影装置を具体的に示すブロック図である。 本発明の一実施形態に係る撮影装置の正面図である。 本発明の一実施形態に係る眼球認識装置を示すブロック図である。 本発明の一実施形態に係る撮影制御方法を説明するための図である。 本発明の一実施形態に係る撮影制御方法を説明するための図である。 本発明の一実施形態に係る眼球認識に係る動作を説明するための図である。 本発明の一実施形態に係る撮影制御方法を説明するためのフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の一実施形態に係る撮影装置を示すブロック図である。図２は、図１に係る撮影装置を具体的に示すブロック図である。図１ないし図２を参照すると、撮影装置１００は、撮像部１１０と、レンズ部１１１と、映像処理部１２０と、位置調整部１３０と、ズーミング調整部１４０と、制御部１５０と、赤外線カメラ部１６０と、バス１７０と、コーデックス１８０と、保存部１８５及び映像出力部１９０の全部または一部を含む。ここで、赤外線カメラ部１６０は、赤外線発光部１６１と、赤外線受光部１６２を含んでよい。

ここで、撮影装置１００は、水平方向に回転し、垂直方向にティルティングし、ズーム動作を行うＰＴＺ（Ｐａｎ−Ｔｉｌｅ−Ｚｏｏｍ）カメラであってよい。

レンズ部１１１と、被写体の光を集めて撮像領域に光学像が結像するようにすることができる。

撮像部１１０は、レンズ部１１１を介して撮像領域に結像した光学像をアナログ形態の映像信号で出力し、出力されたアナログ形態の映像信号をデジタル形態の映像信号に変換して出力することができる。

このような機能を実行する撮像部１１０は、画素及びＡＤコンバータを備えることができる。各画素は、アナログ形態の映像信号を出力し、ＡＤコンバータはそれをデジタル形態の映像信号に変換して出力することができる。

なお、撮像部１１０の各画素は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）光センサまたはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）光センサで実現されてよい。このような画素が集まって撮像領域を構成することができる。ここで、撮像部１１０の撮像領域に含まれた各画素は、ローリングシャッタ（Ｒｏｌｌｉｎｇ ｓｈｕｔｔｅｒ）方式またはグローバルシャッタ（Ｇｌｏｂａｌ Ｓｈｕｔｔｅｒ）方式で光学像を読み取ることができる。ここで、グローバルシャッタ方式は、撮像領域の全画素が一斉に光学像を読み取る方式である。一方、ローリングシャッタ方式は、撮像領域内の一ないし数個の画素が順次に光学像を読み取る方式である。

それにより、撮像部１１０は対象体を撮像することができ、撮像された対象体に対する映像信号を出力することができる。

赤外線発光部１６１は、赤外線を発光する。具体的に、赤外線発光部１６１は特定パターンを有する構造化光（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）を対象体の位置している特定領域に発光することができる。

赤外線受光部１６２は、特定領域に発光された赤外線の反射された反射赤外線を受光する。この場合、特定パターンを有する構造化光が対象体の表面に照射されると、特定パターンは対象体の屈曲に沿ってひずむようになり、この場合、赤外線受光部１６２はひずんだ反射赤外線を受光することができる。

ここで、対象体は、追跡対象となる人であってよい。

バス１７０は、撮像素子から生成された映像信号を映像処理部１２０に伝送することができる。なお、バス１７０は、撮像素子から生成された映像信号をバッファ１７５に伝送することもできる。そして、バス１７０は出力される映像信号に応じて、複数個のチャネルを有するように実現することもできる。

バッファ１７５は、撮像素子から生成された映像信号を一時的に保存することができる。そして、バッファ１７５は、一時的に保存された映像信号を順次に再配列して映像処理部１２０に伝送することができる。

映像処理部１２０は、撮像部１１０及びバッファ１７５から入力される映像に対する信号処理を行い、撮影された映像をディスプレイするために処理された映像信号を映像出力部１９０に出力することができる。なお、映像処理部１２０は撮影された映像を保存するためにコーデック１８０に処理された映像信号を出力することができる。

具体的に、映像処理部１２０は、撮像部１１０から出力された映像信号に対してフォーマット変換と映像スケールを調整するためのデジタルズーム、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）等を行って映像出力部１９０またはコーデック１８０に出力することができる。

なお、映像処理部１２０は、赤外線受光部１６２を介して受光された反射赤外線を用いて対象体を検出することができる。具体的に、映像処理部１２０は赤外線受光部１６２を介して受光された特定パターンがひずんだ形態の反射赤外線を発光された予め設定された特定パターンと比較し、各ピクセルまでの距離を算出することができる。なお、映像処理部１２０は算出された距離を用いて、特定領域に対するデプス（ｄｅｐｔｈ）映像を生成することができる。ここで、特定領域に対するデプス映像には、対象体に対するデプス映像を含むことができる。なお、映像処理部１２０は、デプス映像に基づいて対象体に対する骨格映像を生成することができる。

この場合、映像処理部１２０は、デプス映像または骨格映像に基づいて、対象体を検出することができる。すなわち、映像処理部１２０は予め保存された人のデプス映像または骨格映像を生成されたデプス映像または骨格映像と比較し、対象体を検出することができる。

なお、映像処理部１２０は、デプス映像なしに撮像部１１０に撮像された映像を用いて、対象体を検出することができる。具体的に、映像処理部１２０は撮像された映像の現在のフレームを構成する現在の画素値と以前のフレームを構成する画素値とを比較し、追跡対象となる対象体を検出することができる。なお、映像処理部１２０は、撮像された現在のフレームからイメージ処理を通じて背景を除去することで、対象体を検出することができる。

上述のように、対象体が検出されると、制御部１５０は検出された対象体を自動的に追跡して撮像するように、位置調整部及びズーミング調整部のうち、少なくとも一方を制御することができる。

なお、映像処理部１２０は、撮像された対象体の映像内から対象体の顔領域を検出することができる。具体的に、映像処理部１２０は生物学的な基盤の選択的な周囲集中モデルを（ｂｉｏｌｏｇｉｃａｌｌｙ ｍｏｔｉｖａｔｅｄ ｓｅｌｅｃｔｉｖｅ ａｔｔｅｎｔｉｏｎ ｍｏｄｅｌ）を用いて、顔候補領域を検出することができる。すなわち、映像処理部１２０は、撮像されたイメージに対する突出マップを生成し、生成された突出マップを用いて顔候補領域を検出することができる。ここで、生物学的な基盤の選択的な周囲集中モデルは、人間の批判構造（ｃｒｉｔｉｃａｌ ｓｔｒｕｃｔｕｒｅ）及び処理の一部過程をモデリングすることで、入力された映像に対して即座に反応するデータ駆動型処理（ｄａｔａ−ｄｒｉｖｅｎ Ｐｒｏｃｅｓｓｉｎｇ）と、学習された情報を用いる概念推進型処理（ｃｏｎｃｅｐｔｕａｌｌｙ−ｄｒｉｖｅｎ Ｐｒｏｃｅｓｓｉｎｇ）とに分けられる。データ駆動型処理と概念推進型処理とは公知となっている技術であるため、それに対する具体的な説明は省略する。そして、映像処理部１２０は、検出された顔候補領域に対して、ｖｉｏｌａ−ｊｏｎｅｓ法や、ｈａａｒ−Ｆｅａｔｕｒｅ法や、ａｄａｂｏｏｓｔアルゴリズムを適用し、顔領域を検出することができる。それぞれの方法及びアルゴリズムは広く公知となっている技術であるため、それに対する具体的な説明は省略する。

なお、映像処理部１２０は、撮像部１１０に撮像された映像と赤外線カメラ部１６０を用いて生成されたデプス映像とを結合し、３次元映像を生成することができる。この場合、映像処理部１２０は、３次元映像内で上述の方法及びアルゴリズムを用いて対象体の顔領域を検出することができる。

なお、映像処理部１２０は、撮像部１１０に撮像された顔領域から眼球領域を検出することができる。例えば、映像処理部１２０は、撮像された顔領域から予め保存された眼球領域情報と相関度が最も高い領域を眼球領域として検出することができる。ただ、それに限定されるものではなく、映像処理部１２０は既に公知となっている多様な眼球検出方法を用いて眼球領域を検出することができる。
コーデック１８０は、映像処理部１２０から受信した映像信号をエンコードすることができる。そして、コーデック１８０は、エンコードされた映像信号を保存部１８５に伝送することができる。なお、コーデック１８０は、保存部１８５に保存されたエンコードされた映像信号をデコードすることができる。そして、コーデック１８０は、デコードされた映像信号を映像処理部１２０に伝送することができる。

保存部１８５は、撮像素子１２０で撮影された映像を圧縮された形態で保存する。保存部１８０は、フラッシュメモリ、ハードディスク、ＤＶＤ等であってよい。

映像出力部１９０は、映像処理部１２０から受信された映像信号を内部のディスプレイ装置または外部の出力端子に出力することができる。

位置調整部１３０は、撮影装置１００の位置を調整することができる。具体的に、位置調整部１３０は、撮影装置１００を水平方向に回転させることにより水平位置を調整することができ、垂直方向にティルティングさせることで垂直位置を調整することができる。ここで、位置調整部は、ＤＣモータ、ＡＣモータ、サーボモータ、ステップモータまたはＢＬＤＣモータ等、多様なモータで実現されてよい。

ズーミング調整部１４０は、撮影装置１００のズーミング状態を調整することができる。具体的に、ズーミング調整部１４０は、撮影装置１００をズームイン、ズームアウトさせ、ズーミング比率を調整することができる。

制御部１５０は、撮影装置１００の動作全般を制御する。具体的に、制御部１５０は、撮像部１１０と、レンズ部１１１と、映像処理部１２０と、位置調整部１３０と、ズーミング調整部１４０と、赤外線カメラ部１６０と、バス１７０と、コーデックス１８０と、保存部１８５及び映像出力部１９０の全部または一部を制御することができる。

特に、制御部１５０は、検出された対象体を自動的に追跡して撮像することにより、位置調整部１３０及びズーミング調整部１４０のうち少なくとも一方を制御することができる。すなわち、制御部１５０は、検出された対象体が移動すると、移動された方向に応じて、撮影装置１００を回転またはティルティングするように、位置調整部１３０を制御することができる。なお、制御部１５０は、検出された対象体が遠くにあって、撮像部１１０に撮像された対象体が予め設定された大きさの範囲より小さく撮像される場合にズームイン動作を行い、予め設定された大きさの範囲より大きく撮像される場合にズームアウト動作を行うように、ズーミング調整部１４０を制御することができる。それにより、撮影装置１００は対象体を自動的に追跡して撮像することができる。

なお、制御部１５０は、撮像された対象体の映像内から検出された顔領域の位置に応じて、撮影装置１００の位置を調整するように、位置調整部１３０を制御し、検出された顔領域の大きさが予め設定された大きさの範囲を満たすように撮影装置１００のズーミング状態を調整するようにズーミング調整部１４０を制御することができる。

具体的に、制御部１５０は、検出された顔領域の位置を対象体の位置している３次元空間座標系における顔領域の位置とマッピングすることができる。すなわち、制御部１５０は、撮像された対象体を含む映像から検出された顔領域の位置する２次元座標（ｘ、ｙ）を撮影装置１００の位置を原点に、対象体の位置する３次元座標系における顔領域の座標（Ｘ、Ｙ）とマッピングすることができる。ここで、ｘ、ｙは映像表面座標における水平、垂直座標値を意味し、Ｘ、Ｙは、対象体の位置する３次元空間座標系における水平、垂直座標値を意味する。

この場合、制御部１５０は、マッピングされた３次元空間座標系における顔領域の水平座標（Ｘ）により、撮影装置を水平方向に回転させ、マッピングされた３次元空間座標系における顔領域の垂直位置（Ｙ）によって、撮影装置を垂直方向にティルティングさせるように位置調整部１３０を制御することができる。

なお、制御部１５０は、回転及びティルティングに応じて撮像された対象体の顔領域の大きさを予め設定された大きさの範囲と比較することができる。ここで、予め設定された大きさの範囲は対象体の眼球領域を検出するために、撮像領域に撮像されるべき対象体の顔領域の大きさを意味する。予め設定された大きさの範囲は、第１大きさの範囲及び第２大きさの範囲を含み、第１大きさの範囲は、対象体の眼球領域を検出するために、撮像領域に撮像されるべき対象体の顔領域の最小の大きさを意味し、第２大きさの範囲は対象体の眼球領域を検出するために、撮像領域に撮像されるべき対象体の顔領域の最大の大きさを意味する。それについては、図６を参照して具体的に説明する。

図６は、本発明の一実施形態に予め設定された大きさの範囲を説明するための図である。すなわち、対象体の眼球認識のためには、撮像領域に撮像された顔領域の大きさが、常に予め設定された大きさの範囲を満たさなければならない。図６（ａ）のように、撮影装置１００が対象体を撮影する場合、撮影装置１００は対象体の顔領域を検出することができる。この場合、制御部１５０は、検出された対象体の顔領域に基づいて、撮影装置の水平位置、垂直位置、ズーミング状態を調整することにより、撮像領域に撮像された顔領域の大きさが、常に予め設定された大きさの範囲を満たすように撮影装置を制御することができる。

一方、比較の結果、撮像領域に撮像された顔領域の大きさが予め設定された第１大きさの範囲未満である場合、制御部１５０はズームイン動作を行い、撮像領域に撮像された顔領域の大きさが予め設定された第２大きさの範囲を超過する場合、ズームアウト動作を行うように、ズーミング調整部１４０を制御することができる。

なお、撮影装置１００が赤外線カメラ部１６０を備える場合、制御部１５０はデプス映像の分析を通じて撮影装置１００と対象体との距離を算出することができる。すなわち、制御部１５０は、撮像された対象体を含む映像から検出された顔領域の位置する２次元座標（ｘ、ｙ）を撮影装置１００の位置を原点に、対象体の位置する３次元座標系における顔領域の座標（Ｘ、Ｙ、Ｚ）とマッピングすることができる。ここで、Ｚは対象体の位置する３次元空間座標系における撮影装置１００の位置を原点に対象体との距離を意味する。

この場合、制御部１５０は、マッピングされた３次元空間座標系における顔領域の水平座標（Ｘ）により、撮影装置を水平方向に回転させ、マッピングされた３次元空間座標系における顔領域の垂直位置（Ｙ）によって、撮影装置を垂直方向にティルティングさせるように位置調整部１３０を制御することができる。なお、制御部１５０は、マッピングされた３次元空間座標系では、顔領域の撮影装置１００からの距離（Ｚ）に応じて、撮影装置のズーミング状態を制御するようにズーミング調整部１４０を制御することができる。この場合、制御部１５０は、撮像領域に撮像された顔領域の大きさが、常に予め設定された大きさの範囲を満たすようにするために、対象体の顔領域の撮影装置１００からの距離（Ｚ）に応じてマッピングされた撮影装置１００のズーミング比率を用いて、撮影装置のズーミング状態を制御するようにズーミング調整部１４０を制御することができる。

なお、制御部１５０は、対象体が移動するとしても、上述の動作を繰り返すことにより、撮像領域に撮像された顔領域の大きさが、常に予め設定された大きさの範囲を満たすように、位置調整部１３０及びズーミング調整部１４０のうち少なくとも一方を制御することができる。

上述の本発明の多様な実施形態によると、対象体の眼球認識のために、撮像領域に撮像された顔領域の大きさが、常に予め設定された大きさの範囲を満たすようにすることで、対象体の眼球を容易に認識することができる。

なお、制御部１５０は、位置及びズーミングが調整された撮影装置の撮像領域に撮像された顔領域から眼球領域を検出するように映像処理部１２０を制御することができる。この場合、制御部１５０は、検出された眼球領域の動き、検出された眼球領域における虹彩情報を用いて、撮影装置１００と接続された外部機器の動作を制御することができる。

一方、図１ないし図２を説明するうえで、映像処理部１２０は制御部１５０と別途の構成であるとして説明したが、上述の映像処理部１２０の機能を制御部１５０が行う形態で実現されてよい。

図３は、本発明の一実施形態に係る撮影装置の正面図である。図３を参照すると、映像装置１００は、撮像部１１０と、赤外線発光部１６１と、赤外線受光部１６２と含む赤外線カメラ部１６０を含んでよい。ここで、撮像部１１０は、対象体に対するカラー映像を獲得するために使用されてよい。なお、赤外線カメラ部１６０は、対象体に対するデプス映像を獲得するために使用されてよい。撮影装置１００は、図３において示すように、撮像部１１０及び赤外線カメラ部１６０を同時に含んでよい。ただ、それに限定されることではなく、場合によっては、赤外線カメラ部１６０を備えなくてよい。なお、撮影装置１００は、制御部１５０の制御下で、水平方向に回転したり、垂直にティルティングすることができる。

図４は、本発明の一実施形態に係る眼球認識装置を示すブロック図である。図５は、本発明の一実施形態に係る撮影制御方法は説明するための図である。図４ないし図５を参照すると、眼球認識装置１０００は、撮影装置１００と、ディスプレイ装置２００と、制御部１５０の全部または一部を含む。

撮影装置１００は、対象体を撮影することができる。特に、撮影装置１００は、対象体が移動する場合、自動的に追跡して撮影することができる。なお、撮影装置１００は、撮像領域に撮像された顔領域の大きさが予め設定さされた大きさの範囲を満たすように撮影することができる。

ディスプレイ装置２００は、画面を表示する機能を実行する。ここで、ディスプレイ装置２００は、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、薄膜トランジスタ液晶ディスプレイ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ−ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、有機発光ダイオード（Ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）、３次元ディスプレイ（３Ｄ ｄｉｓｐｌａｙ）、透明ディスプレイのうち、少なくとも一つにより実現できてよい。

制御部１５０は、眼球認識装置１０００の動作全般を制御する。具体的に、制御部１５０は、撮影装置１００と、ディスプレイ装置２００の全体または一部を制御することができる。

特に、制御部１５０は、検出された眼球領域の動き、検出された眼球領域における虹彩情報を用いて、撮影装置１００と接続されたディスプレイ装置２００の動作を制御することができる。それについては、図７を参照して具体的に説明する。

図７は、本発明の一実施形態に係る眼球認識に係る動作を説明するための図である。図７（ａ）のように、制御部１５０は検出された眼球領域における虹彩情報を用いて、ディスプレイ装置２００のユーザが登録されたユーザか否かを判断することができる。もし、ディスプレイ装置２００のユーザが登録されたユーザであれば、図７（ｂ）のように、ディスプレイ装置２００は画面を表示することができる。なお、図７（ｂ）のように、画面が表示された状態で、ユーザは眼球を上部、下部、左側または右側方向に動かすことができ、この場合、制御部１５０は検出された眼球領域における動き情報を用いて、ディスプレイ装置２００のチャネルを変更することができる。この場合、図７（ｃ）のように、ディスプレイ装置２００は変更されたチャネルを表示することができる。なお、ユーザは予め登録された眼球の動作を行い、図７（ｄ）のように、ディスプレイ装置２００をオフすることができる。

図８は、本発明の一実施形態に係る撮影制御方法を説明するためのフローチャートである。図８を参照すると、まず、対象体を撮影する（Ｓ８０１）。ここで、撮影するステップは、赤外線を発光するステップと、対象体によって発光された赤外線が反射された反射赤外線を受光するステップと、受光された反射赤外線を用いて、対象体に対する情報を検出するステップ及び検出された対象体に対する情報に基づいて、対象体を自動的に追跡して撮影するステップを含んでよい。

そして、撮影された対象体の撮影映像内から顔領域を検出する（Ｓ８０２）。

そして、検出された顔領域の位置に応じて撮影装置の位置を調整する（Ｓ８０３）。そして、検出された顔領域の大きさが予め設定された大きさの範囲を満たすように撮影装置のズーミング（Ｚｏｏｍｉｎｇ）状態を調整する（Ｓ８０４）。ここで、予め設定された大きさの範囲は、対象体の眼球領域を検出するために、撮像領域に撮像されるべき対象体の顔領域の最小の大きさであってよい。

なお、上述の撮影制御方法は、検出された顔領域の位置を対象体が位置している３次元空間座標系における顔領域の位置とマッピングするステップを更に含んでよい。この場合、調整するステップは、マッピングされた３次元空間座標系における顔領域の水平位置に応じて、撮影装置を水平方向に回転させるステップと、マッピングされた３次元空間座標系における顔領域の垂直位置に応じて、撮影装置を垂直方向にティルティングさせるステップと、顔領域の大きさが前記予め設定された大きさの範囲未満である場合にズームイン動作を行い、前記顔領域の大きさが予め設定された大きさの範囲を超過する場合にズームアウト動作を行うステップとを含んでよい。

なお、上述の撮影制御方法は、調整された撮影装置に撮像された顔領域から眼球領域を検出するステップを更に含んでよい。

一方、上述した本発明の多様な実施形態に係る撮影装置の撮影制御方法は、プログラムコードで実現されて多様な非一時的読み取り可能媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）に保存された状態で各サーバまたは機器に提供されることができる。

非一時的読み取り可能媒体とは、レジスタ、キャッシュ、メモリなどのように短い瞬間の間にデータを保存する媒体でなく半永久的にデータを保存し、機器により読み取り（ｒｅａｄｉｎｇ）可能な媒体を意味する。具体的には、上述した多様なアプリケーションまたはプログラムは、ＣＤ、ＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリーカード、ＲＯＭなどのような非一時的読み取り可能媒体に保存されて提供されることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００ 撮影装置
１１０ 撮像部
１１１ レンズ部
１２０ 映像処理部
１３０ 位置調整部
１４０ ズーミング調整部
１５０ 制御部
１６０ 赤外線カメラ部
１６１ 赤外線発光部
１６２ 赤外線受光部
１７０ バス
１７５ バッファ
１８０ コーデック
１８５ 保存部
１９０ 映像出力部
２００ ディスプレイ装置
１０００ 眼球認識装置

Claims (15)

1. 撮影装置の撮影制御方法において、
   対象体を撮像するステップと、
   前記撮像された対象体の映像内から顔領域を検出するステップと、
   前記検出された顔領域の位置に応じて前記撮影装置の位置を調整し、前記検出された顔領域の大きさが予め設定された大きさの範囲を満たすように、前記撮影装置のズーミング（Ｚｏｏｍｉｎｇ）状態を調整する調整ステップと
   を含むことを特徴とする撮影制御方法。
2. 前記撮像するステップは、
   赤外線を発光するステップと、
   前記対象体によって、前記発光された赤外線の反射された反射赤外線を受光するステップと、
   前記受光された反射赤外線を用いて対象体を検出するステップと、
   前記検出された対象体を自動的に追跡して撮像するステップと
   を含むことを特徴とする請求項１に記載の撮影制御方法。
3. 前記予め設定された大きさの範囲は、
   前記対象体の眼球領域を検出するために、撮像領域に撮像されるべき前記対象体の顔領域の大きさであることを特徴とする請求項１に記載の撮影制御方法。
4. 前記検出された顔領域の位置を前記対象体の位置している３次元空間座標系における顔領域の位置とマッピングするステップを更に含むことを特徴とする請求項１に記載の撮影制御方法。
5. 前記調整ステップは、
   前記マッピングされた３次元空間座標系における顔領域の水平位置に応じて、前記撮影装置を水平方向に回転させるステップと、
   前記マッピングされた３次元空間座標系における顔領域の垂直位置に応じて、前記撮影装置を垂直方向にティルティングさせるステップと、
   前記顔領域の大きさが前記予め設定された第１大きさの範囲未満である場合にズームイン（Ｚｏｏｍ−Ｉｎ）動作を行い、前記顔領域の大きさが予め設定された第２大きさの範囲を超過する場合にズームアウト（Ｚｏｏｍ−Ｏｕｔ）動作を行うステップと
   を含むことを特徴とする請求項４に記載の撮影制御方法。
6. 前記調整された撮影装置に撮像された顔領域から眼球領域を検出するステップを更に含むことを特徴とする請求項５に記載の撮影制御方法。
7. 撮影装置において、
   対象体を撮像する撮像部と、
   前記撮影装置の位置を調整するための位置調整部と、
   前記撮影装置のズーミング状態を調整するためのズーミング調整部と、
   前記撮像された対象体の映像内から顔領域を検出する映像処理部と、
   前記検出された顔領域の位置に応じて前記撮影装置の位置を調整するように前記位置調整部を制御し、前記検出された顔領域の大きさが予め設定された大きさの範囲を満たすように前記撮影装置のズーミング状態を調整するように、前記ズーミング調整部を制御する制御部と
   を含むことを特徴とする撮影装置。
8. 赤外線を発光する赤外線発光部と、
   前記対象体によって、前記発光された赤外線の反射された反射赤外線を受光する赤外線受光部と
   を含み、
   前記映像処理部は、前記受光された反射赤外線を用いて対象体を検出し、
   前記制御部は、前記検出された対象体を自動的に追跡して撮像するように前記撮影装置を制御することを特徴とする請求項７に記載の撮影装置。
9. 前記予め設定された大きさの範囲は、
   前記対象体の眼球領域を検出するために、撮像領域に撮像されるべき前記対象体の顔領域の大きさであることを特徴とする請求項７に記載の撮影装置。
10. 前記制御部は、
    前記検出された顔領域の位置を前記対象体の位置している３次元空間座標系における顔領域の位置とマッピングすることを特徴とする請求項７に記載の撮影装置。
11. 前記制御部は、
    前記マッピングされた３次元空間座標系における顔領域の水平位置に応じて、前記撮影装置を水平方向に回転させ、前記マッピングされた３次元空間座標系における顔領域の垂直位置に応じて、前記撮影装置を垂直方向にティルティングさせるように前記位置調整部を制御し、
    前記顔領域の大きさが前記予め設定された第１大きさの範囲未満である場合にズームイン（Ｚｏｏｍ−Ｉｎ）動作を行い、前記顔領域の大きさが予め設定された第２大きさの範囲を超過する場合にズームアウト（Ｚｏｏｍ−Ｏｕｔ）動作を行うように前記ズーミング制御部を制御することを特徴とする請求項１０に記載の撮影装置。
12. 前記制御部は、
    前記調整された撮影装置に撮像された顔領域から眼球領域を検出するように前記映像処理部を制御することを特徴とする請求項１１に記載の撮影装置。
13. 眼球認識装置において、
    画面を表示するディスプレイ装置と、
    ディスプレイ装置の一領域に配置された撮影装置と、
    前記ディスプレイ装置及び前記撮影装置を制御する制御部と
    を含み、
    前記撮影装置は、
    対象体を撮像する撮像部と、
    前記撮影装置の位置を調整するための位置調整部と、
    前記撮影装置のズーミング状態を調整するためのズーミング調整部と、
    前記撮像された対象体の映像内から顔領域を検出する映像処理部と
    を含み、
    前記制御部は、
    前記検出された顔領域の位置に応じて前記撮影装置の位置を調整するように前記位置調整部を制御し、前記検出された顔領域の大きさが予め設定された大きさの範囲を満たすように前記撮影装置のズーミング状態を調整するように前記ズーミング調整部を制御することを特徴とする眼球認識装置。
14. 前記制御部は、
    前記調整された撮影装置に撮像された顔領域から検出された眼球領域を用いて、前記ディスプレイ装置の動作を制御することを特徴とする請求項１３に記載の撮影装置。
15. 撮影装置の撮影制御方法を行うためのプログラムコードが記録された記録媒体において、
    前記撮影制御方法は、
    対象体を撮像するステップと、
    前記撮像された対象体の映像内から顔領域を検出するステップと、
    前記検出された顔領域の位置に応じて前記撮影装置の位置を調整し、前記検出された顔領域の大きさが予め設定された大きさの範囲を満たすように、前記撮影装置のズーミング（Ｚｏｏｍｉｎｇ）状態を調整する調整ステップと
    を含む記録媒体。

Images