JP5477777B2

JP5477777B2 - 画像取得装置

Info

Publication number: JP5477777B2
Application number: JP2010084592A
Authority: JP
Inventors: 靖正 ▲高▼橋; 規之望月
Original assignee: サクサ株式会社
Priority date: 2010-03-31
Filing date: 2010-03-31
Publication date: 2014-04-23
Anticipated expiration: 2030-03-31
Also published as: JP2011217202A

Description

本発明は、複数のカメラにより撮影された画像を一つの画像にまとめて表示するための画像取得装置に関する。

従来、複数のカメラを用いて撮影された画像を組み合わせて一つの画像を構成する画像取得装置としては、表示装置であるプロジェクタの投影曲面と同様の大きさの仮想的な投影曲面を、撮影方向に想定し、この仮想的な投影曲面を埋めるように、複数のカメラの撮影方向と画角を決定して、各画像を合成する装置や（特許文献１参照）、撮影方向に平面的な仮想スクリーンを想定し、この仮想スクリーンを埋めるように、かつ、互いに撮影領域の重複部分を持つように、複数のカメラの撮影方向と画角を決定して、画像を合成する装置（特許文献２参照）などが知られている。

しかしながら、上述した従来の画像取得装置は、いずれも、複数の撮影画像を単に合成するものに過ぎず、一のカメラで撮影されている人物の視線の方向に他のカメラを自動的に向けて、その人物の注目点を撮影するといった、高機能の画像取得装置を提供するものではない。

特開２００５−２７７８２５号公報特開２００５−２２９３６９号公報

本発明は、上記従来の問題に鑑みなされたものであって、その目的は、一のカメラで撮影されている人物の視線の方向に自動的に他のカメラを向けて、その人物の注目点を撮影するという新たな機能を実現することである。

請求項１の発明は、複数の撮影手段と、前記複数の撮影手段が撮影した画像を処理すると共に、前記複数の撮影手段の制御を行なうための画像処理部とを有する画像取得装置であって、人を撮影する第１の撮影手段と、前記人の視線方向にある注目点を撮影するための第２の撮影手段と、前記第１の撮影手段の画像から前記人の視線方向を検出する視線方向検出手段と、前記視線方向検出手段が検出した視線方向から前記注目点の位置を算出する注目点位置算出手段と、前記注目点位置算出手段が算出した注目点位置の画像を前記第２の撮影手段から取得するための注目点画像取得手段と、前記第１の撮影手段が捉えた人の表情を認識するための表情認識手段を有し、前記表情認識手段が、前記人の表情の変化を捉えた時点で、前記視線方向検出手段が視線方向検出を行うことを特徴とする。
請求項２の発明は、請求項１に記載された画像取得装置において、前記注目点位置算出手段は、前記視線方向検出手段が検出した視線方向の仰角及び方位角に基づいて、射影変換行列を用いて注目点位置を算出することを特徴とする。
請求項３の発明は、請求項１又は２に記載された画像取得装置において、第２の撮影手段は、撮影方向の仰角、方位角、画角を遠隔操作で変更することのできるPTZカメラであって、前記注目点位置算出手段が算出する注目点位置は、前記PTZカメラに設定すべき仰角及び方位角で与えられることを特徴とする。
請求項４の発明は、請求項１又は２に記載された画像取得装置において、前記注目点位置算出手段が算出する注目点位置は、前記第２の撮影手段が撮影した注目点の、前記第２の撮影手段の画像における座標で与えられることを特徴とする。
請求項５の発明は、請求項１又は２に記載された画像取得装置において、前記第１の撮影手段は、撮影方向の仰角、方位角、画角を変更することのできるPTZカメラであることを特徴とする。
請求項６の発明は、請求項１ないし５のいずれかに記載された画像取得装置において、前記第１の撮影手段の撮影方向における音を取得するための集音手段を有し、前記集音手段が一定レベル以上の音声や音を捉えた時点で、前記視線方向検出手段が視線方向検出を行うことを特徴とする。
請求項７の発明は、請求項１ないし５のいずれかに記載された画像取得装置において、前記第１の撮影手段が人を捉えた時点で、前記視線方向検出手段が視線方向検出を行うことを特徴とする。
請求項８の発明は、複数の撮影手段と、前記複数の撮影手段が撮影した画像を処理すると共に、前記複数の撮影手段の制御を行なうための画像処理部とを有する画像取得装置により行う画像取得方法であって、人を撮影する第１の撮影手段により撮影された人の画像から、前記人の視線方向を検出する工程と、前記人の視線方向から、前記人の注目点の位置を算出する工程と、前記人の注目点を撮影する第２の撮影手段により、前記注目点の位置の画像を取得する工程と、前記第１の撮影手段が捉えた人の表情を認識するための表情認識工程を有し、前記表情認識工程において、前記人の表情の変化を捉えた時点で、視線方向検出手段が視線方向検出を行うことを特徴とする。

本発明によれば、一のカメラで撮影されている人物の視線の方向に自動的に他のカメラを向けて、その人物の注目点を撮影することができる。

本発明による画像取得装置の一実施形態の構成を示すブロック図である。本発明による画像取得装置の一実施形態に使用される画像処理装置の構成を示すブロック図である。本発明による画像取得装置の一実施形態における、射影行列算出の手順を示すフロー図である。本発明による画像取得装置の一実施形態における、視線方向検出に基づく注目点画像撮影の手順を示すフロー図である。本発明による画像取得装置の一実施形態における、射影行列の算出過程を説明するための図である。本発明による画像取得装置の一実施形態における、視線方向検出に基づく注目点画像撮影の過程を説明するための図である。本発明による画像取得装置の一実施形態における、観客画像と注目点画像とを合成した画像の一態様を示す図である。

次に、本発明による画像取得装置の一実施形態について、図を参照して説明する。
図１は、本発明による画像取得装置の一実施形態の構成を示すブロック図である。
本画像取得装置は、人を撮影する第１の撮影手段、例えば、人物の方向に撮影方向が固定された固定カメラ１と、その人物の視線方向にある注目点を撮影するための第２の撮影手段、例えば、撮影視野の仰角、方位角、及び画角を変更することのできるPTZ（Pan-Tilt-Zoom）カメラ２と、人物周辺の歓声や拍手を集音するための音声マイク３と、固定カメラ１及びPTZカメラ２で得られた画像を処理すると共にPTZカメラ２の制御を行う画像処理装置４と、固定カメラ１及びPTZカメラ２で得られた画像情報を表示する表示装置５と、ユーザが画像処理装置４の設定等を行うための入力装置６とを有している。

図２は、本画像取得装置の画像処理装置４の構成を示すブロック図である。
本画像処理装置４は、固定カメラ１等との通信を行うための入出力インタフェース１１と、ＣＰＵ（Central Processing Unit）、プログラムが書き込まれたＲＯＭ（Read Only Memory）、データの一時記憶のためのＲＡＭ（Random Access Memory）等を有する処理部１２とを有している。また、処理部１２は、音声マイク３で捉えた音声に基づいて処理部１２に画像処理動作を開始させるための動作開始情報取得手段１２１と、固定カメラ１で撮影された人の視線方向を検出するための視線方向検出手段１２２と、その人の視線方向にある注目点の位置を算出するための注目点位置算出手段１２３と、PTZカメラ２に指示を与えて注目点の画像を取得するための注目点画像取得手段１２４と、注目点算出手段１２３が注目点の位置を算出する際に使用する射影行列を予め算出しておくための射影行列算出手段１２５とを有しており、これらの手段は、ＣＰＵを含む処理部１２がプログラムを実行することにより実現される。

以上の構成において、音声マイク３が歓声や拍手など、所定のレベル以上の音量の音声や音を捉えると、動作開始情報取得手段１２１により、以下に示す処理部１２の画像処理動作が開始される。まず、視線方向検出手段１２２が、固定カメラ１により撮影している観客の視線方向を検出する。次に、注目点位置算出手段１２３が、その視線方向にある注目点、例えば動物を、PTZカメラ２により撮影すべく、PTZカメラ２に設定すべき仰角及び方位角を算出する。最後に、注目点画像取得手段１２４が、その仰角及び方位角をPTZカメラ２に設定し、PTZカメラ２が注目点を撮影する。
上記において、固定カメラ１により取得した視線方向の情報からPTZカメラ２に設定すべき仰角及び方位角を算出する方法として、視線方向の角度情報をPTZカメラ２の仰角及び方位角に変換するための射影行列を、射影行列算出手段１２５により予め準備しておくことができる。

以上のように、本画像取得装置は、固定カメラ１及びPTZカメラ２という２台のカメラを用いるマルチカメラシステムであるため、固定カメラ１で観客の視線方向の変化を捉えつつ、その視線方向の変化に応じた新たな注目点を、PTZカメラ２により即座に撮影することができる。また、音声マイク２を用いて観客の歓声や拍手をトリガとして画像処理動作を開始しているため、観客の反応を適格に捉えて、その時点における観客の様子及び注目点の状況を、画像として同時に取得できる。このため、これらの画像を、例えば動物園の表示スクリーン等に表示することにより、他の場所にいる来園者に、園内のアトラクション等の様子をリアルタイムで案内することができる。

次に、本発明の画像取得装置の、射影行列の算出手順を、図３に示すフロー図を用いて説明する。
まず、固定カメラ１及びPTZカメラ２の設置場所及び設置方向（基準方向）を決定し（Ｓ１０１）、PTZカメラ２の撮影範囲内に基準点を設ける（Ｓ１０２）。
次に、固定カメラ１の画像の中心に人を立たせ、視線を一の基準点に向けさせる（Ｓ１０３）。続いて、その画像から、視線方向検出手段１２２が、視線方向の仰角及び方位角を取得する（Ｓ１０４）。このとき取得する仰角及び方位角は、固定カメラの光軸方向、すなわち、人が固定カメラ１の正面に視線を向けたときの視線方向を基準とする角度とする。

次に、その基準点の方向にPTZカメラ２を向け、PTZカメラ２の仰角及び方位角を、PTZカメラ２から読み出す（Ｓ１０５）。そして、全ての基準点について、視線の仰角及び方位角並びにPTZカメラ２の仰角及び方位角のデータの取得を完了したか否かを判定し（Ｓ１０６）、完了していない場合には（Ｓ１０６、Ｎｏ）、Ｓ１０３からＳ１０５までの手順を繰り返し、完了している場合には（Ｓ１０６、Ｙｅｓ）、取得したデータに基づき、射影行列算出手段１２５が射影行列を算出して（Ｓ１０７）、処理を終了する。
なお、後述の図５の説明において、上記手順の具体例を示す。

上記において、Ｓ１０４における視線方向の検出は、例えば、顔及び目の特徴点を抽出し、その特徴点間の距離等から視線方向を検出する方法（特開２００７−２６５３６７号公報）や、画像の中心および四隅の５点を注視したときの基準画像における黒目の中心の位置と、視線検出画像における黒目の中心の位置から、視線方向を検出する方法（特開２００６−１４１８６２号公報）などを用いることができる。また、視線検出に際して、その精度を高めるために、背景消去の手法を採ることもできる。すなわち、人がいない場合の背景画像を予め準備しておき、背景画像と視線検出に用いる画像との差分画像を生成して、背景のない人物だけの画像を得ることができる。

次に、本発明の画像取得装置の、観客の視線方向を検出して注目点の画像を得るまでの動作手順を、図４に示すフロー図に従って説明する。以下の説明において、固定カメラ１及びPTZカメラ２は、上記のＳ１０１により、既に設定されているものとする。
まず、ユーザは、音声マイク３を固定カメラ１の撮影範囲に向けて設置する（Ｓ２０１）。次に、動作開始情報取得手段１２１は、音声マイク３が歓声や拍手などの大きな音を捉えるのを待機する（Ｓ２０２）。音声マイク３が歓声や拍手を捉えたら（Ｓ２０２、Ｙｅｓ）、処理部１２は固定カメラ１の撮影画像を取得し（Ｓ２０３）、視線方向検出手段１２２は、固定カメラ１に撮影されている人の、視線方向の仰角及び方位角を検出する（Ｓ２０４）。

次に、この視線方向の仰角及び方位角に基づき、注目点位置算出手段１２３が、上記で算出した射影行列を使って、PTZカメラ２を向けるべき方向の仰角及び方位角を算出する（Ｓ２０５）。最後に、注目点画像取得手段１２４は、その仰角及び方位角をPTZカメラ２に設定してPTZカメラ２を注目点に向けて注目点の画像を取得する（Ｓ２０６）。その後、動作開始情報取得手段１２１は、再び、音声カメラ３が歓声や拍手を捉えるのを待機する（Ｓ２０２）。
なお、上記の構成では、音声マイク３が歓声や拍手を捉えたことをトリガとして、視線検出等の動作を行うものとしているが、固定カメラ１の撮影範囲に人が入ったことを検出してトリガとしてもよいし、固定カメラ１に撮影される人の動きや表情を検出してトリガとしてもよい。
また、固定カメラ１及びPTZカメラ２の映像を録画しておき、上記のトリガの発生前後の数秒間の映像を残すことで、映像録画の記録時間を短縮しつつ、この映像から適切なシャッターチャンスの写真を取得することができる。

次に、本画像取得装置の変形例について説明する。
本画像取得装置の第１の変形例は、人の視線検出に使用するカメラも、人の注目点を撮影するカメラも、共にPTZカメラとするものである。この第１の変形例では、より広範囲の観客を対象として視線検出を行うことができ、本画像取得装置の動作範囲を拡大することができる。ただし、この場合には、人の視線方向は、PTZカメラの画像から得られた視線方向を、そのPTZカメラの仰角及び方位角により補正して取得する必要がある。

本画像取得装置の第２の変形例は、視線検出に用いるカメラの画像を幾つかの検知エリアに分割して視線方向検出を行うものである。この第２の変形例では、検知エリアごとに、その検知エリアにいる人の視線方向と注目点撮影用のカメラの方向とを対応付ける射影行列を算出しておくことができる。これにより、視線検出に用いるカメラで撮影される様々な人の視線方向を捉えて、例えば、一定の時間間隔で、それぞれの検知エリアで捉えた視線方向の注目点を、順次、注目点撮影用のカメラで撮影することができる。

本画像取得装置の第３の変形例は、注目点撮影用のカメラをPTZカメラに限定することなく、PTZカメラ以外の種々のカメラを用いるものである。この第３の変形例では、上記種々のカメラから撮影された画像のうち、注目点の画像部分を部分的にデジタル画像の拡大手法により拡大して表示することもできる。これにより、第１、第２の変形例に比べて、素早く注目点の画像を表示することができる。なお、この場合に用いる射影行列は、視線方向の仰角及び方位角と、注目点撮影用のカメラの画像における注目点の２次元座標との対応関係を示す行列として求めることとなる。

本画像取得装置の第４の変形例は、人の顔の画像から表情を読取る表情認識手段を有し、画像に映った人の顔の表情が、例えば笑顔に変わったことをトリガとして、視線検出等の動作を開始させるものである。この第４の変形例では、より細かい観客の反応に基づいて、本画像取得装置の動作を開始させることができる。ここで用いる表情認識手段としては、例えば、顔画像に対し複数の空間フィルタを用いた周波数分析を行って表情特徴情報を抽出する手段（特開２００８−９７２８号公報）を用いることができる。

次に、本画像取得装置の動作原理を、図５及び図６を用いて説明する。
図５は、射影行列を算出する場合の、固定カメラ１、PTZカメラ２、及び基準点の関係を示した図である。
図５（１）のように、PTZカメラ２の撮影範囲内に複数の基準点を設け、固定カメラ１の前に人を立たせて、視線を一の基準点の方向に向けさせる。このとき、固定カメラ１からは図５（２）のような画像を得られ、この画像から、観客の視線方向の仰角及び方位角を検出する。そして、PTZカメラ２をその基準点の方向へ向けて、図５（３）のように基準点を撮影したときの、PTZカメラ２の仰角及び方位角を取得する。上記の作業を全ての基準点について行って、射影行列を算出する。
ここで、算出する射影行列は、視線方向の仰角及び方位角で構成される2次元ベクトルをPTZカメラ２の仰角及び方位角で構成される２次元ベクトルに変換する行列であるので、図３のＳ１０２で設定する基準点は４つあれば足りる。

図６は、上記で算出した射影行列を使って、観客の視線方向にある注目点をPTZカメラ２で撮影する場合の、固定カメラ１、PTZカメラ２、及び注目点の関係を示した図である。
まず、図６（１）のように、固定カメラ１により観客を撮影して、その視線方向の仰角及び方位角を検出し、上記により算出した射影行列を使って、PTZカメラ２の仰角及び方位角を算出して設定する。これにより、PTZカメラ２は、観客の視線方向にある注目点に向き（図６（２））、PTZカメラ２からは注目点の画像が得られる（図６（３））。
上記の動作の結果、固定カメラ１及びPTZカメラ２から得られた画像は、例えば図７（１）又は（２）のように合成して表示装置に表示することができる。

以上説明したように、本実施形態の画像取得装置は、１台のカメラで観客の視線方向の検出を行い、その視線方向の仰角及び方位角に基づき、その観客の注目点を他のカメラで撮影するのに必要な仰角及び方位角を算出している。このため、視線方向の検出から注目点の撮影までの動作を自動で行うことができる。また、音声マイクにより、観客の歓声や拍手などをトリガとして、視線方向の検出と注目点の撮影を開始するため、上記のトリガの発生前後の数秒間の映像を残すことで、映像録画の記録時間を短縮しつつ、この映像から適切なシャッターチャンスの写真を取得することができる。

１・・・固定カメラ、２・・・ＰＴＺカメラ、３・・・音声マイク、４・・・画像処理装置、５・・・表示装置、６・・・入力装置、１１・・・入出力インタフェース、１２・・・処理部、１２１・・・動作開始情報取得手段、１２２・・・視線方向検出手段、１２３・・・注目点位置算出手段、１２４・・・注目点画像取得手段、１２５・・・射影行列算出手段。

Claims

複数の撮影手段と、前記複数の撮影手段が撮影した画像を処理すると共に、前記複数の撮影手段の制御を行なうための画像処理部とを有する画像取得装置であって、
人を撮影する第１の撮影手段と、
前記人の視線方向にある注目点を撮影するための第２の撮影手段と、
前記第１の撮影手段の画像から前記人の視線方向を検出する視線方向検出手段と、
前記視線方向検出手段が検出した視線方向から前記注目点の位置を算出する注目点位置算出手段と、
前記注目点位置算出手段が算出した注目点位置の画像を前記第２の撮影手段から取得するための注目点画像取得手段と、
前記第１の撮影手段が捉えた人の表情を認識するための表情認識手段を有し、
前記表情認識手段が、前記人の表情の変化を捉えた時点で、前記視線方向検出手段が視線方向検出を行うことを特徴とする画像取得装置。
請求項１に記載された画像取得装置において、
前記注目点位置算出手段は、前記視線方向検出手段が検出した視線方向の仰角及び方位角に基づいて、射影変換行列を用いて注目点位置を算出することを特徴とする画像取得装置。
請求項１又は２に記載された画像取得装置において、
第２の撮影手段は、撮影方向の仰角、方位角、画角を遠隔操作で変更することのできるPTZカメラであって、
前記注目点位置算出手段が算出する注目点位置は、前記PTZカメラに設定すべき仰角及び方位角で与えられることを特徴とする画像取得装置。
請求項１又は２に記載された画像取得装置において、
前記注目点位置算出手段が算出する注目点位置は、前記第２の撮影手段が撮影した注目点の、前記第２の撮影手段の画像における座標で与えられることを特徴とする画像取得装置。
請求項１又は２に記載された画像取得装置において、
前記第１の撮影手段は、撮影方向の仰角、方位角、画角を変更することのできるPTZカメラであることを特徴とする画像取得装置。
請求項１ないし５のいずれかに記載された画像取得装置において、
前記第１の撮影手段の撮影方向における音を取得するための集音手段を有し、
前記集音手段が一定レベル以上の音声や音を捉えた時点で、前記視線方向検出手段が視線方向検出を行うことを特徴とする画像取得装置。
請求項１ないし５のいずれかに記載された画像取得装置において、
前記第１の撮影手段が人を捉えた時点で、前記視線方向検出手段が視線方向検出を行うことを特徴とする画像取得装置。
複数の撮影手段と、前記複数の撮影手段が撮影した画像を処理すると共に、前記複数の撮影手段の制御を行なうための画像処理部とを有する画像取得装置により行う画像取得方法であって、
人を撮影する第１の撮影手段により撮影された人の画像から、前記人の視線方向を検出する工程と、
前記人の視線方向から、前記人の注目点の位置を算出する工程と、
前記人の注目点を撮影する第２の撮影手段により、前記注目点の位置の画像を取得する工程と、
前記第１の撮影手段が捉えた人の表情を認識するための表情認識工程を有し、
前記表情認識工程において、前記人の表情の変化を捉えた時点で、視線方向検出手段が視線方向検出を行うことを特徴とする画像取得方法。