JP2008193196A - 撮像装置および指定音声出力方法 - Google Patents

Abstract

【課題】撮影中、または撮影した画像のうち、特定の画像について、簡便かつ迅速に指定された特定の被写体の音声のみを強調して再生する。
【解決手段】画像を撮像し、前記画像表示手段に表示するとともに、入力された外部音声を複数の音声信号に変換して音声信号に変換して出力する。次に、画像表示手段に表示された画像に対して、画像内の特定の被写体を指定し、指定された被写体の座標情報と撮影画角とに基づいて、特定の被写体の方向を算出する。そして、算出された特定の被写体の方向に基づいて、複数の音声信号から特定の被写体の方向に対応した合成音声信号を生成し、合成音声信号を外部に出力する。
【選択図】図７

Description

本発明は、撮像装置および撮像装置における指定音声出力方法に関する。

近年、パーソナルコンピュータの目覚しい普及やその使い勝手の良さから、従来の銀塩フィルムを用いたカメラに替わって、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子を用いたデジタルカメラが急速に普及している。

上述のデジタルカメラは、撮像した画像をデジタルデータに変換して表示、保存することができるため、従来の銀塩フィルムを用いたカメラと異なり、様々な機能が提案されている。

例えば、こうした機能の一例として、デジタルカメラで撮影を行う際、デジタルカメラが撮影画面中の被写体の位置を検出するとともに、デジタルカメラが被写体と交信を行うことにより被写体に関する関連情報を収集し、その関連情報を撮影画面内の位置に関連付けて画像データに付加して記憶する。そして、その画像データを再生して閲覧する際に、ユーザが興味を持った被写体を再生画面上で指定すると、指定された再生画面上の位置に応じた関連情報を読み出して表示するようなものが知られている（例えば、特許文献１参照。）。
特開２００３−１７４５７８号公報

そのため、上述の従来技術によれば、例えば、画像を閲覧している最中に、画像に写されている歴史的建造物などについて知りたいと思った場合に、一旦画像の閲覧を中止して百科事典で調べたり、インターネットで検索したりすることなく、迅速に、必要な情報を入手できる。しかしながら、例えば、撮影中、または撮影された特定の場面において、画像に映し出されている特定の被写体の音声のみを強調して再生したいというような要求に対して、これに応えられるものではなかった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、撮影中、または撮影した画像のうち、特定の画像について、簡便かつ迅速に指定された特定の被写体の音声のみを強調して再生することができる撮像装置および指定音声出力方法を提供することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。
（１）本発明は、画像を撮像する撮像手段と、該撮像手段により撮像された画像を表示する画像表示手段を備えた撮像装置であって、入力された外部音声を複数の音声信号に変換して音声信号に変換して出力する音声入力段と、前記画像表示手段に表示された画像に対して、画像内の特定の被写体を指定する被写体指定手段と、該被写体指定手段において指定された被写体の座標情報と撮影画角とに基づいて、特定の被写体の方向を算出する方向算出手段と、前記方向算出手段において算出された特定の被写体の方向に基づいて、前記複数の音声信号から前記特定の被写体の方向に対応した合成音声信号を生成する合成音声信号生成手段と、該合成音声信号を外部に出力する出力手段と、を備えたことを特徴とする撮像装置を提案している。

（２）本発明は、（１）の撮像装置について、さらに、前記複数の音声信号と前記撮像手段が撮像した画像とを記憶する記憶手段を備えたことを特徴とする撮像装置を提案している。

（３）本発明は、（１）または（２）の撮像装置について、前記音声入力手段は、２次元に配置されるマイクロフォンアレーであることを特徴とする撮像装置を提案している。

（４）本発明は、（２）の撮像装置について、前記合成音声信号生成手段は、前記方向算出手段において算出された特定の被写体の方向に基づいて、前記複数の音声信号から特定の被写体の方向に対応した合成音声信号を生成する際に、前記記憶手段から読み出した前記複数の音声信号を用いることを特徴とする撮像装置を提案している。

（５）本発明は、（１）から（４）のいずれかの撮像装置について、前記被写体指定手段は、タッチパネルにより指定された任意の被写体を特定の被写体として指定することを特徴とする撮像装置を提案している。

（６）本発明は、（１）から（４）のいずれかの撮像装置について、さらに、顔認識手段を備え、前記被写体指定手段は、該顔認識手段によって顔として認識された被写体を特定の被写体として指定することを特徴とする請求項１から４のいずれかに記載の撮像装置を提案している。

（７）本発明は、（１）から（４）のいずれかの撮像装置について、さらに、被写体追従手段を備え、前記被写体指定手段は、該被写体追従手段の追従対象である被写体を特定の被写体として指定することを特徴とする撮像装置を提案している。

（８）本発明は、画像を撮像する撮像手段と、該撮像手段により撮像された画像を表示する画像表示手段を備えた撮像装置における指定音声出力方法であって、前記画像を撮像し、前記画像表示手段に表示するとともに、入力された外部音声を複数の音声信号に変換して音声信号に変換して出力する第１のステップと、前記画像表示手段に表示された画像に対して、画像内の特定の被写体を指定する第２のステップと、該指定された被写体の座標情報と撮影画角とに基づいて、前記特定の被写体の方向を算出する第３のステップと、該算出された特定の被写体の方向に基づいて、前記複数の音声信号から前記特定の被写体の方向に対応した合成音声信号を生成する第４のステップと、該合成音声信号を外部に出力する第５のステップと、を備えたことを特徴とする指定音声出力方法を提案している。

本発明によれば、撮影中、または撮影した画像のうち、特定の画像について、簡便かつ迅速に指定された特定の被写体の音声のみを強調して再生することができるという効果がある。

以下、本発明の実施形態について、図１から図１０を用いて詳細に説明する。
なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１の実施形態＞
図１から図７を用いて、第１の実施形態に係る撮像装置について説明する。
本実施形態は、撮像待機時に表示されるスルー画像において、ユーザが、指定した特定の被写体（人、動物）の音声を再生するものである。

＜撮像装置の外観構成＞
本実施形態に係る撮像装置（デジタルカメラ１００）の外観構成は、図１に示すようになっており、図１（Ａ）はその正面図、図１（Ｂ）はその背面図を示している。撮像装置（デジタルカメラ１００）の正面には、図１（Ａ）に示すように、その正面側にストロボ発光部１と撮像レンズ（レンズ群）２とを備え、さらに、所定の間隔をもって２次元状に複数のマイク１１ａ〜１１ｉを備えている。なお、複数のマイク１１ａ〜１１ｉは、マイクロフォンアレーで構成されていてもよい。この場合、単体のマイクロフォンと異なり、組み立てが容易である上に、コストダウンを図ることも可能となる。

また、撮像装置（デジタルカメラ１００）の背面には、図１（Ｂ）に示すように、モードダイヤル３と、表示モニタ４と、カーソルキー５と、ＳＥＴキー６と、望遠撮影時に用いられるズームキー（Ｗｉｄｅボタン７−１、Ｔｅｌｅボタン７−２）７と、撮像モードを選択する選択手段としての撮影モード選択キー１０と、スピーカ１２等が設けられている。なお、本発明の音声出力機能は、常に、ＯＮ状態としてもよいし、省電力のためにモードダイヤル３を用いて設定してもよい。

さらに、撮像装置（デジタルカメラ１００）の上面には、図１（Ａ）、（Ｂ）に示すように、シャッターキー８と、電源ボタン９等が設けられ、図示しない撮像装置（デジタルカメラ１００）の側面には、パーソナルコンピュータやモデム等の外部装置をＵＳＢケーブルで接続する場合に用いられるＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子の接続部や、メモリカード等を挿入するスロット等が設けられている。

＜撮像装置の電気的構成＞
本実施形態に係る撮像装置（デジタルカメラ１００）は、図２に示すように、撮像レンズ６２と、レンズ駆動ブロック６３と、絞り兼用シャッター６４と、ＣＣＤ５０と、ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）６６と、ユニット回路６７と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６８と、メモリ６９と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０と、画像表示部７１と、キー入力部７２と、外部通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）７３と、ストロボ駆動部７４と、ストロボ発光部７５と、カードＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）７６と、音声入力部８１と、音声出力部８２と、被写体指定部８３と、音声信号処理部９０とを備えており、カードＩ／Ｆ７６には、図示しないデジタルカメラ１００本体のカードスロットにメモリカードが着脱可能に接続される。

撮像レンズ６２は、フォーカスレンズ、ズームレンズを含み、レンズ駆動ブロック６３が接続されている。このレンズ駆動ブロック６３は、図示しないフォーカスレンズ、ズームレンズをそれぞれ撮像面と平行な光軸方向に駆動させるフォーカスモータ及びズームモータと、ＣＰＵ７０からの制御信号にしたがってフォーカスモータ及びズームモータをそれぞれ駆動させるフォーカスドライバ及びズームモータドライバから構成されている。

絞り兼用シャッター６４は、図示しない駆動回路を含み、この駆動回路はＣＰＵ７０から送られてくる制御信号にしたがって絞り兼用シャッターを動作させる。なお、この絞り兼用シャッター６４は、絞りとシャッターとして機能する。

ここで、絞りとは、撮像レンズ６２から入ってくる光の量を制御する機構をいい、シャッターとは、ＣＣＤ５０に光を当てる時間を制御する機構をいう。また、ＣＣＤ５０に光を当てる時間（露出時間）は、シャッターの開閉間隔時間（シャッター速度）によって変化するため、露出量は、この絞りとシャッター速度とによって定めることができる。

ＣＣＤ５０は、撮像レンズ６２及び絞り兼用シャッター６４を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路６７に出力する。また、ＣＣＤ５０は、ＴＧ６６によって生成された所定周波数のタイミング信号にしたがって駆動する。なお、ＴＧ６６にはユニット回路（ＣＤＳ／ＡＧＣ／ＡＤ）６７が接続されている。

ユニット回路（ＣＤＳ／ＡＧＣ／ＡＤ）６７は、ＣＣＤ５０から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路、そのサンプリング後の撮像信号の自動利得調整を行うＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５０の撮像信号は、ユニット回路６７を経てデジタル信号としてＣＰＵ７０に送られる。

ＣＰＵ７０は、ユニット回路６７から送られてきた画像データの画像処理（画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等）、ブレ補正処理、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式の圧縮・伸張）の処理等を行う機能を有するとともに、デジタルカメラ１００の各部を制御プログラムにしたがって制御するワンチップマイコンであって、時刻を計時するクロック回路を含む。

ＤＲＡＭ６８は、ＣＰＵ７０のワーキングメモリとしても使用される。画像表示部７１は、カラーＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）とその駆動回路とを含み、撮影待機状態において、ＣＣＤ５０によって撮像された被写体をスルー画像として表示する。なお、画像表示部７１の表面には、タッチパネルが組み込まれている。これにより、ユーザが画像表示部７１に表示された画像の中から特定の被写体を容易に指定することが可能となる。

キー入力部７２は、シャッターボタンやモードキー、ＳＥＴキー、十字キー、撮影モード選択キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ７０に出力する。

外部通信Ｉ／Ｆ７３は、外部の電子機器（例えば、パーソナルコンピュータ）との間でデータの入出力を行うものであり、ＵＳＢ規格、ＩＥＥＥ１３９４規格などの各種インターフェース規格による入出力を可能としており、これらの規格によるデータ入出力が可能なパソコンなどの電子機器と接続可能となっている。また、ＩｒＤＡ規格による赤外線通信、Ｂｌｕｅｔｏｏｔｈ（ＴＭ）規格による無線通信により外部の電子機器と画像データの入出力を可能としているものでもよい。

ストロボ駆動部７４は、ＣＰＵ７０の制御信号にしたがって、ストロボ発光部７５を閃光駆動させ、ストロボ発光部７５は、これによりストロボを閃光させる。ＣＰＵ７０は、図示しない測光回路により、撮影シーンが暗いか否かを判断し、撮影シーンが暗いと判断し、かつ、撮影を行う場合（シャッターボタンの押下時）には、ストロボ駆動部７４に制御信号を出力する。

メモリ６９は、ＣＰＵ７０によるデジタルカメラ１００の各部の制御に必要なプログラム及び各部の制御に必要なデータを記録格納しており、ＣＰＵ７０は、このプログラムにしたがって処理を実行する。

音声入力部８１は、入力された外部音声をマイク１１ａ〜１１ｉによって複数の音声信号に変換し、後述する音声信号処理部９０に音声信号を出力する。音声出力部８２は、音声信号処理部９０において信号処理された音声をスピーカ１２に対して出力する。被写体指定部８３は、例えば、タッチパネルによって構成された画像表示部７１に表示された特定の被写体（人、動物）を指定するために、ユーザがタッチペン等によって、指定する特定の被写体の画像に触れたときに、その特定の被写体に対応する座標情報を認識し、この座標情報を音声信号処理部９０に出力する。音声信号処理部９０は、入力した座標情報および音声信号に基づいて、ユーザが被写体指定部８３において指定した特定の被写体の音声信号のみを強調する処理を実行し、処理した音声信号を音声出力部８２に出力する。

＜主要部の構成ブロック＞
本実施形態に係る撮像装置（デジタルカメラ１００）の主要構成ブロックは、図３に示すように、音声入力部８１と、ＣＣＤ（画像入力部）５０と、画像表示部７１と、被写体指定部８３と、音声信号処理部９０と、音声出力部８２とから構成されており、図４に示すように、音声信号処理部９０は、さらに、被写体方向演算部９１と、遅延量演算部９２と、遅延量調整部９３と、合成部９４とから構成されている。

ここで、被写体方向演算部９１は、被写体指定部８３から入力した座標情報とＣＰＵ７０から入力した画角情報とに基づいて、画像内の指定された特定の被写体の被写体方向を演算する。なお、演算方法の詳細については、後述する。

また、遅延量演算部９２は、被写体方向演算部９１において演算された被写体方向と各マイク１１ａ〜１１ｉの配列位置情報とから各マイク１１ａ〜１１ｉにおける被写体からの音声信号の到達遅延量を演算する。

遅延量調整部９３は、遅延量演算部９２が演算した各マイク１１ａ〜１１ｉにおける被写体からの音声信号の到達遅延量に基づいて、各マイク１１ａ〜１１ｉからの音声信号の遅延量を調整して、各音声信号の位相を合わせる。そして、合成部９４は、遅延量調整部９３から出力される遅延量が調整された各音声信号を合成して音声出力部８２に出力する。これにより、被写体指定部８３を用いて、ユーザに指定された撮像画像上の特定の被写体に対応する音声のみを強調して出力することができる。

＜被写体方向演算部の演算処理＞
次に、被写体方向演算部９１における演算処理について、図５を用いて、説明する。
図５は、説明の便宜上、画像表示部の横方向の画素配列をＸ方向とした１次元のモデルを例示している。なお、画像表示部の横方向の画素配列をＸ方向、縦方向の画素配列をＹ方向とした２次元のモデルの場合でも、以下、詳述する方法によって、被写体方向角を演算することができる。

図５において、θは、撮影時のデジタルカメラの画角を示している。ここで、画角θは、ズーム撮影であれば、ズームレンズのズームリングの移動量により、固定レンズによる撮影であれば、固定レンズの固定値により求めることができ、この情報は、ＣＰＵ７０から供給される。

図５において、レンズ主点から被写体までの距離をＹとする。図中、Ｘは、距離Ｙにおいて画像の中央から端までに対応する長さである。また、ｘは、ユーザが被写体指定部８３において指定した画像表示部７１上の特定の人物の光軸中心からの距離を示しており、θｘは、ｘにおける光軸中心からの角度を示している。ここで、ｘとＹとの間には、
ｘ＝Ｙｔａｎθｘ・・・（１）
の関係式が成立し、ＸとＹとの間には、
Ｙ＝Ｘｔａｎθ
・・・（２）
の関係式が成立する。

ここで、上記式（１）、式（２）から、Ｙを消去すると、θｘは、以下、式（３）のようになる。
θｘ＝ａｒｃｔａｎ（ｘ／（Ｘ・ｔａｎθ））・・・（３）
したがって、（３）式から、ｘ／Ｘとθとがわかれば、被写体の方向角θｘを求めることができる。ここで、ｘ／Ｘは、撮像された画像の横方向の画素数（＝２Ｘ）と指定された特定の人物が画像中心から何画素離れているか（＝ｘ）から決まり、θはレンズ状態（（レンズの焦点距離から算出可能な画角)／２ ）から決まるので、レンズ状態と画像内の位置から被写体の方向角θｘが求まる。

＜遅延量演算部の演算処理＞
次に、遅延量演算部における演算処理について、図６を用いて、説明する。
図６は、ユーザが被写体指定部８３において指定した特定の被写体（人、動物）の音声（図中、音源と表示）が、各マイク１１ｂ、１１ｅに対して到来する方向を模式的に示した図である。

図６に示すように、光軸中心と被写体の音声（音源）の到来方向とがなす角は、上記、被写体方向演算部９１で求められるθｘとなる。ここで、デジタルカメラ１００の撮像レンズ搭載面に設けられた例えば、２つのマイク１１ｂ、１１ｅの間隔をＬとすると、マイク１１ｂ、１１ｅの間隔Ｌは、被写体の位置（音源）からマイク１１ｂ、１１ｅまでの距離に比べて十分に短いため、各マイク１１ｂ、１１ｅと被写体の音声（音源）の到来方向とがなす角も、上記の光軸中心と被写体の音声（音源）の到来方向とがなす角θｘと同様にみなすことができる。

そこで、遅延量を求めるために、図６において、マイク１１ｅの中心から、マイク１１ｂに対する被写体の音声（音源）の到来方向に対して、垂線を下すと、その遅延量は、以下、式（４）のようになる。
Ｌｓｉｎθｘ・・・（４）
このように、他のマイクに対しても同様の演算を行うことにより、基準となるマイクからの遅延量を求めることができる。

＜撮像装置の処理＞
次に、図７を用いて、本実施形態に係る撮像装置の処理について説明する。
まず、画像表示部７１が、撮影待機状態において、ＣＣＤ５０によって撮像された画像をスルー画像として表示するとともに、音声入力部８１が各マイク１１ａ〜１１ｉからの音声を各マイク１１ａ〜１１ｉごとに取り込んで、音声信号処理部９０に出力する（ステップＳ１０１）。

次に、被写体指定部８３によって、ユーザが画像表示部７１に表示された特定の被写体（人、動物）を指定すると、被写体指定部８３が、画像表示部７１に表示された特定の被写体の座標情報を被写体方向演算部９１に出力する（ステップＳ１０２）。

被写体方向演算部９１は、被写体指定部８３から入力した座標情報とＣＰＵ７０から入力した画角情報とに基づいて、上記（３）の演算式から、被写体の音声の到来方向（角度）θｘを算出し、遅延量演算部９２に出力する（ステップＳ１０３）。遅延量演算部９２は、入力した到来方向（角度）θｘと各マイクの設置間隔Ｌとに基づいて、上記（４）の演算式から、各マイクの遅延量を演算し、遅延量調整部９３に出力する（ステップＳ１０４）。

遅延量調整部９３は、入力した各マイクごとの遅延量に基づいて、対応する音声信号の遅延量を調整して、位相を合わせた音声信号を合成部９４に出力する（ステップＳ１０５）。合成部９４は、遅延量調整部９３からの音声信号を合成して、音声出力部８２に出力する（ステップＳ１０６）。音声出力部８２は、合成部９４から入力した信号を電気信号に変換して、スピーカ１２に供給することにより、音声を外部に放音する（ステップＳ１０７）。

したがって、本実施形態によれば、撮影待機状態で、ユーザが被写体指定部８３によって指定した特定の被写体の音声を強調して再生することができる。また、ユーザが音声を聞きたい特定の被写体を画像表示部上でタッチペンなどを用いて、指定すればよいため、ヒューマンインターフェースに優れているという利点を有する。

さらに、ユーザが画像表示部上で指定した画像から座標情報を生成し、この座標情報と画角情報とから、音声を聞きたい特定の被写体の音声の到来方向を算出し、さらに、各マイクの設置間隔からそれぞれのマイクに対応した遅延量を求めて、遅延量の調整を行った音声信号を合成して出力することから、音声を聞きたい特定の被写体の音声のみを強調して出力することができる。

＜第２の実施形態＞
図８から図１０を用いて、第２の実施形態について説明する。
本実施形態は、すでに撮像された画像を画像表示部７１に表示し、ユーザが、指定した特定の被写体（人、動物）の音声を再生するものである。なお、本実施形態における撮像装置の外観構成は、第１の実施形態と同様であり、また、第１の実施形態と同一の符号を付す構成要素については、同様の機能を有するものであることから、その詳細な説明は省略する。

＜主要部の構成ブロック＞
本実施形態に係る撮像装置（デジタルカメラ１００）の主要構成ブロックは、図８に示すように、音声入力部８１と、ＣＣＤ（画像入力部）５０と、記憶部８４と、画像表示部７１と、被写体指定部８３と、音声信号処理部９０と、音声出力部８２とから構成されており、音声信号処理部９０は、図９に示すように、さらに、被写体方向演算部９１と、遅延量演算部９２と、遅延量調整部９３と、合成部９４とから構成されている。

第１の実施形態と異なる部分は、記憶部８４を備えた点にある。記憶部８４は、音声入力部８１に入力された各マイク１１ａ〜１１ｉからの音声を各マイク１１ａ〜１１ｉに対応してトラックを分けて記憶する。また、記憶部８４は、撮影した画像情報と上記の音声情報とを対応づけて記憶する。こうすることによって、すでに撮像された画像において、ユーザが、指定した特定の被写体（人、動物）の音声を強調して再生することができる。

なお、記憶部８４は、別個に設けてもよいし、ＤＲＡＭ６８を記憶部８４として、撮像された画像データに対応させて、マイク１１ａ〜１１ｉから入力された音声信号を一時記憶するバッファメモリとして使用してもよい。また、記憶部８４として外部記憶素子であるメモリカードに、圧縮された画像データとこれに対応した各マイク１１ａ〜１１ｉからの圧縮された音声信号を保存してもよい。

＜撮像装置の処理＞
次に、図１０を用いて、本実施形態に係る撮像装置の処理について説明する。
まず、ユーザの操作により、記憶部８４から画像データを読み出して、画像表示部７１に選択する画像データを表示する（ステップＳ２０１）。選択される画像データが、記憶部８４から読み出されたら、関連する音声データを読み出す（ステップＳ２０２）。

次に、被写体指定部８３によって、ユーザが画像表示部７１に表示された特定の被写体（人、動物）を指定すると、被写体指定部８３が、画像表示部７１に表示された特定の被写体の座標情報を被写体方向演算部９１に出力する（ステップＳ２０３）。

被写体方向演算部９１は、被写体指定部８３から入力した座標情報とＣＰＵ７０から入力した画角情報とに基づいて、上記（３）の演算式から、被写体からの音声の到来方向（角度）θｘを算出し、遅延量演算部９２に出力する（ステップＳ２０４）。遅延量演算部９２は、入力した到来方向（角度）θｘと各マイクの設置間隔Ｌとに基づいて、上記（４）の演算式から、各マイクの遅延量を演算し、遅延量調整部９３に出力する（ステップＳ２０５）。

遅延量調整部９３は、記憶部８４から音声データをトラックごとに読み出すとともに、入力した各マイクごとの遅延量に基づいて、対応する音声信号の遅延量を調整して、位相を合わせた音声信号を合成部９４に出力する（ステップＳ２０６）。合成部９４は、遅延量調整部９３からの音声信号を合成して、音声出力部８２に出力する（ステップＳ２０７）。音声出力部８２は、合成部９４から入力した信号を電気信号に変換して、スピーカ１２に供給することにより、音声を外部に放音する（ステップＳ２０８）。

したがって、本実施形態によれば、画像データを記憶するとともに、画像データと関連付けて音声データを各マイクに対応したトラックごとに記憶することから、すでに撮像された画像データについて、ユーザが被写体指定部８３によって指定した特定の被写体（人、動物）の音声を強調して再生することができる。

また、ユーザが音声を聞きたい特定の被写体を画像表示部上でタッチペンなどを用いて、指定すればよいため、ヒューマンインターフェースに優れているという利点を有する。さらに、ユーザが画像表示部上で指定した画像から座標情報を生成し、この座標情報と画角情報とから、音声を聞きたい特定の被写体の音声の到来方向を算出し、さらに、各マイクの設置間隔からそれぞれのマイクに対応した遅延量を求めて、遅延量の調整を行った音声信号を合成して出力することから、音声を聞きたい特定の被写体の音声のみを強調して出力することができる。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、本実施形態では、被写体の指定をタッチパネルによりユーザが手動で行う方法について説明したが、顔認識による自動指定であってもよい。

また、顔認識により候補となる被写体を絞り込んだ後にユーザが任意に被写体を指定するようにしてもよい。さらに、オートフォーカスの対象となる被写体を、音声を聞きたい特定の被写体としてもよい。また、被写体追従モードにより、追従対象の被写体を音声を聞きたい特定の被写体としてもよい。

また、指向性を調整できるマイクを用いて、被写体方向角に応じた指向性を設定し、さらに、音声を聞きたい特定の被写体の音声のみを強調するようにしてもよいし、被写体からマイクまでの距離に応じて、感度を可変して、音声を聞きたい特定の被写体の音声のみを強調するようにしてもよい。

また、上記で述べたように、被写体の方向は、ユーザの指定した座標情報と画角とにより決定され、遅延量は、被写体の方向角とマイク間距離により決定されるため、これらを変数とするデータテーブルを格納して、このデータテーブルと、各マイクに対応してトラックに分けて記憶された音声データを外部機器に出力し、この外部機器において上記遅延量の演算や音声の合成処理を行うようにしてもよい。

第１の実施形態に係る撮像装置の外観構成図である。 第１の実施形態に係る撮像装置の電気的構成ブロック図である。 第１の実施形態に係る撮像装置の主要構成ブロック図である。 第１の実施形態に係る撮像装置の音声処理部の構成ブロック図である。 第１の実施形態に係る撮像装置における被写体方向演算部の演算処理を説明するための図である。 第１の実施形態に係る撮像装置における遅延量演算部の演算処理を説明するための図である。 第１の実施形態に係る撮像装置の処理フローである。 第２の実施形態に係る撮像装置の主要構成ブロック図である。 第２の実施形態に係る撮像装置の音声処理部の構成ブロック図である。 第２の実施形態に係る撮像装置の処理フローである。

符号の説明

１・・・ストロボ発光部、２・・・撮像レンズ（レンズ群）、３・・・モードダイヤル、４・・・液晶モニタ画面、５・・・カーソルキー、６・・・ＳＥＴキー、７・・・ズームキー、８・・・シャッターキー、９・・・電源ボタン、１０・・・撮影モード選択キー、１１ａ〜１１ｉ・・・マイク、１２・・スピーカ、２０・・・第１のレンズ、２１・・・第２のフォーカスレンズ、３０・・・第２のレンズ、３１・・・反射ミラー、３２・・・光学ズームレンズ、３３・・・第１のフォーカスレンズ、４０・・・光可動反射ミラー、５０・・・ＣＣＤ、６２・・・撮像レンズ、６３・・・レンズ駆動ブロック、６４・・・絞り兼用シャッター、６６・・・ＴＧ、６７・・・ユニット回路、６８・・・ＤＲＡＭ、６９・・・メモリ、７０・・・ＣＰＵ、７１・・・画像表示部、７２・・・キー入力部、７３・・・外部通信Ｉ／Ｆ、７４・・・ストロボ駆動部、７５・・・ストロボ発光部、７６・・・カードＩ／Ｆ、８１・・・音声入力部、８２・・・音声出力部、８３・・・被写体指定部、８４・・・記憶部、９０・・・音声信号処理部、９１・・・被写体方向演算部、９２・・・遅延量演算部、９３・・・遅延量調整部、９４・・・合成部、１００・・・デジタルカメラ

Claims (8)

1. 画像を撮像する撮像手段と、該撮像手段により撮像された画像を表示する画像表示手段を備えた撮像装置であって、
   入力された外部音声を複数の音声信号に変換して音声信号に変換して出力する音声入力段と、
   前記画像表示手段に表示された画像に対して、画像内の特定の被写体を指定する被写体指定手段と、
   該被写体指定手段において指定された被写体の座標情報と撮影画角とに基づいて、特定の被写体の方向を算出する方向算出手段と、
   前記方向算出手段において算出された特定の被写体の方向に基づいて、前記複数の音声信号から前記特定の被写体の方向に対応した合成音声信号を生成する合成音声信号生成手段と、
   該合成音声信号を外部に出力する出力手段と、
   を備えたことを特徴とする撮像装置。
2. さらに、前記複数の音声信号と前記撮像手段が撮像した画像とを記憶する記憶手段を備えたことを特徴とする請求項１に記載の撮像装置。
3. 前記音声入力手段は、２次元に配置されるマイクロフォンアレーであることを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記合成音声信号生成手段は、前記方向算出手段において算出された特定の被写体の方向に基づいて、前記複数の音声信号から特定の被写体の方向に対応した合成音声信号を生成する際に、前記記憶手段から読み出した前記複数の音声信号を用いることを特徴とする請求項２に記載の撮像装置。
5. 前記被写体指定手段は、タッチパネルにより指定された任意の被写体を特定の被写体として指定することを特徴とする請求項１から４のいずれかに記載の撮像装置。
6. さらに、顔認識手段を備え、前記被写体指定手段は、該顔認識手段によって顔として認識された被写体を特定の被写体として指定することを特徴とする請求項１から４のいずれかに記載の撮像装置。
7. さらに、被写体追従手段を備え、前記被写体指定手段は、該被写体追従手段の追従対象である被写体を特定の被写体として指定することを特徴とする請求項１から４のいずれかに記載の撮像装置。
8. 画像を撮像する撮像手段と、該撮像手段により撮像された画像を表示する画像表示手段を備えた撮像装置における指定音声出力方法であって、
   前記画像を撮像し、前記画像表示手段に表示するとともに、入力された外部音声を複数の音声信号に変換して音声信号に変換して出力する第１のステップと、
   前記画像表示手段に表示された画像に対して、画像内の特定の被写体を指定する第２のステップと、
   該指定された被写体の座標情報と撮影画角とに基づいて、前記特定の被写体の方向を算出する第３のステップと、
   該算出された特定の被写体の方向に基づいて、前記複数の音声信号から前記特定の被写体の方向に対応した合成音声信号を生成する第４のステップと、
   該合成音声信号を外部に出力する第５のステップと、
   を備えたことを特徴とする指定音声出力方法。

Images