JP5120716B2 - 撮像装置、撮像制御方法及びプログラム - Google Patents

Description

本発明は、撮像装置、撮像制御方法及びプログラムに関し、特に、音声を文字列に変換して、その文字列を画像に重ねて表示することが可能な撮像装置、撮像制御方法及びプログラムに関する。

従来より、画像編集ソフトなどを駆使し、撮影済み画像の余白等に撮影日時や場所などのコメントを入力することが行われていたが、手間がかかって面倒であるという不都合があった。そこで、たとえば、下記の特許文献１には、音声入力機能付きの撮像装置において、入力された音声を音声認識機能によって文字列に変換し、その文字列を撮影済み画像に重ねて表示するという技術が開示されている。この従来技術では、撮影と同時または事後に、撮像装置に向かって所望の発話をするだけで、その発話内容が文字列となって画像に重畳表示されるので、コメント入力の手間を軽減することができる。
特開２００３−３４８４１１号公報

しかしながら、従来技術にあっては、文字列の表示位置について一切の言及がなく、たとえば、その表示位置として、「画像の余白」や「画像内の所定位置」などが考えられるものの、画像の余白はあくまでも「余白」であって、プリンタの設定で「縁なし印刷」を選択した場合には、多くの場合、余白が無視されるからコメントを印刷できないという欠点があるし、また、画像内の所定位置、すなわち、予め定めた位置に表示した場合には、主要被写体（たとえば人物の顔など）に重なってしまうことがあり、見苦しい画像になるという欠点がある。

そこで、本発明の目的は、音声入力した文字列を画像に重畳する際の表示位置の適正化を図った撮像装置、撮像制御方法及びプログラムを提供することにある。

請求項１記載の発明は、画像を撮像する撮像手段と、入力音声を音声認識により文字列に変換する変換手段と、前記変換手段により変換された文字列を前記画像に重畳表示する際の表示位置を、前記入力音声の特徴に基づいて決定する決定手段とを備えたことを特徴とする撮像装置である。
請求項２記載の発明は、さらに、前記入力音声の発話主の性別や年齢を特定する特定手段と、その特定手段の特定結果に従って前記文字列の書式を設定する設定手段とを備えたことを特徴とする請求項１に記載の撮像装置である。
請求項３記載の発明は、前記決定手段は、前記画像内の主要被写体に重ならない位置を、前記文字列の表示位置として決定することを特徴とする請求項１に記載の撮像装置である。
請求項４記載の発明は、前記決定手段は、前記画像内の主要被写体が人物である場合に、その人物の顔に重ならない位置を、前記文字列の表示位置として決定することを特徴とする請求項１に記載の撮像装置である。
請求項５記載の発明は、前記決定手段は、前記画像内の主要被写体に重なる位置を、前記文字列の表示位置として決定することを特徴とする請求項１に記載の撮像装置である。
請求項６記載の発明は、画像を撮像する撮像工程と、入力音声を音声認識により文字列に変換する変換工程と、前記変換工程により変換された文字列を前記画像に重畳表示する際の表示位置を、前記入力音声の特徴に基づいて決定する決定工程とを含むことを特徴とする撮像制御方法である。
請求項７記載の発明は、画像を撮像する撮像手段を備える撮像装置のコンピュータに、入力音声を音声認識により文字列に変換する変換手段、及び、前記変換手段により変換された文字列を前記画像に重畳表示する際の表示位置を、前記入力音声の特徴に基づいて決定する決定手段としての機能を実現させるためのプログラムである。

本発明によれば、音声入力した文字列を画像に重畳する際の表示位置の適正化を図った撮像装置、撮像制御方法及びプログラムを提供することができる。

以下、本発明の実施形態を、デジタルカメラを例にして、図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等（以下「周知事項」）についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。

図１は、デジタルカメラの概念構成図である。この図において、デジタルカメラ１は、撮影レンズ２ａやズームレンズ２ｂ及びフォーカスレンズ２ｃなどを含む光学系２と、この光学系２を介して取り込まれた被写体３の像を撮像するＣＣＤやＣＭＯＳ等の二次元イメージセンサを含む撮像部４と、被写体３までの距離を測定するコントラストＡＦ方式またはハイブリッドＡＦ方式のいずれかを選択可能な測距部５と、撮像部４で撮像された画像信号に所要の画像処理（ガンマ補正等）を施す画像処理部６と、フォーカスレンズ２ｃを駆動するフォーカス駆動部７と、ズームレンズ２ｂを駆動するズーム駆動部８と、各種ボタン類（撮影動作と再生動作とのモード切り換えボタン９ａやメニューボタン９ｂ、カーソルキー９ｃ及びシャッタボタン９ｄ、音声収録ボタン９ｅなど）を含む操作部９と、内蔵型または外付け型のマイクロホン１０ａやスピーカ１０ｂ（またはイヤホン）を含む音声処理部１０と、ストロボ発光部１１及びストロボ駆動部１２と、液晶ディスプレイ等からなる表示部１３と、この表示部１３の表示面上に併設されたタッチパネル１４と、固定式又は着脱式の大容量記憶デバイスで構成された記憶部１５と、デジタルカメラ１の姿勢を検出するジャイロセンサ１６と、ＧＰＳ衛星からの信号を受信してデジタルカメラ１の位置座標（少なくとも緯度経度）を検出するＧＰＳ受信部１７と、パーソナルコンピュータ等の外部機器１８との間のデータ入出力を必要に応じて仲介する外部入出力部１９と、バッテリ等を含む電源部２０と、制御部２１とを備える。

制御部２１は、コンピュータ（以下、ＣＰＵ）２１ａ、不揮発性メモリ（以下、ＲＯＭ）２１ｂ、揮発性メモリ（以下、ＲＡＭ）２１ｃ及び書き換え可能型不揮発性メモリ（以下、ＰＲＯＭ）２１ｄを備えており、ＲＯＭ２１ｂに予め格納されている制御プログラムやＰＲＯＭ２１ｄに予め又は任意に書き込まれるデータをＲＡＭ２１ｃにロードしてＣＰＵ２１ａで実行することにより、つまり、プログラム制御方式によって、このデジタルカメラ１の撮影機能や再生機能などを統括制御するものであるが、これに限らず、その機能の全て又は一部をハードロジックで実現してもよいことはもちろんである。

図示のデジタルカメラ１は、操作部９のモード切り換えボタン９ａが「撮影」位置にあるときに撮影モード（静止画又は動画撮影モード）で動作し、「再生」位置にあるときに再生モードで動作する。

静止画又は動画撮影モードを選択した場合、撮像部４から周期的（毎秒数十フレーム）に出力される画像信号が、画像処理部６と制御部２１を経て表示部１３に出力され、構図確認用のスルー画像として継続的に表示される。撮影者は、スルー画像を見ながら所望の構図になるように撮影方向や撮像部４の画角を調節し、所望の構図が得られたときにレリーズ操作（シャッタボタン９ｄの押し下げ操作）を行う。

そして、レリーズ操作に応答して、ＡＦ（自動焦点）とＡＥ（自動露出）が実行され、撮像部４から高画質の画像信号が取り出される。この画像信号は、画像処理部６と制御部２１を経て記憶部１５に送られ、撮影済み画像として記憶部１５に記録保存される。この撮影済み画像は、撮像部４から取り出された高画質の画像信号に相当する生画像であってもよいが、生画像はサイズが大きく、記憶部１５の記憶容量を圧迫するので、たとえば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の汎用圧縮技術を用いて圧縮した画像を撮影済み画像として記録することが望ましい。

再生モードを選択した場合、直近に撮影された画像を記憶部１５から読み出し、表示部１３に拡大表示する。あるいは、撮影済み画像の縮小画像を記憶部１５から読み出して表示部１３に一覧表示し、その一覧の中から再生を希望する画像を選択して、その元画像を記憶部１５から読み出して表示部１３に拡大表示する。

以上の撮影モードと再生モードの動作は、従来公知のものであるが、本実施形態においては、それに加えて、以下の特徴的事項を含む。

図２は、本実施形態の特徴的事項を示す概念的な構成図である。この図において、制御部２１は、プログラム制御方式によって機能的に実現されたいくつかのブロック部、具体的には、音声認識部２２、文字列変換部２３、主要被写体抽出部２４、文字列表示位置決定部２５及び文字列重畳部２６を含む。

画像認識部２２は、操作部９の音声収録ボタン９ｅが操作されたときに、音声処理部１０のマイクロホン１０ａに入力された音声を取り込み、公知の音声認識技術によって文字情報として認識し、文字列変換部２３は、その認識結果に基づいて文字列に変換する。

主要被写体抽出部２４は、表示部１３に表示中のスルー画像または撮影直後の確認画像若しくは記憶部１５から読み出された撮影済み画像（再生画像）を取り込み、その画像に写し出されている“主要被写体”を抽出する。ここで、主要被写体とは、撮影意図に沿った主要な被写体のことをいい、たとえば、ポートレート撮影や記念撮影の場合の「人物」のこと、あるいは、近景から遠景までの様々な被写体が混在している画像の場合に、ピントが合っている被写体のことをいう。以下、説明を簡単にするために、“主要被写体”をポートレート撮影や記念撮影の場合の「人物」とすると、この場合、主要被写体抽出部２４は、入力画像から人物の部分を抽出する。この抽出には、たとえば、人物の顔の認識技術がすでに実用化されているので、この技術を応用してもよい。すなわち、人物の顔の輪郭を認識し、その顔に繋がる人体各部の輪郭を総合して人物を抽出すればよい。

文字列表示位置決定部２５は、文字列変換部２３によって変換された文字列を、入力画像のどの部分に重畳表示するかを決定する。この重畳表示位置の決定は、次の三つの条件に従って行われる。第一の条件は、主要被写体に重ならない、というものである。この場合、主要被写体が人物以外であってもよい。第二の条件は、主要被写体が人物である場合に、その人物の「顔」に重ならない、というものである。第三の条件は、特殊なケースであるが、主要被写体に積極的に重ねる、というものである。この第三の条件は、たとえば、草花や風景などの被写体に短歌や俳句、詩などの文章を重畳させて美的効果を醸し出す場合に適用することができる。これら三つの条件は、事前に、デジタルカメラ１のシステム設定などによりユーザ選択できるようにしてもよいし、あるいは、音声認識の段階でユーザに選択させるようにしてもよい。最後に、文字列重畳部２６は、以上のようにして決定した表示位置に文字列を重畳表示した画像を生成し、その画像を表示部１３に出力する。

図３は、本実施形態の撮影動作フロー図である。この図において、まず、レリーズ操作を判定すると（ステップＳ１）、撮像部４からの撮影画像を取り込み、その画像を記憶部１５に記憶保存（ステップＳ２）した後、音声入力の有無を判定する（ステップＳ３）。そして、音声入力なしであれば、そのまま撮影済み画像を表示部７に表示した後、フローを終了するが、音声入力ありの場合は、入力された音声を音声認識により文字列に変換し（ステップＳ５）、前記の第一〜第三の条件のいずれかに従って表示位置を決定し（ステップＳ６）、文字列重畳の処理を実行（ステップＳ７）した後、フローを終了する。

図４は、文字列重畳のいくつかの例を示す図である。詳しくは、（ａ）は主要被写体を人物２７としたときに、その人物２７を避けて文字列２８を重畳表示した場合の画像２９を示す図、（ｂ）は主要被写体を風景３０としたときに、その風景３０を避けて文字列３１を重畳表示した場合の画像３２を示す図、（ｃ）は主要被写体を人物３３の顔３４としたときに、その人物３３の顔３４を避けて文字列３５を重畳表示した場合の画像３６を示す図、（ｄ）は主要被写体を草花３７としたときに、その草花３７に重ねて文字列３８を表示した場合の画像３９を示す図である。

この場合、各画像２９、３２、３６、３９の適用条件は、以下のとおりである。
（ａ）画像２９：第一の条件（主要被写体に重ならない）
（ｂ）画像３２：第一の条件（主要被写体に重ならない）
（ｃ）画像３６：第二の条件（人物の「顔」に重ならない）
（ｄ）画像３９：第三の条件（主要被写体に積極的に重ねる）
ちなみに、各画像２９、３２、３６、３９のハッチング部分は、文字列の重畳候補領域を表している。たとえば、画像２９においては、人物２７を除く部分が文字列の重畳候補領域であり、この領域内（ハッチング内）であれば、どこに文字列を重畳しても構わない。この例では、画像２９の左上隅に文字列２８を重畳しているが、右上や左右下の他の隅であってもよいし、あるいは、人物２７にかからなければ隅以外であってもよい。重畳候補領域内のどの位置に文字列を重畳表示するかは、予めシステム設定で決めておいてもよいし、あるいは、文字列の重畳表示段階でユーザに選択（表示位置の調整）させてもよい。この場合、文字列の表示位置調整は、たとえば、タッチパネル１４へのユーザ操作に応答して行ってもよく、または、ジャイロセンサ１６の検出信号（デジタルカメラ１の姿勢検出信号）に基づいて行ってもよい。若しくは、入力された音声の特徴に基づいて行ってもよい（たとえば、アップトーンの音声の場合に文字列の表示位置を上にずらす等）。
また、図示の例では、文字列２８、３１、３５、３７の文字数が少ないため、簡単な表示でよいが、文字数が多い場合には、たとえば、フキダシを用い、複数行に分けるなどして見やすく表示してもよい。

以上のようにしたので、本実施形態では、次の効果が得られる。
撮影時にマイクロホン１０ａに向かって、たとえば、撮影場所や撮影日時等の任意のコメントを発声するだけで、発声内容が文字列に変換され、その文字列が画像内の所定の位置に重畳表示された画像が得られる。そして、その文字列の表示位置を、前記の第一〜第三の条件を適宜に選択することによって、（ア）主要被写体に重ならない位置（図４（ａ）、（ｂ）参照）、（イ）主要被写体が人物の顔の場合に、その顔に重ならない位置（図４（ｃ）参照）、あるいは、（ウ）主要被写体が草花等の場合に、その草花に重なる位置（図４（ｄ）参照）のいずれかとすることができ、撮影意図に対応させて、コメント文字の重畳表示位置の適正化を図ることができるという格別の効果が得られる。

特に、文字列の表示位置を主要被写体に重ならない位置（図４（ａ）、（ｂ）参照）にした場合には、主要被写体が文字列に隠れないので、画像が見苦しくならない。また、文字列の表示位置を人物の顔に重ならない位置（図４（ｃ）参照）にした場合には、少なくとも人物の顔が文字列に隠れないので、人物中心のポートレート撮影などに好適である。あるいは、文字列の表示位置を草花などに重なる位置（図４（ｄ）参照）にした場合には、たとえば、俳句や短歌、詩などの文字列と被写体（この場合は草花など）との重畳画像を得ることができ、美的感覚に優れた作品を生成することができる。

また、以上の実施形態を次のように改良してもよい。
図５は、図３の動作フローの一部改良図であり、図３の動作フローのステップＳ５とステップＳ７の間に、入力音声に基づいて発話主の性別や年齢を特定する処理（ステップＳ８）と、その性別や年齢の特定結果に従ってコメント文字列の書式（フォントの種類やフォントサイズまたは文字色など）を設定する処理（ステップＳ９）とを追加したものである。

この改良例によれば、たとえば、発話主が若い女性の場合に、大きめで明るい文字色の丸文字フォントを使用するなどすることにより、性別や年齢を反映したコメント文字入りの画像を生成することができる。

なお、音声入力のタイミングは特に限定しない。シャッタレリーズと同時であってもよいし、シャッタレリーズ前の構図調整段階（スルー画像表示段階）であってもよい。あるいは、撮影済み画像の再生段階であってもよい。

次に、上記実施形態の具体例の一つとして、「俳句」を撮影画像に重畳表示するものを説明する。なお、ここでは俳句とするが、これに限定されない。たとえば、短歌や詩などであってもよい。
図６は、俳句への適用を示す図である。この図において、（ａ）は元の撮影画像４０を示し、（ｂ）はその撮影画像４０の輪郭抽出画像４１を示し、（ｃ）と（ｄ）は音声入力した俳句を文字列に変換して重畳した合成画像４２、４３を示す。合成画像４２は「枠なし」の俳句文字列４４を含み、合成画像４３は「枠あり」の俳句文字列４５を含む。ここで、合成画像４２の俳句文字列４４は、前記の文字列表示位置決定部２５（図２参照）によって、その表示位置が自動的に設定されたものである。すなわち、図示の例の主要被写体である「近接撮影された大きな花弁やその背景の草花」に重ならないように、つまり、前記の第一の条件を満たすように自動設定されたものである。具体的には、輪郭抽出画像４１の輪郭線がない位置、または、輪郭線が少ない位置、あるいは、輪郭線の密集度合いが少ない位置に自動設定されたものである。また、合成画像４３の俳句文字列４５は、ユーザによって、その表示位置が調整されたものである。

図７は、音声解析結果の確認画面の一例を示す図である。この確認画面４６は、音声の認識後に表示部１３に表示される。ユーザは、この確認画面４６を見て必要であれば所要の項目を修正することができる。たとえば、（ａ）に示すように、この確認画面４６においては、入力発声の文字数の並び（５−７−５）から、その文字列の形式が「俳句」であると判定され、その判定結果が「形式：俳句」として表示されていると共に、文字認識結果（“しずかさや”、“いわにしみいる”、“せみのこえ”）と、その文字列変換結果（“閑かさや”、“岩にしみ入”、“蝉の声”）が表示されている。加えて、その音声入力を行った発話者の情報（人物登録：なし、年齢：３０、性別：男）も表示されており、必要に応じて、これらの表示データを変更できるようになっている。たとえば、（ｂ）に示すように、年齢を変更することができる（黒ベタ部分参照）。

図８は、生成した文字画像の確認画面及び入力情報の確認画面の一例を示す図である。（ａ）において、生成した文字画像の確認画面４７は、文字画像４８と、その文字画像４８の詳細情報４９が表示されている。詳細情報４９は、たとえば、文字画像４８の表示領域サイズ、文字画像４８のフォントサイズ、文字画像４８の書体、文字画像４８の文字色、文字画像４８の表示枠あり／なし、文字画像４８の表示枠タイプ、文字画像４８の表示枠背景、などからなり、これらの情報をユーザが変更できるようになっている。
また、（ｂ）において、入力情報の確認画面５０は、ＧＰＳやジャイロ及び日時や季節等のカメラ情報５１と共に、文字表示位置アイコン５２が表示されている。文字画像の表示位置を変えたい場合は、この文字表示位置アイコン５２を、たとえば、タッチパネル１４の操作によって動かせばよい。ちなみに、手マーク５３は、タッチパネル１４のタッチ位置を示すカーソルであり、このカーソルの動きに追随して文字表示位置アイコン５２が動くようになっている。

デジタルカメラの概念構成図である。 本実施形態の特徴的事項を示す概念的な構成図である。 本実施形態の撮影動作フロー図である。 文字列重畳のいくつかの例を示す図である。 図３の動作フローの一部改良図である。 俳句への適用を示す図である。 音声解析結果の確認画面の一例を示す図である。 生成した文字画像の確認画面及び入力情報の確認画面の一例を示す図である。

符号の説明

１ デジタルカメラ（撮像装置）
２ 撮像部（撮像手段）
１１ 制御部（変換手段、決定手段）

Claims (7)

1. 画像を撮像する撮像手段と、
   入力音声を音声認識により文字列に変換する変換手段と、
   前記変換手段により変換された文字列を前記画像に重畳表示する際の表示位置を、前記入力音声の特徴に基づいて決定する決定手段と
   を備えたことを特徴とする撮像装置。
2. さらに、前記入力音声の発話主の性別や年齢を特定する特定手段と、
   その特定手段の特定結果に従って前記文字列の書式を設定する設定手段と
   を備えたことを特徴とする請求項１に記載の撮像装置。
3. 前記決定手段は、前記画像内の主要被写体に重ならない位置を、前記文字列の表示位置として決定することを特徴とする請求項１に記載の撮像装置。
4. 前記決定手段は、前記画像内の主要被写体が人物である場合に、その人物の顔に重ならない位置を、前記文字列の表示位置として決定することを特徴とする請求項１に記載の撮像装置。
5. 前記決定手段は、前記画像内の主要被写体に重なる位置を、前記文字列の表示位置として決定することを特徴とする請求項１に記載の撮像装置。
6. 画像を撮像する撮像工程と、
   入力音声を音声認識により文字列に変換する変換工程と、
   前記変換工程により変換された文字列を前記画像に重畳表示する際の表示位置を、前記入力音声の特徴に基づいて決定する決定工程と
   を含むことを特徴とする撮像制御方法。
7. 画像を撮像する撮像手段を備える撮像装置のコンピュータに、
   入力音声を音声認識により文字列に変換する変換手段、及び、前記変換手段により変換された文字列を前記画像に重畳表示する際の表示位置を、前記入力音声の特徴に基づいて決定する決定手段としての機能を実現させるためのプログラム。
   

Images