JP2007006016A - 撮影装置 - Google Patents

Abstract

【課題】撮像手段と表示手段が離れていることにより、画像確認しながら撮影した時に顔向きのずれが生じる場合に、撮影画像と表示画像の目線が一致するように画像補正が可能な撮影装置を提供する。
【解決手段】使用者が入力部１０５から入力した拡大率の度合いに応じて、画像補正部１０２が顔画像の向きズレ補正を行なう。補正画像を表示部１０３に表示して使用者が確認し、十分な補正であれば、その拡大率の度合いを確定し，あわせて、拡大率の度合いをメモリ部１０８に登録する。補正画像を表示するときは「補正画像」等の表示を行い、使用者に補正画像であることを報知するとともに、拡大率の度合いも表示する。
【選択図】図１

Description

本発明は、撮影された顔画像の向きや目線のズレ補正をする撮影装置に関する。

近年、デジタルカメラや、カメラ付き携帯電話等の撮影装置にあっては、液晶等の表示手段により確認しながら、自分自身を撮影することが可能となっている。また、テレビ電話機能を用いて自分の顔を映しながら通話をすることも行われている。ところが、撮像手段と表示手段は同一の場所に配置されていないため、自分を撮影するような近い位置での撮影時には撮影者が表示手段の方を向いて、目線がずれたり、向きが正面でない画像になってしまうという問題がある。

例えば、カメラ付き携帯電話の場合にはカメラ画像を表示するディスプレイ部とカメラが搭載されている場所にずれがあるため、ディスプレイを見ながら写真を撮影したり、テレビ電話を行うと、例えばディスプレイよりカメラが下に位置する場合には、映し出される顔は上向きになってしまい、正面から映った顔に比べ、向きや目線が不自然になってしまう。

そこで、このような点を改善する可能性のある技術としては、特許文献１（特開２００２−２４７４４６号公報）、特許文献２（特開２００４−３２０２３６号公報）がある。
特許文献１の技術は、被写体を撮像部に近づけて撮影した場合に生ずる画像の歪みを補正するものである。特許文献２の技術は、表示部と同じ位置にハーフミラーを利用することで撮像部を配置することで、自分撮りの際に、目線をはずすことなく自分の顔を撮影できるというものである。
特開２００２−２４７４４６号公報 特開２００４−３２０２３６号公報

しかし、特許文献１の技術は、被写体を近くで撮影するときに生じる画像の歪みを補正する技術であり、本来何ら歪みが生じていない画像に対しては補正ができない。したがって、撮像手段と表示手段の位置が異なることによって、不自然な目線や顔の向きとなった画像を補正することはできない。

また、特許文献２の技術は、自分撮りの際に、撮影画像と表示画像の目線が一致するように、表示部と同じ位置にハーフミラーを利用することで撮像部を配置しており、構造が複雑となってしまう。また、一旦、目線等をずらして撮影してしまえば、修正する手段はない。

本発明は、斯かる実情に鑑み、撮像手段と表示手段が離れていても、撮影画像と表示画像の目線が一致するように画像補正が可能な撮影装置を提供しようとするものである。

第１の発明は、使用者の顔を撮影して顔画像を取得する撮像手段と、前記撮像手段から離れた位置に配され、前記顔画像を表示する表示手段と、前記表示手段に表示された顔画像を使用者が見ることにより生じる前記顔画像の向きずれを補正する補正手段とを備えることを特徴とする撮影装置である。

第２の発明は、第１の発明記載の撮影装置において、前記補正手段は、顔画像に対して、顔の中心から顔が向いている方向に離れるほど顔向き方向に垂直な方向の拡大率を増加させ、顔の中心から顔が向いている反対方向に離れるほど顔向き方向に垂直な方向の縮小率を増加させる補正を行なうことを特徴とする。

第３の発明は、第１又は２の発明記載の撮影装置において、補正された顔画像と補正前の顔画像とを切り換えて前記表示手段に表示することが可能なことを特徴とする。

第４の発明は、第３の発明記載の撮影装置において、前記表示手段に補正手段によって補正された画像を表示する場合、表示された顔画像が補正画像であることを示す表示を行なうことを特徴とする。

第５の発明は、第１乃至４の発明のいずれかに記載の撮影装置において、補正手段が用いる補正パラメータを変更する入力手段を備えることを特徴とする。

第６の発明は、第４の発明記載の撮影装置において、前記補正手段が補正に用いた補正パラメータを記憶する記憶手段を備えることを特徴とする。

第７の発明は、第１乃至４の発明のいずれかに記載の撮影装置において、
前記補正手段が補正に用いる補正パラメータを予め記憶する記憶手段を備えることを特徴とする。

第８の発明は、第７の発明記載の撮影装置において、前記撮像手段から被写体までの距離を測定する距離測定手段を備え、前記記憶手段は、前記撮像手段から被写体までの距離に対応する補正パラメータを予め登録しており、前記補正手段は、前記距離測定手段に測定された距離に基づいて、前記記憶手段から補正パラメータを読み出し補正することを特徴とする。

第９の発明は、第５乃至第８の発明のいずれかに記載の撮影装置において、前記表示手段に補正手段によって補正された画像を表示する場合、使用した補正パラメータを表示することを特徴とする。

第１０の発明は、第１乃至第９の発明のいずれかに記載の撮影装置において、前記撮像手段により取得された画像から、顔部分の領域を認識する顔認識手段を備え、前記補正手段は、前記顔部分領域を拡大あるいは縮小して所定のサイズにすることを特徴とする。

第１１の発明は、第１乃至第１０の発明のいずれかに記載の撮影装置において、前記表示手段と撮像との位置が異なるために生じる瞳の向きを検出する瞳検出手段を備え、前記補正手段は、前記瞳検出手段により検出された瞳の向きを正面になるよう補正することを特徴とする。

第１、２の発明は、撮像手段から離れた位置にある表示手段に表示された顔画像を使用者が見ることにより生じる顔画像の向きずれを補正するので、自分の顔画像を確認しながらも正面を向いた顔画像を得ることができる。

また、第３の発明は、補正された顔画像と補正前の顔画像とを切り換えて表示できるので、使用者がどの程度補正がされたかを確認することができる。

また、第４の発明は、表示された顔画像が補正画像であることを示す表示を行なうので、現在の表示画像が、補正されたものか否かを確認することができる。

また、第５の発明は、補正手段が用いる補正パラメータを変更する入力手段を備えるので、使用者が表示手段を見ながら最適な補正パラメータを調整することが可能となる。

また、第６の発明は、補正手段が補正に用いた補正パラメータを記憶する記憶手段を備えるので、使用者が以前に調整した補正パラメータのデータを呼び出して利用することができるようになり、調整が簡単に行えるようになる。

第７の発明は、補正手段が補正に用いる補正パラメータを予め記憶する記憶手段を備えるので、補正手段は、記憶手段の中から補正パラメータを選択して補正ができる。

第８の発明は、記憶手段に撮像手段から被写体までの距離に対応する補正パラメータを予め登録し、補正手段が距離測定手段に測定された撮像手段から被写体までの距離に基づいて、前記記憶手段から補正パラメータを読み出し補正するので、自動的に補正処理が可能となり、使用者が補正パラメータを入力する必要がなくなる。

また、第９の発明は、表示手段に補正手段によって補正された画像を表示する場合、使用した補正パラメータを表示するので、使用者が補正画像を確認するおりに、その補正パラメータも確認することができる。

また、第１０の発明は、顔部分の領域を認識して、顔部分領域を拡大あるいは縮小して所定のサイズにするので、使用者から撮像手段までの距離が多少ずれていても、最適な大きさの画像に変換したあと、補正処理を行うことができるようになり精度が増す。

また、第１１の発明は、瞳検出手段により検出された瞳の向きを正面になるよう補正するので、撮像手段のほうに視線が向いた顔画像を生成することができる。

以下、本発明の実施の形態を添付図面を参照して説明する。

図１は、本発明に係る撮影装置の一実施形態を示すブロック図である。この撮影装置はデジタルカメラ付きの携帯電話であり、カメラモジュール等の撮像部１０１、液晶パネルなどの表示部１０３、顔画像の向きずれ等を補正する画像補正部１０２、使用者と機器との距離を測る距離測定部１０４、キー入力等を行うための入力部１０５、顔領域を認識するための顔認識部１０６、目・瞳認識を行う目・瞳認識部１０７、補正パラメータ等を保存するメモリ部１０８から構成される。

図２は、この撮影装置を用いて使用者が自分の顔を撮影する場合の説明図である。図２（ａ）は、使用者が撮像部１０１を向いたときに表示部１０３に映る画像である。図２（ｂ）は、表示部１０３の方を使用者が向いたときに表示部１０３に映る画像である。図２（ｃ）は、使用者が撮像部１０１を向いて撮影する様子を示し、図２（ｄ）は、使用者が上部の表示部１０３を見ながら撮影する様子を示すものである。

撮影時は、図２（ｂ）の状態で撮像部１０１により撮影すると、図２（ａ）に示す画像が撮影されるはずであるが、図２（ｄ）に示すように、撮影画像を確認しようとして表示部１０３を見ると、図２（ｂ）のように、上の表示部１０３を見上げる結果、撮像部１０１により下から撮影された顔画像が表示される。これは、撮像部１０１と表示部１０３の位置が上下に離れており、使用者が上側の表示部１０３を見ながら撮影を行うことから生じる問題である。

図３は、図２（ｄ）のように撮影された画像をどのように補正するかを説明する図である。図３（ａ）のように、下側から撮影された画像を修正するには、画像の中心を境に上側にいくほど横幅を引き伸ばし、下側にいくほど幅を狭めるとよい。このような画像補正を実施すると、図３（ｂ）のように、ほぼ正面から撮影した画像にすることができる。

なお、この例では、撮像部１０１が下側に、表示部１０３が上側に配置されている場合を示しているが、これに限らず、撮像部１０１が上側で表示部１０３が下側に配置されている場合や、撮像部１０１と表示部１０３が左右に配置されている場合もある。従って、一般的には、次のように補正を行なう。すなわち、顔画像に対して、顔の中心から顔が向いている方向に離れるほど顔向き方向に垂直な方向の拡大率を増加させ、顔の中心から顔が向いている反対方向に離れるほど顔向き方向に垂直な方向の縮小率を増加させる補正を行なう。

図４は、図３のように補正するための、顔画像の中心からの距離と拡大率の関係をグラフにしたものである。横軸が顔画像の中心からの上下の距離で、縦軸が拡大率を表している。図５は、拡大率が複数存在するグラフを示す。図５Ａ、図５Ｂ、図５Ｃの順で拡大率の度合いが大きくなっている。これは、撮影部１０１から被写体（使用者）までの距離が異なると、表示部１０３を向く顔の角度が変わり、それを補正するには、当然ながら顔の向きズレを補正する拡大率の度合いも異なってくる。

このような顔画像の向きズレを補正する拡大率の度合いは、使用者が入力部１０５から入力する。このとき、補正画像を表示部１０３に表示して使用者が確認し、十分な補正であれば、その拡大率の度合いを確定する。このとき、補正画像を表示するときは「補正画像」等の表示を行い、使用者に補正画像であることを報知するとともに、拡大率の度合いも表示する。また、拡大率の度合いをメモリ部１０８に登録する。こうしておけば、使用者が次に補正をするときに、過去の拡大率の度合いをメモリ部１０８から読み出し表示部１０３に表示して、それを選択することができる。使用者は、入力部１０５を操作して、補正後の顔画像と補正前の顔画像を切り換えて表示できるようになっている。こうして、両方の顔画像を比較するとともに、補正パラメータを表示することにより、最適な補正パラメータを見つけ出す処理を簡略化できるとともに、処理にかかる時間を短縮できる。

さらに、メモリ部１０８に登録した拡大率の度合いの利用頻度をカウントしておき、利用頻度順に表示して使用者に選択させてもよい。また、予め拡大率の度合いを複数設定しておき、それらをメモリ部１０８に記憶しておいて、それらを表示部１０３に表示して使用者に入力部１０５を用いて選択させるものでもよい。

また、撮像部１０１と表示部１０３の距離が一定であることから、撮像部１０１から被写体（使用者）までの距離に応じて、拡大率の度合いを決定することが可能である。図１に示すように、距離測定部１０４により、撮像部１０１から被写体（使用者）までの距離を測定し、画像補正部１０２に出力する。メモリ部１０８には、撮像部１０１から被写体（使用者）までの距離に応じた拡大率の度合いを示すテーブルが格納されている。画像補正部１０２は、撮像部１０１から被写体（使用者）までの距離から、そのテーブルに基づいて拡大率の度合いを決定できる。こうして使用者が、入力部１０５から撮影画像の補正を指示したときは、自動的に拡大率を求めて顔画像の向き補正を行なうことができる。

図６は、表示部１０３に表示する場合に、画像補正部１０２によって画像を補正する手順を示すフローチャートである。

まず、撮像部１０１により被写体である使用者を撮影し、画像を取得する（Ｓ１）。次に、画像補正部１０２は、入力部１０５により、拡大率の度合い（補正パラメータ）を入力されたかを判断し（Ｓ２）、もし入力されたならば、その指示により補正パラメータを変更し（Ｓ３）、画像の歪みの補正を行う（Ｓ４）。入力がなければ、画像補正部１０２は、そのままの補正パラメータを変更することなく、画像の補正を行う（Ｓ４）。そして補正した画像を表示部１０３に表示し（Ｓ５）、補正パラメータを表示部１０３の画面に表示（Ｓ６）して終了する。

図７は、顔認識手段を持つことで、撮像手段から入力された画像から、補正を行う前に顔の大きさを最適な大きさに切り出す手順を示したフローチャートである。

まず、撮像部１０１により被写体を撮影し、画像を取得する（Ｓ１１）。次に、顔認識部１０６が、顔の大きさと場所の情報を取得する（Ｓ１２）。この顔認識は、肌色認識やパターンマッチング等の手法を用いて実現することができる。画像補正部１０２は、顔を予め設定しておいた所定の大きさに拡大縮小し（Ｓ１３）、その修正した画像に対して図７で説明した補正を行なう（Ｓ１４）。そして、補正した画像を表示部１０３に表示し（Ｓ１５）、終了する。

図８は、目・瞳検出手段を持つことで、表示手段と撮像との位置が異なるために生じる瞳の向きを補正する手順を示したフローチャートである。

まず、撮像部１０１により被写体を撮影し、画像を取得する（Ｓ２１）。次に、目・瞳抽出部１０７が、目の大きさと場所を取得する（Ｓ２２）。そして、画像を図７で説明した補正をしたあと（Ｓ２３）、瞳の黒目を補正する（Ｓ２４）。具体的には、表示部が撮像部より上にある場合、黒目が上を向いてしまう画像になるため、黒目を下側にずらして、真正面を向いているように補正を行う。そして、補正画像を表示し（Ｓ２５）、終了する。

本発明に係る撮影装置の一実施形態を示すブロック図である。 撮影装置を用いて使用者が自分の顔を撮影する場合の説明図である。 撮影された画像をどのように補正するかを説明する図である。 顔画像の中心からの距離と拡大率の関係をグラフにしたものである。 拡大率が複数存在するグラフを示す図である。 表示部に表示する場合に、画像補正部によって画像を補正する手順を示すフローチャートである。 顔認識手段を持つことで、撮像手段から入力された画像から、補正を行う前に顔の大きさを最適な大きさに切り出す手順を示したフローチャートである。 目・瞳検出手段を持つことで、表示手段と撮像との位置が異なるために生じる瞳の向きを補正する手順を示したフローチャートである。

符号の説明

１０１ 撮像部
１０２ 画像補正部
１０３ 表示部
１０４ 距離測定部
１０５ 入力部
１０６ 顔認識部
１０７ 目・瞳抽出部
１０８ メモリ部

Claims (11)

1. 使用者の顔を撮影して顔画像を取得する撮像手段と、
   前記撮像手段から離れた位置に配され、前記顔画像を表示する表示手段と、
   前記表示手段に表示された顔画像を使用者が見ることにより生じる前記顔画像の向きずれを補正する補正手段とを備えることを特徴とする撮影装置。
2. 請求項１記載の撮影装置において、
   前記補正手段は、顔画像に対して、顔の中心から顔が向いている方向に離れるほど顔向き方向に垂直な方向の拡大率を増加させ、顔の中心から顔が向いている反対方向に離れるほど顔向き方向に垂直な方向の縮小率を増加させる補正を行なうことを特徴とする撮影装置。
3. 請求項１又は２記載の撮影装置において、
   補正された顔画像と補正前の顔画像とを切り換えて前記表示手段に表示することが可能なことを特徴とする撮影装置。
4. 請求項３記載の撮影装置において、
   前記表示手段に補正手段によって補正された画像を表示する場合、表示された顔画像が補正画像であることを示す表示を行なうことを特徴とする撮影装置。
5. 請求項１乃至４のいずれかに記載の撮影装置において、
   補正手段が用いる補正パラメータを変更する入力手段を備えることを特徴とする撮影装置。
6. 請求項４記載の撮影装置において、
   前記補正手段が補正に用いた補正パラメータを記憶する記憶手段を備えることを特徴とする撮影装置。
7. 請求項１乃至４のいずれかに記載の撮影装置において、
   前記補正手段が補正に用いる補正パラメータを予め記憶する記憶手段を備えることを特徴とする撮影装置。
8. 請求項７記載の撮影装置において、
   前記撮像手段から被写体までの距離を測定する距離測定手段を備え、
   前記記憶手段は、前記撮像手段から被写体までの距離に対応する補正パラメータを予め登録しており、
   前記補正手段は、前記距離測定手段に測定された距離に基づいて、前記記憶手段から補正パラメータを読み出し補正することを特徴とする撮影装置。
9. 請求項５乃至８のいずれかに記載の撮影装置において、
   前記表示手段に補正手段によって補正された画像を表示する場合、使用した補正パラメータを表示することを特徴とする撮影装置。
10. 請求項１乃至９のいずれかに記載の撮影装置において、
    前記撮像手段により取得された画像から、顔部分の領域を認識する顔認識手段を備え、
    前記補正手段は、前記顔部分領域を拡大あるいは縮小して所定のサイズにすることを特徴とする撮影装置。
11. 請求項１乃至１０のいずれかに記載の撮影装置において、
    前記表示手段と撮像との位置が異なるために生じる瞳の向きを検出する瞳検出手段を備え、
    前記補正手段は、前記瞳検出手段により検出された瞳の向きを正面になるよう補正することを特徴とする撮影装置。
    
    

Images