JP2005100084A - 画像処理装置及び方法 - Google Patents

Abstract

【課題】
携帯型機器を利用する場合に、その機器の回転方向を意識しなくても適切な画面表示を行なえる画像処理装置及び方法を提供する。
【解決手段】
被写体の画像を撮影するための画像入力部Ｓ１０１と、撮影された画像中の被写体の顔領域を検出する顔検出部Ｓ１０２と、検出された顔領域の上下方向に応じて機器の表示部に対する相対的な顔の回転方向を判定する回転方向判断部Ｓ１０３と、当該画像の回転方向に合わせて表示すべき画像を回転させて表示する画面制御部Ｓ１０４とを有する画像処理装置。
【選択図】 図１

Description

本発明は撮像された画像に含まれる被写体の顔認識を利用した画像処理装置及び方法に関する。

手書き認識機能つき画面パソコン等いわゆるタブレットＰＣ、ＰＤＡ（携帯情報端末）、携帯電話、携帯型ゲーム機などの携帯型の情報機器装置において、表示画面を縦横に変更して使うことができるものがある（図面を使わないで文章のみの説明とする）。例えばタブレットＰＣでは、画面を回転させることが機能として備わっている。

しかしながら、これらの画面を回転させるためには、ユーティリティプログラムなどによって、回転させる方向をメニューから明示的に指示したり、操作ボタンを押したり、ペン型入力機能を用いて、ペンアクションとよばれる特殊なペン操作によって、ユーザが指示を行っていた。

しかしながら、ユーザが自由に機器の向きを変える場合には、その都度、回転の指示操作をコマンドとして入力しないと、画面が回転しないため、機器を持ち直したりする必要があった。

具体的には、画面の向きが異なるまま機器を手にとった場合を想定すると、画面内の表示の上下方向とユーザの視点の上下方向が一致しない場合があり、これを是正するためにユーザは改めて機器を持ちかえるか、画面内の表示の回転の指示を別途行わなければならないという問題があった。

またペンアクションによる情報機器装置に対するコマンド入力の場合は、ユーザは画面の表示方向に向かって、正しくコマンドを書き入れる必要がある。例えば、具体例としては、画面回転のコマンドとして、画面の表示方向を基準としてペンを動かす必要があるが、画面が回転してしまっている場合には、画面の表示方向との相対的な方向の関係から適正な方向であることをユーザが認識しながらコマンドを書き入れる必要がある。そのため、どのように入力すればよいかを画面の状況に応じて考える必要があるという煩雑さが存在し、直感的なインターフェースとはいえなかった。

一方、カメラ付き携帯型機器を利用して、テレビ電話、ビデオフォン通信を行う状況を考えた場合、機器を任意の向きに保持して利用している送信者のカメラの向きによっては、横向き、上下逆向きなどの撮影画像となってしまう。この場合、そのままの画像を受信側に送信すると、受信者は常に横に回転した送信者の顔画像や上下逆向きに回転した送信者の顔画像と対話しなくてはならない。したがって、送信者はどのような画像が送られるのかを意識、注意して装置を使う必要や、明示的にコマンド、設定を行う必要があった。

なお視線検出や顔向き検出装置を用いたＰＣの画面制御方法も知られており、この装置はユーザの顔画像を取得し、視線方向、顔向き方向を検出するものの、装置自体が回転するものではなく、装置自身や表示画像の回転によりユーザが不都合を生ずる問題に対して対応できなかった（例えば、特許文献１参照）。
特開平８−３２２７９６号公報

以上説明した通り、タブレットＰＣなどの携帯型の情報機器装置では、画面の向きにより機器本体を持ち替えなければならない等の問題があり、画面が回転する機能を有する機器であっても、回転の指示を都度行なわなければならない等の不都合があった。

本発明は、被写体の画像を撮影するための画像入力部と、撮影された画像中の被写体の顔領域を検出する顔検出部と、検出された顔領域の上下方向に応じて機器の表示部に対する相対的な顔の回転方向を判定する回転方向判断部と、当該画像の回転方向に合わせて表示すべき画像を回転させて表示する画面制御部とを有する画像処理装置を提供する。本発明において、前記画面制御部は、当該画像の回転方向に合わせて表示すべき画像を少なくとも９０度または１８０度回転させて表示することを特徴とする。

また本発明は、被写体の画像を撮影するための画像入力手段と、撮影された画像中の被写体の顔領域を検出する顔検出手段と、検出された顔領域の上下方向に応じて機器の表示部に対する相対的な顔の回転方向を判定する回転方向判断手段と、当該画像の回転方向に合わせて表示すべき画像を回転させて表示する画面制御手段とを有する画像処理方法を提供する。本発明において、前記画面制御手段は、当該画像の回転方向に合わせて表示すべき画像を少なくとも９０度または１８０度回転させて表示することを特徴とする。

本発明は、被写体の画像を撮影するための画像入力部と、撮影された画像中の被写体の顔領域を検出する顔検出部と、検出された顔領域の上下方向に応じて機器の表示部に対する相対的な顔の回転方向を判定する回転方向判断部と、当該画像の回転方向に合わせて表示すべき画像を生成する画像加工部とを有する画像処理装置を提供する。本発明において、前記画像加工部は、当該画像の回転方向に合わせて少なくとも９０度または１８０度回転させて表示すべき画像を生成することを特徴とする。

本発明は、被写体の画像を撮影するための画像入力手段と、撮影された画像中の被写体の顔領域を検出する顔検出手段と、検出された顔領域の上下方向に応じて機器の表示部に対する相対的な顔の回転方向を判定する回転方向判断手段と、当該画像の回転方向に合わせて表示すべき画像を生成する画像加工手段とを有する画像処理方法を提供する。本発明において、前記画像加工手段は、当該画像の回転方向に合わせて少なくとも９０度または１８０度回転させて表示すべき画像を生成することを特徴とする。

本発明では、携帯型の機器を利用する場合に、機器の画面の向きを意識せずとも、その機器を利用しているユーザの人間の顔の向きにあわせて、自動的に画面を回転表示、または画像送信、保存のためにカメラの入力画像を加工することで、機器の向き意識せずに利用できる画像処理装置及び方法を提供することが可能となる。また煩雑なコマンド入力を行わずとも、任意の方向で機器を利用できるため、より直観的で自然な操作が可能な携帯情報機器を提供できる。

以下、図面を参照して、本発明の実施例を説明する。
（実施例１）
本実施例では、画面に対する顔の回転方向に対して正方向に表示を行うことについて述べる。実施例として、タブレットＰＣに小型カメラが搭載された形態での実現方法について説明する。システムの構成例としては、図１（ａ）に示したように、画像入力部（Ｓ１０１）、顔向き検出部（Ｓ１０２）、回転方向判断部（Ｓ１０３）、画面制御部（Ｓ１０４）からなる。装置全体の外観構成を図１（ｂ）に示す。装置本体の前面に表示部が設けられており、表示部の周囲にカメラ、電源スイッチ、状態表示ランプなどが配置される。

本装置は、ユーザに対する本体の向き（置き方、持ち方）により、表示を変更することができる。例えば図２（ａ）に示す如く、ユーザに向かってカメラが横位置になるような（例えば図面では左側）向き、すなわち装置本体の長手方向がユーザに近い位置に置かれる場合には、画面が横長になるように表示内容が表示部に表示される（ランドスケープ表示モード）。また図２（ｂ）に示す如く、ユーザに向かってカメラが縦位置になるような（例えば図面では上側）向き、すなわち装置本体の短手方向がユーザに近い位置に置かれる場合には、画面が縦長になるように表示内容が表示部に表示される（ポートレート表示モード）。

概略的には、カメラから取得された画像と予め用意された顔画像テンプレートとを比較して顔領域を求め、検出されたユーザの顔領域の頭部方向を機器本体の表示画面の上方として、表示画面を制御するものである。以下詳細に説明する。
＜画像入力部＞
ここで画像入力部Ｓ１０１は、装置の使用者（ユーザ）である人の顔画像を撮影して、装置に画像データを入力するための装置である。図３（ａ）に構成を示す。CCD/CMOSカメラなどの撮像素子から入力された人の顔画像は、A/D変換部でデジタルデータに変換された後、一旦メモリに蓄積される。メモリに蓄積された画像データは後段の顔向き検出部Ｓ１０２で画像処理される。

なお装置本体と画像入力部（特に撮像素子）との関係は、図２（ｂ）に示したように、装置本体に一体的に取り付けられる（カメラ内蔵型）ように構成してもよいし、図２（ｃ）の如く、装置本体と分離可能な外付け型のとしても良い。この場合には、ＵＳＢ接続のカメラのように脱着可能な構成とすることができる。装置の用途に応じてカメラの解像度（画素数など）を適宜変更することが可能となる。また、画像入力部の数に関しては特に限定はなく、単一のカメラを装備するとしても良いし、複数の画像入力部を備えても良いものとする。

次にユーザが機器を持つ方向を変化させた場合に、ユーザに対する装置本体の向きと画像入力部により撮像される画像との関係について、図４を用いて説明する。図４は、携帯情報機器（例えばタブレットＰＣ）とユーザとの相対的な位置に応じて撮像される画像（上段）と、その際のユーザに対する携帯情報機器本体の向きを模式的に表したもので、例えば、機器本体に装備された画像撮影用のカメラが横位置になり、ユーザに対して機器本体の長手方向が手前になるように配置された場合を（ａ）とする。これを基準として、（ａ）を回転角０度とした場合、（ｂ）を回転角９０度（（ａ）の配置からみて右９０度回転した位置）とする。（ｃ）は回転角１８０度（（ａ）の配置からみて１８０度回転した位置、）の例であり、機器本体に装着されたカメラが横位置（ユーザに対して左側）となり、ユーザに対して機器本体の長手方向が手前になるような配置である。また（ｄ）は、（ａ）を基準として２７０度機器本体を右に回転させて（または（ａ）を基準として９０度だけ機器本体を左に回転させて）配置した例である。これらの配置に対応して、撮像されるユーザの顔画像の例を図示している。ここで参考のため、図面中、機器本体、撮像画像の近くに矢印を示した。矢印の方向が上方向となる。このように取得された画像を、機器本体の配置に応じて画像処理し、機器に対してのユーザの顔の回転方向を判断することにより、どのように画面を回転して表示すればよいかを制御することが可能になる。
＜顔検出部＞
顔検出部では、画像入力部で得られた画像に対して顔画像解析を行い、顔領域が画像中のどの部分にどのような向きに存在しているかを求める機能を有する。入力画像からユーザの顔領域を求める方法は、顔領域の検出手法の性能により、大きく２つの方法が考えられる。

一つは、顔領域検出の手法自体が画像の回転に対応していない場合である。すなわち、図６に示した画像を例にして説明すると、機器本体が取得可能な画像のうち、機器本体に対するユーザの向きが特定の方向を示す場合に取得された画像（例えば図６（ａ）に対応する状況の下で取得された画像）に対して有効な顔検出を行なうことができる（一般的には、正方向の顔画像に対して顔領域の検出を行なうことができるとする場合。これを方式Ａと呼ぶ）。

まず方式Ａについては、正方向の顔画像を取得できた場合に顔領域を検出可能なアルゴリズムを利用する。この場合は、一般的には機器本体に対するユーザの向きが分からず、したがって取得された画像中の顔向き、上下方向が分からないため、顔向きが回転するであろう可能性の高い４つの方向に取得された画像を回転させ、その後回転された画像を処理することによって、顔向きを検出しようとするものである。

具体的には図５に示すフローチャートに従って処理される。取得された画像を所定方向に回転変換させた複数の画像を生成する（Ｓ５０１参照）。例えば有るタイミングにおいて機器本体とユーザとの位置関係が機器本体の短手方向が手前で、長手方向が上下方向となるように機器本体が保持されている場合を想定する（図６（ｅ）参照）。この姿勢で取得された画像（図６（ａ））に対して、３つの回転角度(90度、180度、270度)の回転変換を施し、全部で原画像含めて４つの画像を得る（図６（ａ）、（ｂ）、（ｃ）、（ｄ））。これらの４種類の画像について、それぞれ一定方向の顔向き検出を行なうためのテンプレートマッチング処理を行なう。この場合に、入力画像を回転させた画像に対しては、それぞれの画像領域に対応したテンプレートマッチングの探索領域を設定することが必要である。例えば図６（ａ）と図６（ｃ）は横長の画像であるから、横長の探索領域を設定する。また図６（ｂ）、図６（ｄ）は縦長の画像であることから、縦長の探索領域を設定する。

次に、それぞれの画像に対し顔検出処理を行う（図５のＳ５０２）。検出方法は、あらかじめ用意された顔検出のためのテンプレートを、画像中を移動させながら類似度を求めることによって、最も高い類似度もった場所を顔領域とするテンプレートマッチングを基本に考える。具体的には図７（ａ）に示す如く、固定の大きさのテンプレート画像を予め用意しておき、取得された画面中を走査して、テンプレート画像と走査された領域の画像との一致度を求め、最も一致度の高い画像中の領域を特定するものである。

類似度の計算方法としては、正規化相関や、Eigenface法、部分空間法を利用してパターン同士の距離や類似度を求めればよい。このような類似度の高い場所を抽出するの顔検出手段については方法は問わない。また画像を撮像するためのカメラとユーザとの空間的位置や角度を考慮して、複数方向から取得した顔のテンプレートを用意、利用しても良い。このように複数の方向から取得した顔のテンプレートを用いることにより、ユーザに対して見上げるような位置で顔画像を取得した場合や、ユーザがカメラに対して正面を向いていない状態（例えば斜め横方向を向いていた状態）で顔画像を取得した場合等でも、下向き（または上向き）のテンプレートや、斜め右向き（または斜め左向き）のテンプレートを併せて用意しておくことにより、より一致度の高いテンプレートを選択して、テンプレートマッチングの精度を高めることが可能となる。

また利用環境によってユーザと撮像するためのカメラとの位置関係が異なることがある。例えば、カメラの撮像領域からはみ出すほどユーザとの距離が近く、ユーザが近接した位置で顔画像を撮像すると、ユーザの顔の一部しか画像を取得できず、顔または頭の全体の画像を取得することができなかったり、逆にカメラとユーザとの距離が大きい場合には、小さい顔画像しか取得できず、カメラの撮像領域に対して十分な解像度の顔画像を取得できない場合がある。このような場合にテンプレートマッチングの精度を高めるために、
前述の通り、顔領域の大きさの異なる複数の顔画像のテンプレート画像を予め用意しておく方法の他、顔領域のテンプレート画像またはカメラから取得された入力画像を拡大または縮小して生成されるピラミッド画像に対してテンプレートマッチングを行うことで対応できる。例えば図７（ｂ）には、テンプレートマッチング処理を行なうため、取得された入力画像を拡大・縮小して解像度の異なる複数の画像を階層的に準備する場合の例を示す。こうして階層的に準備された入力画像に対してテンプレートマッチング処理を行なうことにより、入力画像における顔画像領域の大きさが変動する場合にも、テンプレート画像との一致度を高め、顔向き検出精度を向上することが可能となる。

テンプレートマッチングの結果、画像の回転角度の情報、検出された顔画像領域の取得画像中の位置、大きさ、マッチングの際の類似度等を評価基準として出力する（図５のＳ５０３参照）。

次に、方法Ｂの場合について述べる。方法Ｂの顔検出手法では、顔が回転している場合でも検出することが可能なアルゴリズムを用いることを特徴とする。例えば、文献（Henry A. Rowley, Shumeet Baluja, Takeo Kanade: Rotation Invariant Neural Network-Based Face Detection. IEEE Proc. CVPR 1998:38-44） では、回転した顔画像を学習し複数のテンプレートを利用することによって、任意の回転方向の顔領域を検出できる。また同様の手法の実現方法としては、取得された画像の回転を、方法Ａのように、９０度毎に４方向とするのではなく、さらに細かな回転角度（例えば、４５度毎、３０度毎、１５度毎、１０度毎など）を設定し、多数の回転画像を作成してテンプレートマッチングを行うという方法でもよい。

これらの高機能な顔検出機能を利用すると、画像を回転した場合に検出される顔領域の位置と、画像の回転角が算出され、その処理結果を顔回転方向判断部に送ることになる。処理結果の内容としては、顔の回転角度、顔領域の位置、大きさ、マッチングの際の類似度などである。
＜（顔）回転方向判断部＞
回転方向判断部では、顔検出部によって検出された顔の位置、回転方向などの情報と共に、機器本体に取り付けられたカメラの位置を考慮して、機器との相対的なユーザの顔画像の回転方向を算出する。図８のフローチャートを参照して、処理の流れを説明する。

方式Ａ（図８（ａ））では、入力された原画像とこの画像を９０度毎に回転して得られた３つの画像、合わせて４つの画像に対して予め登録された顔画像テンプレートとの比較・照合を行ない（顔向き検出処理）、顔向き検出結果を得る（Ｓ８０１参照）。その結果を受け取った後、４つの画像間での検出結果を比較し、これらの画像間の整合性を検証する（Ｓ８０２参照）。具体例としては、精度良く顔向き検出できた場合には４種類の画像のうち、３つの画像からは顔領域が検出されず、保存されたテンプレート画像と顔向きの一致する残りの１つの画像のみから顔領域が検出されるはずである。しかし実際には、取得された画像品質が十分ではなかったり、顔向き検出処理の不具合により、一つの画像の複数箇所から複数の顔領域が検出されたとする結果が得られたり、別の複数の（回転）画像について、それぞれ顔領域検出できたとする結果を得たりするおそれがある。この場合は、それぞれの顔領域の検出結果に付随するマッチングの類似度（テンプレートとの一致度）を評価基準として利用し、最大のマッチング類似度を持つ顔領域を一つだけ選択する。

次に、機器本体のどの部分にカメラがついているのかを検知し、これを補正する処理を行なう（Ｓ８０３、Ｓ８０４参照）。例えばカメラ内臓型の場合は、本体におけるカメラ位置が変化することはないが、ＵＳＢ機器などによる本体外付型の場合は、ＰＣ側で複数のＵＳＢ端子を備えているなど、カメラの取り付け位置によって撮影される画像が異なる
場合がある。よって機器本体との相対的な回転角度の計算が異なることもある。更にカメラ外付型の場合は、機器本体のカメラ取り付け可能位置自身が複数存在することも考えられるため、カメラの取り付け位置を検出した上で、相対的な回転角度の計算式を変更することが必要である。具体的にはカメラの取り付け位置に応じてあらかじめ設定された計算式やテーブルを複数用意しておき、その中から選択して利用することが可能である。

最後に顔向き検出処理の結果から、機器本体に対する相対的な顔領域の回転角度を計算する（Ｓ８０５参照）。すなわち４つの画像のうち、顔領域が含まれる画像の回転角度θを０度、９０度、１８０度、２７０度のいずれかとする。図３（ｂ）に示す如く、カメラ内蔵型を例にすると、先のカメラ位置の検知結果で得られる計算式は、（３６０−θ）度であり、その計算式により、機器の回転角度を求めることができる。これによって計算した機器の回転角度を画面制御部に送ることで処理が終了する。また計算式ではなく、顔画像から検出された顔の回転角度（顔向き）に対応する機器本体の姿勢（回転角度）をテーブルとして蓄え、画像として合致する顔の回転角度に対応する機器本体の回転角度を算出してもよい。

次に、先の顔検出部で方式Ｂを採用した場合について述べる。この方式の場合、検出対象とする画像は１枚だけである。しかしながら、一つの画像に対して誤って複数の顔領域を検出してしまう場合が存在することや、顔領域の検出角度（回転角度）を先の４方向よりも自由に設定することが可能であるため、４方向以外の方向についても回転方向（顔向き）を誤検出するおそれがあることなどが問題となる。

まず、一つの画像に対して誤って複数の顔領域（候補）を検出した場合には、先の方法と同様に、複数の顔領域候補の内、最大のマッチング類似度を持つものを１つだけ選択する。また回転方向（顔向き）の検出角度のについては、画像から求められた検出角度をθBとした場合、
θB−α1≦θ≦θB＋α2
の如く、一定の範囲内にあるθを回転角度として判定する（α1＝α2でも可）。その後の処理は同様に機器がどれだけ回転しているかを求め、その検出された角度を画面制御部に送る。
＜画面制御部＞
画面制御部では、求められた機器本体の回転角度に基づいて、相対的な顔の回転角度にあわせ、画面の表示を回転する。実施例で説明するタブレットＰＣでは、ディスプレイコントローラに画面表示の回転機能を有し、またＯＳ（オペレーティングシステム）でその画面全体の回転を制御するライブラリ機能が提供されている。

図９のフローチャートを参照して手続きを説明する。回転方向判断部で求められた機器本体の回転角度から相対的な顔方向から算出した機器本体の回転方向結果を読み取る（Ｓ９０１）。その回転方向結果に対して、現在の画面回転のパラメータを検出して、画面表示を回転させるように、ＯＳのライブラリ関数を呼び出す（Ｓ９０２以下、Ｓ９０４）。具体例としては、最新のWindow型のオペレーティングシステムの場合には、例えばDM_DISPLAYORIENTATIONフラグとパラメータを設定して、ChangeDisplaySetting関数を呼び出すことで実現できる。この場合、既にその回転方向に画面が回転している場合（Ｓ９０３、すなわち顔画像検出により求められた顔画像の頭部方向（上方向）と、画面表示内容の上方向とが一致する場合）には、新たな回転は不要であり、関数の呼び出しも不要であるため、先に現在の画面の回転方向を判断してから画面表示の回転処理を実行する。これにより、ユーザが明示的な指示を与えずとも、相対的にカメラに撮影される顔の回転方向から自動的に画面を回転させることができる。
（実施例２）
実施例２では、携帯電話やＰＣによるビデオフォンなどへの応用を考え、機器とユーザ
との相対的な顔の回転方向を意識しないで、常に機器に対する顔の方向に対して正方向（正面方向、視覚と画面表示の上下関係が一致する方向）の画像を回転変換した画像系列を作成する機能を付加することにより、より自然な対面対話を可能にする方法について述べる。

実施例１で述べた機能を実現すると、ユーザが機器本体を回転させることを意識することなく、画像内容の上下関係と画面表示の上下関係を一致させ、正しく画面表示が行われる。ここでビデオフォン（例えば双方向のテレビ電話、３人以上同時通信を実現するテレビ会議）を実行する場面を考える（図１０参照）。すなわち送信者（通話者の一方）が機器本体を横向きに手に持ってリアルタイムのビデオ通信を行うと、カメラには顔が横向きに回転したまま撮影される（１００１）こととなり、その画像を相手側に送信してしまうと、受信側では、常に顔が横に回転したままでの通信を強いられることになる（１００２）。

この場合も、送信側で画像中の顔領域を検出し、機器本体に対する顔の相対的な回転方向を検出することにより、カメラからの入力画像を回転させ、画像内容の上下関係と画面表示に対する上下関係を一致させた後、クリッピング処理を行ない、送信すべき画像を受信側の表示部の縦横比、サイズ等に合うように調整して画像通信を行えば（１００３）、受信側の画面表示部の上下関係と画像内容の上下関係が一致し、受信側が負担を感じることなくテレビ電話やテレビ会議の通信ができるようになる（１００４）。

またテレビ電話やテレビ会議のようなリアルタイムの画像通信ではなく、デジタル（スチル）カメラやデジタルビデオカメラで撮影された画像を保存、送信する際にも、被写体に応じてカメラの向きを変えて撮像することがある。この場合にも撮影された画像の回転した画像を表示、保存することが必要となるため、同様の機能を用いることにより、送信側で画像を回転させ、受信側の画像表示の上下と一致させることが可能となる。

以上の実施例では、画像の送信側で撮影された画像について、送信側で画像から顔領域を検出することにより、顔向き、回転方向、角度を判定して画像を回転させていたが、同様の処理を受信側で行なうことも可能である。具体的には受信された画像信号を復号して表示可能な画像を再生した後、その再生画像について顔画像検出処理を行なうことにより、顔向き検出を行ない、再生画像の上下関係を特定して、受信側の画像表示部の上下関係と一致するように、再生画像を回転させるように処理すれば良い。

次に手続きのフローチャートを図１１に示す。撮影された画像を入力し（Ｓ１１０１）、先に述べた方法（テンプレートマッチング等）によりその画像内の顔画像の向きを検出し（Ｓ１１０２）、画像内の顔領域の上下関係から画像の回転方向を判断し（Ｓ１１０３）、画像表示部の上下関係と画像内容の上下関係を一致させるよう画像の回転させる制御を行なう（Ｓ１１０４）。画像表示の上下と画像内容の上下が一致する場合には、回転処理を施すことなく処理を終了する。これらの処理を実現するために、本実施例においては、画面回転部の構成に変更を加えた画像加工部Ｓ１１０４を導入する。
＜画像加工部＞
画像加工部では、回転方向判断部から、顔領域の位置、大きさなどの情報を受け取り、その顔領域が正方向（上方向）に向くように画像を加工する。処理の流れを図１１に示す。

まず、回転方向判断部から、入力された画像に含まれる顔領域の位置、大きさ、回転方向の情報を受け取る（Ｓ１２０１）。次に、回転処理すべき画像（カメラにより撮影された入力画像）を読み込む（Ｓ１２０２）。この場合、既に回転処理を行ったものが、顔検出部で作成されている場合には、その回転変換後の画像を利用してもよい。次に画像表示
部の大きさに対応して、処理結果画像の大きさを読み込み、画像のクリッピング位置、変換係数等のパラメータを算出する（Ｓ１２０３）。算出したパラメータに基づいて、入力された画像を変換加工し、外部に出力する（Ｓ１２０４）。出力された結果（画像系列）は、ビデオ通信機能やビデオ保存機能に出力される。
（変形例）
本実施例では、タブレットＰＣを例に説明を行ったが、カメラ付きの（あるいは外付けのカメラを接続可能な）携帯情報端末（ＰＤＡ）、携帯電話、携帯ゲーム機、電子ブック、そのほかの画像表示可能な携帯機器、または移動型ロボットなど、ユーザに対して自由に表示部の方向が変化するものに適用可能である。また携帯情報機器に限定しなくてもよく、卓上の機器、例えばデスクトップＰＣや、据え置き型テレビなどに応用しても構わない。

また画像を撮像するカメラが複数でもよい。複数の場合、見えている方を利用して画像認識を行うなどの変形が考えられる。以上、本発明はその趣旨を逸脱しない範囲で種々変形して実施することが可能である。

また本発明の実施においては、これまで説明した処理を常時機能させておくことが基本となるが、画像処理のコスト、消費電力等を考慮して、カメラのキャプチャするフレームレートを低下させる（撮像枚数を減らす、撮像間隔を大きくする）ことで画像転送の処理量を削減したり、比較的計算コスト（処理）の低い差分処理による動作検出を併用し、機器（カメラ）が移動した場合のみ、顔向き認識の計算を行い、機器またはカメラが動かないで使用される場合には上記処理を停止するなどの処理を追加してもよい。

本発明の第１の実施例のシステム構成を示す図 本発明を適用した場合の表示例を示す図 画像入力部の構成、本体への装備例を示す図 機器と撮像される画像の位置関係を示す図。 方法Ａのフローチャートを示す図 方法Ａの動作原理を説明するための図 テンプレートマッチングの原理を説明するための図 回転方向判断部のフローチャートを示す図 画面制御部のフローチャートを示す図 本発明の第２の実施例の動作原理を説明するための図 本発明の第２の実施例のシステム構成を示す図 画像加工部のフローチャートを示す図

符号の説明

Ｓ１０１…画像入力部
Ｓ１０２…顔向き検出部
Ｓ１０３…回転方向判断部
Ｓ１０４…画面制御部

Claims (8)

1. 被写体の画像を撮影するための画像入力部と、撮影された画像中の被写体の顔領域を検出する顔検出部と、検出された顔領域の上下方向に応じて機器の表示部に対する相対的な顔の回転方向を判定する回転方向判断部と、当該画像の回転方向に合わせて表示すべき画像を回転させて表示する画面制御部とを有する画像処理装置。
2. 前記画面制御部は、当該画像の回転方向に合わせて表示すべき画像を少なくとも９０度または１８０度回転させて表示することを特徴とする請求項１記載の画像処理装置。
3. 被写体の画像を撮影するための画像入力手段と、撮影された画像中の被写体の顔領域を検出する顔検出手段と、検出された顔領域の上下方向に応じて機器の表示部に対する相対的な顔の回転方向を判定する回転方向判断手段と、当該画像の回転方向に合わせて表示すべき画像を回転させて表示する画面制御手段とを有する画像処理方法。
4. 前記画面制御手段は、当該画像の回転方向に合わせて表示すべき画像を少なくとも９０度または１８０度回転させて表示することを特徴とする請求項３記載の画像処理方法。
5. 被写体の画像を撮影するための画像入力部と、撮影された画像中の被写体の顔領域を検出する顔検出部と、検出された顔領域の上下方向に応じて機器の表示部に対する相対的な顔の回転方向を判定する回転方向判断部と、当該画像の回転方向に合わせて表示すべき画像を生成する画像加工部とを有する画像処理装置。
6. 前記画像加工部は、当該画像の回転方向に合わせて少なくとも９０度または１８０度回転させて表示すべき画像を生成することを特徴とする請求項５記載の画像処理装置。
7. 被写体の画像を撮影するための画像入力手段と、撮影された画像中の被写体の顔領域を検出する顔検出手段と、検出された顔領域の上下方向に応じて機器の表示部に対する相対的な顔の回転方向を判定する回転方向判断手段と、当該画像の回転方向に合わせて表示すべき画像を生成する画像加工手段とを有する画像処理方法。
8. 前記画像加工手段は、当該画像の回転方向に合わせて少なくとも９０度または１８０度回転させて表示すべき画像を生成することを特徴とする請求項７記載の画像処理方法。

Images