JP5772540B2 - 携帯型端末装置、エリア指定方法及びエリア指定プログラム - Google Patents

Description

開示の技術は、例えば携帯型端末装置、エリア指定方法及びエリア指定プログラムに関する。

例えばスマートフォンなどの携帯型端末装置を周辺機器と連携させる場合、携帯型端末装置に周辺機器のＩＰアドレスやＭＡＣアドレス等を入力して、ターゲットとなる周辺機器を指定しなければならない。このような作業を省略するために、利用者が実世界で見ている物体、即ち周辺機器を直接ポインティングし、物体に紐づいた情報を取得する物体指定技術が開発されている。

物体指定技術としては、例えば、物体に貼り付けられた光ＩＤタグに光ビームを照射し、光ＩＤタグでの光ビームの反射光に基づき、光ＩＤタグの識別情報を読み取るＩＤリーダが開示されている。従来技術にかかる光ＩＤタグは、光ＩＤリーダから放射された光ビームを、光ＩＤタグのメモリに記憶された識別情報で変調することで、光ＩＤタグの反射光に識別情報を付加する。このため、ＩＤリーダは、光ＩＤタグの反射光を受信することで、光ＩＤタグの識別情報を取得することができる。

特開２００６−１１９４８号公報

ところで、従来技術にかかるＩＤリーダによれば、光ＩＤタグに光ビームを照射しなければならない。しかし、遠隔地にある光ＩＤタグに光ビームを正確に照射することは容易ではない。

開示の技術は、撮影画像からターゲットのエリアを指定できる携帯型端末装置、エリア指定方法及びエリア指定プログラムを提供する。

開示の技術の一観点によれば、携帯型端末装置に於いて、カメラにより撮影された複数の撮影画像のうち、表示画面に表示する表示画像を決定する決定部と、前記携帯型端末装置の、前記表示画面の法線に交差する平面内に規定される第１の軸及び第２の軸を中心とする第１の角速度及び第２の角速度を取得する第１の取得部と、前記第１の角速度及び前記第２の角速度に基づき、前記携帯型端末装置の前記第１の軸及び前記第２の軸を中心とする第１の回転量及び第２の回転量を算出する第１の算出部と、前記第１の回転量及び前記第２の回転量に基づき、前記表示画面の範囲に包含され、前記カメラの光軸に連動する座標を算出する第２の算出部と、前記表示画像の前記座標にポインタを重畳する重畳部と、前記ポインタが重畳された前記表示画像を前記表示画面に表示する表示部と、前記表示画像から前記ポインタを包含する画像領域を抽出する抽出部と、を備える携帯型端末装置が提供される。

開示の技術によれば、撮影画像からターゲットのエリアを指定することができる。

第１の実施形態にかかるスマートフォンの斜視図である。 第１の実施形態にかかるスマートフォンのハードウェアの概略図である。 第１の実施形態にかかるコントローラの機能ブロックの概略図である。 第１の実施形態にかかるコントローラによる処理のフローチャートである。 第１の実施形態にかかるスマートフォンの動きにより表示画面に表示されるポインタの軌跡の概略図である。 第１の実施形態にかかるスマートフォンを動かして、表示画像から画像領域を抽出する抽出プロセスの概略図である。 第１の実施形態にかかる表示画像決定部の機能ブロックの概略図である。 第１の実施形態にかかるスマートフォンの動きに由来する加速度の動き成分のグラフ及びスマートフォンの加速度の動き成分から算出されたＳＭＡ値のグラフである。 第１の実施形態にかかる表示画像決定部による処理のフローチャートである。 第１の実施形態にかかる画像比較部の機能ブロックの概略図である。 第１の実施形態にかかるテンプレート記憶部に記憶されているテンプレートのデータベースの概略図である。 第１の実施形態にかかる画像比較部によるマッチングの概略図である。 第２の実施形態にかかるコントローラの機能ブロックの概略図である。 第２の実施形態にかかるサイズ調整部の機能ブロックの概略図である。 第２の実施形態にかかるサイズ調整部による処理のフローチャートである。 第２の実施形態にかかる画像領域のサイズを調整するサイズ調整プロセスの概略図である。 第２の実施形態にかかる画像領域のサイズを調整するサイズ調整プロセスの概略図である。 第３の実施形態にかかるコントローラの機能ブロックの概略図である。 第３の実施形態にかかるサイズ調整部の機能ブロックの概略図である。 第４の実施形態にかかるコントローラの機能ブロックの概略図である。 第４の実施形態にかかる画像領域抽出部の機能ブロックの概略図である。 第４の実施形態にかかる画像領域抽出部による処理のフローチャートである。 第４の実施形態にかかる最適な画像領域を抽出する抽出プロセスの概略図である。 第５の実施形態にかかるコントローラの機能ブロックの概略図である。 第５の実施形態にかかる表示画像決定部の機能ブロックの概略図である。 第５の実施形態にかかる表示画像決定部による処理のフローチャートである。 第６の実施形態にかかるスマートフォン及びサーバの概略図である。

［第１の実施形態］
以下、図１−図１２を参照しながら、第１の実施形態を説明する。

（スマートフォン１０の概略）
図１は、第１の実施形態にかかるスマートフォン１０の斜視図である。

図１に示すように、本実施形態にかかるスマートフォン１０は、矩形箱型の筺体１１と、長方形型の表示画面１２と、丸型の操作ボタン１３と、を備える。なお、本実施形態では、スマートフォン１０を説明するが、カメラ機能を搭載する携帯性端末であれば、スマートフォン１０に限定されるものではない。

本実施形態にかかるスマートフォン１０は、相互に直交する３軸、即ちｘ軸、ｙ軸、ｚ軸が規定されている。なお、図示するように、ｘ軸は、表示画面１２の長手方向に、ｙ軸は、表示画面１２の短手方向に、ｚ軸は、表示画面１２の直交方向に、それぞれ延在している。

（スマートフォン１０のハードウェア）
図２は、第１の実施形態にかかるスマートフォン１０のハードウェアの概略図である。

図２に示すように、本実施形態にかかるスマートフォン１０は、コントローラ２１、メモリ２２、フラッシュメモリ２３、通信モジュール２４、リアルタイムクロック２５、ディスプレイ２６、カメラ２７、慣性センサ２８を備える。

コントローラ２１、メモリ２２、フラッシュメモリ２３、通信モジュール２４、リアルタイムクロック２５、ディスプレイ２６、カメラ２７、慣性センサ２８は、例えばバスＢにより相互に接続されている。

コントローラ２１は、フラッシュメモリ２３に格納された各種プログラムを読み出して、メモリ２２に展開するとともに、該メモリ２２に展開された各種プログラムを実行することで、各種機能を実現する。各種機能の詳細は、後述することとする。

メモリ２２は、コントローラ２１によりフラッシュメモリ２３から読み出された各種プログラムを記憶する。さらに、メモリ２２は、例えば画像記憶部２５０、テンプレート記憶部２５１、表示画像記憶部２５２、特徴量記憶部２５３、として機能して、コントローラ２１により各種機能が実行されるときに使用される各種データなどを記憶する。画像記憶部２５０、テンプレート記憶部２５１、表示画像記憶部２５２、特徴量記憶部２５３の詳細は、後述することとする。

フラッシュメモリ２３は、スマートフォン１０の動作を制御するための各種プログラムを記憶する。本実施形態にかかるエリア指定プログラムもフラッシュメモリ２３に記憶されている。なお、本実施形態では、フラッシュメモリ２３を使用しているが、不揮発性メモリであれば、これに限定されるものではない。

通信モジュール２４は、後述する表示画像Ｉから抽出された画像領域Ｒの画像情報を、例えばスマートフォン１０の通信機能により、例えば外部のサーバＳに送信する。さらに、通信モジュール２４は、周辺機器Ａ、Ｂ…のそれぞれに紐づけられた情報、例えば周辺機器Ａ、Ｂ…の識別情報や、周辺機器Ａ、Ｂ…の操作プログラムなどを、例えば外部のサーバＳから受信する。

リアルタイムクロック２５は、例えば、コントローラ２１のイベントタイマ（図示しない）の校正や、例えば複数の撮影画像から表示画像Ｉを取得するために使用される。

ディスプレイ２６は、筺体１１の内部に配置され、筺体１１の前面から表示画面１２を露出させている。ディスプレイ２６の種類は、特に限定されるものではないが、表示画面１２には、タッチスクリーン（図示しない）が貼り付けられている。

カメラ２７は、筺体１１の内部に配置され、筺体１１の後面からレンズユニット（図示しない）を露出させ、筺体１１の後側、即ち該ディスプレイ２６の表示画面１２とは逆側を撮影する。但し、本実施形態は、これに限定されるものではなく、例えば筺体１１の前面からカメラ２７のレンズユニット（図示しない）を露出させ、筺体１１の前側を撮影させても良い。

慣性センサ２８は、加速度センサ２８ａ及びジャイロセンサ２８ｂを備える。本実施形態では、加速度センサ２８ａ及びジャイロセンサ２８ｂを、慣性センサ２８の１パッケージに組み込んでいるが、別々のパッケージとしても良い。

加速度センサ２８ａは、スマートフォン１０のｘ軸、ｙ軸、ｚ軸の軸方向の加速度、即ち第１の加速度ａ_ｘ、第２の加速度ａ_ｙ、第３の加速度ａ_ｚを、それぞれ検知する。但し、スマートフォン１０の姿勢によっては、第１の加速度ａ_ｘ、第２の加速度ａ_ｙ、第３の加速度ａ_ｚが、スマートフォン１０の動きに由来する動き成分のほかに、地球の重力成分を含むこともある。

ジャイロセンサ２８ｂは、スマートフォン１０のｘ軸、ｙ軸、ｚ軸を中心とする角速度、即ち第１の角速度ω_ｘ、第２の角速度ω_ｙ、第３の角速度ω_ｚを検出する。なお、第１の角速度ω_ｘ、第２の角速度ω_ｙ、第３の角速度ω_ｚは、スマートフォン１０の動きに由来する動き成分の他に、ジャイロセンサ２８ｂのドリフトに由来するドリフト成分を含むこともある。

（コントローラ２１の機能ブロック）
図３は、第１の実施形態にかかるコントローラ２１の機能ブロックの概略図である。

図３に示すように、本実施形態にかかるコントローラ２１は、加速度取得部２１１、角速度取得部２１２、角度算出部２１３、座標算出部２１４、画像取得部２１５、表示画像決定部２１６、ポインタ重畳部２１７、画像表示部２１８、画像領域抽出部２１９、画像比較部２２０、情報取得部２２１、時間管理部２２２、画像記憶部２５０、テンプレート記憶部２５１、表示画像記憶部２５２、特徴量記憶部２５３を備える。

加速度取得部２１１、角速度取得部２１２、角度算出部２１３、座標算出部２１４、画像取得部２１５、表示画像決定部２１６、ポインタ重畳部２１７、画像表示部２１８、画像領域抽出部２１９、画像比較部２２０、情報取得部２２１、時間管理部２２２、画像記憶部２５０、テンプレート記憶部２５１、表示画像記憶部２５２、特徴量記憶部２５３は、何れもメモリ２２に展開されたエリア指定プログラムに基づき、コントローラ２１により実現される。

加速度取得部２１１は、慣性センサ２８の加速度センサ２８ａにより検出された加速度、即ちｘ軸の軸方向の第１の加速度ａ_ｘ、ｙ軸の軸方向の第２の加速度ａ_ｙ、ｚ軸の軸方向の第３の加速度ａ_ｙ、を所定時間ごとに、例えば２０［ｍｓ］ごとに取得する。

角速度取得部２１２は、慣性センサ２８のジャイロセンサ２８ｂにより検出された角速度、即ちｘ軸を中心とする第１の角速度ω_ｘ、ｙ軸を中心とする第２の角速度ω_ｙ、ｚ軸を中心とする第３の角速度ω_ｚ、を所定時間ごとに、例えば２０［ｍｓ］ごとに取得する。

角度算出部２１３は、角速度取得部２１２により取得された第１の角速度ω_ｘ、第２の角速度ω_ｙ、第３の角速度ω_ｚに基づき、ｘ軸を中心とする第１の角度θ、ｙ軸を中心とする第２の角度φ、ｚ軸を中心とする第３の角度ψを、それぞれ算出する。

第１の角度θ、第２の角度φ、第３の角度ψは、表示画像決定部２１６により表示画像Ｉが決定されたときのスマートフォン１０の姿勢（以下、初期姿勢とする）を基準とする、ｘ軸、ｙ軸、ｚ軸を中心とした回転量（回転角）である。従って、第１の角度θ、第２の角度φ、第３の角度ψが算出されると、初期姿勢を基準とするスマートフォン１０の姿勢が決まる。以下、第１の角度θ、第２の角度φ、第３の角度ψの算出法を説明する。

本実施形態では、第１の角度θ、第２の角度φ、第３の角度ψを算出するために、四元数を使用する。四元数をＱ（ｑ_０、ｑ_１、ｑ_２、ｑ_３）とし、角速度取得部２１２により取得されるｘ軸、ｙ軸、ｚ軸を中心とする加速度をΩ（ω_ｘ、ω_ｙ、ω_ｚ）とすると、姿勢更新運動微分方程式は、以下の数式（１）のように表現される。

なお、四元数Ｑの初期値は、Ｑ_０（１、０、０、０）と定義される。

数式（１）に於いて、ジャイロセンサ２８ｂのサンプリング周期を固定すると、数式（１）の姿勢更新運動微分方程式の解は、以下の数式（２）のように表現される。

数式（２）に於いて、ジャイロセンサ２８ｂのサンプリング間隔内の角速度を一定とすると、数式（２）の積分項は、以下の数式（３）のように近似される。

なお、数式（３）に於いて、Δθ_x、Δθ_y、Δθ_zは、それぞれ区間［ｔ_ｋ、ｔ_ｋ+１］に於ける角度の増量である。

数式（３）を利用して、数式（１）をテイラー展開すると、姿勢更新運動微分方程式の解を求めることができる。姿勢更新運動微分方程式の解は、以下の数式（４）のように表現される。

但し、実際に、スマートフォン１０に於いて、数値演算を実行する場合、数式（４）に於けるsin項およびcos項を級数展開すれば良い。なお、級数展開による、数式（４）の１次近似式は、以下の数式（５）のように、２次近似式は、以下の数式（６）のように表現される。本実施形態では、数式（５）を使用する。

数式（５）によれば、ある時刻ｔ_ｋの四元数Ｑ（ｔ_ｋ）がわかれば、次の時刻ｔ_ｋ＋１の四元素Ｑ（ｔ_ｋ＋１）を求めることができる。本実施形態では、四元数Ｑの初期値をＱ_０（１、０、０、０）としているので、数式（５）を使用すれば、表示画面１２に表示する表示画像Ｉの決定時から任意の時間ｔが経過したときの四元数Ｑ（ｔ）を算出することができる。

さらに、四元数Ｑによる姿勢表現をオイラー角（θ、φ、ψ）による姿勢表現に変換すれば、表示画面１２に表示する表示画像Ｉの決定時からのｘ軸、ｙ軸、ｚ軸を中心とする回転角、即ち第１の角度θ、第２の角度φ、第３の角度ψを算出することができる。四元数をオイラー角に変換する変換式は、以下の数式（７）、（８）、（９）のように表現される。

座標算出部２１４は、角度算出部２１３により算出された第１の角度θ、第２の角度φ、第３の角度ψのうち、ｘ軸を中心とする第１の角度θ及びｙ軸を中心とする第２の角度φに基づき、表示画面１２の範囲に包含される座標（ｘ_ｉ、ｙ_ｉ）を算出する。座標（ｘ_ｉ、ｙ_ｉ）は、カメラ２７の光軸、即ちカメラ２７のレンズ（図示しない）の中心軸の動きに連動する。但し、表示画面１２に表示する表示画像Ｉの決定時には、座標（ｘ_ｉ、ｙ_ｉ）が表示画面１２の中心、即ちＣ_０（Ｗ／２、Ｈ／２）に位置するものとする。従って、表示画面１２に表示する表示画像Ｉの決定後に、スマートフォン１０を前傾させると、カメラ２７の光軸も前傾するので、座標算出部２１４により算出される座標（ｘ_ｉ、ｙ_ｉ）は、表示画面１２の中心Ｃ_０（Ｗ／２、Ｈ／２）よりも下側に移動する。同様に、表示画面１２に表示する表示画像Ｉの決定後に、スマートフォン１０を後傾させると、カメラ２７の光軸も後傾するので、座標算出部２１４により算出される座標（ｘ_ｉ、ｙ_ｉ）は、表示画面１２の中心Ｃ_０（Ｗ／２、Ｈ／２）よりも上側に移動する。なお、Ｗは、表示画面１２のｘ軸の軸方向の長さ、Ｈは、表示画面１２のｙ軸の軸方向の長さ、をそれぞれ示している。

画像取得部２１５は、カメラ２７により撮影された複数の撮影画像を取得する。画像取得部２１５により取得された複数の撮影画像は、それぞれメモリ２２に構築される画像記憶部２５０に記憶される。なお、画像取得部２１５により取得された複数の撮影画像を、それぞれの撮影時刻を対応づけて、画像記憶部２５０に記憶しても良い。

表示画像決定部２１６は、画像取得部２１５により取得された複数の撮影画像から、ディスプレイ２６の表示画面１２に表示する表示画像Ｉを決定する。表示画像決定部２１６により決定された表示画像Ｉは、表示画面１２に表示されたまま固定される。即ち、表示画像Ｉは、いわゆる背景画像として、表示画面１２に表示される。表示画像Ｉの決定プロセスは、後述することとする。

ポインタ重畳部２１７は、表示画像決定部２１６により決定された表示画像Ｉに於ける、座標算出部２１４により算出された座標（ｘ_ｉ、ｙ_ｉ）に、それぞれポインタｐ_ｉを重畳する。ポインタＰ_ｉの形態は、特に限定されるものではないが、本実施形態では、赤色の丸型ドットを用いる。なお、座標算出部２１４は、所定時間ごとに、例えば１００［ｍｓ］ごとに座標（ｘ_ｉ、ｙ_ｉ）を算出する。従って、ポインタ重畳部２１７は、座標算出部２１４により座標（ｘ_ｉ、ｙ_ｉ）が算出されるたびに、表示画像Ｉにポインタｐ_ｉを追加的に重畳することとなる。このため、表示画面１２に表示する表示画像Ｉを決定してから、ある程度の時間が経過すると、表示画面１２には、表示画面１２の中心である座標Ｃ_０（Ｗ／２、Ｈ／２）を始点とする、複数のポインタＰ_ｉの軌跡Ｔ_ｐが表示される。

画像表示部２１８は、ポインタ重畳部２１７によりポインタＰ_ｉが重畳された表示画像Ｉを、ディスプレイ２６の表示画面１２に表示する。但し、表示画像Ｉが決定されるまでの期間は、カメラ２７により撮影された複数の撮影画像をディスプレイ２６の表示画面１２に表示する。

画像領域抽出部２１９は、ポインタ重畳部２１７により表示画像Ｉに重畳された複数のポインタＰ_ｉの座標（ｘ_ｉ、ｙ_ｉ）に基づき、表示画像Ｉから画像領域Ｒを抽出する。画像領域Ｒは、少なくとも表示画像Ｉよりも小さいことが好ましい。画像領域Ｒの抽出法は、種々の形態をとり得るが、本実施形態では、例えば表示画像Ｉに重畳された複数のポインタＰ_ｉの軌跡Ｔ_ｐの外接矩形、いわゆるＡＡＢＢ（Axis Aligned Bounding Box）を、画像領域Ｒとして抽出する。

画像比較部２２０は、画像領域抽出部２１９により抽出された画像領域Ｒの画像情報と、事前に準備されている複数のパターン情報と、を比較する。画像領域Ｒの画像情報と、パターン情報との比較プロセスは、後述することとする。

情報取得部２２１は、画像比較部２２０による比較結果に基づき、画像領域Ｒに包含される物体に関連する情報を、例えばサーバＳから取得する。画像領域Ｒに周辺機器Ａが包含されている場合、例えば周辺機器Ａの識別情報もしくは周辺機器Ａの操作プログラムなどを取得しても良い。

時間管理部２２２は、リアルタイムクロック２５からの出力に基づき、表示画像Ｉの決定時からの経過時間、エリア指定プログラムの起動時からの経過時間、などを管理する。

（コントローラ２１による処理フロー）
図４は、第１の実施形態にかかるコントローラ２１による処理のフローチャートである。図５は、第１の実施形態にかかるスマートフォン１０の動きにより表示画面１２に表示されるポインタＰ_ｉの軌跡Ｔ_ｐの概略図である。図６は、第１の実施形態にかかるスマートフォン１０を動かして、表示画像Ｉから画像領域Ｒを抽出する抽出プロセスの概略図である。

本実施形態にかかる処理フローは、エリア指定プログラムを起動することで開始する。処理フローが開始したら、図４に示すように、画像取得部２１５は、カメラ２７により撮影された複数の撮影画像を取得する（ステップＳ１０１）。画像取得部２１５により取得された複数の撮影画像は、逐次メモリ２２に構築された画像記憶部２５０に記憶される。

次に、表示画像決定部２１６は、画像取得部２１５により取得された複数の撮影画像から、１枚の表示画像Ｉを決定する（ステップＳ１０２）。表示画像決定部２１６により決定された表示画像Ｉは、ディスプレイ２６の表示画面１２に背景画像として表示される。表示画像Ｉの決定プロセスは、後述することとする。

次に、角度算出部２１３は、角速度取得部２１２により取得されたｘ軸、ｙ軸、ｚ軸を中心とする第１の角速度ω_ｘ、第２の角速度ω_ｙ、第２の角速度ω_ｚに基づき、ｘ軸、ｙ軸、ｚ軸を中心とするスマートフォン１０の回転量、即ち第１の角度θ、第２の角度φ、第３の角度ψを算出する（ステップＳ１０３）。

次に、座標算出部２１４は、角度算出部２１３により算出された第１の角度θ、第２の角度φ、第３の角度ψのうち、第１の角度θ及び第２の角度φに基づき、ディスプレイ２６の表示画面１２の範囲に包含され、カメラ２７の光軸の動きに連動する座標（ｘ_ｉ、ｙ_ｉ）を、所定時間ごとに算出する（ステップＳ１０４）。

次に、ポインタ重畳部２１７は、表示画像決定部２１６により決定された表示画像Ｉに於ける、座標算出部２１４により算出された座標（ｘ_ｉ、ｙ_ｉ）に、それぞれポインタｐ_ｉを重畳する（ステップＳ１０５）。

例えば、図５（ａ）に示すように、利用者Ｕが、ｘ軸を中心にスマートフォン１０を回動させると、本実施形態にかかるエリア指定プログラムの機能により、表示画面１２に表示された表示画像Ｉに、複数のポインタＰ_ｉが次々と重畳され、表示画像Ｉの特定領域に、ｘ方向に往復するジグザグ型の軌跡Ｔ_ｐが描写される。

又、図５（ｂ）に示すように、利用者Ｕが、ｙ軸を中心にスマートフォン１０を回動させると、本実施形態にかかるエリア指定プログラムの機能により、表示画面１２に表示された表示画像Ｉに、複数のポインタＰ_ｉが次々と重畳され、表示画像Ｉの特定領域に、ｙ方向に往復するジグザグ型の軌跡Ｔ_ｐが描写される。

次に、時間管理部２２２は、リアルタイムクロック２５からの出力に基づき、表示画像決定部２１６により表示画像Ｉが決定された時点からの経過時間が、事前に決められた閾値を超えたか判断する（ステップＳ１０６）。

表示画像Ｉが決定された時点からの経過時間が閾値を超えたと判断されない場合（ステップＳ１０６のＮｏ）、角度算出部２１３は、第１の角度θ、第２の角度φ、第３の角度ψの算出を継続する（ステップＳ１０３）。

一方、表示画像Ｉが決定された時点からの経過時間が閾値を超えたと判断された場合（ステップＳ１０６のＹｅｓ）、画像領域抽出部２１９は、複数のポインタＰ_ｉの軌跡Ｔ_ｐに外接する矩形領域を、表示画像Ｉから画像領域Ｒとして抽出する（ステップＳ１０７）。

次に、画像比較部２２０は、画像領域抽出部２１９により抽出された画像領域Ｒの画像情報と、事前に準備された複数のパターン情報と、のマッチングを実施する（ステップＳ１０８）。画像領域Ｒの画像情報と、画像パターン情報とのマッチングプロセスは、後述することとする。

画像領域Ｒの画像領域と、複数のパターン情報の何れかとのマッチングが成功したと判断されなければ（ステップＳ１０９のＮｏ）、画像取得部２１５は、カメラ２７により撮影された撮影画像の取得を継続する（ステップＳ１０１）。

一方、画像領域Ｒの画像情報と、複数のパターン情報の何れかとのマッチングが成功したと判断されたら（ステップＳ１０９のＹｅｓ）、情報取得部２２１は、マッチングが成功したときのパターン情報に対応する関連情報を、例えばサーバＳから取得する。例えば、画像領域Ｒに周辺機器Ａが包含されている場合、周辺機器Ａの識別情報もしくは周辺機器Ａの操作プログラムなどを関連情報として取得しても良い。

本実施形態にかかるスマートフォン１０は、以上の処理フローを実現するためのエリア指定プログラムを搭載している。このため、カメラ２７の光軸を回転させるようにスマートフォン１０を動かすと、表示画面１２に表示された表示画像Ｉには、エリア指定プログラムの機能により、図６（ａ）に示すような、ポインタＰ_ｉの軌跡Ｔ_ｐが描写される。さらに、図６（ａ）に示すような、ポインタＰ_ｉの軌跡Ｔ_ｐが描写されると、エリア指定プログラムの機能により、図６（ｂ）に示すような、ポインタＰ_ｉの軌跡Ｔ_ｐに外接する矩形領域が、画像領域Ｒとして生成される。

従って、表示画像Ｉに表示されているターゲットとしての周辺機器Ａに、ポインタＰ_ｉの軌跡Ｔ_ｐが重畳するようにスマートフォン１０を動かせば、周辺機器Ａが包含された、表示画像Ｉよりも小さい矩形領域を、画像領域Ｒとして指定することができる。

以上の処理フローを経ることで、スマートフォン１０は、撮影画像に表示されている物体、例えば周辺機器Ａの関連情報を、スマートフォン１０に取り込むことができる。これにより、スマートフォン１０は、非常に簡単に、例えば周辺機器Ａと機能連携することができる。

（表示画像決定部２１６の詳細）
図７は、第１の実施形態にかかる表示画像決定部２１６の機能ブロックの概略図である。図８（ａ）は、第１の実施形態にかかるスマートフォン１０の動きに由来する加速度の動き成分ａ_ｘｍ、ａ_ｙｍ、ａ_ｚｍのグラフである。図８（ｂ）は、第１の実施形態にかかるスマートフォン１０の加速度の動き成分から算出されたＳＭＡ値のグラフである。なお、図８（ａ）に於ける３本のグラフは、それぞれ動き成分ａ_ｘｍ、ａ_ｙｍ、ａ_ｚｍの何れかを示している。図８（ｂ）に於ける二点鎖線は、ＳＭＡ値の閾値を示している。

図７に示すように、本実施形態にかかる表示画像決定部２１６は、ＡＣ成分取得部２１６ａ、ＳＭＡ算出部２１６ｂ、静止判定部２１６ｃ、撮影指示部２１６ｄ、表示画像取込部２１６ｅを備える。

ＡＣ成分取得部２１６ａは、加速度取得部２１１により取得されたｘ軸、ｙ軸、ｚ軸の軸方向の第１の加速度ａ_ｘ、第２の加速度ａ_ｙ、第３の加速度ａ_ｚから重力成分を除去して、スマートフォン１０の動きに由来する加速度の成分、即ち動き成分ａ_ｘｍ、ａ_ｙｍ、ａ_ｚｍを取得する。ＡＣ成分取得部２１６ａとしては、いわゆるハイパスフィルタが用いられる。

図８（ａ）に示すように、スマートフォン１０が動作している区間Ａ、区間Ｃでは、加速度の動き成分ａ_ｘｍ、ａ_ｙｍ、ａ_ｚｍが高く、スマートフォン１０が静止している区間Ｂ、区間Ｄでは、加速度の動き成分ａ_ｘｍ、ａ_ｙｍ、ａ_ｚｍが低いことがわかる。

ＳＭＡ算出部２１６ｂは、ＡＣ成分取得部２１６ａにより取得された加速度の動き成分ａ_ｘｍ、ａ_ｙｍ、ａ_ｚｍに基づき、ＳＭＡ（Signal Magnitude Area）値を算出する。ＳＭＡ値の算出式は、特に限定されるものではないが、本実施形態では、以下の数式（１０）を使用する。

なお、数式（１０）に於いて、ｉは、サンプリングの識別番号（何回目のサンプリングかを意味するもの）であって、Ｔは、動き成分ａ_ｘｍ（ｉ）、ａ_ｙｍ（ｉ）、ａ_ｚｍ（ｉ）のサンプリング期間である。

図８（ｂ）に示すように、スマートフォン１０が動作している区間Ａ、区間Ｃでは、ＳＭＡ値が高く、スマートフォン１０が静止している区間Ｂ、区間Ｄでは、ＳＭＡ値が低いことがわかる。

静止判定部２１６ｃは、ＳＭＡ算出部２１６ｂにより算出されたＳＭＡ値と、事前に設定された閾値と、を比較して、事前に決められた時間にわたりＳＭＡ値が閾値より低い場合に、スマートフォン１０が静止したと判定する。

例えば、図８（ｂ）に示すように、事前に決められた時間が５０［ms］であれば、スマートフォン１０が静止している区間Ｂ、区間Ｄでは、５０［ms］以上にわたりＳＭＡ値が閾値より低いので、スマートフォン１０は、静止したと判定されることになる。

撮影指示部２１６ｄは、静止判定部２１６ｃによりスマートフォン１０が静止していると判定された場合、表示画像取込部２１６ｅに撮影画像の取り込みを指示する。

表示画像取込部２１６ｅは、撮影指示部２１６ｄから撮影画像の取り込みを指示されたら、撮影画像の取り込みを指示された直後の撮影画像を、表示画像Ｉとして取り込む。表示画像取込部２１６ｅにより取り込まれた表示画像Ｉは、メモリ２２に構築された表示画像記憶部２５２に記憶される。

これにより、利用者Ｕは、例えば表示画面１２に周辺機器Ａを表示させつつ、スマートフォン１０を静止させると、自動的に１枚の撮影画像が表示画像Ｉとして取り込まれることとなる。このため、例えばスマートフォン１０を片手で保持しているときにも、簡単にターゲットである周辺機器Ａを包含する表示画像Ｉを取得することができる。

（表示画像決定部２１６による処理のフロー）
図９は、第１の実施形態にかかる表示画像決定部２１６による処理のフローチャートである。なお、本実施形態では、表示画像決定部２１６による処理のフローとしているが、実際には、エリア指定プログラムに基づき、コントローラ２１が実現していることは言うまでもない。

本実施形態にかかる処理フローは、エリア指定プログラムを起動すると、先ずはじめに開始する。処理フローが開始したら、図９に示すように、ＡＣ成分取得部２１６ａは、加速度取得部２１１により取得された第１の加速度ａ_ｘ、第２の加速度ａ_ｙ第３の加速度ａ_ｚから、スマートフォン１０の動きに由来する加速度の動き成分ａ_ｘｍ、ａ_ｙｍ、ａ_ｚｍを取得する（ステップＳ２０１）。

これと並行して、時間管理部２２２は、リアルタイムクロック２５からの出力に基づき、本実施形態にかかるエリア指定プログラムの起動時からの経過時間のカウントを開始する（ステップＳ２０２）。

次に、ＳＭＡ算出部２１６ｂは、ＡＣ成分取得部２１６ａにより抽出された加速度の動き成分ａ_ｘｍ、ａ_ｙｍ、ａ_ｚｍに基づき、ＳＭＡ値を算出する（ステップＳ２０３）。

次に、静止判定部２１６ｃは、ＳＭＡ算出部２１６ｂにより算出されるＳＭＡ値が、事前に決められた時間にわたり、事前に決められた閾値より低いか判断する（ステップＳ２０４）。

ＳＭＡ値が、事前に決められた時間にわたり、事前に決められた閾値より低いと判断されない場合（ステップＳ２０４のＮｏ）、ＡＣ成分取得部２１６ａは、スマートフォン１０の動きに由来する加速度の動き成分ａ_ｘｍ、ａ_ｙｍ、ａ_ｚｍの取得を継続する（ステップＳ２０１）。

一方、ＳＭＡ値が、事前に決められた時間にわたり、事前に決められた閾値より低いと判断されたら（ステップＳ２０４のＹｅｓ）、撮影指示部２１６ｄは、表示画像取込部２１６ｅに撮影画像の取り込みを指示する（ステップＳ２０５）。

次に、表示画像取込部２１６ｅは、カメラ２７により連続的に取得されていた複数の撮影画像のうち、撮影指示部２１６ｂが取り込みを指示した直後に取得された撮影画像を取り込む（ステップＳ２０６）。表示画像取込部２１６ｅにより取り込まれた撮影画像は、表示画像Ｉとして、表示画像記憶部２５２に記憶される。

（画像比較部２２０の詳細）
図１０は、第１の実施形態にかかる画像比較部２２０の機能ブロックの概略図である。

図１０に示すように、本実施形態にかかる画像比較部２２０は、第１の特徴量算出部２２０ａ、第２の特徴量算出部２２０ｂ、特徴量比較部２２０ｃを備える。

第１の特徴量算出部２２０ａは、画像領域抽出部２１９により抽出された画像領域Ｒの画像情報に基づき、特徴量を算出する。特徴量は、特に限定されるものではないが、例えば画像領域Ｒに包含される物体の特徴的な位置などを数値化した指標を用いても良い。

第２の特徴量算出部２２０ｂは、テンプレート記憶部２５１に記憶された複数のテンプレート情報に基づき、それぞれの特徴量を算出する。特徴量は、第１の特徴量算出部２２０ａにより算出される特徴量と同様に、それぞれのテンプレートの特徴的な位置などを数値化した指標を用いても良い。第２の特徴量算出部２２０ｂにより算出された、それぞれのテンプレートの特徴量は、テンプレートの識別情報に対応づけて、メモリ２２に構築された特徴量記憶部２５３に記憶される。テンプレート情報の詳細は、後述することとする。

特徴量比較部２２０ｃは、第１の特徴量算出部２２０ａにより算出された、画像領域Ｒの画像情報の特徴量と、第２の特徴量算出部２２０ｂにより算出された複数のテンプレートの特徴量と、を比較して、相互の照合度を算出する。さらに、特徴量比較部２２０ｃは、特徴量の照合度が、事前に決められた閾値を超えるテンプレートが存在するか判断する。

（データベースＤＢの概略）
図１１は、第１の実施形態にかかるテンプレート記憶部２５１に記憶されているテンプレートＴ_ｍ１、Ｔ_ｍ２、Ｔ_ｍ３…のデータベースＤＢの概略図である。

図１１に示すように、本実施形態にかかるデータベースＤＢは、複数のテンプレートＴ_ｍ１、Ｔ_ｍ２、Ｔ_ｍ３…と、それぞれのテンプレートＴ_ｍ１、Ｔ_ｍ２、Ｔ_ｍ３…の識別番号と、を対応づけている。

例えば、テンプレートＴ_ｍ１は、識別番号０００１に、テンプレートＴ_ｍ２は、識別番号０００２に、テンプレートＴ_ｍ３は、識別番号０００３に、それぞれ対応づけられている。なお、本実施形態では、テンプレートＴ_ｍ１としてプロジェクタ、テンプレートＴ_ｍ２としてコピー機、テンプレートＴ_ｍ３としてＰＣモニタを採用している。

（マッチングの概略）
図１２は、第１の実施形態にかかる画像比較部２２０によるマッチングの概略図である。画像領域抽出部２１９により画像領域Ｒが抽出されたら、図１２に示すように、画像領域Ｒの画像情報の特徴量が、テンプレート記憶部２５１に記憶されたデータベースＤＢの、それぞれのテンプレートＴ_ｍ１、Ｔ_ｍ２、Ｔ_ｍ３の特徴量と照合される。なお、テンプレートＴ_ｍ１、Ｔ_ｍ２、Ｔ_ｍ３の特徴量は、特徴量記憶部２５３に記憶されているので、実際には、特徴量記憶部２５３を参照することとなる。

複数のテンプレートＴ_ｍ１、Ｔ_ｍ２、Ｔ_ｍ３の中に、画像領域Ｒの画像情報の特徴量との照合度が、事前に決められた閾値を超えるテンプレートがあれば、該テンプレートに対応づけられた情報、例えば識別番号や操作プログラムなどが、例えばサーバＳから取得される。本実施形態に於いて、例えば画像領域Ｒの画像情報の特徴量と、テンプレートＴ_ｍ１の特徴量との照合度が、閾値を超えているとすれば、テンプレートＴ_ｍ１に対応する識別情報０００１がスマートフォン１０により取得されることになる。

このように、本実施形態によれば、表示画像Ｉよりも小さい画像領域Ｒの画像情報の特徴量と、複数のテンプレートＴ_ｍ１、Ｔ_ｍ２、Ｔ_ｍ３…の特徴量とを比較している。このため、表示画像Ｉの全体の特徴量を算出するよりも計算量を減らすことができる。

［第２の実施形態］
以下、図１３−図１７を参照しながら、第２の実施形態を説明する。但し、第１の実施形態と同等の構成や処理については、説明を省略することとする。

第２の実施形態にかかるコントローラ２１Ａは、さらにサイズ調整部２２３を備える点で、第１の実施形態にかかるコントローラ２１と異なる。

（コントローラ２１Ａの機能ブロック）
図１３は、第２の実施形態にかかるコントローラ２１Ａの機能ブロックの概略図である。

図１３に示すように、本実施形態にかかるコントローラ２１Ａは、さらにサイズ調整部２２３を備える。サイズ調整部２２３は、メモリ２２に展開されたエリア指定プログラムに基づき、コントローラ２１により実現される。

（サイズ調整部２２３の詳細）
図１４は、第２の実施形態にかかるサイズ調整部２２３の機能ブロックの概略図である。

図１４に示すように、本実施形態にかかるサイズ調整部２２３は、比較部２２３ａ、倍率算出部２２３ｂ、拡縮部２２３ｃ、拡縮判定部２２３ｄを備える。

比較部２２３ａは、角度算出部２１３により算出された、ｚ軸を中心とする第３の角度ψの絶対値と、事前に決められた閾値ψ_０と、を比較する。

倍率算出部２２３ｂは、角度算出部２１３により算出された第３の角度ψの絶対値と、角速度取得部２１２により取得された第３の角速度ω_ｚと、に基づき、画像領域Ｒを拡縮するための倍率を算出する。本実施形態に於いて、画像領域Ｒを拡縮するための倍率は、第３の角度ψの増加に比例している。このため、ｚ軸を中心とするスマートフォン１０の回転量を増大させると、画像領域Ｒを拡縮するための倍率も増大する。又、本実施形態に於いて、画像領域Ｒを拡大するか、もしくは、縮小するかは、第３の角速度ω_ｚの向きより決められる。このため、ｚ軸を中心とするスマートフォン１０の回転方向を反転させると、画像領域Ｒの拡大及び縮小も反転する。但し、第３の角度ψが閾値ψ_０よりも小さい場合、倍率算出部２２３ｂは、画像領域Ｒの倍率を算出しない。これは、利用者Ｕの意図ではない、例えば手ぶれによるスマートフォン１０の回転を取り除くためである。

拡縮部２２３ｃは、倍率算出部２２３ｂにより決定された倍率に基づき、画像領域Ｒのサイズを調整する。サイズを調整された画像領域Ｒは、表示画像Ｉにリアルタイム表示される。即ち、画像領域Ｒのサイズが変化する様子は、表示画面Ｉに表示される。

拡縮判定部２２３ｄは、第３の角速度ω_ｚの絶対値が、事前に決められた時間にわたり、事前に決められた閾値ω_ｚ０よりも小さいか判断する。第３の角速度ω_ｚの絶対値が、事前に決められた時間にわたり、事前に決められた閾値ω_ｚ０よりも小さければ、画像領域Ｒのサイズ調整を目的としていないと推測されるからである。例えば、手ぶれ等によってスマートフォン１０が回転していると推測されるからである。

（サイズ調整部２２３による処理のフロー）
図１５は、第２の実施形態にかかるサイズ調整部２２３による処理のフローチャートである。なお、本実施形態では、サイズ調整部２２３による処理のフローとしているが、実際には、エリア指定プログラムに基づき、コントローラ２１Ａが実現していることは言うまでもない。

画像領域Ｒを包含する表示画像Ｉが表示画面１２に表示されたら、図１５に示すように、比較部２２３ａは、角度算出部２１３により算出された第３の角度ψを取得し（ステップＳ３０１）、第３の角度ψの大きさが閾値ψ_０よりも大きいか判断する（ステップＳ３０２）。

第３の角度ψの大きさが閾値ψ_０よりも大きいと判断されなければ（ステップＳ３０２のＮｏ）、比較部２２３ａは、第３の角度ψの取得を継続する（ステップＳ３０１）。一方、第３の角度ψの大きさが閾値ψ_０よりも大きいと判断されたら（ステップＳ３０２のＹｅｓ）、倍率算出部２２３ｂは、第３の角度ψの大きさに基づき、画像領域Ｒを拡縮するための倍率の絶対値を、第３の角速度ω_ｚに基づき、画像領域Ｒの拡大もしくは縮小を、それぞれ算出する（ステップＳ３０３）。

次に、拡縮部２２３ｃは、倍率算出部２２３ｂにより算出された倍率に基づき、画像領域Ｒのサイズを調整する（ステップＳ３０４）。

次に、拡縮判定部２２３ｄは、第３の角速度ω_ｚが、事前に決められた時間にわたり、事前に決められた閾値ω_ｚ０よりも小さいか判断する（ステップＳ３０５）。事前に決められた時間にわたり、第３の角速度ω_ｚが閾値ω_ｚ０よりも小さいと判断されなければ（ステップＳ３０５のＮｏ）、比較部２２３ａは、第３の角度ψの取得を継続する（ステップＳ３０１）。一方、事前に決められた時間にわたり、第３の角速度ω_ｚが閾値ω_ｚ０よりも小さいと判断されたら（ステップＳ３０５のＹｅｓ）、画像領域Ｒのサイズ調整が終了したものとみなして、第３の角速度ω_ｚが閾値ω_ｚ０よりも小さいと判断されたときの画像領域Ｒを固定する（ステップＳ３０６）。

図１６は、第２の実施形態にかかる画像領域Ｒのサイズを調整するサイズ調整プロセスの概略図であって、（ａ）はサイズ調整前の表示画像Ｉを、（ｂ）はサイズ調整後の表示画像Ｉを、それぞれ示している。図１７は、第２の実施形態にかかる画像領域Ｒのサイズを調整するサイズ調整プロセスの概略図であって、（ａ）はサイズ調整前の表示画像Ｉを、（ｂ）はサイズ調整後の表示画像Ｉを、それぞれ示している。

図１６（ａ）に示すように、サイズ調整前の表示画像Ｉは、ポインタＰ_ｉの軌跡Ｔ_ｐに外接する矩形状の画像領域Ｒを包含しているが、ｚ軸を中心にスマートフォン１０を左側に角度ψ（＞ψ_０）だけ回転させると、図１６（ｂ）に示すように、画像領域Ｒが拡大する。このため、図１７（ａ）に示すように、ターゲットである周辺機器Ａの表示領域よりも画像領域Ｒが小さくても、ｚ軸を中心としてスマートフォン１０を回転させるだけで、周辺機器Ａの表示領域の全体を包含する画像領域Ｒを生成することができる。即ち、周辺機器Ａの表示領域の極一部にポインタＰ_ｉの軌跡Ｔ_ｐを描画すれば、画像領域Ｒを拡大させることで、周辺機器Ａを指定することができるので、ポインタＰ_ｉの軌跡Ｔ_ｐを描画するために要する時間を短縮することができる。

［第３の実施形態］
以下、図１８、図１９を参照しながら、第３の実施形態を説明する。但し、第２の実施形態と同等の構成や処理については、説明を省略することとする。

第３の実施形態にかかるコントローラ２１Ｂは、第２の実施形態にかかるサイズ調整部２２３とは異なるサイズ調整部２２４を備える点で、第２の実施形態にかかるコントローラ２１Ａと異なる。

（コントローラ２１Ｂの機能ブロック）
図１８は、第３の実施形態にかかるコントローラ２１Ｂの機能ブロックの概略図である。

図１８に示すように、本実施形態にかかるコントローラ２１Ｂは、第２の実施形態にかかるサイズ調整部２２３と異なるサイズ調整部２２４を備える。サイズ調整部２２４は、メモリ２２に展開されたエリア指定プログラムに基づき、コントローラ２１により実現される。

（サイズ調整部２２４の詳細）
図１９は、第３の実施形態にかかるサイズ調整部２２４の機能ブロックの概略図である。

図１９に示すように、本実施形態にかかるサイズ調整部２２４は、さらに、第１のフィルタ部２２４ａ、第２のフィルタ部２２４ｂ、角度変換部２２４ｃ、角度指標算出部２２４ｄを備える。

第１のフィルタ部２２４ａは、加速度取得部２１１により取得された第１の加速度ａ_ｘ、第１の加速度ａ_ｙ、第１の加速度ａ_ｚのうち、ｘ軸の軸方向の第１の加速度ａ_ｘを受け取り、第１の加速度ａ_ｘからスマートフォン１０の動きに由来する動き成分ａ_ｘｍを除去することで、地球の重力に由来する重力成分ａ_ｘｇを取得する。なお、本実施形態では、第１の加速度ａ_ｘの重力成分ａ_ｘｇを取得しているが、本実施形態は、これに限定されるものではない。例えば、ｙ軸の軸方向の第２の加速度ａ_ｙからスマートフォン１０の動きに由来する動き成分ａ_ｙｍを除去して、地球の重力に由来する重力成分ａ_ｙｇを取得しても良い。さらに、第１の加速度ａ_ｘの重力成分ａ_ｘｇ及び第２の加速度ａ_ｙの成分ａ_ｙｍの双方を取得しても良い。第１のフィルタ部２２４ａとしては、いわゆるローパスフィルタが用いられる。

角度変換部２２４ｂは、第１のフィルタ部２２４ａにより取得された、ｘ軸の軸方向の第１の加速度ａ_ｘの重力成分ａ_ｘｇと、事前に記憶されている重力加速度ｇと、に基づき、第１の加速度ａ_ｘの重力成分ａ_ｘｇを、ｚ軸を中心とするスマートフォン１０の回転角ψ_ａに変換する。

第２のフィルタ部２２４ｃは、角度算出部２１３により算出された第１の角度θ、第２の角度φ、第３の角度ψのうち、ｚ軸を中心とする第３の角度ψを受け取り、第３の角度ψからジャイロセンサ２８ｂのドリフトに由来するドリフト角度ψ_ｄを除去することで、ｚ軸を中心とするスマートフォン１０の回転角ψ_ｂを取得する。第２のフィルタ部２２４ｃとしては、いわゆるハイパスフィルタが用いられる。

角度指標算出部２２４ｄは、角度変換部２２４ｂにより変換された回転角ψ_ａと、第２のフィルタ部２２４ｃにより取得された回転角ψ_ｂと、を利用して、スマートフォン１０の傾きの程度を表現する回転角指標ψ_indexを算出する。回転角指標ψ_indexの算出式は、以下の数式（１１）のように表現される。

なお、数式（１１）に於いて、「α」及び「１−α」は、それぞれ回転角ψ_ａ及び回転角ψ_ｂへの重みづけ乗数である。

本実施形態では、数式（１１）により算出された回転角指標ψ_indexを第３の角度ψとみなして、第２の実施形態と同様に、表示画面１２に表示された画像領域Ｒのサイズを調整することとなる。

本実施形態によれば、表示画面１２に表示された画像領域Ｒのサイズを調整するために、角度算出部２１３により算出された第３の角度ψだけでなく、加速度取得部２１１により取得された第１の加速度ａ_ｘも使用している。このため、画像領域Ｒのサイズ調整の信頼性を高めることができる。

さらに、本実施形態によれば、表示画面１２に表示された画像領域Ｒのサイズを調整するために、ｚ軸を中心とする第３の角度ψからジャイロセンサ２８ｂのドリフトに由来するドリフト角度ψ_ｄを除去した回転角ψ_ｂを用いている。このため、ジャイロセンサ２８ｂのドリフトの影響により、利用者Ｕが意図しないサイズ調整が行われることを防止することができる。

［第４の実施形態］
以下、図２０−図２３を参照しながら、第４の実施形態を説明する。但し、第１の実施形態と同等の構成や処理については、説明を省略することとする。

第４の実施形態にかかるコントローラ２１Ｃは、第１の実施形態にかかる画像領域抽出部２１９とは異なる画像領域抽出部２２５を備える点で、第１の実施形態にかかるコントローラ２１と異なる。

（コントローラ２１Ｃの機能ブロック）
図２０は、第４の実施形態にかかるコントローラ２１Ｃの機能ブロックの概略図である。

図２０に示すように、本実施形態にかかるコントローラ２１Ｃは、第３の実施形態にかかる画像領域抽出部２１９と異なる画像領域抽出部２２５を備える。画像領域抽出部２２５は、メモリ２２に展開されたエリア指定プログラムに基づき、コントローラ２１Ｃにより実現される。

（画像領域抽出部２２５の詳細）
図２１は、第４の実施形態にかかる画像領域抽出部２２５の機能ブロックの概略図である。

図２１に示すように、本実施形態にかかる画像領域抽出部２２５は、第１の抽出部２２５ａ、ポインタ重心算出部２２５ｂ、距離算出部２２５ｃ、第２の抽出部２２５ｄを備える。

第１の抽出部２２５ａは、ポインタ重畳部２１７により複数のポインタＰ_ｉが重畳された表示画面Ｉから、複数のポインタＰ_ｉの軌跡Ｔｐを包含する第１の矩形領域Ｒ_１を抽出する。複数のポインタＰ_ｉの軌跡Ｔｐを包含する第１の矩形領域Ｒ_１の抽出法は、特に限定されるものではないが、本実施形態では、複数のポインタＰ_ｉの軌跡Ｔｐに外接する外接矩形を、第１の矩形領域Ｒ_１として抽出する。

ポインタ重心算出部２２５ｂは、ポインタ重畳部２１７により複数のポインタＰ_ｉが重畳された表示画面Ｉに基づき、表示画面Ｉに於ける複数のポインタＰ_ｉの重心Ｃ_ｇの座標を算出する。

距離算出部２２５ｃは、複数のポインタＰ_ｉの重心Ｃ_ｇを始点として、第１の矩形領域Ｒ_１のｘ軸の正方向に位置する第１の境界Ｂ_１までの第１の距離ｄ_１と、第１の矩形領域Ｒ_１のｘ軸の負方向に位置する第２の境界Ｂ_２までの第２の距離ｄ_２と、をそれぞれ算出する。

第２の抽出部２２５ｄは、距離算出部２２５ｃにより算出された第１の距離ｄ_１及び第２の距離ｄ_２を比較する。さらに、第２の抽出部２２５ｄは、第１の距離ｄ_１及び第２の距離ｄ_２のうち小さい方の距離だけ、複数のポインタＰ_ｉの重心Ｃ_ｇから離間した位置に、それぞれ境界線を有する第２の矩形領域Ｒ_２を抽出する。

（画像領域抽出部２２５による処理のフロー）
図２２は、第４の実施形態にかかる画像領域抽出部２２５による処理のフローチャートである。図２３は、第４の実施形態にかかる最適な画像領域Ｒを抽出する抽出プロセスの概略図である。なお、本実施形態では、画像領域抽出部２２５による処理のフローとしているが、実際には、エリア指定プログラムに基づき、コントローラ２１Ｃが実現していることは言うまでもない。

本実施形態にかかる処理フローは、表示画像Ｉが決定された時点からの経過時間が、事前に決められた閾値を超えたと判断された時点、即ちポインタ重畳部２１７による、複数のポインタＰ_ｉの重畳が終了したと判断された時点で開始する。

処理フローが開始したら、第１の抽出部２２５ａは、図２３（ａ）に示すように、複数のポインタＰ_ｉの軌跡Ｔｐに外接する外接矩形を、第１の矩形領域Ｒ_１として表示画面Ｉから抽出する（ステップＳ４０１）。

次に、ポインタ重心算出部２２５ｂは、図２３（ｂ）に示すように、表示画像Ｉの画像情報に基づき、表示画像Ｉに於ける複数のポインタＰ_ｉの重心Ｃ_ｇの座標を算出する（ステップＳ４０２）。表示画像Ｉに於ける、複数のポインタＰ_ｉの重心Ｃ_ｇの座標に、重心のマーク、例えばドットなどを表示させても良い。

次に、距離算出部２２５ｃは、図２３（ｃ）に示すように、複数のポインタＰ_ｉの重心Ｃ_ｇを始点として、第１の矩形領域Ｒ_１のｘ軸の正方向に位置する第１の境界Ｂ_１までの第１の距離ｄ_１と、第１の矩形領域Ｒ_１のｘ軸の負方向に位置する第２の境界Ｂ_２までの第２の距離ｄ_２と、をそれぞれ算出する（ステップＳ４０３）。

次に、第２の抽出部２２５ｄは、距離算出部２２５ｃにより算出された第１の距離ｄ_１及び第２の距離ｄ_２を比較する（ステップＳ４０４）。さらに、第２の抽出部２２５ｄは、図２３（ｄ）に示すように、第１の距離ｄ_１及び第２の距離ｄ_２のうち小さい方の距離、本実施形態では第１の距離ｄ_１だけ、複数のポインタＰ_ｉの重心Ｃ_ｇからｘ軸の正負に離間した位置に、それぞれ境界線を有する第２の矩形領域Ｒ_２を、画像領域Ｒとして抽出する（ステップＳ４０５）。なお、図中の斜線領域は、第１の矩形領域Ｒ_１から第２の矩形領域Ｒ_２を抽出するときに、第１の矩形領域Ｒ_１から削除された領域である。

本実施形態によれば、複数のポインタＰ_ｉの重心Ｃ_ｇを始点として、第１の矩形領域Ｒ_１の第１の境界Ｂ_１及び第２の境界Ｂ_２までの第１の距離ｄ_１及び第２の距離ｄ_２を算出し、第１の距離ｄ_１及び第２の距離ｄ_２のうち小さい方の距離だけ、複数のポインタＰ_ｉの重心Ｃ_ｇから離間した位置に、それぞれの境界を有する画像領域Ｒを生成している。

このため、利用者Ｕが画像領域Ｒを指定している最中に、例えばスマートフォン１０を不本意に揺らしてしまい、図２３（ａ）に示すように、複数のポインタＰ_ｉの密度が低い領域が発生しても、図２３（ｄ）に示すように、複数のポインタＰ_ｉの密度が低い領域（図中の斜線領域）を削除した画像領域Ｒを抽出することができる。即ち、利用者Ｕが指定したい領域だけを画像領域Ｒとして抽出することができる。

［第５の実施形態］
以下、図２４−図２６を参照しながら、第５の実施形態を説明する。但し、第１の実施形態と同等の構成や処理については、説明を省略することとする。

第５の実施形態にかかるコントローラ２１Ｄは、第１の実施形態にかかる表示画像決定部２１６とは異なる表示画像決定部２２６を備える点で、第１の実施形態にかかるコントローラ２１と異なる。

（コントローラ２１Ｄの機能ブロック）
図２４は、第５の実施形態にかかるコントローラ２１Ｄの機能ブロックの概略図である。

図２４に示すように、本実施形態にかかるコントローラ２１Ｄは、第１の実施形態にかかる表示画像決定部２１６とは異なる表示画像決定部２２６を備える。表示画像決定部２２６は、メモリ２２に展開されたエリア指定プログラムに基づき、コントローラ２１Ｄにより実現される。

（表示画像決定部２２６の詳細）
図２５は、第５の実施形態にかかる表示画像決定部２２６の機能ブロックの概略図である。

図２５に示すように、本実施形態にかかる表示画像決定部２２６は、第１の実施形態にかかる表示画像決定部２１６のＡＣ成分取得部２１６ａ及びＳＭＡ算出部２１６ｂのほかに、最小ＳＭＡ特定部２２６ａ、表示画像取込部２２６ｂ、を備える。しかし、本実施形態にかかる表示画像決定部２２６は、第１の実施形態にかかる表示画像決定部２１６の静止判定部２１６ｃ、撮影指示部２１６ｄ、表示画像取込部２１６ｅを備えない。

最小ＳＭＡ特定部２２６ａは、ＳＭＡ算出部２１６ｂにより算出された複数のＳＭＡ値から、所定の時間区間に於ける最小のＳＭＡ値を特定する。なお、最小のＳＭＡ値の特定は、事前に決められた時間ごとに実施される。

表示画像取込部２２６ｂは、画像記憶部２５０に記憶されている複数の撮影画像から、最小ＳＭＡ特定部２２６ａにより特定された、所定の時間区間に於ける最小のＳＭＡ値に対応する撮影画像を選択して、表示画像Ｉとして取り込む。なお、最小のＳＭＡ値に対応する撮影画像を選択する場合、それぞれの撮影画像に対応づけられた撮影時刻を利用すれば良い。表示画像取込部２２６ｂにより取り込まれた表示画像Ｉは、メモリ２２に構築された表示画像記憶部２５２に記憶される。

（表示画像決定部２２６による処理のフロー）
図２６は、第５の実施形態にかかる表示画像決定部２２６による処理のフローチャートである。なお、本実施形態では、表示画像決定部２２６による処理のフローとしているが、実際には、エリア指定プログラムに基づき、コントローラ２１Ｄが実現していることは言うまでもない。

本実施形態にかかる処理フローは、エリア指定プログラムを起動すると、先ずはじめに開始する。処理フローが開始して、図２６に示すように、ＳＭＡ算出部２１６ｂによりＳＭＡ値が算出されたら（ステップＳ２０３）、時間管理部２２２は、リアルタイムクロック２５からの出力に基づき、本実施形態にかかるエリア指定プログラムの起動時からの経過時間が、事前に決められた閾値を超えたか判断する（ステップＳ５０１）。

エリア指定プログラムの起動時からの経過時間が、事前に決められた閾値を超えたと判断されなければ（ステップＳ５０１のＮｏ）、ＡＣ成分取得部２１６ａは、スマートフォン１０の動きに由来する加速度の動き成分ａ_ｘｍ、ａ_ｙｍ、ａ_ｚｍの取得を継続する（ステップＳ２０１）。

一方、エリア指定プログラムの起動時からの経過時間が、事前に決められた閾値を超えたと判断されたら（ステップＳ５０１のＹｅｓ）、最小ＳＭＡ特定部２２６ａは、ＳＭＡ算出部２１６ｂにより所定の時間区間に算出された複数のＳＭＡ値から、最小のＳＭＡ値を特定する（ステップＳ５０２）。

次に、表示画像取込部２２６ｂは、画像記憶部２５０に記憶されている複数の撮影画像から、最小ＳＭＡ特定部２２５ａにより特定された最小のＳＭＡ値に対応する１枚の撮影画像を取り込む（ステップＳ５０３）。表示画像取込部２２６ｂにより取り込まれた撮影画像は、表示画像Ｉとして、表示画像記憶部２５２に記憶される。

本実施形態によれば、カメラ２７により撮影された複数の撮影画像を画像記憶部２５０に記憶しておき、所定時間が経過するごとに、直前の時間区間に撮影された撮影画像から、ＳＭＡ値が最小となる撮影画像を表示画像Ｉとして設定する。このため、例えば手ぶれ等の症状がある利用者Ｕであっても、確実に表示画像Ｉを設定することができる。

［第６の実施形態］
以下、図２７を参照しながら、第６の実施形態を説明する。但し、第１の実施形態と同等の構成や処理については、説明を省略することとする。

図２７は、第６の実施形態にかかるスマートフォン１０及びサーバＳの概略図である。

図２７に示すように、本実施形態にかかるスマートフォン１０のコントローラ２１Ｅは、画像比較部２２０を備えておらず、代わりに、サーバＳのコントローラ３００が画像比較部２２０を備えている。即ち、本実施形態にかかる画像比較部２２０は、第１の実施形態にかかる画像比較部２２０と同等の機能を有するが、サーバＳ側に構築している点で、第１の実施形態と異なる。これに付随して、テンプレート記憶部２５１もサーバＳのメモリ３１０に構築されている。

本実施形態のように、画像比較部２２０をサーバＳ側に構築すれば、マッチングに必要な計算負荷をサーバＳに担わせることができるので、スマートフォン１０の負荷を軽減することができる。

１０：スマートフォン
１２：表示画面
２７：カメラ
２１１：加速度取得部
２１２：角速度取得部
２１３：角度算出部
２１４：座標算出部
２１６：表示画像決定部
２１７：ポインタ重畳部
２１８：画像表示部
２１９：画像領域抽出部
２２０：画像比較部
２２１：情報取得部
２２３：サイズ調整部
２２４：サイズ調整部
２２５：画像領域抽出部
２２５ａ：第１の抽出部
２２５ｂ：ポインタ重心算出部
２２５ｃ：距離算出部
２２５ｄ：第２の抽出部
２２６：表示画像決定部
Ｂ_１：第１の境界線
Ｂ_２：第２の境界線
Ｃ_ｇ：重心
ｄ_１：第１の距離
ｄ_２：第２の距離
Ｉ：表示画像
Ｐ_ｉ：ポインタ
Ｒ：画像領域
Ｒ_１：第１の矩形領域
Ｒ_２：第２の矩形領域
θ：第１の角度
φ：第２の角度
ψ：第３の角度

Claims (13)

1. 携帯型端末装置に於いて、
   カメラにより撮影された複数の撮影画像のうち、表示画面に表示する表示画像を決定する決定部と、
   前記携帯型端末装置の、前記表示画面の法線に交差する平面内に規定される第１の軸及び第２の軸を中心とする第１の角速度及び第２の角速度を取得する第１の取得部と、
   前記第１の角速度及び前記第２の角速度に基づき、前記携帯型端末装置の前記第１の軸及び前記第２の軸を中心とする第１の回転量及び第２の回転量を算出する第１の算出部と、
   前記第１の回転量及び前記第２の回転量に基づき、前記表示画面の範囲に包含され、前記カメラの光軸に連動する座標を算出する第２の算出部と、
   前記表示画像の前記座標にポインタを重畳する重畳部と、
   前記ポインタが重畳された前記表示画像を前記表示画面に表示する表示部と、
   前記表示画像から前記ポインタを包含する画像エリアを抽出する抽出部と、
   を備える携帯型端末装置。
2. 請求項１に記載の携帯型端末装置に於いて、さらに、
   前記画像エリアの画像情報に基づき、前記画像エリアに包含される物体を指定する指定部を備える携帯型端末装置。
3. 請求項２に記載の携帯型端末装置に於いて、
   前記指定部は、
   前記画像エリアの画像情報と、事前に準備されている画像情報と、を比較する比較部と、
   前記比較部の比較結果に基づき、前記画像エリアの前記画像情報に対応する情報を取得する取得部と、
   を備える携帯型端末装置。
4. 請求項１乃至３の何れかに記載の携帯型端末装置に於いて、
   前記第１の取得部は、さらに前記第１の軸及び前記第２の軸に交差する第３の軸を中心とする第３の角速度を取得し、
   前記第１の算出部は、前記第３の角速度に基づき、前記携帯型端末装置の前記第３の軸を中心とする第３の回転量を算出し、
   前記携帯型端末装置は、さらに、
   前記第３の回転量に基づき、前記画像エリアのサイズを調整する調整部を備える携帯型端末装置。
5. 請求項４に記載の携帯型端末装置に於いて、
   前記調整部は、前記第３の軸を中心とする前記携帯型端末装置の回転の向きに基づき、前記画像エリアのサイズの拡大及び縮小を決定する携帯型端末装置。
6. 請求項４又は５に記載の携帯型端末装置に於いて、
   前記調整部は、前記第３の回転量と、事前に設定された基準回転量と、を比較して、前記第３の回転量が前記基準回転量を超えた場合に、前記画像エリアのサイズを調整する携帯型端末装置。
7. 請求項１乃至３の何れかに記載の携帯型端末装置に於いて、さらに、
   前記携帯型端末装置の、少なくとも前記第１の軸及び前記第２の軸の何れかの軸方向の加速度を取得する第２の取得部と、
   前記軸方向の加速度の変化に基づき、前記画像エリアのサイズを調整する調整部と、
   を備える携帯型端末装置。
8. 請求項１乃至７の何れかに記載の携帯型端末装置に於いて、
   前記抽出部は、前記表示画像に於ける前記ポインタの密度に基づき、前記画像エリアを決定する携帯型端末装置。
9. 請求項１乃至８の何れかに記載の携帯型端末装置に於いて、
   前記抽出部は、
   互いに平行な第１の境界線及び第２の境界線を含み、かつ、前記ポインタを包含する矩形状の第１のエリアを、前記表示画像から抽出する第１の抽出部と、
   前記第１のエリアに於ける前記ポインタの重心を算出する第３の算出部と、
   前記ポインタの重心から前記第１の境界線及び前記第２の境界線までの距離を算出する第４の算出部と、
   前記ポインタの重心から前記第１の境界線までの距離と、前記ポインタの重心から前記第２の境界線までの距離と、のうち小さい方の距離だけ前記重心から離間した位置に、それぞれ境界線を有する矩形状の第２のエリアを、前記画像エリアとして抽出する第２の抽出部と、
   を備える携帯型端末装置。
10. 携帯型端末装置によりエリアを指定するエリア指定方法に於いて、
    前記携帯型端末装置のカメラにより撮影された複数の撮影画像のうち、表示画面に表示する表示画像を決定する工程と、
    前記携帯型端末装置の、前記表示画面の法線に交差する平面内に規定される第１の軸及び第２の軸を中心とする第１の角速度及び第２の角速度を取得する工程と、
    前記第１の角速度及び前記第２の角速度に基づき、前記携帯型端末装置の前記第１の軸及び前記第２の軸を中心とする第１の回転量及び第２の回転量を算出する工程と、
    前記第１の回転量及び前記第２の回転量に基づき、前記表示画面の範囲に包含され、前記カメラの光軸に連動する座標を算出する工程と、
    前記表示画像の前記座標にポインタを重畳する工程と、
    前記表示画像から前記ポインタを包含する画像エリアを抽出する工程と、
    を備えるエリア指定方法。
11. 請求項１０に記載のエリア指定方法に於いて、さらに、
    前記画像エリアの画像情報に基づき、前記画像エリアに包含される物体を指定する工程を備えるエリア指定方法。
12. 携帯型端末装置によりエリアを指定するエリア指定プログラムに於いて、
    前記エリア指定プログラムは、コンピュータに、
    前記携帯型端末装置のカメラにより撮影された複数の撮影画像のうち、表示画面に表示する表示画像を決定するステップ、
    前記携帯型端末装置の、前記表示画面の法線に交差する平面内に規定される第１の軸及び第２の軸を中心とする第１の角速度及び第２の角速度を取得するステップ、
    前記第１の角速度及び前記第２の角速度に基づき、前記携帯型端末装置の前記第１の軸及び前記第２の軸を中心とする第１の回転量及び第２の回転量を算出するステップ、
    前記第１の回転量及び前記第２の回転量に基づき、前記表示画面の範囲に包含され、前記カメラの光軸に連動する特定の座標を算出するステップ、
    前記表示画像の前記座標にポインタを重畳するステップ、及び
    前記表示画像から前記ポインタを包含する画像エリアを抽出するステップ、
    を実行させるエリア指定プログラム。
13. 請求項１２に記載のエリア指定プログラムに於いて、
    前記エリア指定プログラムは、コンピュータに、さらに、
    前記画像エリアの画像情報に基づき、前記画像エリアに包含される物体を指定するステップを実行させるエリア指定プログラム。

Images