JP5661808B2

JP5661808B2 - 携帯端末及び携帯端末の制御方法

Info

Publication number: JP5661808B2
Application number: JP2012553622A
Authority: JP
Inventors: 須藤　智浩; 智浩須藤
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2011-01-18
Filing date: 2012-01-18
Publication date: 2015-01-28
Anticipated expiration: 2032-01-18
Also published as: JPWO2012098872A1; WO2012098872A1; US20130293585A1

Description

関連出願へのクロスリファレンス

本出願は、日本国特許出願２０１１−８１０９号（２０１１年１月１８日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。

この発明は、携帯端末及び携帯端末の制御方法に関し、特に、実画像に仮想情報を重畳して表示するＡＲ技術に対応した携帯端末及び携帯端末の制御方法に関する。

現実の環境に仮想的な画像を合成して表示させる、ＡＲ（Augmented Reality：拡張現実）と呼ばれる技術が存在する。ＡＲ技術では、カメラが撮影する画像中にバーコード等の仮想情報マーカー（ＡＲマーカー）がある場合、当該仮想情報マーカーに対応する仮想情報（ＡＲオブジェクト）が画面上に表示される。このため、ユーザは、あたかもカメラの捉えている空間上にＡＲオブジェクトが実在しているかのような錯覚を覚えることになる。また、ＡＲオブジェクトとしてテキスト情報を画像上に表示することによって、ユーザは、例えばカメラ画像に含まれる店舗等の詳細を確認することができる。

ＡＲオブジェクトは、バーコード等の画像内に含まれるＡＲマーカーから取得するものの他に、携帯端末の位置情報を用いて外部のサーバから取得することができる。例えば、特許文献１記載の方法では、位置情報と対応付けられたエアタグがサーバに保存されている。携帯端末側でＡＲアプリケーションを起動すると、携帯端末はＧＰＳによって現在の位置情報を取得し、現在位置情報をサーバに送信する。サーバは、受信した位置情報近傍のエアタグを取得し、携帯端末に送信する。携帯端末は、エアタグを取得すると、カメラによって撮影された画像に重ねてエアタグを表示する。

特許第３７０００２１号公報

従来技術では、端末からの距離が近いものから順にＡＲオブジェクトが表示されるため、背後に位置するＡＲオブジェクトは前面に位置するＡＲオブジェクトの背面に隠れて表示されないという問題があった。

したがって、かかる点に鑑みてなされた本発明の目的は、重なり合うＡＲオブジェクトを切替えて表示可能な携帯端末を提供することにある。

上述した諸課題を解決すべく、第１の観点に係る携帯端末は、
撮像部と、
前記撮像部によって撮像した画像に、当該画像に対応する仮想情報を重畳させて表示する表示部と、
制御部と、を備え、
前記制御部は、第１の仮想情報に第２の仮想情報が重畳して表示されている場合に、ユーザによる所定の入力があると、前記画像内における前記第１の仮想情報及び前記第２の仮想情報の平面上の表示位置を維持しつつ、前記第２の仮想情報の後ろに表示されていた前記第１の仮想情報を前記第２の仮想情報より前に表示し、
タッチセンサのタッチ面に対して触感を呈示する触感呈示部を更に備え、
前記制御部は、前面の仮想情報により背面の仮想情報が隠れている場合に、前記前面の仮想情報に対する前記入力が検出されると、前記入力に対して触感を呈示するように前記触感呈示部を制御する
ものである。

上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

また、第２の観点に係る発明は、
タッチセンサと、
撮像部と、
前記撮像部によって撮像された画像を表示する表示部と、
前記画像に含まれる仮想情報を前記画像に重畳して表示するように前記表示部を制御するとともに、前記仮想情報を階層化し、入力に応じて前記仮想情報の表示階層を切替える制御部と、
触感を呈示する触感呈示部と、を備え、
前記制御部は、一の仮想情報により他の仮想情報が隠れて表示されている場合に、前記一の仮想情報に対する前記タッチセンサによる入力が検出されると、触感を呈示するように前記触感呈示部を制御する
ものである。

本発明に係る携帯端末は、重なり合うＡＲオブジェクトを切替えて表示することができる。

図１は、本発明の一実施形態に係る携帯端末の機能ブロック図である。図２は、図１に示す携帯端末の正面図及び背面図である。図３は、ＡＲオブジェクトの階層化の一例を示す図である。図４は、図１に示す携帯端末の動作フローチャートである。図５は、ＡＲオブジェクトの表示例を示す図である。図６は、図１に示す携帯端末の動作フローチャートである。図７は、ＡＲオブジェクトの切替えの一例を示す図である。図８は、ＡＲオブジェクトの切替えの一例を示す図である。図９は、ＡＲオブジェクトの切替えの一例を示す図である。図１０は、隠しＡＲオブジェクトに対する触感呈示の一例を示す図である。

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。以下の実施形態においては、本発明の携帯端末の一例として、携帯電話やＰＤＡなどのような携帯端末であってタッチパネルを備えているものを想定して説明する。しかしながら、本発明の携帯端末は、これらの端末に限定されるものではなく、例えば、ゲーム機、デジタルカメラ、ポータブルオーディオプレーヤ、ノートＰＣ、ミニノートＰＣなどの種々の端末とすることができる。

図１は、本発明の一実施形態に係る携帯端末１０の内部構成を概略的に示す機能ブロック図である。図１に示すように、携帯端末１０は、タッチパネル１０１と、触感呈示部１０４と、荷重検出部１０５と、撮像部１０６と、位置情報取得部１０７と、通信部１０８と、記憶部１０９と、制御部１１０とを備えている。

本実施形態では、タッチパネル１０１は、表示部１０２と、タッチセンサ１０３とを備えている。このタッチパネル１０１は、ユーザの入力を受け付けるタッチセンサ１０３を、表示部１０２の前面に重畳させて配設することにより構成する。図２（ａ）は、携帯端末１０の正面図であり、図２（ｂ）は、携帯端末１０の背面図である。図２の通り、携帯端末１０の正面にはタッチパネル１０１（表示部１０２及びタッチセンサ１０３）が設けられ、携帯端末１０の背面には撮像部１０６が設けられている。

タッチパネル１０１の表示部１０２は、例えば液晶ディスプレイ（ＬＣＤ）または有機ＥＬディスプレイなどで構成される。表示部１０２は、撮像部１０６が取得した画像を表示するものであり、ＡＲ表示がＯＮに設定されている場合、仮想情報であるＡＲオブジェクトが重畳された画像を表示するものである。表示部１０２の前面には、ユーザの指などによるタッチ面への入力を検出するタッチセンサ１０３が配設される。このタッチセンサ１０３は、例えば抵抗膜方式、静電容量方式、光学式等の公知の方式のもので構成される。タッチセンサ１０３は、ユーザの指などの入力を検知すると、入力位置の情報を制御部１１０に供給する。なお、タッチセンサ１０３が入力を検出する上で、ユーザの指等がタッチセンサ１０３を物理的に押下することは必須ではない。例えば、タッチセンサ１０３が光学式である場合には、タッチセンサ１０３は、赤外線が指等により遮られた位置を検出するため、物理的な押下がない場合でも入力を検出することができる。

触感呈示部１０４は、タッチセンサ１０３のタッチ面に振動を伝えるもので、例えば、圧電素子または超音波振動子などを用いて構成する。この触感呈示部１０４が振動することにより、タッチセンサ１０３を押圧しているユーザの指などに対して触感を呈示することができる。また、触感呈示部１０４は、振動モータ（偏心モータ）により携帯端末１０を振動させることにより、タッチセンサ１０３のタッチ面を間接的に振動させるように構成することもできる。

荷重検出部１０５は、タッチセンサ１０３のタッチ面に対する押圧荷重を検出するもので、例えば圧電素子、歪みゲージセンサなどを用いて構成する。荷重検出部１０５は、検出した押圧荷重を制御部１１０に供給する。なお、例えば、触感呈示部１０４及び荷重検出部１０５を共に圧電素子を用いて構成する場合は、触感呈示部１０４及び荷重検出部１０５を共通の圧電素子により一体化して構成することができる。圧電素子は、圧力が加えられると電力を発生し、電力が加えられると変形するという性質を有するためである。

撮像部１０６は、実環境を撮像して画像を取得するもので、例えば、撮像レンズ、撮像素子などから構成される。ＡＲ処理のため、撮像部１０６によって取得された画像は制御部１１０に供給される。また、撮像部１０６によって、撮像が確定されていない状態（プレビュー状態）において取得された画像も、制御部１１０に供給される。

位置情報取得部１０７は、携帯端末１０の現在位置（位置情報）を取得するものであり、例えば、ＧＰＳ（Global Positioning System）装置等によって構成される。位置情報取得部１０７は、さらに方位センサを備え、携帯端末１０が向いている方向（方位情報）を取得することもできる。位置情報取得部１０７は、取得した位置情報及び方位情報を制御部１１０に供給する。

通信部１０８は、外部のＡＲサーバ（図示せず）との間で通信を行うものであり、例えば、無線通信に対応したインタフェース機器等によって構成される。通信部１０８は、位置情報取得部１０７が取得した位置情報及び方位情報をＡＲサーバに送信し、ＡＲサーバから、送信した情報に対応するＡＲオブジェクトのデータを受信する。なお、ＡＲサーバは、例えば位置情報と関連付けてＡＲオブジェクトの情報を記憶しているものとする。ＡＲサーバは、携帯端末１０の位置情報及び方位情報に基づき、撮像部１０６が取得した画像内に含まれうるＡＲオブジェクトを選択し、当該選択したＡＲオブジェクトのデータを携帯端末１０に送信する。なお、携帯端末１０は、位置情報に基づき予めＡＲサーバから送信されたＡＲオブジェクトの中から、方位情報に基づいて、撮像部１０６によって取得された画像内に含まれるＡＲオブジェクトを選択して表示するようにしても良い。

記憶部１０９は、触感呈示部１０４が呈示する触感パターンなどを記憶するとともに、ワークメモリなどとしても機能する。ここで、触感パターンとは、振動の仕方（周波数、位相、振動間隔、振動回数など）や振動の強さ（振幅など）等により規定されるものである。また、記憶部１０９は、撮像部１０６が取得した画像を記憶することができる。

制御部１１０は、携帯端末１０の各機能部をはじめとして携帯端末１０の全体を制御および管理するものであり、ＣＰＵ等の好適なプロセッサによって構成される。特に、制御部１１０は、取得したＡＲオブジェクトを画像に重畳して表示部１０２に表示させる。ＡＲオブジェクトの取得に関し、制御部１１０は、撮像部１０６が取得した画像内の仮想情報マーカー（仮想情報が対応付けられた対象物。以降ＡＲマーカーと称する。）を検出し、当該ＡＲマーカーに対応するＡＲオブジェクトを取得することができる。また、制御部１１０は、位置情報取得部１０７が取得した位置情報及び方位情報を通信部１０８よりＡＲサーバに送信し、ＡＲサーバから画像内に含まれるＡＲオブジェクトの情報を取得することができる。なお、制御部１１０は、任意の外部記憶媒体に記憶されているＡＲオブジェクトのデータを読み込み、ＡＲオブジェクトを取得しても良い。

制御部１１０は、ＡＲマーカーの検出やＡＲサーバとの通信などによって画像内のＡＲオブジェクトを取得すると、各ＡＲオブジェクトの位置やＡＲオブジェクトの大きさを解析し、ＡＲオブジェクトの階層化を行う。図３は、ＡＲオブジェクトの階層化の一例である。撮像部１０６が取得した画像に複数のＡＲオブジェクト（ＡＲ１〜７）が含まれているとする。この場合、制御部１１０は、各ＡＲオブジェクトの位置や、各ＡＲオブジェクトの大きさなどから、ＡＲ２はＡＲ４及びＡＲ７と、ＡＲ１はＡＲ６と、ＡＲ３はＡＲ５とそれぞれ重なり合うことを検出する。次いで、制御部１１０は、図３（ａ）の通り、撮像部１０６の光軸方向に沿って、ＡＲ１〜３を第１レイヤ、ＡＲ４〜６を第２レイヤ、ＡＲ７を第３レイヤに階層化する。制御部１１０は、タッチセンサ１０３への入力に応じてＡＲオブジェクトの表示階層（レイヤ）を切替えることによって、他のＡＲオブジェクトの背面に隠れたＡＲオブジェクトを表示部１０２に表示させることができる。なお、制御部１１０は、図３（ｂ）の通り、ＡＲ７に加え、ＡＲ５及びＡＲ６を含むように第３レイヤを設定することもできる。すなわち、制御部１１０は、ＡＲオブジェクトの重なり合いが少ない箇所に関しては、その中で最も後方に位置するＡＲオブジェクトを、より深い階層を表示する際に表示させておいても良い。また、制御部１１０は、ＡＲオブジェクトの位置やＡＲオブジェクトの大きさだけではなく、ＡＲオブジェクトの情報の種類によってＡＲオブジェクトを階層化することができる。例えば、制御部１１０は、店舗に関するＡＲオブジェクトとして、店舗の名称、店舗の評判、店舗の口コミ情報などが存在する場合、店舗の名称、店舗の評判、店舗の口コミ情報をそれぞれ独立のレイヤへと階層化することができる。

制御部１１０は、ＡＲオブジェクトの階層化を行うと、ＡＲオブジェクトの表示階層の切替えに関する条件設定を行う。ここで、制御部１１０は、ＡＲオブジェクトの表示階層の切替え条件として、荷重検出部１０５が検出する押圧荷重を用いることができる。即ち、制御部１１０は、第１の荷重基準（一段押下）を満たす押圧荷重を検出した場合に第１レイヤのＡＲオブジェクトを表示し、第２の荷重基準（二段押下）を満たす押圧荷重を検出した場合に第２レイヤのＡＲオブジェクトを表示するように切替え条件を設定することができる。また、制御部１１０は、ＡＲオブジェクトの表示階層の切替え条件として、タッチセンサ１０３への指等の入力位置を用いることができる。即ち、制御部１１０は、ＡＲオブジェクトが重なり合う位置に入力が行われた場合に、ＡＲオブジェクトの表示階層を切替えるように切替え条件を設定することができる。なお、制御部１１０は、ＡＲオブジェクトの表示階層を切替える場合に、入力に対して触感を呈示するように触感呈示部１０４の駆動を制御することが出来る。また、制御部１１０は、ＡＲオブジェクトの表示階層の切替え条件として、押圧荷重の代わりに、荷重検出部１０５が押圧荷重を検出したことにより出力するデータを用いることもできる。なお、荷重検出部１０５が出力するデータとは、電力であっても良い。

図４は、携帯端末１０の動作フローチャートである。まず、携帯端末１０のＡＲ表示がＯＮになる（ステップＳ１０１）。ここで、ＡＲ表示がＯＮになるとは、具体的にはＡＲオブジェクトを表示可能なアプリケーションが起動された場合、又は、ＡＲオブジェクトの表示、非表示の切替え可能なカメラモードにおいてＡＲオブジェクト表示に切替えられたときなどである。次に、制御部１１０は、撮像部１０６が取得する画像内のＡＲマーカーを検出し（ステップＳ１０２）、検出したＡＲマーカーに対応するＡＲオブジェクトを取得する（ステップＳ１０３）。また、制御部１１０は、位置情報取得部１０７から位置情報及び方位情報を取得し（ステップＳ１０４、Ｓ１０５）、通信部１０８を通じてＡＲサーバに当該位置情報及び方位情報を送信する（ステップＳ１０６）。このとき、ＡＲサーバは、携帯端末１０から受信した位置情報及び方位情報から、携帯端末１０の撮像部１０６が取得した画像内に含まれるＡＲオブジェクトを選択し、当該選択したＡＲオブジェクトをＡＲデータとして携帯端末１０に送信する。なお、前述したように、携帯端末１０はＡＲサーバに対して位置情報のみを送信し、ＡＲサーバより送信されたＡＲオブジェクトのうち、方位情報に基づいて選択されたＡＲオブジェクトのみを表示することもできる。制御部１１０は、ＡＲサーバからＡＲデータを取得すると（ステップＳ１０７）、画像内のＡＲマーカーから取得したＡＲオブジェクトと、ＡＲサーバから取得したＡＲオブジェクトとの階層化処理を行う（ステップＳ１０８）。次に、制御部１１０は、ＡＲオブジェクトの表示階層の切替え条件を設定し（ステップＳ１０９）、ＡＲオブジェクトを撮像部１０６が取得した画像に重畳して表示部１０２に表示させる（ステップＳ１１０）。なお、図４におけるＳ１０２〜Ｓ１０３の処理と、Ｓ１０４〜Ｓ１０７の処理とは、順序を入れ替えても良い。また、画像内のＡＲマーカーが検出されない場合には、Ｓ１０２〜Ｓ１０３の処理は行わなくても良い。

図５は、ＡＲオブジェクトの表示例を示す図である。携帯端末１０のＡＲ表示がＯＮになると、制御部１１０は、画像内のＡＲマーカーに対応するＡＲオブジェクトを取得すると共に、ＡＲサーバからＡＲオブジェクトを取得する。ＡＲマーカーの検出及びＡＲサーバとの通信によってＡＲオブジェクトを取得すると、制御部１１０は、ＡＲオブジェクトの階層化や表示階層の切替え条件の設定を行い、ＡＲオブジェクトを表示部１０２に表示させる。

図６は、ＡＲオブジェクトの表示階層の切替え処理のフローチャートである。制御部１１０は、タッチセンサ１０３からの信号によりタッチパネル１０１への入力を検出すると（ステップＳ２０１）、当該入力が表示階層の切替え条件を満たすかどうかを判定する（ステップＳ２０２）。入力が表示階層の切替え条件を満たす場合（ステップＳ２０２のＹｅｓ）、制御部１１０はＡＲオブジェクトの表示階層を切替える（ステップＳ２０３）。

図７〜９は、階層化されたＡＲオブジェクトの切替え例を示す図である。図７は、制御部１１０が表示階層の切替え条件として押圧荷重を用いた場合の切替え例である。図７の例では、制御部１１０は、第１の荷重基準（一段押下）を満たす押圧荷重を検出した場合に第１レイヤのＡＲオブジェクトを表示し、第２の荷重基準（二段押下）を満たす押圧荷重を検出した場合に第２レイヤのＡＲオブジェクトを表示する。

図８は、制御部１１０が表示階層の切替え条件としてタッチセンサ１０３への入力位置を用いた場合の切替え例である。図８の例では、制御部１１０は、ＡＲオブジェクトが重なり合う位置に入力が行われた場合に、ＡＲオブジェクトの表示階層を切替える。なお、この場合、制御部１１０は、入力位置に表示されているＡＲオブジェクトに関する表示階層のみを切替えることができる。即ち、制御部１１０は、入力位置に表示されているＡＲオブジェクトに関してのみ表示階層を切替えるが、入力が行われていないＡＲオブジェクトに関しては表示階層の切替えは行わなくても良い。また、制御部１１０は、ＡＲオブジェクトが重なり合う位置から所定範囲内への入力が行われた場合に、ＡＲオブジェクトの表示階層を切替えても良い。さらに、制御部１１０は、表示階層の切替え条件として、押圧荷重及び入力位置を共に用いることができる。この場合、制御部１１０は、ユーザの入力の力や入力位置に応じてＡＲオブジェクトの表示階層を切替えるため、ユーザはより直感的な操作でＡＲオブジェクトの表示階層を切替えることができる。

図９は、制御部１１０がＡＲオブジェクトの種類に応じて階層化を行った場合の表示階層の切替え例である。図９の例では、制御部１１０は、店舗名称を第１レイヤに、店舗の評判を第２レイヤに、店舗への口コミを第３レイヤに設定している。制御部１１０は、第１の荷重基準（一段押下）を満たす押圧荷重を検出した場合に第１レイヤである店舗名称を表示し、第２の荷重基準（二段押下）を満たす押圧荷重を検出した場合に第２レイヤである店舗の評判を表示し、第３の荷重基準（三段押下）を満たす押圧荷重を検出した場合に第３レイヤである店舗の口コミを表示する。

このように、本実施形態によれば、制御部１１０は、ＡＲオブジェクト（仮想情報）を階層化し、タッチセンサ１０３への入力に応じてＡＲオブジェクトの表示階層を切替える。これにより、本実施形態に係る携帯端末１０は、重なり合って背面に隠れたＡＲオブジェクトを切替えることにより前面に表示することが可能になる。

また、制御部１１０は、携帯端末１０の位置情報に基づきＡＲオブジェクトを撮像部１０６が取得した画像に重畳して表示することができる。これにより、本実施形態に係る携帯端末１０は、撮像部１０６が取得した画像内に含まれるＡＲオブジェクトを表示することが可能になる。

また、制御部１１０は、撮像部１０６が取得した画像に含まれ、ＡＲオブジェクト（仮想情報）が対応付けられた対象物（ＡＲマーカー）に関連するＡＲオブジェクトを、画像に重畳して表示することができる。これにより、本実施形態に係る携帯端末１０は、撮像部１０６が取得した画像内に含まれるＡＲオブジェクトを表示することが可能になる。

また、制御部１１０は、指等の押圧荷重に応じてＡＲオブジェクトの表示階層を切替えることができる。これにより、本実施形態に係る携帯端末１０は、ユーザの入力の力に応じて表示階層を切替えることができ、ユーザは、直感的な操作でＡＲオブジェクトの表示を切替えることが可能になる。

また、制御部１１０は、ＡＲオブジェクトが重なり合う位置に入力が検出された場合に、ＡＲオブジェクトの表示階層を切替えることができる。これにより、本実施形態に係る携帯端末１０は、ユーザの入力位置に応じて表示階層を切替えることができ、ユーザは、より直感的な操作でＡＲオブジェクトの表示を切替えることが可能になる。

また、制御部１１０は、入力位置に表示されているＡＲオブジェクトに関する表示階層のみを切替えることができる。これにより、本実施形態に係る携帯端末１０は、ユーザが希望するＡＲオブジェクトのみ表示階層を切替えることが可能になり、ユーザは、より直感的な操作でＡＲオブジェクトの表示を切替えることが可能になる。

また、制御部１１０は、ＡＲオブジェクトの種類に応じて階層化を行うことができる。これにより、本実施形態に係る携帯端末１０は、ＡＲオブジェクトに対してより多様な階層化を行うことが可能になる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部に含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部を１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、制御部１１０は、前面のＡＲオブジェクトにより背面のＡＲオブジェクトが隠れている場合に、前面のＡＲオブジェクトに対する入力が検出されると、当該入力に対して触感を呈示するように触感呈示部１０４を制御することができる。図１０は、隠しＡＲオブジェクトに対する触感呈示の一例を示す図である。図１０（ａ）に示すように、画像内に３つのＡＲオブジェクト（ＡＲ１〜３）が存在し、図１０（ｂ）に示すように、前面のＡＲ１により背面のＡＲ２が隠れているものとする。この場合、制御部１１０は、ＡＲ１に対する入力を検出した場合、当該入力に対して触感を呈示することにより、ＡＲ２の存在をユーザに対して報知することが可能となる。

また、記憶部１０９は、撮像部１０６が取得した画像にＡＲオブジェクトが含まれる場合、取得した画像と共に、当該ＡＲオブジェクトの情報も合わせて記憶することができる。これにより、ユーザは、過去に取得した画像に関するＡＲオブジェクトを任意のタイミングで確認することが可能となり、ユーザの利便性を向上させることができる。なお、例えば、取得した画像に関するＡＲオブジェクトの記憶には、ＪＰＥＧ形式のコメント欄を利用しても良い。

また、制御部１１０は、ＡＲオブジェクトの表示階層の切替え条件として、押圧荷重や入力の他に、入力の回数を用いることができる。即ち、制御部１１０は、１回目の入力に対して第１レイヤのＡＲオブジェクトを表示し、２回目の入力に対して第２レイヤのＡＲオブジェクトを表示するように切替え条件を設定することができる。

また、制御部１１０は、ＡＲオブジェクトの表示階層の切替えに関し、表示するＡＲオブジェクトがなくなった場合や、表示階層の切替えが一巡した場合などに、最前面のＡＲオブジェクトを表示するように、表示階層の初期化を行うことができる。これにより、ユーザは初期化後に改めて表示階層の切替えを行うことができるため、ユーザに対する利便性を向上させることができる。

また、上記実施形態における表示部１０２及びタッチセンサ１０３は、これら両機能を共通の基板に持たせる等により、一体化した装置によって構成されるようにしてもよい。このように表示部１０２とタッチセンサ１０３との両機能を一体化した装置の構成の一例としては、液晶パネルが有するマトリクス状配列の画素電極群に、フォトダイオード等の複数の光電変換素子を規則的に混在させたものを挙げることができる。この装置は、液晶パネル構造によって画像を表示する一方で、パネル表面の所望位置を接触するペンの先端で液晶表示用のバックライトの光を反射し、この反射光を周辺の光電変換素子が受光することによって、接触位置を検出することができる。

また、上記実施形態における制御部１１０は、荷重検出部１０５により検出される押圧荷重が、所定の基準を満たした際に表示階層を切替える。この場合において、荷重検出部１０５により検出される押圧荷重が所定の基準を満たしたとは、荷重検出部１０５により検出される押圧荷重が所定値に達したことであってもよいし、荷重検出部１０５により検出される押圧荷重が所定値を超えたことでもよいし、荷重検出部１０５により所定値が検出されたことでもよい。さらに制御部１１０は、荷重検出部１０５が押圧荷重を検出することにより出力するデータが所定の基準を満たした際には表示階層を切替えてもよい。なお、荷重検出部が出力するデータとは、電力であっても良い。

また、上述の説明において、例えば、所定値「以上」または所定値「以下」のような表現の技術的思想が意味する内容は必ずしも厳密な意味ではなく、携帯端末の仕様に応じて、基準となる値を含む場合または含まない場合の意味を包含するものとする。例えば、所定値「以上」とは、増大する値が所定値に達した場合のみならず、所定値を超えた場合も含意し得るものとする。また、例えば所定値「以下」とは、減少する値が所定値に達した場合のみならず、所定値を下回った場合、つまり所定値未満になった場合も含意し得るものとする。

１０携帯端末
１０１タッチパネル
１０２表示部
１０３タッチセンサ
１０４触感呈示部
１０５荷重検出部
１０６撮像部
１０７位置情報取得部
１０８通信部
１０９記憶部
１１０制御部

Claims

撮像部と、
前記撮像部によって撮像した画像に、当該画像に対応する仮想情報を重畳させて表示する表示部と、
制御部と、を備え、
前記制御部は、第１の仮想情報に第２の仮想情報が重畳して表示されている場合に、ユーザによる所定の入力があると、前記画像内における前記第１の仮想情報及び前記第２の仮想情報の平面上の表示位置を維持しつつ、前記第２の仮想情報の後ろに表示されていた前記第１の仮想情報を前記第２の仮想情報より前に表示し、
タッチセンサのタッチ面に対して触感を呈示する触感呈示部を更に備え、
前記制御部は、前面の仮想情報により背面の仮想情報が隠れている場合に、前記前面の仮想情報に対する前記入力が検出されると、前記入力に対して触感を呈示するように前記触感呈示部を制御する携帯端末。
タッチセンサと、
撮像部と、
前記撮像部によって撮像された画像を表示する表示部と、
前記画像に含まれる仮想情報を前記画像に重畳して表示するように前記表示部を制御するとともに、前記仮想情報を階層化し、入力に応じて前記仮想情報の表示階層を切替える制御部と、
触感を呈示する触感呈示部と、を備え、
前記制御部は、一の仮想情報により他の仮想情報が隠れて表示されている場合に、前記一の仮想情報に対する前記タッチセンサによる入力が検出されると、触感を呈示するように前記触感呈示部を制御する携帯端末。