[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5172997B2 - 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体 - Google Patents

情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体 Download PDF

Info

Publication number
JP5172997B2
JP5172997B2 JP2011157167A JP2011157167A JP5172997B2 JP 5172997 B2 JP5172997 B2 JP 5172997B2 JP 2011157167 A JP2011157167 A JP 2011157167A JP 2011157167 A JP2011157167 A JP 2011157167A JP 5172997 B2 JP5172997 B2 JP 5172997B2
Authority
JP
Japan
Prior art keywords
unit
icon
information
operation screen
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011157167A
Other languages
English (en)
Other versions
JP2013025409A (ja
Inventor
正義 神原
信子 三浦
敬一 長谷川
晋吾 山下
英樹 西村
陽 柯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2011157167A priority Critical patent/JP5172997B2/ja
Priority to PCT/JP2012/067525 priority patent/WO2013011862A1/ja
Publication of JP2013025409A publication Critical patent/JP2013025409A/ja
Application granted granted Critical
Publication of JP5172997B2 publication Critical patent/JP5172997B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、入力部および表示部を備える情報処理装置のユーザインターフェース技術に関するものである。
近年、スマートフォン、タブレットPCなどの、いわゆるタブレット端末が急速に普及している。タブレット端末は、平板状の外形を有しており、表示部および入力部としてのタッチパネルを備えている。このタッチパネルに表示されたオブジェクトを、指やペン等でタッチすることにより、ユーザは、タブレット端末本体への各種操作を行うことができる。
タブレット端末は、タッチパネルによってユーザの画面上での様々な接触動作を判別することができ、その接触動作に合わせたオブジェクト表示を行うことができる。例えば、接触動作には、画面に表示されたオブジェクトを、指(ペン)でタップする(軽くたたく)、フリックする(はじく、はらう)、ピンチする(指でつまむ)、ドラッグするなどの様々な動作がある。タブレット端末は、そうしたさまざまな接触動作を判別し、判別結果に応じて、オブジェクトの選択/移動、リストのスクロール、画像などの拡大/縮小を行う。タブレット端末は、上述のようにタッチパネルによってより直感的な操作を実現し、多くの人から支持されている。
例えば、特許文献1には、タッチパネル式の表示部を備えた携帯通信端末が開示されている。特許文献1の携帯通信端末では、オブジェクト(URL、メールアドレス、文字列、画像など)を、指(ペン)でなぞるようにタッチしたり、囲むようにタッチしたりすることによって選択できるようになっている。そして、そのような動作で、オブジェクトが選択された場合には、携帯通信端末は、選択されたオブジェクトからキーワードを抽出して関連サイトへアクセスする。
また、特許文献2には、タッチパネルディスプレイを備えた携帯機器が開示されている。特許文献2の携帯機器は、タッチパネルディスプレイにスルー画像(カメラに映った画像等)を表示し、囲むようにタッチして選択されたスルー画像内の特定対象を検出して、該特定対象の縮小画像をレリーズボタンとしてタッチパネルディスプレイの端部に表示することができる。
また、特許文献3には、タッチパネルを用いたウェブサイト検索システムが開示されている。特許文献3のウェブサイト検索システムは、キーワード表示領域に表示されているキーワードが、手でタッチされると、それを検索キーワードとして受け付け、受け付けたキーワードに対応する第1マザーアイコンを表示する。そして、ウェブサイト検索システムは、キーワードに従って検索エンジンでウェブサイトを検索し、検索されたウェブサイトのサムネイル画像を上記第1マザーアイコンの周囲に表示する。
また、特許文献4には、接触センサを有する表示パネルを備えた情報処理装置が開示されている。特許文献4の情報処理装置は、オブジェクトが選択されている状態で、操作体(指)の所定角度以上の回転を検知して、該オブジェクトに関連する操作項目を該オブジェクトの周辺に表示する。
また、特許文献5には、タッチパネル部を備えた情報処理装置が開示されている。特許文献5の情報処理装置は、ユーザのタッチ位置の軌跡を取得して、軌跡によって選択されたオブジェクト画像を特定し、軌跡の端点に応じた位置に、その選択されたオブジェクト画像を移動させる。
一方で、タブレット端末にかかわらず、また、装置の大小を問わず、情報処理装置一般において、メニューを表示し選択を受け付けるというユーザインターフェース技術は非常によく用いられている。この技術によれば、情報処理装置は、ユーザが所望の項目を選択可能なようにメニューを表示し、ユーザの選択を受け付ける。これにより、ユーザは所望の項目を選択することで装置を操作することができる。例えば、特許文献6〜9には、ユーザの利便性およぶ操作性を向上させることを目的として、メニュー表示を実現する情報処理装置が開示されている。
特開2010−218322号公報(2010年9月30日公開) 特開2010−182023号公報(2010年8月19日公開) 特開2009−134738号公報(2009年6月18日公開) 特開2011−13980号公報(2011年1月20日公開) 特開2006−244353号公報(2006年9月14日公開) 特開平8−305535号公報(1996年11月22日公開) 特開平10−307674号公報(1998年11月17日公開) 特表平11−507455号公報(1999年6月29日公表) 特開2001−265475号公報(2001年9月28日公開)
タブレット端末の操作性の良さは、いかに簡易な接触動作で且ついかに少ない動作数でユーザの目的である最終結果物を表示させるかということ、および、いかにユーザの直感に反しない自然な流れで、該接触動作に基づく結果物の表示を行うかということにかかっている。
こうした操作性の向上は、ユーザの目的、ユーザの状態、ユーザの傾向を適正に把握することによって実現される。タブレット端末は、例えば、ユーザは今何をどうしたいのか、その次に何がしたいのか、ユーザは今どうやって操作しているのか、今どこにいるのか、ユーザの動きに対してどのように表示することが自然であるのか、など、ユーザの意図をあらゆる観点から「察する」ことが求められている。
上述の特許文献1〜9の各装置の構成では、ユーザの意図を察するには必ずしも十分とは言えない。
より具体的には、特許文献1には、オブジェクトを囲うという動作によって、オブジェクトを選択することが開示されているが、上記動作によって、そのオブジェクトに関連する項目を抽出し表示することは開示されていない。また、特許文献2には、オブジェクトを囲うという動作によって、そのオブジェクトに対応するアイコンを表示することは開示されているが、上記動作によって、そのオブジェクトを選択し、該選択に伴って、オブジェクトに関連する項目を抽出し表示することは開示されていない。また、特許文献3には、オブジェクトが選択されると、オブジェクトを表示し、オブジェクトに関連するサムネイルをオブジェクトの周囲に表示することが開示されているが、オブジェクトを囲うという動作とサムネイルの表示とは結びついていない。また、特許文献4には、オブジェクトをタッチして選択すること、および、オブジェクトに関連するアイコンをオブジェクトの周囲に表示することが開示されているが、周囲にアイコンを表示させるために、オブジェクトの選択とは別に、煩雑な動作(指をタッチ面に押さえつけて指の角度を変えてひねるような動作)を行わなければならず、操作数が増え、目的の結果物(アイコン)を表示するまでの操作が非常に複雑なものとなる。
結果として、オブジェクトの選択、決定、結果物(関連する項目)の表示、結果物の選択、・・・最終結果物の表示、という一連の処理を、簡易な接触動作、少ない動作数、および、直感的な接触動作で装置に行わせるということができないという問題がある。
上述の操作性の問題は、携帯性に優れた小型のタブレット端末のみならず、タッチパネル式の表示部兼入力部を備えた、あらゆるサイズの情報処理装置、ならびに、タッチパネルに限定されずあらゆる形態の表示部および入力部を備えた情報処理装置に共通して生じる問題である。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することにある。
本発明の情報処理装置は、上記課題を解決するために、表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得手段と、上記軌跡取得手段によって取得された軌跡により囲われた領域に、少なくとも一部が含まれるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定手段と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、上記関連項目抽出手段によって抽出された関連項目のアイコンを、環の輪郭線上に並べて配置して、上記表示部に表示する操作画面処理手段とを備えていることを特徴としている。
上記構成によれば、軌跡取得手段が囲うという動作(指示体の移動)の軌跡を取得し、この軌跡に基づいて、オブジェクト特定手段が、囲う動作によってユーザが選択したオブジェクトを特定する。続いて、関連項目抽出手段が、特定されたオブジェクトに関連する項目を抽出する。関連情報記憶部には、オブジェクトと該オブジェクトに関連する項目とが対応付けて記憶されているので、関連項目抽出手段によって抽出された関連項目は、ユーザによって選択されたオブジェクトに関連があるものばかりである。最後に、操作画面処理手段は、抽出された関連項目のアイコンを、囲う動作から連想されやすい環の形状に並べて配置する。
これにより、上述のようにしてアイコンが配置され、生成された操作画面がユーザに提示される。このように、本発明の情報処理装置は、オブジェクトの周囲を指示体(ペンまたは指など)で「囲う」という、オブジェクトを指定する上で、極めて自然で簡易なユーザの動作を契機として、その選択されたオブジェクトに関連する関連項目のアイコンを、環の形状に配置した操作画面をユーザに提供することができる。
「囲う」の軌跡は、何かを囲むような形状になっているので、環の形状と、囲う動作によって得られた指示体の移動の軌跡とは類似していると言える。よって、先の、ユーザの囲う動作から、結果物(環状に配置されたアイコン)は連想されやすい。
つまり、「オブジェクトを『囲う』動作を起こす」という事象から、「アイコンを環状に配置した操作画面が表示される」という事象への遷移は、ユーザの直感に反しない自然な流れであると言える。
加えて、本発明の情報処理装置は、オブジェクトを選択した次にユーザが選択するであろう関連項目を予め察して、ユーザに選択可能に表示することができる。具体的には、本発明の上記構成によれば、操作画面処理手段によって操作画面に配置されるアイコンは、いずれも、ユーザが選択したオブジェクトに関連がある項目として抽出された関連項目のアイコンである。つまり、オブジェクトを囲って選択したのち、次に選択されるであろう関連項目が環状のアイコンで表示されるので、ユーザは次に目的とするアイコンを、アイコンの環の中から即座に指定することができる。
また、関連項目のアイコンを環状に配置したメニューリストは、線状の一次元的なメニューリストと比較して、次のようなメリットがある。例えば、一次元的なメニューリストでは、例えば、上から下へ、または、左から右へアイコンが配置されるため、配置位置に応じて各アイコンに意図せず優先順位が付いてしまう。これに対し、環状のメニューリストによれば、環状に配置されるすべてのアイコンを対等に扱うことが可能となる。
以上のことから、本発明の情報処理装置は、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
本発明の情報処理装置では、上記操作画面処理手段は、上記選択されたオブジェクトの周囲にアイコンが配置されるように上記環の位置およびサイズを決定することが好ましい。
上記構成によれば、オブジェクトの周囲を「囲う」という、オブジェクトを指定する上で、極めて自然で簡易なユーザの動作に対して、情報処理装置は、そのオブジェクトの周囲にアイコンを配置するという結果を出力することができる。
ユーザは、先に自分が囲んで選択したオブジェクトを囲むように関連項目のアイコンが配置された操作画面を結果物として得ることができる。これらのアイコンとオブジェクトとの位置関係は、先にユーザが実行した動作による指示体の移動の軌跡とオブジェクトとの位置関係に合致する。また、オブジェクトを囲うようにして得られた指示体の移動の軌跡は、アイコンが配置される環の形状に類似する。
つまり、「オブジェクトを『囲う』動作を起こす」という事象から、「オブジェクトの周囲にアイコンが配置された操作画面が表示される」という事象への遷移は、ユーザの直感に反しないより自然な流れであると言える。
さらに、関連項目のアイコンをオブジェクトの周囲に環状に配置したメニューリストは、線状の一次元的なメニューリストと比較して、次のようなメリットがある。例えば、一次元的なメニューリストでは、例えば、上から下へ、または、左から右へアイコンが配置されるため、配置位置に応じて各アイコンに意図せず優先順位が付いてしまう。これに対し、環状のメニューリストによれば、環状に配置されるすべてのアイコンを対等に扱うことが可能となる。さらに、一次元的なメニューリストを先に選択されたオブジェクトの近くに表示したとしても、オブジェクトと各アイコンとの関連性を表現することは難しい。これに対し、先に選択されたオブジェクトの周囲に環状のメニューリストを表示させれば、先に選択された(囲われた)オブジェクトと、その周囲の各アイコンとの間に関連性があるということをユーザに自然に認識させることが可能となる。
以上のことから、本発明の情報処理装置は、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
本発明の情報処理装置では、上記操作画面処理手段は、上記軌跡取得手段によって取得された軌跡、もしくは、その相似形または近似形を、上記環の形状として決定することが好ましい。
上記構成によれば、ユーザがフリーハンドで任意の形状でオブジェクトを囲うという動作を行うが、このときの軌跡が、軌跡取得手段によって保持される。そして、操作画面処理手段は、操作画面を作成する際、上記のようにして得られた軌跡と同じまたは相似形の環の輪郭線上に、所定の領域(あるいはオブジェクトそのもの)を囲むようにして各アイコンを配置する。
これにより、オブジェクトの周囲を「囲う」という、オブジェクトを指定する上で、極めて自然で簡易なユーザの動作を契機として、アイコンを環状に配置するという結果を出力することができる。つまり、ユーザは、所定の領域(あるいはオブジェクトそのもの)を囲むように関連項目のアイコンが配置された操作画面を結果物として得ることができる。
さらに、アイコンが配置される環の形状は、オブジェクトを囲うようにして得られた操作体の移動の軌跡に一致するか、それと相似の関係にある状態で操作画面に表示される。
つまり、ユーザがオブジェクトを囲うと、「ユーザがオブジェクトを囲ったとおりに」アイコンが配置された操作画面が得られる。この事象の遷移は、ユーザの直感に反しないより自然な流れであると言える。
また、ユーザが囲ったとおりの形状でアイコンが配置されるので、ユーザは思い通りの形状でオブジェクトを囲うことにより、思い通りの形状にアイコンが配置された操作画面を得ることができる。これにより、操作画面を表示して情報処理装置を操作する際の遊戯性が高まる。
その上、ユーザは、アイコンの配置を予測して、自分が希望するとおりにオブジェクトを囲い、関連項目のアイコンを表示させることができるため、操作性はさらに向上する。
以上のことから、本発明の情報処理装置は、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
本発明の情報処理装置では、上記操作画面処理手段は、各アイコンが表示されるタイミングを個々に決定してもよい。
上記構成によれば、抽出された関連項目のアイコンをすべて同時する表示するだけでなく、個々のアイコンを別々のタイミングで表示させるようなアニメーションが付加された操作画面を実現することができる。
さらに、本発明の情報処理装置では、上記軌跡取得手段は、上記指示体の移動の開始からの経過時間を計測し、上記軌跡を構成する点の少なくともいくつかに、上記経過時間を示す移動時間情報を対応付けて保持し、上記操作画面処理手段は、上記軌跡および上記移動時間情報から判明した上記指示体の移動方向に合わせて、時計回り、または、反時計回りに各アイコンを順次表示させることが好ましい。
上記構成によれば、上記軌跡の各点に移動時間情報が関連付けられているので、これを参照すれば、囲う動作について、移動方向、すなわち、時計回りでオブジェクトが囲まれたのか、反時計回りでオブジェクトが囲まれたのかが判明する。
操作画面処理手段は、このユーザのオブジェクトを囲う実際の動き(指示体の移動方向)に一致させて、同じ方向に各アイコンを順次環状に出現させる。具体的には、操作画面処理手段は、時計回りでオブジェクトが囲まれた場合には、アイコンを1つ1つ時計回りに環状に配置し、反時計回りでオブジェクトが囲まれた場合には、アイコンを1つ1つ反時計回りに環状に配置する。
これにより、ユーザが囲ったときの動きとほぼ同じ動き(指示体の移動方向と同じ動き)を伴った結果物(アイコンの出現パターン)が得られるので、ユーザの動作と表示された結果物との関連性をより高めることが可能となり、結果として、ユーザの直感に反しない自然な流れで操作画面を提供することができる。
さらに、本発明の情報処理装置では、上記操作画面処理手段は、上記環における、上記軌跡の始点の位置と相対的に同じ位置を、最初のアイコンの表示位置に決定することが好ましい。
上記構成によれば、操作画面処理手段は、指示体と同じ移動方向にて、アイコンを順次出現させる場合に、1番目のアイコンを出現させる、環の輪郭線上の出現開始位置を、指示体の移動の軌跡の始点に基づいて決定する。
つまり、アイコンを配置するための基準線となる環における、上記軌跡の始点の位置と相対的に同じ位置を最初のアイコンの表示位置として決定し、そこから、指示体と同じ移動方向(時計回り、または、反時計回り)にて、残りのアイコンを順次出現させる。
これにより、動作から結果物がより一層連想され、ユーザの直感に反しないより自然な流れで操作画面を提供することができる。
さらに、本発明の情報処理装置では、上記操作画面処理手段は、上記軌跡を形成した上記指示体の移動速度に対応するように、各アイコンを順次表示させるタイミングを決定してもよい。
上記構成によれば、操作画面処理手段は、指示体と同じ移動方向にて、また、操作体の移動の開始位置を一致させてアイコンを順次出現させる場合に、各アイコンを環の所定位置に出現させるタイミングを、上記軌跡を形成した指示体の移動速度に対応させる。
これにより、ユーザが囲ったときの動きおよび動きの速度と相対的に同じ速度の同じ動きを伴った結果物(アイコンの出現パターン)が得られるので、ユーザの動作と表示された結果物との関連性をさらにより一層高めることが可能となり、結果として、ユーザの直感に反しない自然な流れで操作画面を提供することができる。
あるいは、本発明の情報処理装置では、上記関連情報記憶部には、複数の関連項目が連続してまたは同時に処理可能な関係であればそれらの複数の関連項目を連携有りとする場合に、上記連携の有無を示す連携情報が関連項目ごとに記憶されており、上記操作画面処理手段は、上記関連項目抽出手段によって抽出された関連項目のうち、連携を有する関連項目同士のアイコンを隣に並べて配置してもよい。
連携を有する複数の関連項目は、同時に選択されれば、連続または同時に処理が実行される。したがって、連携する複数の関連項目のアイコンは、可能な限り少ない動作数とするために、同時に選択されることが好ましい。ここで、囲う動作を利用すれば、1回の囲う動作で、すべてのアイコンをまとめて囲い、同時に選択することができる。そして、1回の囲う動作で、すべてのアイコンをまとめて囲いやすくするために、各アイコンが環状に配置される場合であっても、連携を有する複数の関連項目のアイコンは、互いに隣り合って(3個以上の場合は連続して)並べて配置されることが好ましい。
上記構成によれば、連携を有する関連項目同士のアイコンは、隣に並ぶように配置される。つまり、連携するアイコンが2個の場合は互いに隣り合うように、3個以上の場合は連続して、環の輪郭線上に並べて配置される。
これにより、ユーザは、連携を有する関連項目を、1回の囲う動作で、すべてのアイコンをまとめて囲いやすくなる。つまり、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
あるいは、本発明の情報処理装置は、さらに、自装置の位置を示す位置情報を取得する位置検知部と、自装置の向きを示す方向情報を取得する方向検知部と、自装置の周辺機器と通信して周辺機器の位置情報を取得する通信部と、上記位置検知部によって取得された自装置の位置情報と、上記通信部によって取得された周辺機器の位置情報とに基づいて、自装置と周辺機器との位置関係を特定するとともに、上記方向検知部によって取得された方向情報によって、自装置の向きを特定することにより、自装置に対して各周辺機器がどの方向に存在するのかを特定する機器方向特定手段とを備え、上記操作画面処理手段は、上記機器方向特定手段によって特定された、上記周辺機器が存在する方向に対応するように、該周辺機器の関連項目に対応するアイコンの配置位置を決定してもよい。
上記構成によれば、機器方向特定手段は、以下の3つの情報に基づいて、自装置に対して各周辺機器がどの方向に存在するのかを特定することができる。すなわち、(1)位置検知部が取得する、自装置の位置を示す位置情報、(2)方向検知部が取得する、自装置の向きを示す方向情報、および、(3)通信部が取得する、各周辺機器の位置情報である。
そして、操作画面処理手段は、上記機器方向特定手段によって特定された、上記周辺機器が存在する方向に対応するように、該周辺機器の関連項目に対応するアイコンの配置位置を決定する。
この結果、周辺機器のアイコンがオブジェクトの周囲に環状に表示されたとき、中央のオブジェクトと各アイコンとの位置関係は、タブレット端末100と各周辺機器との位置関係に対応している。このため、ユーザは、より一層、自分の動作と、その結果発生する情報処理との間の関連性を直感的に把握することが可能となる。例えば、ユーザは、デジタルテレビ1に写真を転送したければ、実際にデジタルテレビ1がある方向に向かって写真のオブジェクトをドラッグすればよい。したがって、ユーザの直感に反しない自然な流れで操作が行える操作画面を提供することができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
あるいは、本発明の情報処理装置では、上記操作画面処理手段は、上記関連項目抽出手段によって抽出された関連項目のうち、上記関連情報記憶部において、自装置以外の他機に対して働きかける動作に関する項目であることを示す動作属性が関連付けられている関連項目のアイコンを、上記選択されたオブジェクトよりも上に配置してもよい。
上記構成によれば、操作画面処理手段は、抽出された関連項目それぞれの動作属性を、関連情報記憶部を参照することにより把握することができる。具体的には、操作画面処理は、動作属性の情報に基づいて、自装置以外の他機に対して働きかける動作に関する項目である関連項目を識別することが可能である。
そして、操作画面処理手段は、抽出された関連項目が、自装置以外の他機に対して働きかける動作に関する項目である場合に、そのような関連項目のアイコンを、上記選択されたオブジェクトよりも上に配置することを決定する。
これにより、他機に対して働きかける動作に関するアイコンは、先に選択されたオブジェクトよりも画面上方に表示されることになる。
このように、他機に働きかける動作に関連するアイコンを、オブジェクトよりも上側に配置すると、次に、ユーザが、「他機に働きかける動作(情報処理)」を、当該情報処理装置にさせたい場合には、上記オブジェクトをその目的のアイコンのところへドラッグさせる動作、つまり、自分の所から向こうへ物を移動させるジェスチャを行うことになる。
「他機に働きかける動作(情報処理)」は、自分の手前に物を持ってくるジェスチャとよりも、自分の所から向こうへ物を移動させるというジェスチャとの方が直感的にもより関連が深く、より連想されやすいと考えられる。
上記構成によれば、ユーザの動作と得られる結果物との関連性をより高めることが可能となり、結果として、ユーザの直感に反しない自然な流れで操作画面を提供することができる。
あるいは、本発明の情報処理装置では、上記軌跡取得手段は、上記表示部に表示されたオブジェクトを囲う上記指示体の移動が生じるまでの所定期間に生じた上記指示体の軌跡を取得し、上記操作画面処理手段は、上記所定期間に取得された軌跡が、上記表示部の画面における特定の領域に偏っていると判断した場合に、上記特定の領域にアイコンが配置されるように上記環の位置を決定してもよい。
上記構成によれば、軌跡取得手段は、囲う動作だけでなく、過去の所定期間に生じた動作について軌跡を取得する。続いて、操作画面処理手段は、取得された軌跡によって、過去の所定期間において、表示部の画面のどの位置に動作が生じたのかを把握することが可能となり、指示体の移動の軌跡が、表示部の画面の特定の領域に集中しているのであれば、それによって接触位置の偏りを検知することができる。
このように接触位置が偏っているということは、その領域しかタッチできない(あるいは、それ以外の領域はタッチし難い)という特殊な使用状況下で当該情報処理装置を利用していると推測できる。
そこで、操作画面処理手段は、偏りが検出された領域にアイコンが配置されるように環の位置を決定する。
これにより、ユーザが接触可能な領域にアイコンが表示されることになり、次にユーザがアイコンを選択する動作を行う場合には、接触可能な領域からすぐさま所望のアイコンを選択することができる。
具体例を用いてより詳細に説明すると以下のとおりである。例えば、片手で操作する場合には、接触位置は、タッチパネルの画面下部左側の領域(左手で操作する場合)、または、画面下部右側の領域(右手で操作する場合)に偏る傾向がある。ユーザがこのような状況で情報処理装置を使用しているときに、接触動作が必要なオブジェクトまたはアイコンを、画面上部や手と反対側の画面下部に表示すると操作が煩雑になるという問題がある。なぜなら、ユーザは、目的のオブジェクトをすぐさまタッチできず、接触可能な領域にたぐり寄せるという余計な動作を行わなければならないか、両手操作に切り替えなければならないからである。
そこで、本発明の情報処理装置は、上記構成によってユーザの使用状況を察することにより、上記の問題を解決することができる。つまり、本発明の情報処理装置を、指示体の接触位置の偏りを検出し、ユーザの指示体がすぐさま届くと推測される領域内に、アイコンを配置する構成とすることができる。
これにより、ユーザが片手で上記情報処理装置を操作する場合には、タッチパネルの画面下部左側(あるいは右側)の領域内に収まるように、アイコンが表示されるので、ユーザは、片手操作で目的のアイコンをたぐり寄せる必要はなく、すぐさま所望のアイコンを選択することができる。
あるいは、本発明の情報処理装置では、上記操作画面処理手段は、上記表示部の画面における、上記指示体の軌跡により囲われた領域、または、該囲われた領域を含む特定の領域にアイコンが配置されるように上記環の位置を決定してもよい。
上記構成によれば、ユーザが指などの指示体で囲った位置、あるいは、その近辺にアイコンが配置されることになる。ユーザが囲った位置は、ユーザにとって接触可能領域であると言える。よって、確実に、接触可能領域にアイコンを表示させることが可能となる。
本発明の情報処理装置において、当該情報処理装置が備える入力部および上記表示部はタッチパネルを構成するものであり、上記軌跡取得手段は、上記タッチパネル上を移動した上記指示体の移動の軌跡を取得してもよい。
上記構成によれば、ユーザがオブジェクトを選択するために行う接触動作と、その動作に応じて得られる結果物との関連性を高めることが可能となり、ユーザの直感に反しない自然な流れで操作画面を提供することができる。結果として、タッチパネルを備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
あるいは、本発明の情報処理装置において、当該情報処理装置が備える入力部は、上記表示部に表示されるカーソルを移動させる指示を当該情報処理装置に入力するものであり、上記軌跡取得手段は、上記指示体としてのカーソルの移動の軌跡を取得してもよい。
上記構成によれば、ユーザが、入力部を操作して、オブジェクトを選択するために行う入力動作と、その動作に応じて得られる結果物との関連性を高めることが可能となり、ユーザの直感に反しない自然な流れで操作画面を提供することができる。結果として、表示部と入力部とを備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
本発明の操作画面表示方法は、上記課題を解決するために、情報処理装置における操作画面表示方法において、上記情報処理装置が備える表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得ステップと、上記軌跡取得ステップにて取得された軌跡により囲われた領域に、少なくとも一部が含まれるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、上記関連項目抽出ステップにて抽出された関連項目のアイコンを、環の輪郭線上に並べて配置して、上記表示部に表示する操作画面処理ステップとを含むことを特徴としている。
上記方法によれば、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および上記表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
なお、上記情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明の情報処理装置は、上記課題を解決するために、入力部および表示部を備えた情報処理装置において、上記表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得手段と、上記軌跡取得手段によって取得された軌跡により囲われた領域に、少なくとも一部が含まれるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定手段と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、上記関連項目抽出手段によって抽出された関連項目のアイコンを、環の輪郭線上に並べて配置して、上記表示部に表示する操作画面処理手段とを備えていることを特徴としている。
本発明の操作画面表示方法は、上記課題を解決するために、入力部および表示部を備えた情報処理装置における操作画面表示方法において、上記表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得ステップと、上記軌跡取得ステップにて取得された軌跡により囲われた領域に、少なくとも一部が含まれるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、上記関連項目抽出ステップによって抽出された関連項目のアイコンを、環の輪郭線上に並べて配置して、上記表示部に表示する操作画面処理ステップとを含むことを特徴としている。
したがって、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。
本発明の一実施形態におけるタブレット端末の要部構成を示す機能ブロック図である。 本発明の一実施形態におけるタブレット端末のハードウェア構成を示すブロック図である。 本発明の一実施形態におけるタブレット端末の外観を示す平面図である。 タブレット端末をユーザが把持および操作するときの様子を説明する図であり、(a)は、タブレット端末が片手で把持され、その手で操作される様子を説明する図であり、(b)は、タブレット端末が一方の手で把持され、もう一方の手で操作される様子を説明する図である。 タブレット端末のオブジェクト特定部の動作を説明する図であり、(a)は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行った様子を示す図であり、(b)は、(a)に示す接触動作に伴って、接触情報生成部が生成した接触情報の一例を示す図であり、(c)は、接触が検知されたt0〜tnの期間に表示部に表示された映像フレームのマップ情報の一例を示す図である。 タブレット端末の関連情報記憶部に記憶される関連情報の一例を示す図である。 タブレット端末のアイコン記憶部に記憶されるアイコン画像の具体例を示す図である。 タブレット端末の操作画面処理部の処理内容を説明する図であり、(a)は、操作画面処理部によるオブジェクトの表示処理の一例を説明する図であり、(b)は、操作画面処理部による関連項目のアイコン配置の一例を示す図である。 操作画面処理部によって実行された操作画面生成処理の結果、得られた操作画面の具体例を示す図である。 タブレット端末による操作画面表示処理の流れを示すフローチャートである。 本発明の他の実施形態におけるタブレット端末の要部構成を示す機能ブロック図である。 タブレット端末の接触情報記憶部に記憶される接触情報の具体例を示す図であり、(a)は、ユーザが目的のオブジェクトを選択するために、オブジェクトを任意の形状で「囲う」接触動作を行った様子を示す図であり、(b)は、(a)に示す接触動作に伴って、接触情報生成部が生成した接触情報の一例を示す図である。 環形状決定部を含む操作画面処理部によって実行された、関連項目のアイコン配置の一例を示す図である。 本発明の他の実施形態におけるタブレット端末による操作画面表示処理の流れを示すフローチャートである。 本発明のさらに他の実施形態におけるタブレット端末の要部構成を示す機能ブロック図である。 タブレット端末の関連情報記憶部に記憶される関連情報の一例を示す図である。 操作画面処理部のアイコン配置決定部がアイコンの配置を決定する手順を説明する図であり、(a)は、アイコン配置決定部が属性に基づいて関連項目(のアイコン)を分類した結果をテーブルによって示す図であり、(b)は、アイコン配置決定部が(a)の分類にしたがって、各関連項目のアイコンを配置する手順を説明する図である。 操作画面処理部がアイコン配置決定部の決定にしたがってアイコンを配置した結果、得られた操作画面の具体例を示す図である。 操作画面処理部がアイコン配置決定部の決定にしたがってアイコンを配置した結果、得られた操作画面の他の具体例を示す図である。 本発明のさらに他の実施形態におけるタブレット端末の要部構成を示す機能ブロック図である。 タブレット端末のユーザが屋内のある部屋にてタブレット端末を使用しているときの、使用環境の一例を示す図である。 タブレット端末の機器方向特定部が生成する機器方向情報の具体例を示す図である。 本実施形態の関連情報記憶部に記憶される周辺機器に関する関連情報の具体例を示す図である。 操作画面処理部が実行した操作画面生成処理の結果、得られた操作画面の具体例を示す図である。 操作画面処理部が実行した操作画面生成処理の結果、図24に示す操作画面に続いて得られる操作画面の具体例を示す図である。 関連項目のアイコン表示方法の一変形例を示す図である。 関連項目のアイコン表示方法の一変形例を示す図である。 関連項目のアイコン表示方法の一変形例を示す図であり、(a)は、最初にオブジェクトの周囲に小さく配置されたアイコンの環の様子を示し、(b)は、アイコンの環が拡大する途中の様子を示し、(c)は、(a)から(b)を経て、最終的にアイコンの環が画面中央に大きく配置された様子を示している。 関連項目のアイコン表示方法の一変形例を示す図であり、(a)は、接触情報の一具体例を示す図であり、(b)、(c)、(d)、(e)は、複数のアイコンが一定の間隔で順次表示される様子を示す図であり、(f)は、最終的に得られる操作画面の一具体例を示す図である。 関連項目のアイコン表示方法の一変形例を示す図であり、(a)は、接触情報の一具体例を示す図であり、(b)は、t0の時点の操作画面の一例を示す図であり、(c)は、taの時点の操作画面の一例を示す図であり、(d)は、tbの時点の操作画面の一例を示す図であり、(e)は、tcの時点の操作画面の一例を示す図であり、(f)は、tnの時点の操作画面の一例を示す図である。 関連項目のアイコン配置パターンの一変形例を示す図である。 関連項目のアイコン配置パターンの一変形例を示す図である。 ユーザの使用状況に応じて操作画面を提示することが可能な、本発明のタブレット端末の動作を説明する図であり、(a)は、ユーザが左手で操作しているという状況の一例を説明する図であり、(b)は、(a)の接触動作に伴って生成された接触情報の具体例を示す図である。 操作画面処理部の環形状決定部によって決定された環形状にしたがってアイコンが配置されたときの操作画面の一例を示す図である。 (a)は、ユーザが、接触可能領域上でドラッグすることにより、アイコンの環を回転させる様子を説明する図であり、(b)は、上記の接触動作「ドラッグ」によって、環が回転させられたことにより、アイコンの配置が変更された後の操作画面の一例を示す図である。 (a)は、ユーザが目的の複数のオブジェクトを選択するためにオブジェクト「囲う」という接触動作を実施した様子を示す図であり、(b)は、同図の(a)に示す接触動作に応じて、操作画面処理部によって生成された操作画面の具体例を示す図である。 (a)は、ユーザが種類の異なる複数のオブジェクトを選択するために、オブジェクトを「囲う」という接触動作を実施した様子を示す図であり、(b)は、同図の(a)に示す接触動作に応じて、操作画面処理部によって生成された操作画面の具体例を示す図である。 関連情報記憶部に記憶されている関連情報の他の例を示す図である。
≪実施形態1≫
本発明の実施形態について、図1〜図10に基づいて説明すると以下の通りである。
以下で説明する実施形態では、一例として、本発明の情報処理装置を、タブレット端末に適用した場合について説明する。本実施形態では、一例として、上記タブレット端末は、片手で操作することが可能な、小型で携帯性に優れたスマートフォンなどで実現される。
しかし、本発明の情報処理装置は、上記の例に限定されず、あらゆるサイズの情報処理装置(例えば、大型のタッチパネルを備えた電子黒板など)に、本発明の情報処理装置を適用してもよい。
〔タブレット端末のハードウェア構成〕
図2は、本実施形態におけるタブレット端末100のハードウェア構成を示すブロック図である。タブレット端末100は、図2に示すとおり、少なくとも、制御部10、入力部11、表示部12および記憶部19を備えている。さらに、タブレット端末100は、本来備わっている機能を実現するために、操作部13、外部インターフェース14、通信部15、無線通信部16、音声出力部17、音声入力部18を備えていてもよい。
また、タブレット端末100がスマートフォンなどの多機能携帯通信端末である場合には、ここでは省略したが、タブレット端末100は、通話処理部、撮影を行う撮像部(レンズ・撮像素子など)、放送受像部(チューナ・復調部など)、GPS、および、センサ(加速度センサ、傾きセンサなど)他、スマートフォンが標準的に備えている各種部品を備えていてもよい。
入力部11は、ユーザがタブレット端末100を操作するための指示信号を、タッチパネルを介して入力するためのものである。入力部11は、指示体(表示部12の画面位置を指示するもの、ここでは、例えば、指またはペンなど)の接触を受け付けるタッチ面と、指示体とタッチ面との間の接触/非接触(接近/非接近)、および、その接触(接近)位置を検知するためのタッチセンサとで構成されている。タッチセンサは、指示体とタッチ面との接触/非接触を検知できればどのようなセンサで実現されていてもかまわない。例えば、圧力センサ、静電容量センサ、光センサなどで実現される。
表示部12は、タブレット端末100が情報処理するオブジェクト(アイコンなどのあらゆる表示対象物)、および、処理の結果物を表示したり、ユーザがタブレット端末100を操作するための操作画面をGUI(Graphical User Interface)画面として表示したりするものである。表示部12は、例えば、LCD(液晶ディスプレイ)などの表示装置で実現される。
本実施形態では、入力部11と表示部12とは一体に成形されており、これらがタッチパネルを構成している。したがって、このような実施形態では、ユーザが画面位置を指示するために動かす(操作する)対象、すなわち、操作体(ここでは、指またはペンなど)は、同時に、表示部12の画面上の位置を指示する指示体でもある。
例えば、本発明のタブレット端末100のタッチパネルを投影型静電容量方式のタッチパネルで実現する場合、具体的には、上記タッチセンサは、ITO(Indium Tin Oxide)などによるマトリクス状の透明電極パターンを、ガラス、プラスチックなどの透明基板上に形成したものとなる。タッチセンサに指示体(ユーザの指またはペン等)が接触または接近すると、その付近の複数の透明電極パターンにおける静電容量が変化する。従って、制御部10は、上記透明電極パターンの電流または電圧の変化を検出することにより、上記指示体が接触または接近した位置を検出することができる。
以下では、「接触を検知する」、「接触動作」、「接触位置」などというときの「接触」という用語は、指示体とタッチ面とが完全に接する(接している)状態のみならず、指示体とタッチ面とが、タッチセンサが検知可能な程度に接近する(接近している)状態も含んでいる。
操作部13は、ユーザがタブレット端末100に指示信号を直接入力するためのものである。例えば、操作部13は、ボタン、スイッチ、キー、ジョグダイアルなどの適宜の入力機構で実現される。例えば、操作部13は、タブレット端末100の電源のオン/オフを行うスイッチである。
外部インターフェース14は、外部の装置をタブレット端末100に接続するためのインターフェースである。外部インターフェース14は、例えば、これに限定されないが、外付けの記録媒体(メモリカードなど)を挿し込むためのソケット、HDMI(High Definition Multimedia Interface)端子、USB(Universal Serial Bus)端子などで実現される。タブレット端末100の制御部10は、外部インターフェース14を介して、外部の装置とデータの送受信を行うことができる。
通信部15は、通信網を介して外部の装置と通信を行うものである。通信部15は、通信網を介して、各種通信端末に接続し、タブレット端末100と通信端末との間でのデータの送受信を実現する。さらに、タブレット端末100が、スマートフォンなどの携帯通信端末である場合には、通信部15は、携帯電話回線網を介して、音声通話データ、電子メールデータなどを、他の装置との間で送受信する。
無線通信部16は、無線で外部の装置と通信を行うものである。無線通信部16は、特に限定されないが、IrDA、IrSSなどの赤外線通信、Bluetooth通信、WiFi通信、非接触型ICカードのいずれかの無線通信手段を実現するものであってもよいし、これらの手段を複数実現するものであってもよい。タブレット端末100の制御部10は、無線通信部16を介して、タブレット端末100の周辺にある機器と通信し、それらの機器とデータの送受信を行うことができる。
音声出力部17は、タブレット端末100が処理した音声データを、音声として出力するものであり、スピーカ、ヘッドフォン端子およびヘッドフォン等により実現される。
音声入力部18は、タブレット端末100外部で発生した音声の入力を受け付けるものであり、マイク等により実現される。
記憶部19は、タブレット端末100の制御部10が実行する(1)制御プログラム、(2)OSプログラム、(3)制御部10が、タブレット端末100が有する各種機能を実行するためのアプリケーションプログラム、および、(4)該アプリケーションプログラムを実行するときに読み出す各種データを記憶するものである。あるいは、(5)制御部10が各種機能を実行する過程で演算に使用するデータおよび演算結果等を記憶するものである。例えば、上記の(1)〜(4)のデータは、ROM(read only memory)、フラッシュメモリ、EPROM(Erasable ROM)、EEPROM(Electrically EPROM)、HDD(Hard Disc Drive)などの不揮発性記憶装置に記憶される。例えば、上記の(5)のデータは、RAM(Random Access Memory)などの揮発性記憶装置に記憶される。どのデータをどの記憶装置に記憶するのかについては、タブレット端末100の使用目的、利便性、コスト、物理的な制約などから適宜決定される。
制御部10は、タブレット端末100が備える各部を統括制御するものである。制御部10は、例えば、CPU(central processing unit)などで実現され、タブレット端末100が備える機能は、制御部10としてのCPUが、ROMなどに記憶されているプログラムを、RAMなどに読み出して実行することで実現される。制御部10が実現する各種機能(特に、本発明の操作画面表示機能)については、別図を参照しながら後述する。
〔タブレット端末の外観〕
図3は、タブレット端末100の外観を示す平面図である。図3に示すとおり、タブレット端末100は、タッチパネルとしての入力部11および表示部12を備えているものである。また、タブレット端末100には、これらは必須の構成ではないが、操作部13、外部インターフェース14、無線通信部16、音声出力部17、音声入力部18などが備えられている。例えば、無線通信部16が、赤外線通信手段で実現されている場合、タブレット端末100の側面には、無線通信部16として赤外線送受光部が設けられる。
図4は、タブレット端末100をユーザが把持および操作するときの様子を説明する図である。より詳細には、図4の(a)は、タブレット端末100が片手で把持され、その手で操作される様子を説明する図であり、図4の(b)は、タブレット端末100が一方の手で把持され、もう一方の手で操作される様子を説明する図である。
本実施形態では、タブレット端末100は、片手で把持可能な手のひらサイズの情報処理装置であり、図4の(a)に示すように、片手でタブレット端末100を把持したまま、その手の親指で入力部11のタッチ面を操作できるものである。そして、タブレット端末100は、例えば、親指が届かない位置に操作対象となるアイコンが存在する場合、フリック動作で、親指近辺にアイコンを引き寄せて、親指でアイコンを囲ったり、タップしたりすることにより、アイコンの選択を行うことができるものである。
また、図4の(b)に示すように、ユーザは、一方の手でタブレット端末100を把持し、もう一方の手の指で入力部11のタッチ面を操作してもよい。あるいは、図示しないが、タブレット端末100を横長にして、その両脇を両手で把持し、両手の親指で入力部11のタッチ面を操作してもよい。
〔タブレット端末の機能〕
次に、タブレット端末100の機能構成について説明する。図1は、本実施形態におけるタブレット端末100の要部構成を示す機能ブロック図である。
図1に示すとおり、本実施形態にかかるタブレット端末100の制御部10は、本発明の操作画面表示機能を実現するための機能ブロックとして、少なくとも、接触情報生成部21、オブジェクト特定部22、関連項目抽出部23、および、操作画面処理部24を備えている。
上述した制御部10の各機能ブロックは、CPU(central processing unit)が、ROM(read only memory)等で実現された不揮発性記憶装置に記憶されているプログラムを不図示のRAM(random access memory)等に読み出して実行することで実現できる。
また、記憶部19は、制御部10の上記の各部が操作画面表示機能を実行する際に、データの読み出しまたは書き込みを行うための記憶部として、具体的には、フレームマップ記憶部41、関連情報記憶部42およびアイコン記憶部43で構成されている。
接触情報生成部21は、入力部11のタッチセンサから出力される信号を処理して、接触情報を生成するものである。接触情報とは、指示体(例えば指)の接触位置の座標位置を示す接触座標情報を少なくとも含んでいる。これにより、制御部10の各部は、上記接触情報から上記指示体の移動の軌跡を得ることができる。本実施形態では、さらに、上記軌跡を構成する各点に対して、接触が起こった時間を示す接触時間情報(指示体の移動時間を示す移動時間情報)が必要に応じて対応付けられていてもよい。
より詳細には、入力部11のタッチセンサが、タッチ面と指示体(本実施形態では、指)との接触を検知してから、その非接触を検知するまでの間、接触情報生成部21は、タッチセンサから出力される信号を取得する。この信号には、「接触」を検知した旨と、その接触位置を示す情報とが含まれており、接触情報生成部21は、この信号に基づいて、接触位置を座標で示す接触座標情報を生成する。さらに、接触情報生成部21は、接触が検知されてからそれが非接触となるまでの間の時間を測定し、接触時間情報を接触座標情報に対応付ける。接触情報生成部21は、タブレット端末100に搭載される時計部が保持する絶対的な時刻情報を取得して利用してもよいが、本実施形態では、接触情報生成部21は、接触が検知されてから計時を開始し、相対的な接触時間情報を得る。例えば、接触情報生成部21は、接触が最初に検知された時点(t0)を0.00秒として経過時刻を計測し、接触が最後に検知された時点(tn)まで、上記計測を継続させて、接触位置に対応する相対的な接触時間情報を取得すればよい。
接触情報生成部21は、得られた接触時間情報を接触座標情報に対応付けて接触情報を生成する。本実施形態では、生成された接触情報は、オブジェクト特定部22に供給され、オブジェクト特定部22によって利用される。
オブジェクト特定部22は、ユーザの接触動作によって選択されたオブジェクトを特定するものである。オブジェクト特定部22は、接触情報生成部21によって生成された接触情報と、その接触が起こっている間に表示部12に表示されていた映像フレームのマップ情報とを対比する。これにより、オブジェクト特定部22は、接触動作によって囲われたオブジェクトを、表示部12に表示中のオブジェクトの中から特定することができる。
フレームマップ記憶部41は、接触時の表示部12に出力されていた映像フレームのマップ情報を記憶するものである。マップ情報は、タッチパネルに表示されている映像フレームのレイアウトを示す情報である。具体的には、マップ情報は、表示されている各オブジェクトについて、それらを個々に識別する情報と、各オブジェクトの形状、大きさ、および、表示位置の情報を含む。つまり、マップ情報は、各オブジェクトをタッチパネルの座標系に対応させてプロットしたものである。
図5は、オブジェクト特定部22の動作を説明する図である。より詳細には、図5の(a)は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行ったことを示す図である。図5の(b)は、同図の(a)に示す接触動作に伴って、接触情報生成部21が生成した接触情報の一例を示す図である。図5の(c)は、接触が検知されたt0〜tnの期間に表示部12に表示された映像フレームのマップ情報の一例を示す図である。
図5の(a)に示すとおり、ユーザが、タブレット端末100のタッチパネルに表示されているオブジェクト80(ここでは、写真)のうちの1つを「囲う」という接触動作を実行したとする。接触動作は、例えば、接触点が同図の破線の位置を通過するようにt0〜tnの期間に実行されたとする。
オブジェクト特定部22は、接触情報生成部21から、図5の(b)に示すような接触情報を取得する。本実施形態では、接触情報の座標系は、タブレット端末100のタッチパネルの座標系に対応し、パネルの最左上端を原点とするものである。図5の(b)において、ユーザの「囲う」接触動作の軌跡のうち、始点をt0、終点をtnとして示しているが、その間の各点にも接触時間情報が関連付けられていてもよい。
オブジェクト特定部22は、フレームマップ記憶部41から、図5の(c)に示されるマップ情報(すなわち、t0〜tnの期間において表示部12に表示された映像フレームのレイアウト)を取得する。そして、オブジェクト特定部22は、上記接触情報と上記マップ情報とを対比して、接触情報から得られたユーザの指の軌跡によって囲われる領域内または該領域の外接矩形内に全部あるいはほぼ重なるオブジェクト80を選択されたオブジェクトであるとして特定する。図5に示す例では、オブジェクト特定部22は、図5の(c)の「写真1」を選択されたオブジェクトとして特定する。オブジェクト特定部22は、特定したオブジェクトの情報を、関連項目抽出部23に供給する。
関連項目抽出部23は、オブジェクト特定部22によって特定されたオブジェクト、すなわち、ユーザによって選択されたオブジェクトに関連する関連項目を抽出するものである。オブジェクトが選択されたときに、その選択されたオブジェクトに関連性が深い項目が、関連項目抽出部23によって抽出されることになっている。
例えば、オブジェクトが「写真」などのデータである場合、写真に対しては、「表示する」、「編集する」、「メールに添付して送信する」、「周辺機器(テレビなど)に転送する」、「印刷する」などの動作が実行されることが想定される。そこで、「動作対象」であるオブジェクトに対して実行される「動作」の関係にあたる項目がオブジェクトの関連項目として抽出されてもよい。
あるいは、オブジェクトが「写真」などのデータである場合、その写真を特定の人に送ることが想定される。そこで、動作対象であるオブジェクトに対して動作が実行されるときの「動作相手」の関係にあたる項目が関連項目として抽出されてもよい。
あるいは、オブジェクトが複数の写真またはその他のデータを含む「アルバム」または「フォルダ」である場合、そのオブジェクトに含まれる写真またはデータをユーザは所望していると考えられる。このように、オブジェクトの下位層に属する項目が関連項目として抽出されてもよい。
関連情報記憶部42は、オブジェクトと項目との関連性を示す関連情報を記憶するものである。図6は、関連情報記憶部42に記憶される関連情報の一例を示す図である。
関連情報は、図6に示すとおり、「オブジェクト」ごとに、少なくとも「関連項目」が対応付けられた情報である。関連情報は、この対応付けによって、オブジェクトと項目との関連性を示している。
関連項目抽出部23は、オブジェクト特定部22によってオブジェクトが特定されると、関連情報記憶部42に記憶されている関連情報を参照し、特定されたオブジェクトに関連付けられている項目を関連項目として抽出する。
例えば、図5の(a)〜(c)に示すとおり、オブジェクト特定部22が、選択されたオブジェクトは「写真1」であると特定したとする。この場合、関連項目抽出部23は、「写真1」はオブジェクトとしては「写真」に分類されるので、関連情報の中から、オブジェクト「写真」に関連付けられている関連項目群60を抽出する。
関連項目抽出部23によって抽出された関連項目の情報は、操作画面処理部24に供給される。そして、抽出された関連項目は、先に選択されたオブジェクトに関連のある項目として、選択可能に(例えば、アイコンで)表示される。
この構成には限定されないが、本実施形態では、図6に示すとおり、さらに「関連項目」ごとに、アイコンが割り当てられていてもよい。例えば、オブジェクト「写真」に関連付けられた、関連項目「テレビで表示する(テレビに転送する)」には、アイコン「1:テレビ」が関連付けられている。アイコン「1:テレビ」は、例えば、テレビのイラストなどが描かれたアイコンであって、「写真をテレビに送って表示させること」を想起させる絵柄であることが好ましい。その他の関連項目についても、その関連項目の内容を想起させる相応しい絵柄のアイコンがそれぞれ割り当てられている。
このような関連情報に基づいて、関連項目抽出部23は、抽出した関連項目のそれぞれに対応するアイコン(あるいは、アイコンの識別情報)を、操作画面処理部24に供給してもよい。これにより操作画面処理部24は、関連項目抽出部23によって指定されたアイコンを表示するべく処理を進めることができる。
なお、本実施形態では、関連情報は、関連項目のそれぞれについて、図6に示す「動作属性」および「条件」の情報を保持していなくても構わない。関連項目の「動作属性」および「条件」については、後述する本発明の他の実施形態または変形例において説明する。
操作画面処理部24は、オブジェクト、および、選択されたオブジェクトに関連する関連項目(のアイコン)を、ユーザに選択可能に表示するための操作画面を生成する処理(操作画面生成処理)を行うものである。
図7は、アイコン記憶部43に記憶されるアイコン画像の具体例を示す図である。図7に示すとおり、本実施形態では、各アイコン画像は、アイコン識別情報によって識別可能となっている。例えば、「1:テレビ」のアイコン識別情報には、テレビが描かれたアイコン画像が関連付けられている。また、図示していないが、よく通話する知人など、個人情報を表すアイコンとして、その人の似顔絵やアバターの画像が用いられてもよい。
操作画面処理部24は、関連項目抽出部23によって抽出された関連項目に割り当てられたアイコン画像を、アイコン記憶部43から読み出して、これらが適切な位置および適切なタイミングで表示されるように操作画面を生成し、図示しない表示制御部を介して、表示部12に出力する。
具体的には、本実施形態では、操作画面処理部24は、接触動作「囲う」によって選択されたオブジェクトに関連する関連項目のアイコンを、その選択されたオブジェクトの周囲に表示させる機能を有している。
図8は、操作画面処理部24の処理内容を説明する図である。より詳細には、図8の(a)は、操作画面処理部24によって実行された、オブジェクトの表示処理の一例を説明する図であり、図8の(b)は、操作画面処理部24によって実行された、関連項目のアイコン配置の一例を示す図である。
本実施形態では、操作画面処理部24は、まず、図8の(a)に示すとおり、先の「囲う」の接触動作によって選択されたオブジェクト80を、中央に配置しなおす。次に、図8の(b)に示すとおり、操作画面処理部24は、抽出された関連項目の各アイコンをオブジェクト80の周囲に環形状によって均等に配置する。図8の(b)は、関連項目が8個抽出された場合に、操作画面処理部24が、楕円の環の輪郭線に沿って、8個のアイコンを均等に配置した例を示している。ここで、アイコンの配置位置を示す基準の「環」の形状について、これを楕円としたことは単なる一例であって、本発明の環の形状を限定する意図は無い。また、「環」とは、必ずしも曲線からなる形状を意味しない。例えば、操作画面処理部24は、環の形状を、円形、正方形、長方形、その他多角形で定義してもよいし、複雑な形状、いびつな形状、幾何学的でない形状であっても、内と外とを分離するような輪郭線を有している図形が環として定義される。また、「環」は、必ずしも閉曲線を意味しない。環の輪郭線の始点と終点が完全に一致しない場合であっても、内と外とを大方分離するような輪郭線が環として定義されてもよい。操作画面処理部24は、そのようにして定義されたあらゆる形状の環の輪郭線上にアイコンを配置する。
なお、図8の(b)に示す、環の輪郭線を示す破線は、タブレット端末100が内部に情報として保持している環の形状であって、実際には、表示部12に表示されなくてもよい。これより以降に示す各図における環の輪郭線を示す破線も同様、実際には、表示部12に表示されなくてもよい。
なお、アイコンを配置する順番は、本実施形態では特に限定されないが、例えば、関連項目抽出部23によって抽出された順に、オブジェクト80の真上から時計回りに配置することなどが考えられる。
図9は、操作画面処理部24が実行した操作画面生成処理の結果、得られた操作画面の具体例を示す図である。図9に示す例は、図5および図8と同様に、オブジェクト80(オブジェクト「写真1」)が囲われたことに対して得られた操作画面の具体例である。
関連項目抽出部23は、図6に示す関連情報を参照し、写真のオブジェクトに関連付けられたアイコン識別情報、すなわち、「1:テレビ」、「2:プリンタ」、「3:メール」、「4:写真表示」、「5:情報表示」、「6:パレット」、「7:ゴミ箱」、および、「8:メモリカード」を抽出する。
操作画面処理部24は、関連項目抽出部23によって抽出されたアイコン識別情報に基づいて、図7に示すとおり、アイコン記憶部43から、対応するアイコン画像を読み出す。そして、選択されたオブジェクト80を中央に配置するとともに、その周囲に読み出したアイコン画像を配置する。
なお、上述の説明では、操作画面処理部24が、オブジェクト80を中央に配置する処理を行う構成としたが、これは必須の構成ではない。しかし、本実施形態では、操作画面処理部24は、オブジェクト80の関連項目のアイコンを、オブジェクト80の周囲に配置するため、周囲にアイコンを配置するためのスペースをできるだけ広く均等に確保するという観点から、オブジェクト80を中央に配置することが好ましい。
〔操作画面表示フロー〕
次に、タブレット端末100が操作画面表示機能を実行したときの処理の流れについて説明する。図10は、タブレット端末100による操作画面表示処理の流れを示すフローチャートである。
入力部11によって、タッチパネルのタッチ面に指示体(ユーザの指など)が接触したことが検知されると(S101においてYES)、接触情報生成部21は、そのとき(t=t0)から、指の接触位置を示す接触座標情報の取得を開始し、これを経時的に取得する(S102)。この接触位置の追尾は、タッチ面と指との間の接触が検知されなくなるまで継続される(S103においてNO)。入力部11において、接触が非検知になると(S103においてYES)、接触情報生成部21は、t=t0からこのとき(t=tn)までの間取得した接触座標情報と、接触時間情報とを対応付けて接触情報を生成する(S104)。
オブジェクト特定部22は、S104において生成された接触情報(例えば、図5の(b))と、フレームマップ記憶部41に記憶されているマップ情報(例えば、図5の(c))とを比較して、ユーザによって囲われた領域に重なるオブジェクトを選択されたオブジェクトとして特定する(S105)。図5の(c)に示す例では、「写真1」というオブジェクト80を特定する。
関連項目抽出部23は、S105において特定されたオブジェクトに基づいて、関連情報記憶部42の関連情報(例えば、図6)を参照して、特定されたオブジェクトの関連項目を抽出する(S106)。あるいは、関連項目に割り当てられているアイコンの識別情報を抽出してもよい。
操作画面処理部24は、S106において抽出された関連項目のアイコン画像を、アイコン記憶部43(例えば、図7)から取得する。そして、取得したアイコン画像を、S105において特定されたオブジェクトの周囲に配置して操作画面を生成する(S107)。このとき、操作画面処理部24は、上記オブジェクトを中央に配置して、その周囲に各アイコンを環形状に配置する。
以上のようにして生成された操作画面の映像信号は、表示部12に出力される。図9に示すように、上記操作画面は、タブレット端末100の表示部12に表示される。
本発明の上記構成および方法によれば、オブジェクトの周囲を「囲う」という、オブジェクトを指定する上で、極めて自然で簡易なユーザの接触動作に対して、タブレット端末100は、オブジェクトの周囲にアイコンを配置するという結果を出力することができる。
ユーザは、オブジェクトを囲むように関連項目のアイコンが配置された操作画面を結果物として得ることができる。これらのアイコンと、オブジェクトとの位置関係は、先にユーザが実行した接触動作による指の軌跡とオブジェクトとの位置関係に合致する。また、囲ったことにより得られる指の軌跡は、アイコンが配置される環形状に類似する。
つまり、「オブジェクトを『囲う』接触動作を起こす」という事象から、「オブジェクトの周囲にアイコンが配置された操作画面を得られる」という事象への遷移は、ユーザの直感に反しない自然な遷移であると言える。
加えて、タブレット端末100は、オブジェクトを選択した次にユーザが選択するであろう関連項目を予め察して、ユーザに選択可能に表示することができる。具体的には、本発明の上記構成によれば、オブジェクトの周囲に表示されるアイコンは、いずれも、オブジェクトに関連がある項目として抽出された関連項目のアイコンである。つまり、ユーザは、オブジェクトを囲って選択したのち、そのオブジェクトに関連する「動作」、「動作対象」、「動作相手」などを周囲のアイコンから即座に指定することができる。
以上のことから、タブレット端末100は、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末100において、優れた操作性を実現することが可能になるという効果を奏する。
≪実施形態2≫
本発明の情報処理装置に関する他の実施形態について、図11〜図14に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態1にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、実施形態1と重複する内容については説明を省略する。
上述の実施形態1では、各アイコンは、所定の環形状に沿って配置される構成であったが、本実施形態では、操作画面処理部24は、ユーザの接触動作に応じて環形状を動的に決定する構成である。これにより、ユーザの直感に沿って、接触動作からより直感的に想起される結果物を出力することができる。
〔タブレット端末の機能〕
図11は、本実施形態におけるタブレット端末100の要部構成を示す機能ブロック図である。
本実施形態にかかるタブレット端末100は、実施形態1のタブレット端末100(図1)と比較して、さらに、制御部10が、機能ブロックとして、環形状決定部30を備えている構成である。また、記憶部19が、さらに、接触情報記憶部44を備えている構成である。
ここで、本実施形態では、タブレット端末100の制御部10は、必須ではないが、さらに、必要に応じて、機能ブロックとして、ジェスチャ判定部25、アイコン順位決定部31、アニメーション決定部32、および、アイコン配置決定部33を備えていてもよい。なお、アイコン順位決定部31、アニメーション決定部32、および、アイコン配置決定部33については、後の実施形態または変形例にて説明することとし、本実施形態では説明を省略する。
接触情報記憶部44は、接触情報生成部21によって生成された接触情報を記憶するものである。実施形態1では、接触情報は、オブジェクト特定部22が利用可能なように図示しない記憶部(キャッシュなど)に一時的に記憶されるものであった。本実施形態では、接触情報は、操作画面処理部24および操作画面処理部24の各部が、操作画面生成処理(アイコンを表示する処理を含む)を実行するときに利用可能なように、接触情報記憶部44に記憶される。接触情報記憶部44を不揮発性記憶装置で実現するか否か、すなわち、この接触情報を不揮発的に記憶するか否かは、操作画面処理部24が実行する操作画面表示機能の目的、想定利用環境、あるいは、タブレット端末100自体の使用目的、利便性、コスト、物理的な制約などから適宜決定される。
環形状決定部30は、操作画面処理部24がオブジェクトの周囲にアイコンを配置するときの、環形状を決定するものである。実施形態1では、操作画面処理部24は、所定の環形状にてアイコンを配置する構成であった。例えば、所定位置および所定サイズの楕円形の輪郭線上にアイコンを配置する構成であった。本実施形態では、環形状決定部30は、接触情報記憶部44に記憶されている接触情報に基づいて、アイコンを配置するための環形状を決定する。つまり、環形状決定部30は、ユーザの接触動作「囲う」から得られた指の軌跡に応じて、環形状を決定する。環形状決定部30は、「囲う」動作の軌跡の形状を、そのまま、アイコンを配置するための環形状とすることができる。また、「囲う」動作によって囲われた領域の大きさに基づいて環のサイズを決定することもできる。また、囲われた領域の位置に基づいて環の位置を決定することもできる。環形状決定部30は、さらに、フレームマップ記憶部41に記憶されているマップ情報に基づいて環形状を決定してもよい。すなわち、囲われたオブジェクトの表示位置、サイズなどに応じて、環のサイズおよび位置を決定してもよい。
環形状決定部30によって決定された環形状にしたがって、操作画面処理部24は、抽出されたアイコンを配置する。なお、環形状決定部30によって決定される環形状の情報は、環のサイズの情報、および/または、環の位置の情報をさらに含んでいてもよい。
上述したとおり、タブレット端末100の制御部10は、さらに、ジェスチャ判定部25を備えていることが好ましい。入力部11に対して行われる接触動作(ジェスチャ)が「囲う」以外にも想定されている場合には、「囲う」のジェスチャなのか、あるいは、別のどのジェスチャなのかを判別する必要がある。
ジェスチャ判定部25は、入力部11に対して行われた接触動作について、それが何のジェスチャであるのかを判定するものである。例えば、ジェスチャ判定部25は、「タップ」、「フリック」、「ピンチ」、「ドラッグ」、「囲う」などのジェスチャを判別することができる。ジェスチャを判別するアルゴリズムは、公知の技術を適宜採用することができる。
ジェスチャ判定部25は、判定結果に応じて、その判定されたジェスチャに対応する処理を実行するように制御部10の各部に対して指示する。
本実施形態では、ジェスチャ判定部25は、検知された接触動作が、「囲う」というジェスチャであると判定した場合に、接触情報生成部21に対して、生成した接触情報を接触情報記憶部44に格納するように指示することが好ましい。これにより、「囲う」というジェスチャについての全ての情報(領域の位置、サイズ、軌跡、接触時間、接触点の移動タイミングなど)を、操作画面処理部24が参照できるようになるとともに、接触動作が「囲う」というジェスチャ以外であった場合には、不必要に接触情報記憶部44への書き込みが発生することを回避することができる。しかしながら、接触情報生成部21は、ジェスチャ判定部25の判定結果によらず、すべての接触情報を接触情報記憶部44に書き込む構成であってもよい。
図12は、接触情報記憶部44に記憶される接触情報の具体例を示す図である。より詳細には、図12の(a)は、ユーザが目的のオブジェクトを選択するために、オブジェクトを任意の形状で「囲う」という接触動作を行ったことを示す図である。図12の(b)は、同図の(a)に示す接触動作に伴って、接触情報生成部21が生成した接触情報の一例を示す図である。
図12の(a)に示すとおり、ユーザが、タブレット端末100のタッチパネルに表示されているオブジェクト(ここでは、写真)のうちの1つを、任意の形状(例えば、ハート型に「囲う」という接触動作を実行したとする。接触動作は、例えば、接触点が同図の破線の位置を通過するようにt0〜tnの期間に実行されたとする。
ジェスチャ判定部25は、接触情報生成部21から、図12の(b)に示すような接触情報を取得する。図12の(b)において、ユーザがなぞった軌跡のうち、始点をt0、終点をtnとして示しているが、その間の各点にも接触時間情報が関連付けられていてもよい。
ジェスチャ判定部25は、図12の(b)に示される接触情報に基づいて、この接触動作を、「囲う」というジェスチャであると判定する。ジェスチャ判定部25は、図12の(b)に示される上記接触情報を接触情報記憶部44に記憶するように、接触情報生成部21に対して指示する。これにより、操作画面処理部24の各部は、アイコンを表示する処理を実行するときに、接触情報記憶部44に記憶された、図12の(b)に示される接触情報を参照することができる。
図13は、環形状決定部30を含む操作画面処理部24によって実行された、関連項目のアイコン表示の一例を示す図である。
まず、操作画面処理部24は、選択されたオブジェクト80(写真1)を、中央に配置することができる。次に、本実施形態では、環形状決定部30が、接触情報記憶部44に記憶された接触情報を取得する。環形状決定部30は、接触情報から得られた、指の先端(接触点)の移動の軌跡に基づいて、その軌跡と同一のまたは相似する形状を、アイコンを配置するための環形状として決定する。本実施形態では、一例として、環形状決定部30は、環を中心に配置し、タッチ画面に可能な限り大きく配置することを決定する。図12の(a)および(b)に示すとおり、オブジェクト80は、ハート型に囲われている。そこで、環形状決定部30は、図13の破線に示すとおり、そのハート型の軌跡の相似形が中央に画面いっぱい配置されるように環形状81を決定する。
操作画面処理部24は、図13に示すように、環形状決定部30によって決定された環形状81の輪郭線上にアイコンを配置する。操作画面処理部24は、アイコンを等間隔に配置してもよいし、別の規則にしたがって輪郭線上の任意の位置にアイコンを配置してもよい。
なお、操作画面処理部24は、軌跡が極度に複雑な形状を有する場合には、軌跡の近似形を環の形状として決定してもよい。軌跡の細かくいびつな線を、直線または曲線で丸めることにより、環の形状を定義する情報量を少なくし、アイコンを配置する処理の負荷を低減することができる。
〔操作画面表示フロー〕
図14は、本実施形態におけるタブレット端末100による操作画面表示処理の流れを示すフローチャートである。
入力部11によって、タッチパネルのタッチ面に指示体(ユーザの指など)が接触したことが検知されると(S201においてYES)、接触情報生成部21は、そのとき(t=t0)から、指の接触位置を示す接触座標情報の取得を開始し、これを経時的に取得する(S202)。この接触位置の追尾は、タッチ面と指との間の接触が検知されなくなるまで継続される(S203においてNO)。入力部11において、接触が非検知になると(S203においてYES)、接触情報生成部21は、t=t0からこのとき(t=tn)までの間取得した接触座標情報と、接触時間情報とを対応付けて接触情報を生成する(S204)。
ここで、ジェスチャ判定部25が、接触情報に基づいてこの接触動作のジェスチャを判定してもよい(S205)。本実施形態では、ジェスチャ判定部25は、判定したジェスチャが「囲う」でなければ(S206においてNO)、判定したそれ以外のジェスチャに応じた処理の実行を、制御部10の各部に指示する。その各部によって、判定されたジェスチャに応じた処理が実行される(S207)。
一方、ジェスチャ判定部25は、判定したジェスチャが「囲う」であった場合には(S206においてYES)、接触情報生成部21に対して接触情報を接触情報記憶部44に格納するように指示する。接触情報生成部21は、S204にて生成した接触情報を、接触情報記憶部44に記憶する(S208)。
オブジェクト特定部22は、接触情報記憶部44に記憶されている接触情報(例えば、図12の(b))と、フレームマップ記憶部41に記憶されているマップ情報(例えば、図5の(c))とを比較して、ユーザによって囲われた領域に重なるオブジェクトを選択されたオブジェクトとして特定する(S209)。図5の(c)に示す例では、「写真1」というオブジェクト80を特定する。
関連項目抽出部23は、S209において特定されたオブジェクトに基づいて、関連情報記憶部42の関連情報(例えば、図6)を参照して、特定されたオブジェクトの関連項目を抽出する(S210)。あるいは、関連項目に割り当てられているアイコンの識別情報を抽出してもよい。
続いて、操作画面処理部24は、まず、接触情報記憶部44から、S204にて生成された接触情報を取得する(S211)。操作画面処理部24の環形状決定部30は、取得された接触情報から、アイコンを配置するための環形状を決定する(S212)。例えば、図12の(b)に示されるハート型の軌跡に基づいて、該ハート型の相似形を環形状として決定する(例えば、図13の環形状81)。
操作画面処理部24は、S210において抽出された関連項目のアイコン画像を、アイコン記憶部43(例えば、図7)から取得する。そして、取得したアイコン画像を、S209において特定されたオブジェクトの周囲に配置して操作画面を生成する(S213)。このとき、操作画面処理部24は、上記オブジェクトを中央に配置して、その周囲に配置された環形状、すなわち、S212にて決定された環形状の輪郭線上に各アイコンを配置する(例えば、図13)。以上のようにして生成された操作画面の映像信号は、表示部12に出力される。
本発明の上記構成および方法によれば、オブジェクトの周囲を「囲う」という、オブジェクトを指定する上で、極めて自然で簡易なユーザの接触動作に対して、タブレット端末100は、オブジェクトの周囲にアイコンを配置するという結果を出力することができる。つまり、ユーザは、オブジェクトを囲むように関連項目のアイコンが配置された操作画面を結果物として得ることができる。
具体的には、ユーザは、フリーハンドで任意の形状でオブジェクトを囲うという動作を行うが、このときの軌跡がタブレット端末100において保持される。そして、タブレット端末100によって作成された操作画面において、得られた軌跡と同じまたは相似形の環形状の輪郭線上に、オブジェクトを囲むようにして各アイコンは配置される。
これらのアイコンと、オブジェクトとの位置関係は、先にユーザが実行した接触動作による指の軌跡とオブジェクトとの位置関係と合致する。また、囲ったことにより得られる指の軌跡は、アイコンが配置される環形状と一致する。
つまり、オブジェクトを囲うと、オブジェクトの周囲に「囲ったとおりに」アイコンが配置された操作画面を得られる。この事象の遷移は、ユーザの直感に反しないより自然な流れであると言える。また、ユーザが囲ったとおりの形状で、アイコンが配置されるので、操作画面を表示してタブレット端末100を操作する際の遊戯性が高まる。その上、ユーザは、アイコンの配置を予測して、自分が希望するとおりにオブジェクトを囲い、関連項目のアイコンを表示させることができるため、操作性はさらに向上する。
そして、オブジェクトを選択した後に周囲に表示されるアイコンは、そのオブジェクトと関連が深く次に選択される可能性が高い関連項目を示している。
以上のことから、タブレット端末100は、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末100において、優れた操作性を実現することが可能になるという効果を奏する。
なお、本実施形態に係るタブレット端末100の構成、すなわち、指示体の移動の軌跡の相似形また近似形の環に沿ってアイコンを表示する構成について、これを、入力部11と表示部12とが別体として備わっている情報処理装置に適用してもよい。例えば、入力部11がマウスなどの入力装置で構成されており、表示部12が、LCDなどの表示装置で構成されている情報処理装置が考えられる。ここでは、表示部12に表示されているカーソルが、表示部12の画面上の位置を指示するものである。そして、ユーザがマウスを操作して入力動作を実施することによりカーソルが移動する。したがって、このような実施形態では、マウスが操作体であり、カーソルが指示体であって、操作体の移動に伴って表示部12に表示されている指示体が移動する。ユーザが、マウスを操作して表示部12の画面上のカーソルを動かすことによりオブジェクトを選択すると、情報処理装置は、内部であらかじめ保持しているカーソルの位置を上記マウスの動きと連動させて、その移動の軌跡も保持し、選択されたオブジェクトの周囲に、アイコンを環状表示する。情報処理装置は、このとき、環の形状を、取得した軌跡の相似形または近似形とすることができる。上記構成によれば、ユーザがマウスを動かしたとおりの形状にて、アイコンが配置された操作画面が得られるので、上記情報処理装置を操作する際の遊戯性を高めることが可能となる。
なお、表示部12と別体で構成される入力部11としては、上記のマウス以外にも、例えば、キーボード、ジョイスティック、ディジタイザ、タブレットとスタイラスペンなどの各種入力装置を採用することができる。
≪実施形態3≫
本発明の情報処理装置に関する他の実施形態について、図15〜図19に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態1または2にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、実施形態1または2と重複する内容については説明を省略する。
上述の各実施形態では、抽出された各アイコンは、例えば、抽出された順にオブジェクトの真上から時計回りに配置されるなどの所定の規則にしたがって配置される構成であった。しかし、本実施形態では、オブジェクトの周囲に表示された関連項目が、一度に複数選択される(囲われる)ことを想定し、抽出された関連項目の中でも特に連携している関連項目同士が互いに近く(隣)に配置されるように、操作画面処理部24がアイコンの配置を決定する構成を有している。
〔タブレット端末の機能〕
図15は、本実施形態におけるタブレット端末100の要部構成を示す機能ブロック図である。
本実施形態にかかるタブレット端末100は、実施形態1のタブレット端末100(図1)と比較して、さらに、制御部10が、機能ブロックとして、連携処理実行部26、および、アイコン配置決定部33を備えている構成である。
ここで、本実施形態では、必須ではないが、さらに必要に応じて、記憶部19が、さらに、接触情報記憶部44を、また、制御部10が、機能ブロックとして、ジェスチャ判定部25、環形状決定部30、アイコン順位決定部31、および、アニメーション決定部32を備えている構成であってもよい。
アイコン配置決定部33は、アイコンの配置を決定するものである。アイコン配置決定部33は、抽出された関連項目の属性に基づいて、どのアイコンをどの位置に配置するのかを決定するものである。
本発明のタブレット端末100においては、各アイコンは、所定の、あるいは、決定された環形状の輪郭線上に配置されることに決まっているが、それ以外については任意に設計されてもよい。
そこで、アイコン配置決定部33は、各関連項目の属性に基づいて、それぞれのアイコンを、輪郭線上のどこに、いくつ、どのような並びで、または、どのような間隔で配置するのかを決定することができる。
特に、本実施形態では、アイコン配置決定部33は、関連項目の属性のうち、関連項目同士の連携性に着目してアイコンの配置を決定する。
図16は、本実施形態の関連情報記憶部42に記憶される関連情報の一例を示す図である。
図6に示す関連情報と比較して、図16に示す関連情報の異なる点は、関連項目ごとに、さらに、「連携」の情報が関連付けられている点である。なお、図16には示していないが、本実施形態の関連情報は、関連項目の属性の例として、さらに、図6に示す「動作属性」および「条件」の情報を含んでいてもよい。
図16に示す関連情報の例によれば、あるオブジェクト「ツール1」には、AからFまでの6個の関連項目が対応付けられている。したがって、オブジェクト「ツール1」がユーザによって選択された場合、関連項目抽出部23は、この関連情報に基づいて、図16に示すA〜Fの項目を関連項目として抽出する。
属性「連携」は、関連項目の属性の1つであり、関連項目同士の連携性を示す情報である。上述したとおり、関連項目には、「動作」を表すもの、「動作相手」を表すもの、「動作対象」を表すものがある。例えば、「動作」をするとき、その動作を行う対象となる「動作対象」が必要となる場合がある、このときの、「動作」と「動作対象」とは、連携していると言える。また、「動作」の内容によっては、「動作対象」に加えて、その動作を行う相手である「動作相手」が必要となる場合がある。この場合、「動作」と「動作対象」と「動作相手」とは、連携していると言える。
図16に示す例では、「A:メールで送信する」という動作と、「D:ベストフレンド情報」という動作相手と、「E:写真」という動作対象とが連携していることを示す情報が、属性「連携」に格納されている。本実施形態では、連携番号「1」によって、上記関連項目A、D、E、および、Fが互いに連携しているとして紐付けられている。アイコン配置決定部33は、関連情報記憶部42に記憶されている各関連項目の「連携」に基づいて関連項目の連携性を把握する。そして、アイコン配置決定部33は、互いに連携する関連項目のアイコン同士が隣り合う並びにしたり、あるいは、連携する関連項目のアイコン同士を近づけてまとめたりして、アイコンの配置を決定する。
なお、関連項目と連携番号とは、必ずしも1対1である必要はない。すなわち、1つの関連項目は、1つ連携グループ(1つの連携番号)に属していてもよいし、複数の連携グループに属してしてもよい。また、1つの連携グループは、1対の(つまり2個の)関連項目で成り立っていてもよいし、3個以上の関連項目で成り立っていてもよい。
例えば、関連項目「E:写真」は、関連項目「A:メールで送信する」および「B:ブログにアップする」という両方の動作の「動作対象」となり得るため、関連項目Aが属する連携グループ「1」と、関連項目Bが属する連携グループ「2」との両方に属している。
また、例えば、関連項目「C:電話する」という「動作」は、「動作対象」を持たず、電話する相手、すなわち、「動作相手」と連携していればよいので、関連項目Cが属する連携グループ「3」は、関連項目CとDとの対で成り立っている。一方、関連項目「A:メールで送信する」という「動作」は、「動作対象」と「動作相手」とが必要である。さらに、関連項目「E:写真」も「F:動画」もメールで送信できる「動作対象」である。したがって、関連項目Aが属する連携グループ「1」は、関連項目A、D、EおよびFで成り立っている。
なお、1つの関連項目が、複数の連携グループに属する場合には、連携の強さに応じて、属する連携グループに、予め優先順位が設定されていることが好ましい。例えば、図16に示す例では、関連項目「E:写真」には、連携番号が、「1」、「2」の順で関連付けられている。つまり、「E:写真」は、「B:ブログにアップする」という「動作」とよりも、「A:メールで送信する」という「動作」との連携が強いことを示している。一方、「F:動画」には、連携番号が、「2」、「1」の順で関連付けられている。つまり、「F:動画」は、「A:メールで送信する」という「動作」とよりも、「B:ブログにアップする」という「動作」との連携が強いことを示している。
図17の(a)および(b)は、アイコン配置決定部33がアイコンの配置を決定する手順を説明する図である。
ここでは、オブジェクト特定部22によって既に、オブジェクト「ツール1」が特定されており、関連項目抽出部23によって、図16に示す6個の関連項目「A」〜「F」が抽出されているものとする。6個の関連項目が均等に配置されるという規則が予め定められている場合には、アイコン配置決定部33は、アイコンの並びだけを「連携」にしたがって決定する。
具体的には、まず、アイコン配置決定部33は、図16に示す関連情報を参照し、連携番号による紐付けにしたがって、各関連項目を分類する。例えば、図17に示すとおり、各関連項目を「連携番号1」〜「連携番号3」に分類する。関連項目は、複数の連携に属していてもよい。さらに、アイコン配置決定部33は、各関連項目を、「動作」、「動作対象」、「動作相手」のいずれかに分類する。アイコン配置決定部33が各関連項目を分類した結果を図17の(a)に示す。
なお、アイコン配置決定部33は、1つの連携グループに複数の「動作対象」が属している場合には、予め定められた優先順位のとおりに関連項目を分類する。例えば、図17の(a)に示す例では、連携グループ「1」において、関連項目「E」が、関連項目「F」よりも優先する。
次に、アイコン配置決定部33は、図17の(b)に示すように、関連項目の連携にしたがって、関連項目「A」〜「F」の配置を決定する。まず、アイコン配置決定部33は、連携番号1によって、関連項目A、D、Eの連携性を認識する。そして、これらを「動作」、「動作対象」、「動作相手」の順に、互いに隣り合うように配置することを決定する。具体的には、アイコン配置決定部33は、関連項目「A」を配置すると、次に、「A」の隣に「D」を配置し、「A」のもう一方の隣に「E」を配置する。そして、アイコン配置決定部33は、既に配置した「D」は、連携番号3によって「C」と連携していると判断し、「D」の空いている隣に「C」を配置する。続いて、アイコン配置決定部33は、既に配置した「E」は、サブではあるが、連携番号2によって「B」と連携していると判断し、「E」の空いている隣に「B」を配置する。そして、最後に、「B」の空いている隣に、「B」と連携する残りの「F」を配置する。
なお、1つの配置位置対して、複数の関連項目が割り当てられて対立することが考えられる。このような場合には、上述の優先順位に基づいて、連携がより強い関連項目を優先させればよい。また、1つの関連項目が複数の配置位置に割り当てられて重複することが考えられる。このような場合に備えて、どの連携を優先的に保持するのかを別途、連携グループごとにも優先順位を定めておき(例えば、連携番号がそのまま優先順位を示していてもよい)、優先順位の高い連携グループの関連項目同士ができるだけ隣り合うように、配置位置が決定されればよい。
操作画面処理部24は、アイコン配置決定部33によって決定された配置にしたがって、各関連項目に対応するアイコンを配置して、操作画面を生成する。
図18は、操作画面処理部24がアイコン配置決定部33の決定にしたがってアイコンを配置した結果、得られた操作画面の具体例を示す図である。
アイコン90は、関連項目「A:メールで送信する」に対応し、この関連項目Aに関連付けられている「3:メール」のアイコン画像で作成されている。アイコン91は、関連項目「D:ベストフレンド情報」に対応し、この関連項目Dに関連付けられている「15:アバター」のアイコン画像で作成されている。このアイコン画像は、ベストフレンド登録されている特定の人物のアバターをアイコン化したものであることが好ましい。これにより、ユーザは一目見てどの人を指すアイコンであるのかを理解することができる。アイコン92は、関連項目「E:写真」に対応し、この関連項目Eに関連付けられている「16:サムネイル」のアイコン画像で作成されている。このアイコン画像は、その写真のサムネイル画像をそのままアイコン化したものであることが好ましい。これにより、ユーザは一目見て何の写真であるのかを理解することができる。
図18に示すとおり、互いに連携する関連項目A、D、Eのアイコン90、91、92は、隣同士に配置されている。このように、関連のあるアイコン同士が近くにまとめて配置されていることにより、ユーザは、オブジェクトに対して各アイコンが対等である場合であっても、その各アイコンの中での関係性を容易に把握することが可能となる。なお、連携するこれらの3つのアイコンをさらに囲って別の動作を起こすことが可能な場合には、3つのアイコンが近くにまとまっているので、容易に囲うことが可能となり、操作性が向上する。
あるいは、アイコン配置決定部33は、アイコンの配置間隔を「連携」にしたがって決定してもよい。
図19は、操作画面処理部24がアイコン配置決定部33の決定にしたがってアイコンを配置した結果、得られた操作画面の他の具体例を示す図である。
この例では、アイコン配置決定部33は、図17に示すとおり、各関連項目を「連携番号1」〜「連携番号3」に分類した後、連携の分類ごとに、その分類に属する関連項目のアイコン同士の間隔を詰めてアイコンを配置することを決定する。
すなわち、図19に示すように、アイコン配置決定部33は、連携の分類ごとにアイコンのかたまりが形成されるような配置を決定する。1つの関連項目が、複数の分類に属する場合には、1つの関連項目がいくつかのかたまりに属するように複数配置されてもかまわない。
このような配置により、アイコンの1つ1つは見え難くなるが、アイコン(関連項目)同士の連携性を視覚化することが可能となり、ユーザは、その連携性を容易に把握することが可能となる。あるいは、複数のアイコンをさらに囲って別の動作を起こすことが可能な場合には、「複数のアイコンをまとめて囲う」ことをユーザに想起させやすくなる。
連携処理実行部26は、オブジェクト特定部22が特定したオブジェクト(または、アイコン)が複数であった場合に、それらのアイコンに対応する各関連項目の連携性を考慮して、連携処理を実行するものである。連携処理実行部26は、複数の実行処理部が連動して動作するように各実行処理部を制御することによって連携処理を実現してもよいし、複数の処理が意味を成す順序で実行されるように、1つまたは複数の実行処理部を制御することによって連携処理を実現してもよい。
例えば、図18または図19に示すように、関連項目「A:メールで送信する」のアイコン90と、関連項目「D:ベストフレンド情報」のアイコン91と、関連項目「E:写真」のアイコン92とが一度に囲われた場合には、連携処理実行部26は、図示しない実行処理部を制御して、メールアプリケーションを起動し、メールにアイコン92が示す写真を添付し、アイコン91の人物のメールアドレス宛てに送信するという一連の処理を実行させる。
上記構成によれば、タブレット端末100は、連携して動作するアイコン同士を囲みやすいようにしてユーザに提示することができるとともに、複数のアイコンが囲まれた場合に、それらが連携していれば、その連携情報にしたがって、複数の処理をまとめて実行することができる。
これにより、タブレット端末100は、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末100において、優れた操作性を実現することが可能になるという効果を奏する。
≪実施形態4≫
本発明の情報処理装置に関する他の実施形態について、図20〜図25に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態1、2または3にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、実施形態1、2または3と重複する内容については説明を省略する。
上述の実施形態3では、アイコン配置決定部33は、関連項目の連携性を考慮して、アイコンの並びまたは間隔を決定する構成であった。本実施形態では、関連項目が、タブレット端末100の周辺にある機器に対応するものである場合に、アイコン配置決定部33は、タブレット端末100と周辺の機器との位置関係を考慮して、アイコンの配置を決定する構成である。
〔タブレット端末の機能〕
図20は、本実施形態におけるタブレット端末100の要部構成を示す機能ブロック図である。
本実施形態にかかるタブレット端末100は、実施形態1のタブレット端末100(図1)と比較して、さらに、制御部10が、機能ブロックとして、機器方向特定部27、および、アイコン配置決定部33を備えている構成である。また、記憶部19が、さらに、機器方向記憶部45を備えている構成である。
ここで、本実施形態では、必須ではないが、さらに必要に応じて、記憶部19が、接触情報記憶部44を、また、制御部10が、機能ブロックとして、ジェスチャ判定部25、連携処理実行部26、環形状決定部30、アイコン順位決定部31、および、アニメーション決定部32を備えている構成であってもよい。
また、本実施形態では、タブレット端末100は、ハードウェア構成として、図2に示していないが、さらに、位置検知部、および、方向検知部をさらに備えている。
位置検知部は、タブレット端末100の現在位置を検知するためのものであり、例えば、
衛星または基地局などと距離の測定を行うためのアンテナと、アンテナによって受信された信号を処理して、タブレット端末100の現在位置を示す位置情報を生成する信号処理部とで構成される。位置検知部が取得した位置情報は、制御部10の機器方向特定部27に供給される。位置検知部は、例えば、GPS(Global Positioning System)または既存の屋内位置情報取得システムなどによって実現される。例えば、屋内位置情報取得システムが採用される場合、上記位置検知部は、WLAN(Wireless Local Area Network)などを介して複数の基地局と通信し、距離の測定を行って、特定の屋内での現在位置を検知する。なお、位置検知部のアンテナは、無線通信部16のアンテナと兼用であってもよいし、別体であってもよい。
方向検知部は、タブレット端末100が、水平方向にどの方角を向いているのかを検知するものであり、例えば、方向検知部は、前後方向と左右方向の地磁気を検出することにより北の方角を特定する地磁気センサと、地磁気センサが検出する信号を処理して、タブレット端末100が向いている方向を示す方向情報を生成する信号処理部とで構成される。方向検知部が取得した方向情報は、制御部10の機器方向特定部27に供給される。地磁気センサには2軸タイプと3軸タイプとがあるが、いずれのタイプの地磁気センサを本発明のタブレット端末100に採用しても構わない。ただし、2軸タイプの地磁気センサが採用される場合には、少なくともタブレット端末100が自装置の方向を特定する処理を行っている間には、ユーザは、タッチパネル(表示部12)の面を上にして水平に把持する必要がある。
本実施形態では、無線通信部16は、外部の周辺機器と無線通信を行って、各周辺機器の位置情報を受信する。無線通信部16によって受信された各周辺機器の位置情報は、機器方向特定部27に供給される。
機器方向特定部27は、タブレット端末100の方向を特定するとともに、そのタブレット端末100から見て各周辺機器がどの方向に存在するのかを特定するものである。具体的には、機器方向特定部27は、上述の位置検知部から位置情報を取得して、その位置情報に基づいてタブレット端末100の現在位置を特定する。そして、機器方向特定部27は、無線通信部16を介して、各周辺機器からそれぞれの位置情報を取得して、周辺機器それぞれの現在位置を特定する。また、機器方向特定部27は、上述の方向検知部から方向情報を取得して、タブレット端末100が現在向いている方向を特定する。これにより、機器方向特定部27は、タブレット端末100から見て各周辺機器がどの方向に存在するのかを示す機器方向情報を生成する。機器方向特定部27によって生成された機器方向情報は、機器方向記憶部45に記憶され、操作画面処理部24の各部によって、必要に応じて読み出される。
次に、図21および図22に示す具体例を参照しながら、機器方向特定部27の動作について詳細に説明する。図21は、タブレット端末100のユーザUが屋内のある部屋にてタブレット端末100を使用しているときの、使用環境の一例を示す図である。図21における方角は特に限定されないが、理解を容易にするために、同図の上の方角が北であると仮定する。また、以下では、図3に示すタブレット端末100本体の無線通信部16が設けられている側をタブレット端末100の上(または上側)、音声入力部18が設けられている側をタブレット端末100の下(または下側)と称する。そして、タブレット端末100の水平方向における向きを表すとき、タブレット端末100の向き(タブレット端末100が向いている方向)とは、タブレット端末100の上側が向いている方向のことを指す。すなわち、図21に示す例では、タブレット端末100の上側が北に向いているので、タブレット端末100が現在向いている方向は「北」となる。
図21に示す使用環境において、ユーザUは、タブレット端末100の表示部12の面が水平になるように把持し、使用している。タブレット端末100は、北を向いている。そして、タブレット端末100の周辺には、略北の方向に、デジタルテレビ1が、略北東の方向に、デジタルフォトフレーム3が、略東の方向に、プリンタ2が、略南東の方向にパソコン4が設置されている。本実施形態では、デジタルテレビ1、プリンタ2、デジタルフォトフレーム3およびパソコン4の各周辺機器は、タブレット端末100と無線通信可能であって、それぞれ自機の現在位置を検知し、自機の位置情報をタブレット端末100に送信する機能を有している。
図22は、機器方向特定部27が生成する機器方向情報の具体例を示す図である。機器方向特定部27は、無線通信部16を介して各周辺機器と通信し、各周辺機器の位置情報を取得する。機器方向特定部27は、取得した位置情報に基づいて、各周辺機器を、所定の座標系にプロットする。本実施形態では、図22に示すとおり、機器方向特定部27は、機器方向記憶部45において、図21に示す部屋に対応させた座標系(Xr、Yr)(部屋の北西端を原点とする)を保持しており、この座標系に、各周辺機器の現在位置をプロットする。なお、図22に示す例では、各周辺機器を、説明のためにブロックで示しているが、機器方向特定部27は、各周辺機器の位置を、座標系にプロットする1点によって把握していればよい。
機器方向特定部27は、さらに、自装置が備える位置検知部から、タブレット端末100の位置情報を取得して、タブレット端末100の現在位置を特定するととともに、方向検知部からタブレット端末100の方向情報を取得して、タブレット端末100の方向を特定する。なお、タブレット端末100の位置も、座標系にプロットする1点によって把握されればよい。機器方向特定部27は、図22に示すとおり、タブレット端末100を、特定した位置に、特定した向きでプロットする。タブレット端末100の位置と方向とによって、タブレット端末100のタッチパネルに対応する座標系(X、Y)(タッチパネルの画面左上端を原点とする)、または、タッチパネルの表示部12に表示される環を、上記部屋の座標系に定義することができる。
このように機器方向特定部27が生成した機器方向情報は、機器方向記憶部45に記憶され、操作画面処理部24によって読み出される。
操作画面処理部24は、この機器方向情報を読み出すことにより、それぞれの周辺機器の方向を特定することが可能となる。特に、操作画面処理部24のアイコン配置決定部33は、それぞれの周辺機器に関連するアイコンの配置位置を、その周辺機器が存在する方向に対応するように決定することができる。
例えば、図22に示すとおり、タブレット端末100の特定された位置および方向に基づいて、このタブレット端末100を中央のオブジェクトに見立てて、楕円の環(図22において太い破線)が定義されたとする。この場合、アイコン配置決定部33は、タブレット端末100の位置を表す点と、周辺機器の位置を表す点とを結ぶ直線、および、環の輪郭線が交わる位置を、その周辺機器に関するアイコンの配置位置に決定することができる。
図23は、関連情報記憶部42に記憶される周辺機器に関する関連情報の具体例を示す図である。本実施形態では、周辺機器に関係する関連項目については、図23に示すとおり、周辺機器の機器IDとアイコンとの対応関係を示す関連情報が、さらに記憶されている。
操作画面処理部24は、周辺機器「デジタルテレビ1」、「プリンタ2」、「デジタルフォトフレーム3」および「パソコン4」に関する関連項目が抽出された場合には、図23に示す関連情報を参照し、それぞれの周辺機器に関連付けられているアイコン画像をアイコン記憶部43から読み出す。そして、操作画面処理部24は、アイコン配置決定部33によって決定された配置位置に、それらの読み出したアイコン画像を配置して操作画面を生成する。
図24は、本実施形態において、操作画面処理部24が実行した操作画面生成処理の結果、得られた操作画面の具体例を示す図である。
図24に示すとおり、操作画面処理部24は、アイコン配置決定部33が、図22に示す機器方向情報に基づいて決定したアイコン配置位置にしたがって、各周辺機器のアイコンを配置し、操作画面を生成する。これにより、表示部12に表示された各周辺機器のアイコンの位置は、図21に示す、実際の周辺機器の存在方向に対応したものとなる。具体的には、タッチパネルの画面の上は、図21に示す例では、北となる。そして、デジタルテレビ1のアイコンは、中央のオブジェクトから見て、実際の存在方向と同様に、略北の方向に、デジタルフォトフレーム3のアイコンは、略北東の方向に、プリンタ2のアイコンは、略東の方向に、パソコン4のアイコンは、略南東の方向に表示される。
上記構成によれば、関連項目(周辺機器)のアイコンを、実際の周辺機器の存在方向に対応させて環状に表示することができる。そのため、ユーザの直感に反しない、より一層理解しやすい操作画面をユーザに提供することが可能となり、より一層自然な流れで次の操作が続けられるようなユーザインターフェースを実現することが可能となる。
次に続く操作が、以下で説明するような接触動作である場合には、上記構成によって特に大きな効果が得られる。
図25は、操作画面処理部24が実行した操作画面生成処理の結果、図24に示す操作画面に続いて得られる操作画面の具体例を示す図である。
図24に示す各周辺機器のアイコンは、そのアイコンが選択されると、中央のオブジェクト(ここでは、「写真1」というオブジェクト)を、その周辺機器に転送するという関連項目を意味するアイコンである。
本実施形態では、次に続く操作として、アイコンを選択するための接触動作は、オブジェクト80を指で選択し、所望のアイコン(転送先の周辺機器)のところまでドラッグしてリリースするという動作となる。
上述のような接触動作は、周辺機器にデータ(オブジェクト80)送信するという動作と連動し、ユーザにとって直感的に理解し易い動作となっている。加えて、本実施形態のタブレット端末100によれば、タブレット端末100と各周辺機器との実際の位置関係(周辺機器が実際に存在する方向)に対応させて、アイコンを表示している。このため、ユーザは、より一層、自分の接触動作と、その結果発生する情報処理との間の関連性を直感的に把握することが可能となる。例えば、ユーザは、デジタルテレビ1に写真を転送したければ、実際にデジタルテレビ1がある方向に向かって写真のオブジェクトをドラッグすればよい。
結果として、ユーザの直感に反しない自然な流れで操作が行える操作画面を提供することができる。
≪変形例≫
上述の実施形態1〜4を適宜組み合わせたタブレット端末100も本発明の範疇に入る。すなわち、各実施形態1〜4に係るタブレット端末100の制御部10は、各々の実施形態において必須でない場合には、ジェスチャ判定部25、連携処理実行部26、および、機器方向特定部27を部分的に、あるいは、全て備えていてもよい。また、制御部10
操作画面処理部24は、環形状決定部30、アイコン順位決定部31、アニメーション決定部32、および、アイコン配置決定部33を部分的に、あるいは、全て備えていてもよい。
(オブジェクトと環形状の配置1)
上述の各実施形態では、操作画面処理部24は、アイコンを配置する際に、選択されたオブジェクト(例えば、図8の(a)、(b)のオブジェクト80)を、タッチパネルの画面の中央に配置する構成であり、環形状決定部30は、中央のオブジェクト80の周囲にアイコンを配置するよう環の位置を決定する構成であった。しかし、本発明の構成は、上記に限定されない。操作画面処理部24は、選択されたオブジェクト80の表示位置を、元のまま維持する構成であってもよく、この場合でも、環形状決定部30は、図26に示すとおり、環形状が画面中央で大きく表示されるように、環の位置およびサイズを決定してもよい。図26は、関連項目のアイコン表示方法の一変形例を示している。
(オブジェクトと環形状の配置2)
あるいは、選択されたオブジェクト80の表示位置が、元のまま維持される構成において、環形状決定部30は、図27に示すとおり、元の位置にあるオブジェクト80が環の中央になるように、環形状の位置およびサイズを決定してもよい。図27は、関連項目のアイコン表示方法の一変形例を示している。
(環形状のアニメーション)
あるいは、アイコンを配置するための環形状に対してアニメーションを付与してもよい。この場合、操作画面処理部24は、アニメーション決定部32を備える構成である。
アニメーション決定部32は、操作画面に配置されるすべての配置対象物、すなわち、オブジェクト、アイコン、環などに対して付与するアニメーションを決定するものである。これにより、オブジェクトおよびアイコンを表示させる際に、表示のさせ方に視覚的な効果(すなわち、アニメーション)を付けることができる。
なお、アニメーション決定部32は、オブジェクト、アイコン、または、環の動きだけではなく、これらについて、フェードイン(透明度の変更)などの視覚的効果を付与してもよい。
また、アニメーション決定部32は、環状に表示するアイコンを最初から環の輪郭線上に出現させるのではなく、異なる場所から最終的にアイコンが輪郭線上に終着するようにアイコンに動きをつけてもよい。例えば、アニメーション決定部32は、環の中央あたりアイコンを集約させた後、それぞれのアイコンが拡散するような動きをつけて、最終的に環の輪郭線上に配置されるように各アイコンに動きをつけてもよい。
(オブジェクトと環形状の配置3〜環形状のアニメーション)
選択されたオブジェクト80の表示位置が、元のまま維持される構成において、オブジェクト80とは無関係に環形状が画面中央で大きく配置される場合、「オブジェクト80を囲んでアイコンを表示させた」という事象と、最終的に得られる結果物(例えば、図26)との間の関連性が薄れるという問題がある。一方、オブジェクト80の表示位置が、元のまま維持される構成において、オブジェクト80の表示位置に関連させて周囲にアイコンを表示させる場合には、オブジェクト80が元々表示されている位置によっては、環形状が、十分なサイズで画面に収まるように配置されず、結果として、アイコンの視認性が低下するという問題がある。
そこで、アニメーション決定部32は、図28に示すとおり、アイコンを配置するための環にアニメーションを付与することによって、上記の問題を解決してもよい。具体的には、オブジェクト80の元の表示位置およびサイズに基づいて環形状決定部30が決定した環形状を、一定の時間をかけて、画面中央に大きく配置させるように、アニメーション決定部32が、アニメーションを環に対して付与する。これにより、一旦、オブジェクト80の周囲に小さく配置されたアイコンの環は、時間の経過に伴って徐々にその形状を変え、最終的に画面中央に大きく配置される。図28の(a)は、最初にオブジェクト80の周囲に小さく配置されたアイコンの環の様子を示し、図28の(b)は、アイコンの環が拡大する途中の様子を示し、図28の(c)は、同図の(a)から、同図の(b)を経て、最終的にアイコンの環が画面中央に大きく配置された様子を示している。
上記構成によれば、ユーザの接触動作と表示される結果物との関連性を損なうことなく、アイコンを十分なサイズで表示させることが可能となる。
なお、アニメーション決定部32は、環のサイズに合わせてアイコン1つ1つの大きさも徐々に大きくするようなアニメーションを付与してもよいし、環のサイズとアイコンのサイズとは独立させて、アイコンのサイズを一定とし、アイコンの配置間隔を徐々に広げるというアニメーションを付与してもよい。
(アイコンの表示タイミング)
上述の各実施形態では、操作画面処理部24は、選択されたオブジェクトの周囲に、複数のアイコンを同時に配置する構成であった。しかし、これに限らず、操作画面処理部24が、アニメーション決定部32を備えている場合には、アニメーション決定部32がそれぞれのアイコンの表示タイミングを決定する構成であってもよい。
図29は、関連項目のアイコン表示方法の一変形例を示す図である。
例えば、ユーザの「囲う」接触動作から、図29の(a)に示すような接触情報が得られたとする。アニメーション決定部32は、接触情報記憶部44に記憶された上記接触情報を参照し、この「囲う」のジェスチャは、t0からtnにかけて時計回りに発生したと認識する。アニメーション決定部32は、この動きを合うように、1番目から8番目までのアイコンを、1つずつ時計回りに一定の間隔で出現させることを決定する。例えば、アニメーション決定部32によって、図29の(b)、(c)、(d)、(e)、・・・と一定の間隔でアイコンを順に出現させ、最終的に、図29の(f)に示される操作画面に至るように、アイコンの表示タイミングが制御される。
上記構成によれば、ユーザが囲ったときの動き(時計回り)とほぼ同じ動きを伴った結果物が得られるので、ユーザの接触動作と表示された結果物との関連性をより高めることが可能となり、結果として、ユーザの直感に反しない自然な流れで操作画面を提供することができる。
ここで、アイコン配置決定部33は、1番目のアイコンの表示位置と、指の軌跡の始点(t0の時の接触位置)とをおおよそ一致させ、最後のアイコンの表示位置と、終点(tnの時の接触位置)とをおおよそ一致させることが好ましい。
これにより、接触動作と結果物とをより一層連動させて、より自然な流れで操作画面を提供することができる。
(アイコンの表示タイミング2)
さらに、アニメーション決定部32は、指の動き(時計回りか、反時計回りか)だけでなく、オブジェクトが囲われたときの指が動く速度に合わせて、各アイコンを順次出現させることが好ましい。
具体的には、図30の(a)に示すような接触情報が得られたとする。この接触情報は、t0の時点からtnの時点にかけて時計回りに囲われた軌跡を示している。そして、より詳細には、taの時点で接触位置(指の先端)がオブジェクトの左にあり、tbの時点で接触位置がオブジェクトの左上にあり、tcの時点で接触位置がオブジェクトの右上にあったことがこの接触情報から分かる。
そこで、アニメーション決定部32は、8個のアイコンが楕円形上に均等な間隔で配置される場合に、1番目のアイコンをオブジェクトの真下にt0の時点に出現させ、その後、指の速度に一致させて、taの時点で、オブジェクトの左のところ(3番目)までアイコンを出現させ、tbの時点で、オブジェクトの左上のところ(4番目)までアイコンを出現させ、tcの時点で、オブジェクトの右上のところ(6番目)までアイコンを出現させ、最終的に、tnの時点で、全てのオブジェクトを出現させることを決定する。図30の(b)は、t0の時点の操作画面を示している。図30の(c)は、taの時点の操作画面を示している。図30の(d)は、tbの時点の操作画面を示している。図30の(e)は、tcの時点の操作画面を示している。図30の(f)は、tnの時点の操作画面を示している。
上記構成によれば、ユーザが囲ったときの動き(時計回り)および動きの速度とほぼ同じ動きを伴った結果物が得られるので、ユーザの接触動作と表示された結果物との関連性をさらにより一層高めることが可能となり、結果として、ユーザの直感に反しない自然な流れで操作画面を提供することができる。
(アイコンの配置1)
アイコン配置決定部33は、抽出された関連項目の属性に基づいて、どのアイコンをどの位置に配置するのかを決定するものである。ここで、アイコン配置決定部33は、関連項目の属性の1つである「動作属性」を考慮して、各関連項目のアイコン配置位置を決定してもよい。
関連項目の属性「動作属性」とは、動作が、他機に対して何か働きかける動作の属性を持っているのか、自機内で処理が完了する動作の属性を持っているのかを示す情報である。前者の動作の例としては、例えば、他機へデータを送信する動作などが挙げられる。後者の動作の例としては、例えば、データを自機の表示部に表示する動作などが挙げられる。
図6に「動作属性」の具体例を示す。図6に示す関連情報のテーブルは、「動作属性」のフィールドを有している。図6に示す例では、関連項目の動作が「他機へデータを送信する動作」である場合に、そのことを示す「他機送信動作」の識別情報が、当該関連項目に関連付けて記憶される。また、関連項目の動作が「自機内で処理が完了する動作」である場合に、そのことを示す「自機内動作」の識別情報が、当該関連項目に関連付けて記憶される。
図31は、関連項目のアイコン配置パターンの一変形例を示している。
アイコン配置決定部33は、まず、関連項目抽出部23によって抽出された関連項目のそれぞれの「動作属性」を、関連情報記憶部42から参照する。そして、アイコン配置決定部33は、図31に示すとおり、「動作属性」が「他機送信動作」である関連項目のアイコン(アイコン70〜72)を、環の上半分(あるいは、上3分の1)に配置することを決定する。すなわち、オブジェクト80よりも上に配置する。アイコン配置決定部33は、「動作属性」が「自機内動作」である関連項目のアイコン(アイコン74〜76)を環の下半分(あるいは、下3分の1)に配置することを決定する。すなわち、オブジェクト80よりも下に配置する、アイコン配置決定部33は、「他機送信動作」および「自機内動作」のいずれにも属さない関連項目がある場合には、残りの空いたスペース(あるいは、中3分の1)にそれらの関連項目のアイコン(アイコン73、77)を配置することを決定する。
図25に示したとおり、中央のオブジェクト80が示すデータを他機に送信する場合には、次にユーザは、オブジェクト80をタッチして、他機に送信することを示すアイコンの所にドラッグするという接触動作を行う。
よって、他機に送信するという動作に関連するアイコンを、中央のオブジェクトよりも上側に配置すれば、ユーザは、「他機に送信するという動作(情報処理)」をタブレット端末100にさせるために、自分の所から向こうへ物を移動させるジェスチャを行うことになる。
「他機に送信するという動作(情報処理)」は、自分の手前に物を持ってくるジェスチャとよりも、自分の所から向こうへ物を移動させるというジェスチャとの方が直感的にもより結びつきが強いと考えられる。
上記構成によれば、ユーザの接触動作と得られる結果との関連性をより高めることが可能となり、結果として、ユーザの直感に反しない自然な流れで操作画面を提供することができる。
なお、「動作属性」の情報は、「他機送信動作」であるか否かを示すフラグであってもよく、例えば、アイコン配置決定部33は、「動作属性」が「TRUE」すなわち「他機送信動作」である関連項目を、環の上半分に配置すると決定してもよい。
(アイコンの配置2)
また、アイコン配置決定部33は、抽出された各関連項目が、関連項目の属性の1つとして「時間的要素」の情報を含んでいる場合に、各関連項目のアイコンを、時系列に沿って配置するように決定してもよい。
例えば、アイコン配置決定部33は、関連項目が、写真のデータである場合であって、各写真に「撮影日時」の情報が関連付けられている場合には、アイコン配置決定部33は、1番目の写真のアイコン(ここでは、その写真のサムネイル画像が好ましい)を、環の上中央に配置し、そこからスタートして、残りのアイコンを撮影日時順に時計回りに均等に配置することを決定してもよい。
あるいは、アイコン配置決定部33は、アイコンを配置するための環を時計の文字盤に見立てて、各関連項目の「時間的要素」の情報が示す時刻どおりに、アイコンを配置することを決定してもよい。
図32は、関連項目のアイコン配置パターンの一変形例を示している。
アイコン配置決定部33は、例えば、オブジェクト80としてアルバムが選択された場合に、そのアルバムに含まれる各写真を画面に配置する。このとき、アイコン配置決定部33は、例えば、1時ごろに撮影された写真(群)78を、環を時計の文字盤に見立てたときの、1時の辺りの輪郭線上に配置し、3時ごろに撮影された写真(群)79を、3時の辺りの輪郭線上に配置する。
上記構成によれば、アルバム内の写真の撮影日時を写真の配置位置で表現することが可能となり、簡易な接触動作で且つ少ない動作数でユーザの目的である最終結果物を表示させることが可能となる。
(ユーザの使用状況を「察する」)
図4の(a)および(b)に示したとおり、タブレット端末100が小型の携帯端末であって、片手でも両手でも操作可能である場合、片手で操作しているとき、両手で操作しているときとでは、ユーザが画面に指を接触させる可能な領域は、異なることが想定される。図4の(b)に示すように、両手で操作する場合には、タッチパネルのどの領域にも触れることが可能である。一方、図4の(a)に示すように、片手で操作する場合には、接触位置は、画面下部左側の領域(左手で操作する場合)、または、画面下部右側の領域(右手で操作する場合)に偏る傾向がある。ユーザがこのような状況でタブレット端末100を使用しているときに、接触動作が必要なオブジェクトまたはアイコンを、画面上部や手と反対側の画面下部に表示すると操作が煩雑になるという問題がある。なぜなら、ユーザは、目的のオブジェクトをすぐさまタッチできず、接触可能な領域にたぐり寄せるという余計な動作を行わなければならないか、両手操作に切り替えなければならないからである。
そこで、本発明のタブレット端末100は、ユーザの使用状況を察することにより、上記の問題を解決する。具体的には、本発明のタブレット端末100を、指の接触位置の偏りを検出し、ユーザの指がすぐさま届くと推測される領域内に、アイコンを配置する構成とすることができる。
本変形例では、タブレット端末100の接触情報生成部21は、接触/非接触の切り替えに関わらず、さらに、接触動作が「囲う」のジェスチャであるか否かに関わらず、所定期間(例えば、数秒〜数分程度)に生じたユーザの接触動作を示す接触情報を生成し、接触情報記憶部44に記憶する構成である。
図33は、ユーザの使用状況に応じて操作画面を提示することが可能な本発明のタブレット端末100の動作を説明する図である。より詳細には、図33の(a)は、ユーザが左手で操作しているという状況の一例を説明する図である。図33の(b)は、同図の(a)の接触動作に伴って生成された接触情報の具体例を示す図である。
図33の(a)に示すとおり、例えば、ユーザが親指でフリック動作によって、目的のオブジェクトを接触可能な領域までたぐり寄せて、それを囲むという接触動作を実行したとする。
接触情報生成部21は、本変形例では、所定期間(例えば、過去数秒〜数分間程度)上述の一連の接触動作に対して、図33の(b)に示すような接触情報を生成し、接触情報記憶部44に記憶させている。なお、軌跡を記憶する接触情報記憶部44のメモリ容量に制約がある場合には、接触情報生成部21は、新しい軌跡を記憶する度に、最も古い軌跡から削除していく構成にすればよい。
ここで、ジェスチャ判定部25によって「囲う」のジェスチャが生じたと判定される。操作画面処理部24は、接触情報記憶部44に記憶されている、過去数秒〜数分間分の接触情報をさかのぼって参照して、指の接触位置に偏りが無いか否かを検出する。図33の(a)および(b)に示す例では、指の軌跡は画面下部左側の領域82に偏っている。操作画面処理部24は、この偏りを検知して、ユーザの接触可能領域を、画面下部左側の領域82であると特定する。なお、この画面下部左側の領域82と、画面下部右側の領域83とは、予め定義されているものとする。
操作画面処理部24の環形状決定部30は、アイコンを配置するための環が、画面下部左側の領域82に収まるように、環の形状、サイズ、および、配置位置を決定する。
図34は、環形状決定部30によって決定された環形状にしたがってアイコンが配置されたときの操作画面の一例を示す図である。図34に示すとおり、選択されたオブジェクト80の関連項目は、画面下部左側の領域82内に収まるように表示されているので、ユーザは、親指で目的のアイコンをたぐり寄せる必要はなく、すぐさま次のアイコンを選択することができる。
なお、タブレット端末100は、ユーザが片手で操作しているという使用状況を判別するために、指の軌跡の線の太さに基づいて、親指で操作されているのか否かを判定し、親指で操作されていると判定した場合に、片手で操作されていると判断し、画面下部にアイコンを表示する構成であってもよい。あるいは、タブレット端末100の筐体にセンサを設けて、タブレット端末100が、筐体が4本の指で把持されているのか、5本の指で把持されているのかを判別し、これに応じて片手操作、または、両手操作の判断を行ってもよい。
また、タブレット端末100の操作画面処理部24は、指の軌跡によって囲まれた領域の接触座標情報を参照して、軌跡領域を特定し、その軌跡領域および近辺を、ユーザの接触可能領域であると特定して、そこにアイコンの環が配置されるように決定してもよい。
あるいは、タブレット端末100は、ユーザが片手で操作するという使用状況を想定して、アイコンの環を領域82や領域83内に収まるように配置しない場合でも、ユーザが、簡易に目的のアイコンを、限られた接触可能領域上で選択できるような操作画面をユーザに提供することができる。
図35の(a)は、ユーザが、接触可能領域上でドラッグすることにより、アイコンの環を回転させる様子を説明する図であり、図35の(b)は、上記の接触動作「ドラッグ」によって、環が回転させられたことにより、アイコンの配置が変更された後の操作画面の一例を示す図である。
本変形例では、ユーザが片手で操作するために接触可能領域が制限される状況を想定して、タブレット端末100が、環状に配置されたアイコンを、環の輪郭線上に沿って回転可能に提示する構成である。
例えば、オブジェクト80が選択された後、図35の(a)に示すとおりの配置で、アイコンの環がタッチパネル(表示部12)に表示されたとする。ユーザは、左手だけでタブレット端末100を操作しているため、接触可能領域が制限されている(例えば、図33の(b)に示す領域82など)。
このような状況で、もしユーザがタッチパネルの画面上方に配置されているテレビのアイコンを選択したければ、両手持ちに切り替えたり、タブレット端末100を台などに固定して左手を空けたりしなければならず、ユーザにとって不便である。
そこで、本変形例では、入力部11が、ユーザの接触動作「ドラッグ」を受け付けたとき、ジェスチャ判定部25は、ドラッグによって指が移動する方向を判定し、「その方向に対応させてアイコンの環を回転させる」という指示が入力されたことを認識する。操作画面処理部24のアニメーション決定部32は、ジェスチャ判定部25が判定した方向に応じて、アイコンを回転させるアニメーションを付与した操作画面を表示部12に出力する。
例えば、ユーザは、図35の(a)に示す操作画面において、環の右下あたりで接触動作「ドラッグ(ここでは、右上から左下の方向へ)」を継続する。この接触動作に伴って、各アイコンが、環の輪郭線上で時計回りに回転する。こうして、ユーザは、タッチパネル上方に配置されているテレビのアイコンを、図35の(b)に示すとおり、接触可能領域(例えば、領域82)にたぐり寄せることができ、接触可能領域上で、目的のテレビのアイコンを選択することが可能となる。
(アイコン表示数の調整)
アイコン配置決定部33は、決定された環形状のサイズと、アイコンの大きさとを考慮して、関連項目抽出部23によって抽出されたすべてのアイコンを表示できないと判断した場合には、表示すべきアイコンの数を減らすことを決定してもよい。
また、アイコン配置決定部33は、接触情報を参照して、指の軌跡(あるいは、囲われた領域)の絶対的な大きさに基づいて、表示するアイコンの数を決定してもよい。これにより、ユーザはオブジェクトを小さめの環で囲うか、大きめの環で囲うかを変えることによって、意図的に、次に表示させるアイコンの数を調節することが可能となる。
あるいは、アイコン配置決定部33は、関連項目抽出部23によって抽出された関連項目であっても、関連項目の属性の1つである「条件」の情報に基づいて、特定の関連項目をアイコン表示しないことを決定してもよい。
図6に「条件」の具体例を示す。図6に示す関連情報のテーブルは、「条件」のフィールドを有している。関連項目の属性「条件」とは、その関連項目のアイコンを表示する場合の条件を示す情報である。
図6に示す例では、「写真の付属情報を表示する」「アルバムの付属情報を表示する」というそれぞれの関連項目に「付属情報があれば」という「条件」が関連付けられている。この条件は、写真に付属情報があれば、アイコン表示を行い、写真に付属情報が無ければアイコン表示をしないことを既定するものである。
したがって、アイコン配置決定部33は、写真のオブジェクトが選択されて、図6に示す8個の関連項目(関連項目群60)が抽出された場合に、選択された写真に付属情報が存在しなければ、関連項目「写真の付属情報を表示する」を除く、7個の関連項目だけを環に配置することを決定する。
(アイコン表示優先順位)
さらに、操作画面処理部24は、アイコン順位決定部31を備えていてもよい。
アイコン順位決定部31は、関連項目の属性に基づいて、関連項目抽出部23によって抽出された関連項目に優先順位を付与するものである。
例えば、関連情報には、関連項目の属性の1つとして、「選択頻度」のフィールドが含まれている。「選択頻度」とは、過去にユーザによってその関連項目が選択された回数を示す情報である。
アイコン順位決定部31は、抽出された関連項目の「選択頻度」が多い順に、各関連項目に優先順位を付与する。アイコン配置決定部33は、アイコン順位決定部31が決定した優先順位にしたがって、アイコンの配置を決定することができる。
例えば、優先順位が高いものから順に時計回りにアイコンを配置したり、優先順位が高い関連項目のアイコンを環の上半分に配置したりすることができる。
あるいは、アイコン配置決定部33は、表示すべきアイコンの数を減らす場合には、優先順位の低いものから順に減らすことができる。
(オブジェクトを複数選択する場合)
上述の各実施形態および各変形例においては、ユーザが、オブジェクト一覧画面(例えば、図5の(a))から、1つのオブジェクトを選択する場合について説明した。しかし、本発明のタブレット端末100は、オブジェクト一覧画面において、複数のオブジェクトの選択を受け付けてもよい。この場合、タブレット端末100は、選択された複数のオブジェクトの組み合わせに応じて、関連項目を抽出することができる。
図36の(a)は、ユーザが目的の複数のオブジェクトを選択するためにオブジェクト「囲う」という接触動作を実施した様子を示す図である。図36の(b)は、図36の(a)に示す接触動作に応じて、操作画面処理部によって生成された操作画面の具体例を示す図である。
図36の(a)に示すとおり、ユーザが、オブジェクト一覧画面から、3枚の写真、すなわち、オブジェクト80、オブジェクト84およびオブジェクト85を囲って選択したとする。オブジェクト特定部22は、オブジェクト80、オブジェクト84およびオブジェクト85の3枚の写真が選択されたと特定する。
ここでは、選択されたが複数であってもこれらのオブジェクトは全て「写真」である。そこで、関連項目抽出部23は、図6に示す関連情報を参照し、オブジェクト「写真」に関連付けられている関連項目群60を抽出する。
図36の(b)に示すとおり、操作画面処理部24は、関連項目群60に対応するアイコン画像をアイコン記憶部43から読み出し、オブジェクトの周囲に環状に配置する。ただし、ここでは、選択されたオブジェクトは3枚あるので、操作画面処理部24は、環の中央に選択された3枚の写真(オブジェクト80、84、85)を中央に表示する。これにより、ユーザは、自分が実際に囲ったものが中央に表示され、これらに対して関連のあるアイコンが周囲に環状に表示されている操作画面を得ることができる。これにより、実際に自身が囲ったものと、その結果得られたものとの関係性を容易に把握することが可能となる。また、本変形例では、中央にまとめて配置された3枚の写真(オブジェクト80、84、85)は、1つのタッチ動作でまとめて選択することが可能である。例えば、ユーザは、中央に表示されている3枚の写真の絵柄を1回ドラッグすれば(例えば、テレビのアイコンにドラッグすれば)、3枚ともテレビに転送するという処理をタブレット端末100に実行させることができる。写真1枚1枚をドラッグする必要がないので、ユーザの動作数を減らすことが可能である。
図37の(a)は、ユーザが種類の異なる複数のオブジェクトを選択するために、オブジェクトを「囲う」という接触動作を実施した様子を示す図である。図37の(b)は、図37の(a)に示す接触動作に応じて、操作画面処理部によって生成された操作画面の具体例を示す図である。図38は、本変形例における関連情報記憶部42に記憶されている関連情報の他の例を示す図である。
図37の(a)に示すとおり、ユーザが、オブジェクト一覧画面から、3枚の写真(オブジェクト80、84、85)に加えて、写真とは異なる種類のオブジェクト、すなわち、音楽ファイル86を囲って選択したとする。オブジェクト特定部22は、オブジェクト80、84、85の3枚の写真と音楽ファイル86との合計4つのオブジェクトが併せて選択されたと特定する。
ここでは、選択されたオブジェクトの組合せは、「写真」と「音楽ファイル」である。そこで、関連項目抽出部23は、図38に示す関連情報を参照し、オブジェクト「写真+音楽ファイル」に関連付けられている関連項目群66を選択する。
図37の(b)に示すとおり、操作画面処理部24は、関連項目群66に対応するアイコン画像をアイコン記憶部43から読み出し、オブジェクトの周囲に環状に配置する。ただし、ここでは、選択されたオブジェクトが、写真3枚+音楽ファイル1個であるので、操作画面処理部24は、環の中央に選択された3枚の写真および音楽ファイルのアイコンをひとまとめにして中央に表示する。これにより、ユーザは、自分が実際に囲ったものが中央に表示され、これらに対して関連のあるアイコンが周囲に環状に表示されている操作画面を得ることができる。これにより、実際に自身が囲ったものと、その結果得られたものとの関係性を容易に把握することが可能となる。
さらに、オブジェクトが複数種類のデータから成っている場合、そのオブジェクトの組合せに応じて適した関連項目が抽出され、そのアイコンが表示される。例えば、本変形例のように、「写真」と「音楽ファイル」との組合せに対しては、「(写真を)印刷する」とか「写真を編集する」などといった「写真」に特化した関連項目は抽出されず、「スライドショー表示する」などといった、「写真」および「音楽ファイル」の両方を用いる関連項目が抽出される。
図37の(b)に示す例では、「(写真を)印刷する」という関連項目を表す「2:プリンタ」のアイコンの代わりに、「スライドショー表示する」という関連項目を表す「9:スライドショー再生」のアイコン87が、中央のオブジェクトの周囲に表示される。図37の(b)に示す操作画面において、ユーザが、写真3枚+音楽ファイル1個がひとまとめにされたオブジェクトをアイコン87にドラッグすると、タブレット端末100は、音楽ファイル86を再生しつつ、アイコン87にドラッグされた3枚の写真をスライドショーで表示する。
このように、本発明のタブレット端末100は、オブジェクトを複数、また、異なる種類のオブジェクトであっても、これらを一度に囲ってまとめて選択するという接触動作を受け付けることが可能であり、選択されたオブジェクトの組合せに応じて、適切な関連項目を抽出することができる。
以上のことから、タブレット端末100は、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末100において、優れた操作性を実現することが可能になるという効果を奏する。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
なお、本発明の情報処理装置および操作画面表示方法は、以下のようにも表現され得る。
タッチパネルを備えた情報処理装置において、上記タッチパネル上を移動した指示体の移動の軌跡を取得する接触動作取得手段と、上記接触動作取得手段によって取得された軌跡により囲われた領域に、少なくとも一部が含まれるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定手段と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、上記関連項目抽出手段によって抽出された関連項目のアイコンを、環の輪郭線上に並べて配置して、上記タッチパネルに表示する操作画面処理手段とを備えていることを特徴とする情報処理装置。
タッチパネルを備えた情報処理装置における操作画面表示方法において、上記タッチパネル上を移動した指示体の移動の軌跡を取得する接触動作取得ステップと、上記接触動作取得ステップにて取得された軌跡により囲われた領域に、少なくとも一部が含まれるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、上記関連項目抽出ステップによって抽出された関連項目のアイコンを、環の輪郭線上に並べて配置して、上記タッチパネルに表示する操作画面処理ステップとを含むことを特徴とする操作画面表示方法。
〔ソフトウェアによる実現例〕
最後に、タブレット端末100の各ブロック、特に、接触情報生成部21、オブジェクト特定部22、関連項目抽出部23、操作画面処理部24、ジェスチャ判定部25、連携処理実行部26、機器方向特定部27、環形状決定部30、アイコン順位決定部31、アニメーション決定部32、および、アイコン配置決定部33は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、タブレット端末100は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるタブレット端末100の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記タブレット端末100に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、タブレット端末100を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は、入力部および表示部を備える情報処理装置に広く適用することが可能である。例えば、これには限定されないが、入力部および表示部を備える、デジタルテレビ、パーソナルコンピュータ、スマートフォン、タブレットPC、ノートパソコン、携帯電話、PDA(Personal Digital Assistant)、電子書籍リーダ、電子辞書、携帯用・家庭用ゲーム機、電子黒板などに好適に用いることができる。さらに、タッチパネルを備える情報処理装置に本発明を適用すれば、より一層優れた操作性を実現することができる。
1 デジタルテレビ
2 プリンタ
3 デジタルフォトフレーム
4 パソコン
10 制御部
11 入力部(タッチパネル)
12 表示部(タッチパネル)
13 操作部
14 外部インターフェース
15 通信部(通信部)
16 無線通信部(通信部)
17 音声出力部
18 音声入力部
19 記憶部
21 接触情報生成部(軌跡取得手段/接触動作取得手段)
22 オブジェクト特定部(オブジェクト特定手段)
23 関連項目抽出部(関連項目抽出手段)
24 操作画面処理部(操作画面処理手段)
25 ジェスチャ判定部(ジェスチャ判定手段)
26 連携処理実行部(連携処理実行手段)
27 機器方向特定部(機器方向特定手段)
30 環形状決定部(環形状決定手段)
31 アイコン順位決定部(アイコン順位決定手段)
32 アニメーション決定部(アニメーション決定手段)
33 アイコン配置決定部(アイコン配置決定手段)
41 フレームマップ記憶部
42 関連情報記憶部
43 アイコン記憶部
44 接触情報記憶部
45 機器方向記憶部
100 タブレット端末(情報処理装置)

Claims (15)

  1. 表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得手段と、
    上記軌跡取得手段によって取得された軌跡により囲われた領域に、少なくとも一部が含まれるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定手段と、
    オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、
    上記関連項目抽出手段によって抽出された関連項目のアイコンを、環の輪郭線上に並べて配置して、上記表示部に表示する操作画面処理手段とを備え
    上記軌跡取得手段は、
    上記指示体の移動の開始からの経過時間を計測し、上記軌跡を構成する点の少なくともいくつかに、上記経過時間を示す移動時間情報を対応付けて保持し、
    上記操作画面処理手段は、
    上記軌跡および上記移動時間情報から判明した上記指示体の移動方向に合わせて、時計回り、または、反時計回りに各アイコンを順次表示させることを特徴とする情報処理装置。
  2. 上記操作画面処理手段は、
    上記選択されたオブジェクトの周囲にアイコンが配置されるように上記環の位置およびサイズを決定することを特徴とする請求項1に記載の情報処理装置。
  3. 上記操作画面処理手段は、
    上記軌跡取得手段によって取得された軌跡、もしくは、その相似形または近似形を、上記環の形状として決定することを特徴とする請求項1または2に記載の情報処理装置。
  4. 上記操作画面処理手段は、
    上記環における、上記軌跡の始点の位置と相対的に同じ位置を、最初のアイコンの表示位置に決定することを特徴とする請求項1から3までのいずれか1項に記載の情報処理装置。
  5. 上記操作画面処理手段は、
    上記軌跡を形成した上記指示体の移動速度に対応するように、各アイコンを順次表示させるタイミングを決定することを特徴とする請求項4に記載の情報処理装置。
  6. 上記関連情報記憶部には、複数の関連項目が連続してまたは同時に処理可能な関係であればそれらの複数の関連項目を連携有りとする場合に、上記連携の有無を示す連携情報が関連項目ごとに記憶されており、
    上記操作画面処理手段は、
    上記関連項目抽出手段によって抽出された関連項目のうち、連携を有する関連項目同士のアイコンを隣に並べて配置することを特徴とする請求項1から5までのいずれか1項に記載の情報処理装置。
  7. 上記情報処理装置は、さらに、
    自装置の位置を示す位置情報を取得する位置検知部と、
    自装置の向きを示す方向情報を取得する方向検知部と、
    自装置の周辺機器と通信して周辺機器の位置情報を取得する通信部と、
    上記位置検知部によって取得された自装置の位置情報と、上記通信部によって取得された周辺機器の位置情報とに基づいて、自装置と周辺機器との位置関係を特定するとともに、上記方向検知部によって取得された方向情報によって、自装置の向きを特定することにより、自装置に対して各周辺機器がどの方向に存在するのかを特定する機器方向特定手段とを備え、
    上記操作画面処理手段は、
    上記機器方向特定手段によって特定された、上記周辺機器が存在する方向に対応するように、該周辺機器の関連項目に対応するアイコンの配置位置を決定することを特徴とする請求項1から6までのいずれか1項に記載の情報処理装置。
  8. 上記操作画面処理手段は、
    上記関連項目抽出手段によって抽出された関連項目のうち、上記関連情報記憶部において、自装置以外の他機に対して働きかける動作に関する項目であることを示す動作属性が関連付けられている関連項目のアイコンを、上記選択されたオブジェクトよりも上に配置することを特徴とする請求項1から7までのいずれか1項に記載の情報処理装置。
  9. 上記軌跡取得手段は、
    上記表示部に表示されたオブジェクトを囲う上記指示体の移動が生じるまでの所定期間に生じた上記指示体の軌跡を取得し、
    上記操作画面処理手段は、
    上記所定期間に取得された軌跡が、上記表示部の画面における特定の領域に偏っていると判断した場合に、上記特定の領域にアイコンが配置されるように上記環の位置を決定することを特徴とする請求項1から8までのいずれか1項に記載の情報処理装置。
  10. 上記操作画面処理手段は、
    上記表示部の画面における、上記指示体の軌跡により囲われた領域、または、該囲われた領域を含む特定の領域にアイコンが配置されるように上記環の位置を決定することを特徴とする請求項1から8までのいずれか1項に記載の情報処理装置。
  11. 当該情報処理装置が備える入力部および上記表示部はタッチパネルを構成するものであり、
    上記軌跡取得手段は、上記タッチパネル上を移動した上記指示体の移動の軌跡を取得することを特徴とする請求項1から10までのいずれか1項に記載の情報処理装置。
  12. 当該情報処理装置が備える入力部は、上記表示部に表示されるカーソルを移動させる指示を当該情報処理装置に入力するものであり、
    上記軌跡取得手段は、上記指示体としてのカーソルの移動の軌跡を取得することを特徴とする請求項1から10までのいずれか1項に記載の情報処理装置。
  13. 情報処理装置における操作画面表示方法であって、
    上記情報処理装置が備える表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得ステップと、
    上記軌跡取得ステップにて取得された軌跡により囲われた領域に、少なくとも一部が含まれるオブジェクトを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、
    オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、
    上記関連項目抽出ステップにて抽出された関連項目のアイコンを、環の輪郭線上に並べて配置して、上記表示部に表示する操作画面処理ステップとを含み、
    上記軌跡取得ステップでは、
    上記指示体の移動の開始からの経過時間を計測し、上記軌跡を構成する点の少なくともいくつかに、上記経過時間を示す移動時間情報を対応付けて保持し、
    上記操作画面処理ステップでは、
    上記軌跡および上記移動時間情報から判明した上記指示体の移動方向に合わせて、時計回り、または、反時計回りに各アイコンを順次表示させることを特徴とする操作画面表示方法。
  14. コンピュータを、請求項1から12までのいずれか1項に記載の情報処理装置の各手段として機能させるための制御プログラム。
  15. 請求項14に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2011157167A 2011-07-15 2011-07-15 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体 Expired - Fee Related JP5172997B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011157167A JP5172997B2 (ja) 2011-07-15 2011-07-15 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体
PCT/JP2012/067525 WO2013011862A1 (ja) 2011-07-15 2012-07-10 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011157167A JP5172997B2 (ja) 2011-07-15 2011-07-15 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2013025409A JP2013025409A (ja) 2013-02-04
JP5172997B2 true JP5172997B2 (ja) 2013-03-27

Family

ID=47558040

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011157167A Expired - Fee Related JP5172997B2 (ja) 2011-07-15 2011-07-15 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体

Country Status (2)

Country Link
JP (1) JP5172997B2 (ja)
WO (1) WO2013011862A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9514552B2 (en) 2014-03-26 2016-12-06 Nec Corporation Information processing apparatus, information processing method, and storage medium

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US20110252349A1 (en) 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Folders
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
KR102255988B1 (ko) * 2013-06-07 2021-05-25 삼성전자주식회사 휴대 단말 장치의 시각 효과 표시 방법 및 이를 위한 휴대 단말 장치
JP6040873B2 (ja) * 2013-06-17 2016-12-07 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
KR102109406B1 (ko) * 2013-08-13 2020-05-28 엘지전자 주식회사 포토 프린터와 연결된 디스플레이 디바이스 및 그 제어 방법
KR102405189B1 (ko) 2013-10-30 2022-06-07 애플 인크. 관련 사용자 인터페이스 객체를 표시
JP6054892B2 (ja) * 2014-01-14 2016-12-27 レノボ・シンガポール・プライベート・リミテッド 複数のディスプレイに対するアプリケーション画像の表示方法、電子機器およびコンピュータ・プログラム
US10482461B2 (en) 2014-05-29 2019-11-19 Apple Inc. User interface for payments
US10066959B2 (en) 2014-09-02 2018-09-04 Apple Inc. User interactions for a mapping application
WO2016104191A1 (ja) 2014-12-26 2016-06-30 日立マクセル株式会社 照明装置
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
JP6226103B1 (ja) * 2016-03-30 2017-11-08 京セラドキュメントソリューションズ株式会社 表示制御装置
JP6465056B2 (ja) * 2016-03-30 2019-02-06 京セラドキュメントソリューションズ株式会社 表示制御装置
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
JP6471730B2 (ja) * 2016-06-29 2019-02-20 京セラドキュメントソリューションズ株式会社 表示入力装置
US10860199B2 (en) 2016-09-23 2020-12-08 Apple Inc. Dynamically adjusting touch hysteresis based on contextual data
JP6862952B2 (ja) * 2017-03-16 2021-04-21 株式会社リコー 情報処理システム、情報処理装置、情報処理プログラム及び情報処理方法
JP6489253B2 (ja) * 2018-02-27 2019-03-27 日本精機株式会社 表示装置、及び車載機器操作システム
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
CN111970312A (zh) 2019-05-20 2020-11-20 北京小米移动软件有限公司 文件传输方法、装置及计算机可读存储介质
JP2021022182A (ja) * 2019-07-29 2021-02-18 株式会社電通グループ 表示制御方法、表示制御装置、表示制御プログラムおよび表示制御システム
CN111327769B (zh) 2020-02-25 2022-04-08 北京小米移动软件有限公司 多屏互动方法及装置、存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3919789B2 (ja) * 2005-03-07 2007-05-30 株式会社コナミデジタルエンタテインメント 情報処理装置、画像移動指示方法及びプログラム
US7195170B2 (en) * 2005-06-09 2007-03-27 Fuji Xerox Co., Ltd. Post-bit: multimedia ePaper stickies
JP4843532B2 (ja) * 2007-03-14 2011-12-21 株式会社リコー 表示処理装置、表示処理方法、および表示処理プログラム
JP4632102B2 (ja) * 2008-07-17 2011-02-16 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US8321802B2 (en) * 2008-11-13 2012-11-27 Qualcomm Incorporated Method and system for context dependent pop-up menus
JP5464903B2 (ja) * 2009-05-14 2014-04-09 キヤノン株式会社 情報処理装置、制御方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9514552B2 (en) 2014-03-26 2016-12-06 Nec Corporation Information processing apparatus, information processing method, and storage medium

Also Published As

Publication number Publication date
WO2013011862A1 (ja) 2013-01-24
JP2013025409A (ja) 2013-02-04

Similar Documents

Publication Publication Date Title
JP5172997B2 (ja) 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体
US11972164B2 (en) User interfaces for devices with multiple displays
US12118181B2 (en) Reduced size user interface
JP5107453B1 (ja) 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体
US11340757B2 (en) Clock faces for an electronic device
US11023055B2 (en) Devices, methods, and graphical user interfaces for an electronic device interacting with a stylus
AU2018271366B2 (en) Continuity
CN105335001B (zh) 具有弯曲显示器的电子设备以及用于控制其的方法
US9753639B2 (en) Device, method, and graphical user interface for displaying content associated with a corresponding affordance
US20190258373A1 (en) Scrollable set of content items with locking feature
US9626098B2 (en) Device, method, and graphical user interface for copying formatting attributes
KR102203885B1 (ko) 사용자 단말 장치 및 그 제어 방법
WO2013011863A1 (ja) 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体
JP5173001B2 (ja) 情報処理装置、画面表示方法、制御プログラムおよび記録媒体
KR102255087B1 (ko) 객체를 디스플레이하는 전자 장치 및 방법
US20240310999A1 (en) Techniques for selecting text
TW201610823A (zh) 縮小尺寸之使用者介面

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121226

LAPS Cancellation because of no payment of annual fees