JP4786292B2 - 情報処理装置、階層情報出力方法及びプログラム - Google Patents

Description

本発明は、表示方向を変更する表示制御機能を持つ情報処理装置に関する。

従来の情報処理装置には、テーブルに収納された表示画面を持ち、オペレータ（操作者）の入力に応じた表示制御を行う情報処理装置があり、例えば特許文献１及び特許文献２で提案されている。特許文献１では、操作者によるマウス入力に基づいて、表示中の画面全体あるいは表示中画面の一部である特定ウィンドウを回転表示させる表示制御機能を持つ情報処理装置が提案されている。

また、特許文献２では、表示画面上を操作者が手で直接操作し、画面上の手の動き及び傾きに基づいて、表示中の文書の移動、回転及びページめくりを行い表示させる表示制御機能を持つ情報処理装置が提案されている。

特開平５−１８１４３７号公報 特開平７−１７５５８７号公報

しかし、従来の情報処理装置では、オペレータによる操作ボタンの操作性については考慮されていなかった。そこで、本発明は、階層をもつ操作ボタンが選択されると、次に表示すべき操作ボタンやメッセージなどの下位階層情報を、オペレータの操作性を考慮して表示する情報処理装置を提供することを目的とする。

上記目的を達成するために、本発明は、表示画面を有し、この表示画面に、操作ボタンを含む画像と、操作ボタンに対応する下位階層情報とを出力する画像出力手段と、
前記画像上の操作位置を認識する位置認識手段と、
オペレータの前記表示画面に対する操作方向（Ａ〜Ｄ）を認識する方向認識手段と、
前記位置認識手段により認識された位置の操作ボタンに対応する前記下位階層情報を決定する決定手段とを備え、
前記画像出力手段は、
操作ボタンを含む前記画像を、前記方向認識手段で認識された操作方向（Ａ〜Ｄ）に拘らず、前記表示画面における方向を変えることなく出力し、
前記決定手段によって決定された前記下位階層情報を、前記方向認識手段で認識された操作方向（Ａ〜Ｄ）に応じた態様で出力することを特徴とする。

本発明の情報処理装置によると、操作ボタンが選択されると、続いて表示される操作ボタンやメッセージなどの下位階層情報が、認識された操作方向に応じて表示されるため、オペレータは下位階層情報を容易に視認することができる。

以下、本発明を実施するための最良の形態について、図面を参照して説明する。本発明の情報処理装置は表示画面の周囲を複数人で取り囲んで使用可能なものであり、図１０にその外観の一例を示す。図１０はテーブルに収納された表示画面を持つ情報処理装置を、表示画面の周囲を４人の利用者が取り囲んで使用している図である。

（実施の形態１）
本実施の形態の情報処理装置は、操作者の指による入力を画像として取得し、得られた画像に基づいて表示画面に対する操作方向（Ａ〜Ｄ）を認識する。そして、操作ボタンが選択された場合は、それに対応する下位階層の操作ボタン（下位階層ボタンと称す）やメッセージなどの下位階層情報を操作方向（Ａ〜Ｄ）に応じ態様で表示させ、その他の既に表示中であった操作ボタンを含む画像を、表示画面における方向を変更させないで表示するものである。すなわち前述の操作者によって操作された操作ボタンの操作時に既に表示中であったたとえば後述の図４〜図７に示される「メニュー」と表示された操作ボタン（以下、操作ボタン、操作ボタン「メニュー」、「メニュー」ボタンと称することがある）およびその他の画面内容、たとえば一例として「打合せ概要○○○△△△」の出力方向を変えることなく、このようにして前述の認識された操作方向（Ａ〜Ｄ）に拘らず、操作ボタンを含む画像を、表示画面における方向を変えることなく、表示する。下位階層情報とは、選択されたメニューやアイコンなどの操作ボタンに応じて、続いて提示する情報である。例えば、プルダウンメニューの様に、あるメニュー項目を選択するとさらに別のメニューが開く構成を有するメニューにおいて、選択項目に応じて開いた別のメニューが、選択項目に対する下位階層情報である。また、例えば、ある操作アイコンを選択するとメッセージ画面や操作ウィンドウが開く構成を有するアプリケーションにおいて、選択したアイコンに応じて開いたメッセージ画面や操作ウィンドウが、選択したアイコンに対する下位階層情報である。

以下、本発明を実施する第１の実施の形態について図面を参照して説明する。図１は本実施の形態の情報処理装置の要部構成を示すブロック図、図２は情報処理装置の処理を示すフローチャート、図３は操作者の指による入力を画像として取得した取得画像例及び操作方向認識例を説明するための図、図４は情報処理装置の操作方向例を説明するための図、図５、図６及び図７は操作ボタンが選択された場合の、操作方向に応じた下位階層ボタンやメッセージなどの下位階層情報の表示例を説明するための図である。

図１において、１は画像や文字などを表示するLCD等の表示部（以下LCDと記す）、２はLCD１に積層され、光を検出する光センサー、３は光センサー２が検出した光の分布を画像情報に変換して入力する画像入力部であり、光センサー２と画像入力部３により、光センサー２上に置かれた物体の画像情報を獲得する。さらに画像入力部３は獲得した画像情報が所定の形状、例えば指の形やバーコードなどの所定の形状を含むか否かを判定する。４はLCD１に積層され、操作者によりペンを用いて指示された表示画面上の位置を検出する位置センサーであり、ここでは電磁誘導方式のデジタイザを用いている。なお、位置センサー４としては、操作者が表示画面上の位置を指示するのに用いることができるデバイスであれば、電磁誘導方式のデジタイザに限られたものではなく、抵抗膜方式、静電容量方式など他方式のデジタイザであってもよく、またマウスやトラックパッドなどのポインティングデバイスであってもよい。

５は位置センサー４や前記ポインティングデバイスが検出した位置を座標に変換して入力する座標入力部である。６はLCD１に表示されている画像の位置情報を保持し、座標入力部５から入力される座標から、操作者により指示された表示画像上の位置を認識する位置認識部、７は操作方向を認識する方向認識部、８は画面上に置かれた物体に付与されたバーコードやICタグなどのタグ情報を認識するタグ認識部、９は画像入力部３が入力する画像情報に含まれる文字、即ち画面上に置かれた物体に記載された文字や、位置センサー４を利用して手書き入力された文字を認識する文字認識部、１０は情報処理装置の動作に必要な情報を保持する主記憶部、１１は情報処理装置の処理速度向上のために部分的に情報を保持する補助記憶部、１２は外部の機器と通信を行うための通信部である。１３は位置認識部６で認識した操作者による表示画像上の指示位置が操作ボタンに該当する場合に、続いて表示する下位階層ボタンやメッセージなどの下位階層情報を決定するメニュー決定部、１４はLCD１への表示を制御する表示制御部、１５は情報処理装置全体の制御を行う中央演算処理装置（CPU）である。

画像入力部３、座標入力部５、位置認識部６、方向認識部７、タグ認識部８、文字認識部９、主記憶部１０、補助記憶部１１、通信部１２、メニュー決定部１３、表示制御部１４、CPU１５はバス１５ａを介して互いに接続されている。

本実施の形態において、LCD１と表示制御部１４が画像出力手段を構成し、位置認識部６が位置認識手段を構成し、方向認識部７が方向認識手段を構成し、メニュー決定部１３が決定手段を構成し、光センサー２と画像入力部３が画像入力手段を構成する。この様に、本実施の形態では１つあるいは２つのブロックから各手段が構成されているが、本発明はこれに限られたものではなく、同様の動作をするものであれば、より多くのブロックから構成されていても良い。また反対に、１つのブロックに複数の手段が含まれていても良い。例えば、本実施の形態において画像出力手段及び画像入力手段の一部を構成する、LCD１と光センサー２の代わりに、特開２００４−４５８７５号公報で提案されている様な画像読み取り機能を備えた表示デバイスを利用することができる。

また、本実施の形態においては、画像出力手段はLCD1と表示制御部１４とから構成され、表示画面LCD1を有する情報処理装置を示すが、本発明は表示画面を有する情報処理装置に限られたものではい。例えば、プロジェクターのように、表示対象面に画像を投影することによって画像を出力する画像出力手段を有する情報処理装置に対しても本発明を適用可能である。このようにプロジェクター型の場合、例えば、表示対象面であるスクリーンを図1のＬＣＤ１に代えて配置し、透光性の位置センサー４側から画像を投影するように構成すれば良い。

また、本実施の形態の情報処理装置は、表示画面としてLCD1を有しているが、表示画面は液晶表示ディスプレイに限られたものではなく、FED（Field Emission Display）、有機ELディスプレイ（Organic Electro Luminescence Display）等その他の画像表示方式の表示デバイスであっても良い。

また、本実施の形態においては、画像入力手段は光センサー２と画像入力部３とから構成されているが、本発明はこれに限られたものではなく、操作者の指の形状を取得できれば本発明を適用可能である。例えば、圧力センサーを用いることにより操作者の指の形状を取得してもよい。

次に、本実施の形態の情報処理装置の動作について、図２を参照して説明する。図２は本実施の形態における情報処理装置の処理を示すフローチャートである。図２のフローを実行するためのプログラムは主記憶部１０に格納され、CPU15は当該プログラムに従って情報処理装置の制御を行う。尚、当該プログラムをコンピューターに実行させることにより、本実施の形態で示す情報処理装置に限らず、パーソナルコンピュータやワークステーション等の様々な機器でも、以下に説明する階層情報出力方法を実現することが出来る。

図２のフローは、情報処理装置の電源が入ると開始し、ステップS１からステップS９のループを繰り返す。ステップS１では、光センサー２と画像入力部３が、光センサー２上、即ちLCD１の表示画面上に置かれた物体の画像情報を取得し、そして主記憶部１０が取得画像を保持し、ステップS２に進む。ステップS２において、初回のループではステップS３に進む。また、２回目以降のループでは以前のループで取得して主記憶部１０に保持した画像情報と、当該ループのステップS１で取得した表示画面上の画像情報とを比較し、画像情報に変化がある場合はステップS３に進み、変化のない場合はステップS９に進む。ここで、以前のループで取得した画像情報とは１回前のループで取得したものでも良いし、複数回前のループで取得した画像情報に遡って比較対照としても良い。

ステップS３では、画像入力部３が、取得した画像情報に所定形状が含まれているか否
かを判断し、含まれている場合はステップS４に進み、含まれていない場合はステップS９に進む。本実施の形態では、所定形状とは後述の図３に示す指の形状である。ステップS
４では、方向認識部７が、画像入力部３で検出した画像情報に含まれる指の形状から、例えば後述の図３のようにして操作者の方向を認識し、ステップS５に進む。ステップS５では、位置認識部６が、画像入力部３で獲得した指の画像の座標位置を認識し、ステップS6に進む。ステップS６では、さらに位置認識部６が保持する表示画像の位置情報とステッ
プS５で得た指の画像の座標位置から、位置認識部６が操作者による表示画面上の指示位
置を判定し、指示位置が図４〜図７に示される「メニュー」と表示された操作ボタンを選択している場合はステップS７に進み、そうでない場合はステップS９に進む。操作ボタンを選択しているか否かを判定する際に、操作者の操作に基づく指示位置のずれを考慮して、指示位置が操作ボタンの近傍にあるか否か、例えば指示位置が操作ボタンの周囲5mm以内か否か、を判定基準とすることもできる。

ステップS7では、メニュー決定部１３が、操作者が指示した操作ボタンに続いて表示する下位階層の操作ボタン（下位階層ボタン）やメッセージなどの下位階層情報を決定し、ステップS８に進む。ここで、メニュー決定部１３は内部に記憶部を持ち、各操作ボタンに対応する下位階層ボタンやメッセージなどの下位階層情報を記憶しており、操作者が指示した操作ボタンに続いて表示する下位階層情報を決定する。もちろん、操作ボタンと下位階層情報との対応を記憶する記憶部は、メニュー決定部１３内部の記憶部に限られたものではなく、主記憶部１０あるいは補助記億部１１などであってもよい。

ステップS８では、表示制御部１４が、メニュー決定部１３が決定した下位階層ボタンやメッセージなどの下位階層情報を、方向認識部７が認識した操作者の方向に応じて、例えば後述の図５、図６及び図７に示すようにLCD1に表示させ、ステップS１に戻る。このとき、操作者の方向に応じて表示された下位階層ボタンもまた操作ボタンであり、次のループにおいて当該下位階層ボタンが選択されたと判断された場合は、さらに下位階層の操作ボタンやメッセージなどの下位階層情報が操作方向に応じて表示される。ステップS９では、表示制御部１４は表示を変更することなく、現在の表示を継続させ、ステップS１に戻る。

次に、ステップS３で画像入力部３が判定する所定形状である指の形状と、ステップS４で方向認識部７が認識する操作者の方向について、図３を参照して説明する。

図３（ａ）はLCD１の表示画面上を操作者が右方向から指さすことにより操作している様子を示す図である。図３（ｂ１）は、図３（ａ）の操作がなされた場合に、光センサー２及び画像入力部３が取得する画像例の拡大図である。画像入力部３は取得した画像が雨粒型であることから表示画面上の物体が「指」であると認識し、方向認識部７はその形状から操作者が「右方向」から操作していることを認識することができる。次に、図３（ｂ２）は、図３（ａ）の操作がなされた場合に、光センサー２及び画像入力部３が取得する画像の他の例の拡大図である。画像入力部３は取得した画像の指紋形状から表示画面上の物体が「指」であると認識し、方向認識部７は指紋独特の円弧形状から操作者が「右方向」から操作していることを認識することができる。

次に、ステップS８で表示制御部１４が方向認識部７で認識した方向に応じてメニュー決定部１３で決定した下位階層の操作ボタンやメッセージなどの下位階層情報をLCD１に表示させる表示例を、図４、図５、図６、及び図７を参照して説明する。

図４は情報処理装置の表示画面を囲んで四方向から使用する場合の方向を示す。操作ボタン「メニュー」とヘルプを示すアイコン「？」に対して正面方向を方向Ａとし、反時計回りに９０度毎に方向B、方向C、方向Dとする。以下では四方向からオペレーター（操作者）が操作する例を示すが、本発明はこれに限定されるものではなく、四方向以上であっても、あるいはそれ以下であってもよい。

図５（ｃ１）〜（ｃ４）は、それぞれ方向A〜方向Dから操作者が「メニュー」ボタンを選択した場合の下位階層ボタンの表示例である。ここで、「メニュー」ボタンが選択されると、メニュー決定部１３が続いて表示する下位階層情報である各下位階層ボタン「開く」「保存」「終了」を決定し、方向認識部７で認識した操作者の方向A〜方向Dに応じて、下位階層ボタンを表示する。図５（ｃ１）〜（ｃ４）は、これらの図面に示されるように表示画面上で「メニュー」ボタンの出力方向を変えることなく、「メニュー」ボタンに対応する下位階層ボタンの表示を、各下位階層ボタンの配置は変更せずに、表示する文字方向を操作者の方向に応じて変更する例である。図５（ｃ２）、（ｃ４）に示すように、ボタン上の文字を縦書きにして、操作者に対して表示することもできる。

図６（ｄ１）、（ｄ２）は、それぞれ方向C、方向Bから操作者が「メニュー」ボタンを選択した場合のその他の表示例である。ここで、「メニュー」ボタンが選択されると、下位階層情報として各下位階層ボタン「開く」「保存」「終了」が決定されるのは図５で説明した通りである。図６（ｄ１）は、これらの図面に示されるように表示画面上で「メニュー」ボタンの出力方向を変えることなく、方向Cから見て、左から「保存」「開く」「終了」の順で下位階層ボタンを表示する例である。また、図６（ｄ２）は、これらの図面に示されるように表示画面上で「メニュー」ボタンの出力方向を変えることなく、図５（ｃ１）で示した下位階層ボタンを９０度反時計回りに回転させて、表示する例である。このように、操作方向に対して下位階層ボタンを表示する際に、ボタンの配列を縦並びから横並びに変更させる、表示順序を変更させる、ボタンを回転させるなど、表示すべき下位階層ボタンの配置を変更し、操作方向に対して表示させることができる。尚、図６（ｄ１）、（ｄ２）は下位階層ボタンの配置を変更して表示させるほんの一例であり、本発明による下位階層ボタンの表示はこれに限られたものではない。また、下位階層ボタンの位置を変更させるだけでなく、前述した様にさらにボタン上の文字方向を変更させ、操作方向に対して下位階層ボタンを表示させることもできる。

図７は、操作ボタンとしてヘルプを示すアイコン「？」を操作者が方向Cから選択した
場合の表示例である。アイコン「？」が選択されるとメニュー決定部１３が続いて表示する下位階層情報であるヘルプ用メッセージと共に下位階層ボタン「検索」「閉じる」を決定し、方向認識部７は操作者の方向が方向Cであることを認識して、アイコン「？」の操作ボタンの出力方向を変えることなく、その操作方向に応じて、ヘルプ用メッセージと下位階層ボタン「検索」「閉じる」を表示する。

以上、図５、図６、図７では、操作者が選択した操作ボタンに対応する下位階層ボタンは複数個存在する例を示したが、本発明はこれに限られたものではなく、下位階層ボタンが１つであっても良い。

また、以上、図５、図６、図７では、操作ボタンに対応する下位階層ボタンやメッセージなどの下位階層情報を操作者方向に応じた態様で表示する際に、すでに表示中であった表示画面は方向を変更させずに表示する。しかし、本発明はこれに限られたものではなく、操作者による操作ボタン選択時に表示中であった表示画面の方向が変更されてもよい。本発明は、操作者が選択した操作ボタンに対応する下位階層情報が操作方向に応じた態様で表示されればよいものである。

以上説明したように、本実施の形態の情報処理装置によれば、操作ボタンが選択されると、表示画面上でその操作ボタンの出力方向を変えることなく、当該操作ボタンに対応する下位階層ボタンやメッセージなどの下位階層情報が、方向認識部７により認識され操作方向に応じた態様で表示される。これによって、操作者は何ら特別な操作をすることなく、表示される操作ボタンやメッセージを容易に視認することができ、操作性が向上する。また、本実施の形態の情報処理装置によれば、操作ボタン選択操作時に既に表示中であった表示画面は出力方向を変更せずに表示可能である。さらに前述の操作者によって操作された操作ボタンの操作時に、既に表示中であったたとえば「メニュー」と表示された操作ボタンおよびその他の画面内容、たとえば一例として「打合せ概要○○○△△△」の出力方向を変えることはない。これによって、操作者以外の利用者は速やかに表示中の画面内容を確認することができる。また、本実施の形態の情報処理装置によれば、操作ボタンが選択されると、操作ボタンに対応する下位階層ボタンやメッセージなどの下位階層情報がメニュー決定部１３により決定され、方向認識部７により認識された操作方向に応じて表示される。メニュー決定部１３は内部に記憶部を持ち、操作ボタンとその下位階層情報との対応を記憶しているが、それぞれの操作方向別に表示すべき下位階層情報の文字方向や配置などを記憶しているのではない。表示制御部１４がメニュー決定部１３で決定された下位階層情報を、方向認識部７により認識された操作方向に応じて表示させているのである。そのため、メニュー決定部１３は操作方向別に下位階層情報を持つ必要がなく、メニュー決定部１３内部の記憶部を効率よく利用できる。もちろん、図２の説明で述べた通り、操作ボタンとその下位階層情報との対応を記憶する記憶部は、メニュー決定部１３内部の記憶部に限られたものではなく、主記憶部１０あるいは補助記憶部１１などであってもよい。その場合であっても同様に、主記憶部１０あるいは補助記憶部１１は、操作方向別に下位階層情報を持つ必要はない。

また、本実施の形態では、図５、図６に関連して説明したように、操作ボタンが選択されると、メニュー決定手段１３は当該操作ボタンに対応する下位階層情報として下位階層ボタンを決定し、LCD1は前記下位階層ボタンを操作方向に応じた態様で表示する。これによって、例えばプルダウンメニューのように階層構造を持つ操作ボタンが、操作者の特別な操作無しで、操作方向に対して表示されるため、操作者はそれらを容易に視認することができる。

さらに、本実施の形態では、図５と図７に関連して説明したように、操作ボタンが選択されると、表示制御部１４は、当該操作ボタンに対応する下位階層ボタンやメッセージ画面などの下位階層情報の文字方向を、方向認識部７により認識され操作方向に応じて変更する。これによって、操作者は何ら特別な操作をすることなく、下位階層情報の文字を容易に確認することができる。

さらに、本実施の形態では、図６に関連して説明したように、操作ボタンが選択されると、表示制御部１４は、当該操作ボタンに対応する下位階層ボタンの配置を、方向認識部７により認識され操作方向に応じて変更する。例えば、表示制御部１４は、ボタンの配列を縦並びから横並びに変更させる、表示順序を変更させる、ボタンを回転させるなど、表示すべき下位階層ボタンの配置を変更し、操作者の視認性を考慮して、操作方向に対して表示させることができる。これによって、操作者は何ら特別な操作をすることなく、操作ボタンを容易に確認することができる。また、記憶部１０に下位階層ボタンの使用頻度を記憶しておき、使用頻度の高い順に並べてボタンを表示させることもできる。これによって、操作者はさらに使用頻度の高いボタンを簡単に確認することができる。

さらに本実施の形態では、図１、図２、図３に関連して説明したように、LCD1上にある対象物の画像を取得するための光センサー２がLCD１に積層されている。LCD１上の対象物の画像を取得し、取得した画像が指の形状をしているか否かを判定し、指の形状であれば方向認識部７で操作方向を認識し、位置認識部６で操作位置を認識する。そして、操作位置から操作ボタンを選択していると判断された場合は、当該操作ボタンに対応する下位階層ボタンやメッセージなどの下位階層情報を操作方向に応じた態様で表示する。これによって、操作者は指を用いて直感的に情報処理装置を使用することができる。

また、以上図２に関連して説明したように、本実施の形態の情報処理装置の階層情報出力方法及びそれをコンピューターに実行させるプログラムによれば、操作ボタンが選択されると、当該操作ボタンに対応する下位階層ボタンやメッセージなどの下位階層情報が、操作方向に応じた態様で表示される。これによって、操作者は何ら特別な操作をすることなく、表示される操作ボタンやメッセージを容易に視認することができ、操作性が向上する。

以上実施の形態１では操作方向を、操作ボタンを選択する際に情報処理装置に入力された指の形状の画像を基にして認識する例を示したが、操作方向の認識はこれに限られたものではない。これについて、以下実施の形態２、３及び４で、他の例を示す。

（実施の形態２）
本実施の形態の情報処理装置は、操作方向毎にマウスを備え、入力に使用されたマウスを識別することによって操作方向を認識する。

本実施の形態の情報処理装置の要部構成は、上記実施の形態１の説明で用いた図１に示したものと同様である。座標入力部５は座標入力を行うと共に入力に用いられたマウスを識別する。また、方向認識部７は座標入力部５からの入力であるマウス識別情報に基づき、操作方向を認識する。

図８は、操作方向に対応付けられたマウスを有する情報処理装置の外観図である。情報処理装置の表示画面の周囲四方向である方向A、方向B、方向C、方向Dにそれぞれ対応付けられたマウスα、マウスβ、マウスγ、マウスδを用いて操作者は操作を行う。座標入力部５は座標を入力すると共に利用されたマウスを識別し、方向認識部７は該マウスに対応する操作方向を認識する。そして、実施の形態１と同様にして、操作ボタンに対応する下位階層の操作ボタンを表示させる。

従って、本実施の形態によれば、操作方向を認識するために用いる入力デバイスであるマウスを複数設け、それらのうちのいずれのマウスが操作されたかで、容易に操作方向を認識することができる。また、本実施の形態は、上述の実施の形態１では操作者の指の形状に基づいて方向性を認識したのに代えて、複数のマウスの操作に基づいて方向性を認識するものであり、これ以外に基づく効果は、実施の形態１と同様に奏することができる。

（実施の形態３）
本実施の形態の情報処理装置は、操作方向毎にペンを備え、入力に使用されたペンを識別することによって操作方向を認識する。

本実施の形態の情報処理装置の要部構成は、上記実施の形態１の説明で用いた図１に示したものと同様である。位置センサー４として電磁誘導方式のデジタイザを用いることによって、異なる周波数のペンを識別することができることを利用して、座標入力部５は座標入力を行うと共に入力に用いられたペンを識別する。また、方向認識部７は座標入力部５からの入力であるペン識別情報に基づき、操作方向を認識する。

図９は、操作方向に対応付けられたペンを有する情報処理装置の外観図である。情報処理装置の表示画面の周囲四方向である方向A、方向B、方向C、方向Dにそれぞれ対応付けられた、周波数の異なるペンα´、ペンβ´、ペンγ´、ペンδ´を用いて操作者は操作を行う。座標入力部５は座標を入力すると共に利用されたペンを識別し、方向認識部７は該ペンに対応する操作方向を認識する。そして、実施の形態１と同様にして、操作ボタンに対応する下位階層の操作ボタンを表示させる。

従って、本実施の形態によれば、操作方向を認識するために用いる入力デバイスであるペンを複数設け、それらのうちのいずれのペンが操作されたかで、容易に操作方向を認識することができる。また、本実施の形態は、上述の実施の形態１では操作者の指の形状に基づいて方向性を認識したのに代えて、複数のペンの操作に基づいて方向性を認識するものであり、これ以外に基づく効果は、実施の形態１と同様に奏することができる。

（実施の形態４）
本実施の形態の情報処理装置は、操作者が指で操作を行う抵抗膜方式のデジタイザを備えるものであり、指による入力が行われる際、即ち、画面上に指が置かれる際に生じる入力座標の微少変移に基づいて操作方向を認識する。抵抗膜方式のデジタイザを用いた操作方向の認識は、特開昭60-243730号公報で言及されている。

本実施の形態の情報処理装置の要部構成は、位置センサー４が抵抗膜方式のデジタイザであることを除いて、上記実施の形態１（図１参照）と同様である。方向認識部７は、指による入力によって発生する入力座標の微少変移、即ち、抵抗膜方式のデジタイザから得られる入力座標の微少変移から操作方向を認識することができる。そして、実施の形態１と同様にして、操作ボタンに対応する下位階層の操作ボタンを表示させる。もちろん、位置センサー４は抵抗膜方式のデジタイザに限られたものではなく、指による入力座標の微少変移を認識できるものであればよい。
従って、本実施の形態によれば、前記実施の形態１と同様の効果を得ることができる。

本発明の情報処理装置は、表示画面の周囲を取り囲んで使用する情報処理装置に適用可能である。

実施の形態１を示す情報処理装置のブロック図。 実施の形態１を示す情報処理装置のフローチャート。 操作者の指による入力を画像として取得した取得画像例及び操作方向認識例を説明するための図。 情報処理装置の操作方向例を説明するための図。 操作方向に応じた下位階層ボタンの表示例を説明するための図。 操作方向に応じた下位階層ボタンの表示例を説明するための図。 操作方向に応じた下位階層メッセージの表示例を説明するための図。 実施の形態２を示す情報処理装置の外観図。 実施の形態３を示す情報処理装置の外観図。 本発明の情報処理装置の外観の一例を示す概念図。

符号の説明

１ LCD（画像出力手段）
２ 光センサー（画像入力手段）
３ 画像入力部（画像入力手段）
６ 位置認識部（位置認識手段）
７ 方向認識部（方向認識手段）
１３ メニュー決定部（決定手段）
１４ 表示制御部（画像出力手段）

Claims (9)

1. 表示画面を有し、この表示画面に、操作ボタンを含む画像と、操作ボタンに対応する下位階層情報とを出力する画像出力手段と、
   前記画像上の操作位置を認識する位置認識手段と、
   オペレータの前記表示画面に対する操作方向（Ａ〜Ｄ）を認識する方向認識手段と、
   前記位置認識手段により認識された位置の操作ボタンに対応する前記下位階層情報を決定する決定手段とを備え、
   前記画像出力手段は、
   操作ボタンを含む前記画像を、前記方向認識手段で認識された操作方向（Ａ〜Ｄ）に拘らず、前記表示画面における方向を変えることなく出力し、
   前記決定手段によって決定された前記下位階層情報を、前記方向認識手段で認識された操作方向（Ａ〜Ｄ）に応じた態様で出力することを特徴とする情報処理装置。
2. 前記決定手段が決定する下位階層情報とは下位階層ボタンであることを特徴とする請求項１に記載の情報処理装置。
3. 前記画像出力手段は、前記方向認識手段で認識された操作方向に応じて出力する下位階層情報の文字方向を変更することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記画像出力手段は、前記方向認識手段で認識された操作方向に応じて下位階層ボタンの配置を変更して出力することを特徴とする請求項２に記載の情報処理装置。
5. 前記下位階層ボタンの配置の変更とは、下位階層ボタンの回転を含むことを特徴とする請求項４に記載の情報処理装置。
6. 画像入力手段を更に備え、
   前記位置認識手段は、前記画像入力手段から入力される画像の座標位置から操作位置を認識し、
   前記方向認識手段は、前記画像入力手段から入力される画像の形状から操作方向を認識することを特徴とする請求項１〜５のいずれか１つに記載の情報処理装置。
7. 前記画像出力手段は、
   前記操作ボタンの操作時に既に表示中であった前記操作ボタンの出力方向を変えないだけでなく、その他の画面内容の出力方向も変えることなく、
   前記下位階層情報を前記方向認識手段で認識された操作方向に応じた態様で出力することを特徴とする請求項１〜６のいずれか１つに記載の情報処理装置。
8. 表示画面に、操作ボタンを含む画像と、操作ボタンに対応する下位階層情報とを出力し、
   前記画像上の操作位置を認識し、
   オペレータの前記表示画面に対する操作方向（Ａ〜Ｄ）を認識し、
   前記認識された位置の操作ボタンに対応する前記下位階層情報を決定し、
   操作ボタンを含む前記画像を、前記方向認識手段で認識された操作方向（Ａ〜Ｄ）に拘らず、前記表示画面における方向を変えることなく出力し、
   前記決定手段によって決定された前記下位階層情報を、前記方向認識手段で認識された操作方向（Ａ〜Ｄ）に応じた態様で出力することを特徴とする階層情報出力方法。
9. 請求項８記載の階層情報出力方法を、コンピューターに実行させるためのプログラム。

Images