JP6946857B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、情報処理装置及びプログラムに関する。

対象物（いわゆるオブジェクト）を三次元的に表示する技術には、１つの表示画面を用いる方法、立体的に配置された複数の表示画面を用いる方法、三次元ディスプレイを用いる方法等がある。

特開２０１４‐１１０６２８号公報

現在、表示デバイスを有する機器に内蔵された加速度センサの出力は、オブジェクトの全体や全身の動きの制御等に用いられており、三次元的に表示されるオブジェクトの特定の部位の表示に変化を加えることは想定されていない。

本発明は、ユーザに提供できる表現を増やすことを目的とする。

請求項１に記載の発明は、オブジェクトの画像を三次元的に表示する表示部と、加速度を検知する特定の位置に配列された複数の検知部と、前記特定の位置に配列された複数の前記検知部の出力に応じ、前記表示部に表示されるオブジェクトの特定の部位の表示に変化を加える表示制御部とを有し、前記表示制御部は、複数の前記検知部が検知した、前記表示部に対する操作を除く、装置本体に対する衝撃の加速度の方向に基づいて、前記表示部に表示されている前記オブジェクトのうち表示に変化を加える部位を特定し、複数回の衝撃の累積強度に応じて前記オブジェクトに継続的な変化を与える、情報処理装置である。
請求項２に記載の発明は、前記表示制御部は、検知された加速度の大きさに応じて前記オブジェクトに与える変化の大きさを変える、請求項１に記載の情報処理装置である。
請求項３に記載の発明は、オブジェクトの画像を三次元的に表示する表示部と、加速度を検知する特定の位置に配列された複数の検知部とを有する情報処理装置におけるコンピュータに、前記特定の位置に配列された複数の前記検知部の出力に応じ、前記表示部に表示されるオブジェクトの特定の部位の表示に変化を加える機能と、複数の前記検知部が検知した、前記表示部に対する操作を除く、装置本体に対する衝撃の加速度の方向に基づいて、前記表示部に表示されている前記オブジェクトのうち表示に変化を加える部位を特定する機能と、複数回の衝撃の累積強度に応じて前記オブジェクトに継続的な変化を与える機能と、を実現させるためのプログラムである。

請求項１記載の発明によれば、ユーザに提供できる表現を増やすことができる。
請求項２記載の発明によれば、特定の部位に与える変化の大きさを容易に調整できる。
請求項３記載の発明によれば、ユーザに提供できる表現を増やすことができる。

実施の形態１に係る情報処理装置の外観例を示す図である。 平面型のセンサの配置例を説明する図である。 他のセンサの配置例を説明する図である。 情報処理装置のハードウェア構成例を説明する図である。 実施の形態１に係る制御部の機能構成の一例を説明する図である。 情報処理装置１の表示部に表示される三次元オブジェクトの表示例を説明する図である。 三次元オブジェクトとしてキャラクターが表示されている場合において、情報処理装置の上面に加速度（衝撃）が加えられた場合の表示の変化を説明する図である。 三次元オブジェクトとしてキャラクターが表示されている場合において、情報処理装置の上面に加速度（衝撃）が継続的に加えられる場合の表示の変化を説明する図である。 三次元オブジェクトとして構造体が表示されている場合において、情報処理装置の上面に加速度（衝撃）が継続的に加えられた場合の表示の変化を説明する図である。 三次元オブジェクトとしてキャラクターが表示されている場合において、キャラクターの頭部に圧力が加えられた場合の表示の変化を説明する図である。 三次元オブジェクトとしてキャラクターが表示されている場合において、キャラクターの頭部に指先によって圧力が継続的に加えられた場合の表示の変化を説明する図である。 三次元オブジェクトとしてキャラクターが表示されている場合において、キャラクターの胸部に圧力が加えられた場合の表示の変化を説明する図である。 三次元オブジェクトとして構造体が表示されている場合において、情報処理装置に対してねじりが加えられた場合の表示の変化を説明する図である。 三次元オブジェクトとしてキャラクターが表示されている場合において、温度検知センサを通じて温度の変化が検知された場合の表示の変化を説明する図である。 三次元オブジェクトとして氷が表示されている場合において、温度検知センサを通じて温度変化が検知された場合の表示の変化を説明する図である。 三次元オブジェクトとしてキャラクターが表示されている場合において、湿度検知センサを通じて湿度の変化が検知された場合の表示の変化を説明する図である。 加速度検知センサが表示部の面内にＭ行Ｎ列に配置された例を説明する図である。 加速度検知センサが４行４列に配置された場合において、特定の位置から加速度（衝撃）が検知された回数の変化を表している。 正面、側面及び背面の４つの面に表示部を有する情報処理装置の外観例を示す図である。 実施の形態２に係る情報処理装置の外観例を示す図である。 情報処理装置のハードウェア構成例を説明する図である。 実施の形態２に係る制御部の機能構成の一例を説明する図である。 （ａ）〜（ｅ）は曲げ位置特定部によって特定される曲げ位置の例を説明する図である。 特定された曲げ位置の情報を用いて三次元オブジェクトに画像編集を加える例を説明する図である。 特定された曲げ位置の情報を用いて三次元オブジェクトに画像編集を加える他の例を説明する図である。 情報処理装置の変形操作を、他の情報処理装置が表示制御する表示装置の表示動作の制御に用いる使用例を説明する図である。 情報処理装置の変形操作を、他の情報処理装置が表示制御する表示装置の表示動作の制御に用いる他の使用例を説明する図である。 三次元ディスプレイによる三次元オブジェクトの表示例を示す図である。 ユーザの特定の動きによって三次元オブジェクトの表示に変化を与える様子を説明する図である。 壁面や床面に投影された三次元オブジェクトに変化を与える例を説明する図である。 変化の対象とするオブジェクトとセンサ値の次元数の組み合わせと変化後の画像との対応関係を示す対応表の例を説明する図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜用語＞
以下で説明する実施の形態で、対象物（以下「オブジェクト」という）を三次元的に表示するという場合、１つの表示画面、立体的に配置された複数の表示画面、いわゆる三次元ディスプレイなどを用いて、奥行情報を含む形態で表示する意味で使用する。
このうち、１つの表示画面を用いる方法には、実空間に存在するオブジェクトを実際に撮影して得た二次元画像（遠近情報を含む画像）を表示する場合、三次元空間で定義されたオブジェクトを１つの視点方向から表現した二次元画像を表示する場合などが含まれる。ここで、三次元空間で定義されたオブジェクトの例には、仮想空間上のキャラクター、断層画像から再構成された三次元画像などが含まれる。

また、立体的に配置した複数の表示画面を用いる方法には、三次元空間で定義されたオブジェクトを複数の視点方向（表示画面の配置位置に対応する）から観察した複数の二次元画像を各表示画面に表示する場合などが含まれる。
また、三次元ディスプレイを用いる方法には、観察者に特別な光学特性を有する眼鏡の着用を要求する眼鏡式、特別な眼鏡の着用を必要としない裸眼式、ヘッドマウントディスプレイを観察者の頭部に装着させる方式などが含まれる。裸眼式の例には、収束されたレーザー光の焦点に位置する空気がプラズマ化して発光する現象を利用する手法がある。
もっとも、オブジェクトを三次元的に表現できればよいので、オブジェクトに対応する情報は、内部情報（ボリュームデータを定義するボクセル）の存在を必須とするものではなく、例えば多面形状で定義された表面（ポリゴンメッシュ）の集合体として与えられてもよい。

以下で説明する実施の形態では、オブジェクトを二次元的に表示するとは、１つの表示画面、立体的に配置された複数の表示画面、いわゆる三次元ディスプレイなどを用いて、奥行情報を含まない形態でオブジェクトを表示する意味で使用する。
本実施の形態では、三次元空間で定義されたオブジェクトを三次元オブジェクトといい、二次元空間で定義されたオブジェクトを二次元オブジェクトという。
三次元的な表示は、立体的に配置された複数の表示装置にそれぞれ対応する二次元オブジェクトを表示することによっても可能である。
本実施の形態におけるオブジェクトは静止画像として表示される場合だけでなく動画像として表示されてもよい。

＜実施の形態１＞
＜装置構成＞
図１は、実施の形態１に係る情報処理装置１の外観例を示す図である。
実施の形態１における情報処理装置１は、例えばタブレット型のコンピュータやスマートフォンなどの携帯型の情報端末を想定する。
図１に示す情報処理装置１は、６つの面の全てが平面であり、そのうちの１つの面に表示部２が配置されている。ただし、情報処理装置１は、必ずしも全ての面が平面であるとは限らない。換言すると、一部の面は曲面でも構わない。
図１の例では、表示部２が設けられている面を正面といい、表示部２の左右に位置する面を側面といい、表示部２と反対側の面を背面又は裏面という。また、表示部２の上側に位置する面を上面といい、下側に位置する面を底面という。

図１に示す情報処理装置１の場合、正面側の形状は、Ｚ方向の長さ（高さ）ＨがＸ方向の長さ（幅）Ｗよりも長い長方形状である。また、情報処理装置１の側面を規定するＹ方向の長さ（奥行）Ｄは、Ｘ方向の長さ（幅）Ｗよりも短い。
表示部２は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどの薄膜ディスプレイで構成される。なお、液晶ディスプレイの場合には、不図示の光源も配置される。
情報処理装置１の筐体内には、表示部２を含む各部の動作を制御する制御部３や不図示の部品が内蔵されている。

図２は、平面型のセンサの配置例を説明する図である。
図２には、位置検知センサ４、圧力検知センサ５、捻じれ検知センサ６が示されている。
位置検知センサ４は、ユーザによる操作入力の位置を検知するセンサであり、表示部２の上面に積層される。位置検知センサ４に表示部２を組み合わせた電子デバイスはタッチパネルと呼ばれる。
位置検知センサ４は検知部の一例であり、検知に用いる方式により検知可能な対象物が異なる。例えば検知に静電容量式を用いる場合には人体の一部（例えば指先）が検知可能な対象物となる。例えば検知に赤外線方式を用いる場合には、指先だけでなくペンその他の物体が検知可能な対象物となる。
位置検知センサ４は、検知した対象物の座標を出力する。実施の形態１に係る位置検知センサ４は、複数の操作位置を一度に検知することができる。

圧力検知センサ５は、操作入力の際に操作位置に加わった圧力の大きさを検知するセンサであり、例えば表示部２の裏面側に配置される。
本実施の形態における圧力検知センサ５は容量性の圧力センサであり、フィルム状に形成されたセンサ本体に生じた撓みの大きさを圧力の大きさとして検知する。本実施の形態の場合、圧力検知センサ５は、数段階の圧力の違いを検知できる。
捻じれ検知センサ６は、センサ本体に生じた捻じれの大きさを検知するセンサであり、表示部２の裏面側に配置される。
本実施の形態における捻じれ検知センサ６には、例えば株式会社村田製作所により開発されている、ポリ乳酸のずり圧電性を応用した変位センサを使用する。本実施の形態の場合、捻じれ検知センサ６は、捻じれの方向と大きさを検知できる。捻じれは、一般的には直接的な部位の特定を伴わない物理量の一例である。
ここでの位置検知センサ４、圧力検知センサ５、捻じれ検知センサ６は、いずれも検知部の一例である。

図３は、他のセンサの配置例を説明する図である。
図３に示す情報処理装置１の場合、筐体内部には、側面の下部に局所的に加わった圧力の大きさを検知する圧力検知センサ７Ａ、７Ｂ、本体に加わった加速度の向きと大きさを検知する加速度検知センサ８、温度を検知する温度検知センサ９Ａ、９Ｂ、９Ｃ、湿度を検知する湿度検知センサ１０Ａ、１０Ｂ、１０Ｃを有している。
温度検知センサと湿度検知センサはいずれも１つであってもよい。
本実施の形態における圧力検知センサ７Ａ、７Ｂは、情報処理装置１の側面に加えられた圧力の大きさを数段階で検知することができる。

温度検知センサ９Ａ、９Ｂ、９Ｃは、情報処理装置１が使用される空間の温度（気温）の検知だけでなく、局所的な温度の検知にも使用される。温度は、一般的には直接的な部位の特定を伴わない物理量の一例である。
湿度検知センサ１０Ａ、１０Ｂ、１０Ｃは、情報処理装置１が使用される空間の湿度だけでなく、局所的な湿度の検知にも使用される。湿度は、一般的には直接的な部位の特定を伴わない物理量の一例である。
ここでの圧力検知センサ７Ａ、７Ｂ、加速度検知センサ８、温度検知センサ９Ａ、９Ｂ、９Ｃ、湿度検知センサ１０Ａ、１０Ｂ、１０Ｃは、いずれも検知部の一例である。

図４は、情報処理装置１のハードウェア構成例を説明する図である。
本実施の形態における情報処理装置１は、前述したデバイスに加え、データの保存に使用される不揮発性の主記憶装置１４と通信部１５を有している。これらのデバイスは、バス１６を通じてデータを受け渡しする。
なお、制御部３は、データ処理を実行するＣＰＵ（Central Processing Unit）１１と、ＢＩＯＳ（Basic Input / Output System）やファームウェアなどのプログラム等を記憶するＲＯＭ（Read Only Memory）１２と、作業エリアとして用いられるＲＡＭ（Random Access Memory）１３を有している。

本実施の形態における主記憶装置１４は、例えば半導体メモリやハードディスク装置で構成される。
通信部１５は、外部装置との通信に使用される通信手段である。通信に使用する方式は様々である。なお、通信経路は、有線路でも無線路でも構わない。

図５は、実施の形態１に係る制御部３の機能構成の一例を説明する図である。
図５に示す機能構成は、プログラムの実行を通じて実現される。
実施の形態１における制御部３は、圧力の強度を特定する圧力強度特定部２１と、圧力が加えられた部位を特定する圧力部位特定部２２と、操作位置を特定する操作位置特定部２３と、温度を特定する温度特定部２４と、湿度を特定する湿度特定部２５と、加速度の方向を特定する加速度方向特定部２６と、加速度の強度を特定する加速度強度特定部２７と、捻じれの方向と強度を特定する捻じれ特定部２８と、特定された情報を用いて表示内容を決定する表示内容決定部２９として機能する。
ここでの表示内容決定部２９は表示制御部の一例である。

圧力強度特定部２１には、正面側に配置された圧力検知センサ５から出力される圧力値と、側面側に配置された２つの圧力検知センサ７Ａ、７Ｂから出力される圧力値とが入力され、予め用意された閾値との比較により各位置に加えられた圧力の強度を出力する。
圧力部位特定部２２は、側面側に配置された圧力検知センサ７Ａ、７Ｂから圧力値が入力されている場合、ユーザの操作によって圧力が加えられている位置は側面であると特定する。一方、圧力部位特定部２２は、位置検知センサ４から操作座標が入力されている場合、ユーザの操作によって圧力が加えられている位置は正面であると特定する。本実施の形態の場合、圧力部位特定部２２を操作位置特定部２３とは別に設けているが、操作位置特定部２３と兼用してもよい。

操作位置特定部２３は、側面側に配置された圧力検知センサ７Ａ、７Ｂから圧力値が入力されている場合、ユーザは側面を操作していると特定し、位置検知センサ４から操作座標が入力されている場合、ユーザは操作座標で与えられる位置を操作していると特定する。操作位置特定部２３は、各時刻の操作位置だけでなく、時間の経過に伴う操作位置の軌跡も特定する。本実施の形態における操作位置特定部２３は、複数の操作位置も一度に検知できる。

温度特定部２４は、温度検知センサ９Ａ、９Ｂ、９Ｃから入力される温度値に基づいて、各部位の温度、温度の分布、時間変化などを特定する。
湿度特定部２５は、湿度検知センサ１０Ａ、１０Ｂ、１０Ｃから入力される湿度値に基づいて、各部位の湿度、湿度の分布、時間変化などを特定する。
加速度方向特定部２６は、加速度検知センサ８から入力される加速度情報に基づいて、筐体に作用した加速度の方向やその時間変化を特定する。
加速度強度特定部２７は、加速度検知センサ８から入力される加速度情報に基づいて、筐体に作用した加速度の大きさ（強度）やその時間変化を特定する。
捻じれ特定部２８は、捻じれ検知センサ６の出力に基づいて、筐体に生じた捻じれの向きや大きさを特定する。

表示内容決定部２９は、前述した各特定部からの情報に基づいて、表示部２に三次元的に表示されるオブジェクトの表示に変化を与える。具体的な変化の内容については後述する。
なお、筐体に設けられるセンサの種類や配置により、検知対象とする物理量は異なる。
因みに、前述したセンサを全て筐体に設ける必要はない。

＜表示制御の例＞
以下では、実施の形態１に係る表示内容決定部２９がセンサ入力を用いて実行する制御動作の例を説明する。

図６は、情報処理装置１の表示部２に表示される三次元オブジェクトの表示例を説明する図である。
図６に示す三次元オブジェクトはヒト型のキャラクター３０を表しており、三次元的な表示の一例である。
図７は、三次元オブジェクトとしてキャラクター３０が表示されている場合において、情報処理装置１の上面に加速度（衝撃）が加えられた場合の表示の変化を説明する図である。ここでの加速度（衝撃）は、一般的には直接的な部位の特定を伴わない物理量の一例である。
図７に示す例では、時刻ｔ１において、情報処理装置１に対して下向き（−Ｚ方向）に加速度が加えられた場合を示している。この事象は、例えば情報処理装置１の上面に衝撃が与えられた場合に、加速度方向特定部２６（図５参照）により特定される。

このとき、表示内容決定部２９（図５参照）は、特定された加速度の方向の情報に基づいて、三次元オブジェクトのどの部位に外力が作用するかを特定する。
図７の例では、キャラクター３０の頭部の位置が他の部位よりも高い。このため、表示内容決定部２９は、キャラクター３０の頭部に外力が作用すると特定する。
なお、時刻ｔ１では、加速度の大きさも加速度強度特定部２７（図５参照）により特定される。加速度強度特定部２７は、加速度検知センサ８（図４参照）から入力される数値と閾値とを比較し、情報処理装置１に作用した外力の強度を特定する。

特定された加速度の強度が弱い場合、表示内容決定部２９は、時刻ｔ２（＞ｔ１）における表示内容を、頭部から少量の血３１が流れる内容に変化させる。ここでの頭部は、特定の部位の一例である。なお、特定の部位は１つである必要はなく、複数でもよい。また、特定の部位は、基本的に三次元オブジェクトの一部分をいう。
一方、特定された加速度の強度が強い場合、表示内容決定部２９は、時刻ｔ２（＞ｔ１）における表示内容を、加速度の強度が弱い場合よりも多くの血３２が頭部から流れる内容に変化させる。

図７の例では、加速度の検知をきっかけとして、キャラクター３０の頭部から血が流れる内容に表示が変化しているが、外力が作用した部位に青あざ（内出血）を表示してもよい。この際、作用した外力の強度に応じて青あざの面積を変化させてもよい。
この他、外力が作用した部位にたんこぶを表示してもよい。この際、作用した外力の強度に応じてたんこぶの大きさを変化させてもよい。
また、図７の例では、情報処理装置１に作用した加速度の向きに対して位置が高い部位の例としてキャラクター３０の頭が特定されているが、加速度の向きが表示部２の左右方向である場合には表示に変化を与える部位としてキャラクター３０の腕が特定されてもよい。
また、図７の例では、三次元オブジェクトの例としてヒト型のキャラクターを３０を想定しているが、例えば構造体でもよい。構造体の場合、特定された強度の大きさに応じた傷やヒビ割れが生じる表示に変化させてもよい。

図８は、三次元オブジェクトとしてキャラクター３０が表示されている場合において、情報処理装置１の上面に加速度（衝撃）が継続的に加えられる場合の表示の変化を説明する図である。
継続的に加速度（衝撃）を加える方法には、情報処理装置１で他の物体を叩く、他の物体で情報処理装置１を叩く、情報処理装置１を把持したまま振るなどの方法がある。図８に示す例では、ユーザが、情報処理装置１の端面（上面）を指などで継続的に叩く場合を想定している。
このため、図８に示す棒グラフの横軸は時間を示し、縦軸は各時刻に与えられた衝撃の回数を示している。
なお、図８に示す例とは異なり、表示されている画像の一部分を指先で叩くことで、特定の部位に対して加速度（衝撃）を加えてもよい。この場合、加速度（衝撃）が加えられる位置は、位置検知センサ４（図４参照）によって特定されることになる。加速度の大きさについては、加速度検知センサ８（図４参照）が検知する。

図８の例では、時刻ｔ１からｔ２にかけて衝撃の回数が増加し、その後、減少している。個々の衝撃の強さは等しいとは限らないが、一般には、特定の部位に作用する衝撃の累積強度は衝撃の回数に比例する。もっとも、１回の衝撃の強さが「２」で表される場合の５回の累積強度と１回の衝撃の強さが「５」で表される場合の２回の累積強度は同じである。
このため、図８の例では、時刻ｔ１からｔ２にかけて血３３が流れる面積が増加し、衝撃の回数が減少に転じた時刻ｔ２以降はキャラクター３０の頭部に流れる血３３の面積も縮小し（時刻ｔ３）、やがて無くなっている（時刻ｔ４）。
なお、ここでの累積強度は複数回の検知結果の累積値の一例である。

図９は、三次元オブジェクトとして構造体３４が表示されている場合において、情報処理装置１の上面に加速度（衝撃）が継続的に加えられた場合の表示の変化を説明する図である。
図９では、構造体３４が円柱である場合について表している。
図９に示す例の場合も、時刻ｔ１において、情報処理装置１に対して下向き（−Ｚ方向）に加速度が加えられている。この時刻で、情報処理装置１の表示は、円柱の上面に傷３５が形成され、円柱の内部にひび割れ３６が成長する内容に変化する。なお、図９では説明のために内部に生じたひび割れ３６を破線で記しているが、情報処理装置１には外部から観察可能な傷３５だけを表示してもよい。

図９では、時刻ｔ２（ｔ２＞ｔ１）でも、情報処理装置１の上面に引き続き加速度（衝撃）が加えられている。時刻ｔ２に加えられた加速度の大きさは、時刻ｔ１に加えられた加速度の大きさと同じでも異なってもよい。
時刻ｔ２の表示では、時刻ｔ１の表示よりも傷３５の幅が広がり、ひび割れ３６が深さ方向に成長している。
さらに、時刻ｔ３（ｔ３＞ｔ２）でも、情報処理装置１の上面に引き続き加速度（衝撃）が加えられている。時刻ｔ３に加えられた加速度の大きさは、時刻ｔ１や時刻ｔ２に加えられた加速度と同じ大きさでも異なる大きさでもよい。
時刻ｔ３の表示では、時刻ｔ２の表示よりも更に傷３５の幅が広がり、ひび割れ３６も更に深くなっている。

図１０は、三次元オブジェクトとしてキャラクター３０が表示されている場合において、キャラクター３０の頭部に圧力が加えられた場合の表示の変化を説明する図である。
図１０に示す例では、時刻ｔ１において、情報処理装置１の正面側から背面側（Ｙ方向）に圧力が加えられた場合を示している。
このときの圧力が作用した位置は、位置検知センサ４（図４参照）からの出力信号を入力する圧力部位特定部２２（図５参照）により特定される。圧力が加えられる位置と指先３７が接触している位置は同じであるためである。

この際の圧力の強度は、圧力検知センサ５（図４参照）からの出力信号を入力する圧力強度特定部２１（図５参照）により特定される。圧力強度特定部２１は、圧力検知センサ５から入力される数値を予め定めた閾値と比較し、情報処理装置１に作用した圧力の強度を特定する。強度は数段階で特定される。
特定された圧力の強度が弱い場合、表示内容決定部２９は、時刻ｔ２（ｔ２＞ｔ１）における表示内容を、頭部から少量の血３１が流れる内容に変化させる。
一方、特定された圧力の強度が強い場合、表示内容決定部２９は、時刻ｔ２における表示内容を、加速度の強度が弱い場合よりも多くの血３２が頭部から流れる内容に変化させる。
この例の場合、表示に変化を与える部位をユーザが直接特定することができる。また、この例の場合、圧力の大きさに応じて特定の部位に与える変化の量を調整できる。

なお、図１０では、表示部２に表示されているキャラクター３０の表示位置のうち圧力が加えられた位置を圧力検知センサ５の出力を用いて特定しているが、局所的な圧力を検知するために用意されている圧力検知センサ７Ａ、７Ｂ（図３参照）からの出力を用いてキャラクター３０の表示に変化を与える部位を特定してもよい。
例えば情報処理装置１の左右側面の下部に位置する圧力検知センサ７Ａ、７Ｂで圧力が検知された場合、検知された圧力の強度に応じて、図１０と同じく、頭部から血を流してもよいし、他の部位、例えば手、足、胸などの表示に変化を与えてもよい。
このように圧力検知センサ７Ａ、７Ｂの出力値を用いる場合、変化を与える部位を予め表示内容決定部２９に設定してもよい。

図１１は、三次元オブジェクトとしてキャラクター３０が表示されている場合において、キャラクター３０の頭部に指先３７によって圧力が継続的に加えられた場合の表示の変化を説明する図である。
勿論、圧力は指先以外の物体、例えばペン先を用いて加えてもよい。また、指先３７は、表示部２の表面に接触し続ける必要はなく、加速度（衝撃）を加える例の場合のように、特定の部位を断続的に叩いてもよい。
図１１に示す例では、時刻ｔ１〜ｔ３の間、キャラクター３０の頭部が指先３７で押さえ付けられたままである。この場合、表示内容決定部２９は、頭部からの出血が続いているものとして判断し、時刻ｔ２では血３１の画像を頭部に追加し、時刻ｔ３では血３２の面積を拡大している。
ここで、出血量は圧力の大きさに比例してもよい。例えば圧力が大きい場合には出血量が多いと判定し、圧力が小さい場合には出血量が小さいと判定してもよい。もっとも、圧力の大きさとは関係なく、予め定めた閾値を超える圧力が加えられている時間の長さに比例して出血量を増減してもよい。

前述の例では、表示部２に表示されている三次元オブジェクトの違いにより、画面上に生じる変化が出血又は傷（ひび割れ）である場合について説明したが、外力が作用する部位に応じて変化の内容が異なっていてもよい。なお、変化は、例えば表示の追加、削除、変形、分割など、特定の部位の表示の形態を変える内容であればよい。
図１２は、三次元オブジェクトとしてキャラクター３０が表示されている場合において、キャラクター３０の胸部に圧力が加えられた場合の表示の変化を説明する図である。
図１２に示す例では、時刻ｔ１において、頭部ではなく胸部が指先３７で押されている。この例では、胸部に加えられた圧力の強度の違いにより衣服に変化を与えている。
特定された圧力の強度が弱い場合、表示内容決定部２９は、時刻ｔ２（ｔ２＞ｔ１）におけるキャラクター３０の衣服がめくれた画像やよじれた画像に変化させる。
一方、特定された圧力の強度が強い場合、表示内容決定部２９は、時刻ｔ２におけるキャラクター３０の衣服が破れた画像に変化させる。
また例えば特定された圧力の強弱によって、着せ替える衣服の種類や内容を変化させてもよい。

図１３は、三次元オブジェクトとして構造体３４が表示されている場合において、情報処理装置１に対してねじりが加えられた場合の表示の変化を説明する図である。
図１３では、構造体３４として円柱を示している。円柱の外周面には縦縞を付している。縦縞は、回転対称である円柱の軸方向に対して平行である。
図１３に示す例では、平板状の情報処理装置１の上部に反時計回りの力を作用させる一方、情報処理装置１の下部には時計回りの力を作用させている。すなわち、図１３では、情報処理装置１の上部側と下部側とで逆向きの力を作用させている。
このとき、情報処理装置１に作用する捻じれの向きと大きさは、捻じれ特定部２８（図５参照）から表示内容決定部２９に与えられる。
表示内容決定部２９は、時刻ｔ１で特定された捻じれの向きと大きさに応じて構造体３４に捻じりを加えた画像を生成し、表示部２に表示する。

図１３の例では、情報処理装置１に捻じりが加えられている時刻ｔ１ではなく、捻じりが終わった時刻ｔ２において構造体３４に変化を加えている。もっとも、捻じりが加えられている時刻ｔ１に、構造体３４の表示を変化させてもよい。
なお、図１３の例では、変化の内容を情報処理装置１に加えられた捻じりの操作と連動させているが、特定された捻じりの方向と大きさの情報を用いて表示対象である三次元オブジェクトに他の変化を与えてもよい。例えば表示部２に表示されているキャラクターを出血させたり、傷を与えたり、衣服を変化させたりしてもよい。

図１４は、三次元オブジェクトとしてキャラクター３０が表示されている場合において、温度検知センサ９Ａ、９Ｂ、９Ｃ（図３参照）を通じて温度の変化が検知された場合の表示の変化を説明する図である。
この例の場合、表示内容決定部２９は、特定された温度を予め定めた閾値と比較した結果や複数の温度検知センサ９Ａ、９Ｂ、９Ｃで検出された温度の分布の情報に基づいて、表示されているキャラクター３０の特定の部位に変化を与える。

例えば時刻ｔ１で検出された情報処理装置１の周囲の気温が予め定めた閾値より低い場合、表示内容決定部２９は、時刻ｔ２における表示の内容をキャラクター３０の首にマフラー３８を巻きつけた状態に変化させる。ここでのキャラクター３０の首は特定の部位の一例である。
例えば時刻ｔ１で検出された情報処理装置１の周囲の気温が予め定めた閾値より高い場合、表示内容決定部２９は、時刻ｔ２における表示の内容をキャラクター３０の額に汗３９が流れる状態に変化させる。ここでのキャラクター３０の額は特定の部位の一例である。

図１５は、三次元オブジェクトとして氷４０が表示されている場合において、温度検知センサ９Ａ、９Ｂ、９Ｃ（図３参照）を通じて温度変化が検知された場合の表示の変化を説明する図である。
この例の場合、表示内容決定部２９は、特定された温度を予め定めた閾値と比較した結果や複数の温度検知センサ９Ａ、９Ｂ、９Ｃで検出された温度の分布の情報に基づいて、表示されているキャラクター３０の特定の部位に変化を与える。
図１５の例は、情報処理装置１の周囲の気温が予め定めた閾値より高い場合の例である。この場合、表示内容決定部２９は、氷４０が溶けて小さくなり、氷４０の周囲に溶けた水４１が溜まった状態に表示を変化させる。ここでの氷４０は特定の部位の一例である。

図１６は、三次元オブジェクトとしてキャラクター３０が表示されている場合において、湿度検知センサ１０Ａ、１０Ｂ、１０Ｃ（図３参照）を通じて湿度の変化が検知された場合の表示の変化を説明する図である。
この例の場合、表示内容決定部２９は、特定された湿度を予め定めた閾値と比較した結果や複数の湿度検知センサ１０Ａ、１０Ｂ、１０Ｃで検出された湿度の分布の情報に基づいて、表示されているキャラクター３０の特定の部位に変化を与える。
図１６の例は、情報処理装置１の周囲の湿度が予め定めた閾値より高い場合の例である。この場合、表示内容決定部２９は、キャラクター３０の衣服をレインコート４３に変化させると共に、履物をレインブーツ４２に変化させる。
ここでのキャラクター３０の胴体や脚部は特定の部位の一例である。また、レインコート４３やレインブーツ４２への変化は雨天仕様の変化である。なお、衣服や履物の変化には川、海などの水辺仕様への変化があってもよい。

＜実施の形態１の効果＞
各種のセンサが出力する情報に基づいて三次元的に表示されるオブジェクトの特定の部位に変化が生じる情報処理装置１を用いれば、ユーザに提供できる表現を増やすことができる。
例えば情報処理装置１に衝撃（加速度）を加える、圧力を加える、捻じりを加えるといった直感的な操作やその際の大きさに連動して、三次元的に表示されるオブジェクトの特定の部位の表示が変化するので、ユーザの年齢や性別、障害の有無を問わない、操作と表示上の効果との新しい関係を提供できる。
また例えば情報処理装置１が使用される環境や使用中の情報処理装置１の状態に連動して、三次元的に表示されるオブジェクトの特定の部位の表示が変化するので、環境や使用の状態と表示上の効果との新しい関係を提供できる。

＜他の構成＞
実施の形態１においては、１つの加速度検知センサ８を用いて表示部２（図１参照）に加えられた加速度の大きさを検知しているが、図１７に示すように、複数の加速度検知センサ８を表示部２の面内に配置してもよい。
図１７は、加速度検知センサ８が表示部２の面内にＭ行Ｎ列に配置された例を説明する図である。図１７に示す加速度検知センサ８の配置例の場合には、局所的な加速度の大きさの分布を加速度検知センサ８の位置情報から特定できる。

図１８は、加速度検知センサ８が４行４列に配置された場合において、特定の位置から加速度（衝撃）が検知された回数の変化を表している。
図１８の場合、時刻ｔ１は衝撃が加えられていない状態を示す。時刻ｔ１の場合、いずれの加速度検知センサ８においても検知回数は０（ゼロ）である。時刻ｔ２は、１行目の２列目と３列目に位置する２つの加速度検知センサ８に衝撃が１回加えられた状態を示している。時刻ｔ３は、１行目の２列目と３列目に位置する２つの加速度検知センサ８に衝撃が１０回加えられ、その過程で振動の伝搬により同列にある２行目と３行目の加速度検知センサ８の出力に変化が表れている様子を表している。図１８では、濃度の濃い加速度検知センサ８ほど累積された衝撃の検知回数が多いことを示している。
時刻ｔ３の例では、予め定めた期間内に複数の加速度検知センサ８で検知された衝撃の回数の分布から１行目から２行目、３行目の方向に加速度が伝搬したことが分かる。この伝搬の方向の情報を用いて特定の部位に与える変化の内容を制御することもできる。
時刻ｔ４は、衝撃がなくなってから５分経過した状態を示す。この状態では、衝撃の検知回数がいずれも０（ゼロ）にリセットされている。

なお、圧力検知センサ５についても同様である。実施の形態１では、表示部２と概略同形状の位置検知センサ４と圧力検知センサ５（図４参照）を組み合わせて圧力を加えた位置とその強度を検知しているが、複数の圧力検知センサ５を表示部２の面内に沿って整列させ、圧力を検知した圧力検知センサ５の位置情報を用いて圧力を加えた位置、外力としての圧力が加えられた方向、その強度などを計算してもよい。
また、各圧力検知センサ５で検知された圧力の大きさの変化や分布に基づいて表示を変化させる部位を特定してもよい。

また、実施の形態１の場合には、情報処理装置１（図１参照）が有する１つの表示部２（図１参照）に三次元オブジェクトを表示しているが、図１９に示すように、１つのオブジェクトに対応する複数の２次元オブジェクトを表示することで三次元的に表示する情報処理装置１Ａにおける制御部３の処理動作にも応用できる。
図１９は、正面、側面及び背面の４つの面に表示部２Ａ〜２Ｄを有する情報処理装置１Ａの外観例を示す図である。

図１９では、正面に配置された表示部２Ａにキャラクターの正面像３０Ａが表示され、紙面に向かって右側の側面に配置された表示部２Ｂにキャラクターの右側面像３０Ｂが表示され、左側の側面に配置された表示部２Ｃにキャラクターの左側面像が表示され、背面に配置された表示部２Ｄにキャラクターの背面像が表示されている。
なお、表示部は、正面と背面の２面に配置されてもよいし、上面や底面に配置されてもよい。
このように、立体的に複数の表示部２を配置することによりオブジェクトを三次元的に表示する場合にも、センサ出力に基づいてオブジェクトの特定の部位の表示に変化を加えることで、ユーザに対して新たな表現を提供することが可能になる。

＜実施の形態２＞
＜装置構成＞
図２０は、実施の形態２に係る情報処理装置１Ｂの外観例を示す図である。
図２０には図１との対応部分に対応する符号を付して示している。
情報処理装置１Ｂは、実施の形態１に係る情報処理装置１と同じく、概略板状の外観を有している。
ただし、実施の形態２に係る情報処理装置１Ｂは、任意の位置で筐体を変形することが可能であり、筐体が変形した位置を検知する変形検知センサ５１を有する点で、実施の形態１に係る情報処理装置１と相違する。
変形検知センサ５１は、筐体の外縁に沿うように複数配置される。変形検知センサ５１の配置箇所や配置間隔（配置密度）は、変形検知センサ５１のサイズや仕様に応じて決まる。なお、変形検知センサ５１は、表示部２と重なるように配置してもよい。

変形検知センサ５１は、いわゆる歪センサで構成され、例えば村田製作所により開発されているポリ乳酸のずり圧電性を応用した変位センサを使用する。歪センサは、折り曲げ量（角度）に応じた大きさのセンサ出力を出力する。このように、歪センサは、付着された部材の変形を検知できるデバイスである。従って、変形検知センサ５１は、折り畳み状態に至る前の湾曲による変形も検知する。
なお、実施の形態２では、情報処理装置１Ｂの筐体が平面形状にある状態を変形前の状態又は初期状態という。

制御部３は、曲げを検知した複数の変形検知センサ５１の位置関係に基づいて、表示部２の曲げ位置を推定する。
また、本実施の形態では、変形検知センサ５１は、筐体の片面側（例えば表示部２を配置した面）に配置する。もっとも、変形検知センサ５１を筐体の両面に配置してもよい。
ここでの曲げ位置は変形位置の一例である。

情報処理装置１Ｂは、プラスチックなどで形成された柔軟性を有する筐体に、画像の表示に用いられる表示部２や装置全体を制御する制御部３などを配置している。情報処理装置１Ｂのうち表示に特化した装置は、フレキシブルディスプレイとも呼ばれる。
図２１は、情報処理装置１Ｂのハードウェア構成例を説明する図である。
図２１には図４との対応部分に対応する符号を付している。情報処理装置１Ｂでは、複数の変形検知センサ５１がバス１６に接続されている点で、実施の形態１の情報処理装置１と相違する。

図２２は、実施の形態２に係る制御部３の機能構成の一例を説明する図である。
図２２には図５との対応部分に対応する符号を付して示している。情報処理装置１Ｂは、複数の変形検知センサ５１からの出力を入力して筐体に生じた曲げ位置を特定する曲げ位置特定部５２を有する点で実施の形態１で説明した情報処理装置１と相違する。
本実施の形態における表示内容決定部２９は、曲げ位置特定部５２で特定された筐体の曲げ位置の情報を用い、三次元的に表示されているオブジェクトの特定の位置に変化を与えたり、表示の内容を変化させたりする。

図２３は、曲げ位置特定部５２によって特定される曲げ位置の例を説明する図である。
（ａ）は、情報処理装置１Ｂにおける短辺の中点付近に位置する２つの変形検知センサ５１で変形が検知された場合に、曲げ位置特定部５２が特定する曲げ位置を説明する図である。（ａ）の場合、曲げ位置特定部５２は、情報処理装置１Ｂの長辺と平行な線Ｌ１が折り目となるように表示部２が曲げられていると判定する。なお、図における折り目は説明のためであり、折り目は必要としない。

（ｂ）は、情報処理装置１Ｂにおける長辺の中点付近に位置する２つの変形検知センサ５１で変形が検知された場合に、曲げ位置特定部５２が特定する曲げ位置を説明する図である。（ｂ）の場合、曲げ位置特定部５２は、情報処理装置１Ｂの短辺と平行な線Ｌ２が折り目となるように表示部２が曲げられていると判定する。

（ｃ）は、情報処理装置１Ｂの右上隅と左下隅に位置する２つの変形検知センサ５１で変形が検知された場合に、曲げ位置特定部５２が特定する曲げ位置を説明する図である。（ｃ）の場合、曲げ位置特定部５２は、右上がりの対角線方向の線Ｌ３が折り目となるように表示部２が曲げられていると判定する。

（ｄ）は、情報処理装置１Ｂの右上隅と左上隅から２番目に位置する２つの変形検知センサ５１で変形が検知された場合に、曲げ位置特定部５２が特定する曲げ位置を説明する図である。（ｄ）の場合、曲げ位置特定部５２は、左上隅を直角とする三角形の斜辺を形成する線Ｌ４が折り目となるように、表示部２が曲げられていると判定する。

（ｅ）は、上辺（長辺）の３か所と下辺（長辺）の３か所に位置する６つの変形検知センサ５１で変形が検知された場合に、曲げ位置特定部５２が特定する曲げ位置を説明する図である。（ｅ）の場合、曲げ位置特定部５２は、左側から右側の方向に、谷折りを形成する線Ｌ５、山折りを形成する線Ｌ６、谷折りを形成する線Ｌ７が並ぶように、表示部２が変形されていると判定する。

＜表示制御の例＞
以下では、実施の形態２に係る表示内容決定部２９がセンサ入力を用いて実行する制御動作の例を説明する。
図２４は、特定された曲げ位置の情報を用いて三次元オブジェクトに画像編集を加える例を説明する図である。
図２４では、情報処理装置１Ｂが変形される前の時刻ｔ１において、表示部２に三次元オブジェクトの立体像５３が表示されている。ここでの立体像５３はりんごである。また、時刻ｔ１における情報処理装置１Ｂの形状は第１の形状の一例である。
次の時刻ｔ２において、情報処理装置１Ｂは、画面中央に対してやや右側の位置で表示面２が内側になるように折り曲げられる。この時刻でも、三次元オブジェクトの立体像５３の表示に変化はない。ここで、時刻ｔ２における情報処理装置１Ｂの形状は第２の形状の一例である。

続く時刻ｔ３において、情報処理装置１Ｂは、元の平坦な状態に戻っているが、三次元オブジェクトの立体像５３には時刻ｔ２の曲げ位置に相当する部位（リンゴの表面に当たる曲面部分）に線分５４が追加されている。換言すると、曲げ位置を跨いで表示されている三次元オブジェクトの立体像５３（すなわち画像自体）に画像編集の一例として線分が追加されている。
図２４の場合、ユーザによる情報処理装置１Ｂを曲げる操作は、表示内容決定部２９による線分５４の追加のために使用される。なお、図２４の例では、線分５４の表示は、情報処理装置１Ｂが元の平坦な状態に戻った後（時刻ｔ３以降）に開始されているが、情報処理装置１Ｂが曲げられている状態（時刻ｔ２）に開始されてもよい。この場合、線分５４の表示は情報処理装置１Ｂが曲げられている間に限ってもよい。
ここでは、曲げ位置に対応する破線と三次元オブジェクトの立体像５３とが交差する部位が、特定の部位に当たる。

図２５は、特定された曲げ位置の情報を用いて三次元オブジェクトに画像編集を加える他の例を説明する図である。
図２５においても、時刻ｔ１、ｔ２では、情報処理装置１Ｂの曲げ状態によらず、表示部２に表示される三次元オブジェクトの立体像５３の表示に変化はない。
ただし、図２５の場合、情報処理装置１Ｂが元の平坦な状態に戻った後に、三次元オブジェクトの立体像５３には時刻ｔ２の曲げ位置に相当する部位で三次元オブジェクトの立体像５３を切断した画像が表示される。すなわち、切断面５５が追加されている。

図２５の例では、三次元オブジェクトの立体像５３を切断した後の画像のみが表示されているが、切断開始から切断後に至るまでの過程が動画として表示されてもよい。
切断面が表示されることで、画像処理の臨場感が高まる。本実施の形態の場合、実行される特殊効果処理の内容は、予め利用者によって指定される。
なお、画像処理の際には、処理の内容に応じた効果音を付加してもよい。例えば図２５の例であれば、不図示のスピーカを通じてリンゴが切断される音（例えば「ザクッ」）という効果音を付加してもよい。効果音の付加により、画像処理の臨場感が高まる。

＜実施の形態２の効果＞
本実施の形態によれば、任意の位置で変形可能な情報処理装置１Ｂの変形操作を通じ、表示部２に表示されている三次元オブジェクトの立体像５３の特定の部位に変化を加えることができる。
これにより、情報処理装置１Ｂを用いてユーザに提供できる表現や操作入力の手法を増やすことができる。また、効果音を組み合わせれば、表示の変化に対して臨場感を高めることができる。

＜他の構成＞
情報処理装置１Ｂの変形は、他の情報処理装置における処理動作の制御に用いることもできる。
図２６は、情報処理装置１Ｂの変形操作を、他の情報処理装置５６が表示制御する表示装置５７の表示動作の制御に用いる使用例を説明する図である。
図２６の場合、任意の位置で変形可能な情報処理装置１Ｂにおいて検知された変形の情報は、通信手段を通じて情報処理装置５６に伝達され、情報処理装置５６に設けられた又は接続された表示装置５７に表示される画面の制御に用いられる。

ここで、情報処理装置５６は、いわゆるコンピュータとして構成されており、操作手段として用いられる情報処理装置１Ｂに表示されている画像の内容と、情報処理装置５６を通じて表示装置５７に表示される画像の内容とは同じでも異なっていてもよい。
図２６の場合には、時刻ｔ１から時刻ｔ２の間に情報処理装置１Ｂで検知された変形の情報に基づいて、表示装置５７に表示される三次元オブジェクトの立体像５３の一部に切断面５５が表示されている。換言すると、立体像５３の一部が削除されている。

図２７は、情報処理装置１Ｂの変形操作を、他の情報処理装置５６が表示制御する表示装置５７の表示動作の制御に用いる他の使用例を説明する図である。
図２７は、操作入力手段としての情報処理装置１Ｂの変形を検知した情報処理装置５６は表示装置５７に表示されるスライドショーの開始や頁めくりの指示に用いられる例を示している。図２７の場合、時刻ｔ１から時刻ｔ２の間に情報処理装置１Ｂで検知された変形の情報に基づいて、スライドショーの画面が１頁目から２頁目に切り替わっている。換言すると、表示画像が差し替えられている。

＜実施の形態３＞
本実施の形態では、オブジェクトの三次元的な表示に三次元ディスプレイを用いる場合について説明する。
図２８は、三次元ディスプレイによる三次元オブジェクトの表示例を示す図である。
図２８に示す情報処理システム６１は、ユーザを撮影する撮像装置６４と、情報処理装置６５と、三次元空間描画装置６６とを有している。

撮像装置６４は、被写体としてのユーザ６３の動きを撮像する装置であり、センサの一種である。
情報処理装置６５は、表示対象である三次元オブジェクトのデータを三次元空間描画装置６６に出力する処理、撮像された画像を処理してユーザ６３の動きを判定する処理、判定結果に応じた画像処理を三次元オブジェクトに加える処理などを実行する装置である。情報処理装置６５は、いわゆるコンピュータによって構成され、前述した各種の処理はプログラムの実行を通じて実現される。

三次元空間描画装置６６は、例えば赤外線パルスレーザー、レーザー光を結像させる焦点位置の調整に用いるレンズ、レーザー光を空間内で面走査するのに用いるガルバノミラーなどで構成され、与えられた三次元オブジェクトのデータに基づいて空気中に立体像を描画する。図２８の例では、空気のプラズマ発光によって三次元オブジェクトとしてのリンゴの立体像６２が空気中に浮かび上がっている。
なお、本実施の形態では、画像処理を通じてユーザ６３の動きを検知しているが、空気の動きを検知するセンサの出力を用いてユーザ６３の動きを検知してもよい。なお、ユーザの動きではなく、サーモグラフィを通じてユーザ６３の体温やその変化、ユーザ６３の周囲の気温や湿度やその変化を検知してもよい。

図２９は、ユーザの特定の動きによって三次元オブジェクトの表示に変化を与える様子を説明する図である。
図２９には図２８との対応部分に対応する符号を付して示している。
図２９では、ユーザが立体像６２の特定の部位を縦方向に切るような動作を行った場合を描いている。ユーザの動きを検知した情報処理装置６５は、ユーザの動きを通じて立体像６２の表示に変化を与える位置を特定し、変化の内容を決定する。図２９の場合、特定された位置を境にリンゴの立体像６２を切断する場合の各体積を三次元オブジェクトのデータから計算し、体積が大きい方を空間中に描画するように描画データを生成する。
このため、図２７では、リンゴの立体像６２のうち体積の大きい方が残るように切断面６７が描画されている。
この例では、切断面６７を描画しているが、実施の形態１の場合のように、描画されている三次元オブジェクトに応じて変化の内容を制御すればよい。

図３０は、壁面や床面に投影された三次元オブジェクトに変化を与える例を説明する図である。
図３０には図２８との対応部分に対応する符号を付して示している。
図３０に示す情報処理システム６１Ａは、三次元空間描画装置６６に代えて投影装置６８を用いる点で、情報処理システム６１と異なる。
図３０の場合、投影装置６８は、２次元空間である壁面に三次元オブジェクトの立体像６９を投影している。図３０に示すユーザは、投影面である壁面に沿うように右手を上から下に（−Ｚ方向）に動かしている。情報処理装置６５は、不図示の赤外線センサや画像処理を通じてユーザの動きを検知して、投影される立体像６９に変化を与える。図３０の場合には、切断面７０を表示させている。

＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
例えば三次元的に表示されるオブジェクトの特定の部位の色を変化させてもよい。

前述の実施の形態では、センサとしてユーザが操作する表示画面上の位置を検知するセンサ（位置検知センサ４）、ユーザの操作を圧力として検知するセンサ（圧力検知センサ５、７Ａ、７Ｂ）、筐体の捻じれを検知するセンサ（捻じれ検知センサ６（図４参照））などを用いて、表示部に三次元的に表示されているオブジェクトの特定の部位を変化させているが、前述以外のセンサを用いてもよい。

例えば情報処理装置１を使用している標高を測位するセンサを用いてもよい。この種のセンサには、気圧を測定して標高を計算する高度計、ＧＰＳ（Global Positioning System）信号を使用して標高を計算するＧＰＳ受信機等がある。なお、ＧＰＳ信号には、屋内での使用を前提としたものもある。
また例えば情報処理装置１を使用している場所の気圧を測定するセンサ、照度を測定するセンサ、水圧を測定するセンサ、水深を測定するセンサなどを用いてもよい。

ここで、標高を測定するセンサを用いる場合には、情報処理装置１を使用している標高に応じて表示部２に表示されているオブジェクトの特定の部位やオブジェクトの背景を変化させてもよいし、表示部２に表示される画面自体を変化させてもよい。例えば標高の高い場所においては、オブジェクトの一部（例えばキャラクターの背中や腕）に羽や翼を追加したり、オブジェクトの背景に雲を追加したり、画面を高所から周囲の景観を眺める画像や空の画像に切り替えてもよい。

気圧を測定するセンサを用いる場合には、気圧値の変化に応じてオブジェクトの一部（例えばキャラクターの腹部や頬っぺた）を膨張させるように又は収縮させるように変化させてもよい。また、密封された袋や風船などを表すオブジェクトの体積を気圧が下がるほど大きくなるように画像を変化させ、気圧が上がるほど小さくなるように画像を変化させてもよい。

照度センサを用いる場合には、照度値の変化に応じてオブジェクトの一部を変化させてもよい。例えば明るい場所では、オブジェクトとしてのキャラクターにサングラスを装着させ、暗い場所では、オブジェクトとしてのキャラクターに懐中電灯を持たせてもよい。また、周囲の明るさに応じて、オブジェクトの表示形態や画面の表示内容を、夜用と昼用とで切り替えてもよい。
この他、センサにはＧＰＳセンサを用いてもよい。例えばオブジェクトとして機器の操作マニュアルが表示される場合において、その記述言語が検知された国や地域における第１言語に変化させるようにしてもよい。

また、操作マニュアルに掲載される問答集や操作に関する注意事項に関する内容を、情報処理装置１の使用環境に応じて変化するセンサ出力の値に基づいて変化させてもよい。ここでの変化には、例えばセンサ出力によって特定される環境下で発生し易い内容を上位に配置する等の記載位置の変更を含む。
例えば情報処理装置１が高温多湿な地点で使用されていると判定される場合には、オブジェクトとして表示される操作マニュアルの上位箇所に高温多湿な環境下に対応する注意事項が配置されるように表示を変化させてもよい。
また例えば操作マニュアルで用いられる挿絵の内容を高温多湿な環境に応じてローカライズ（カスタマイズ）してもよい。

前述の実施の形態においては、センサは情報処理装置１に設けられている場合について説明したが、センサは、情報処理装置１とは独立した装置として存在し、センサの出力値が通信手段を通じて情報処理装置１に与えられてもよい。
また、情報処理装置１は、外部から取得される環境情報に基づいてオブジェクトの表示を変化させてもよい。ここでの環境情報とは、情報処理装置１の位置情報に関連する外部から取得可能な情報をいい、例えば天気予報などの気象に関する情報、犯罪の発生などの防犯に関する情報、事故や渋滞などの交通に関する情報が含まれる。

例えば情報処理装置１の表示画面に地図が表示され、その地図上にユーザの位置（すなわち情報処理装置１の位置）を示すキャラクターの画像が表示されている状態で、ユーザの位置に関連付けられた高温注意情報が受信された場合、キャラクターの画像の袖の長さや裾野長さを短くし（半袖と短パンに変化させ）、かつ、体から汗が流れる状態に変化させてもよい。

例えば情報処理装置１の表示画面に地図が表示され、その地図上にユーザの位置（すなわち情報処理装置１の位置）を示すキャラクターの画像が表示されている状態で、ユーザの位置に関連付けられた地域に犯罪が発生したとの通知が受信された場合、キャラクターの表情を怯えた表情に変化させたり、体が震えている表示に変化させたりしてもよい。
例えば交通事故の発生が通知された場合も同様の表示を用いてもよい。
なお、複数の環境情報が重複して取得された場合には、表示の変化も、これら複数の環境情報に対応する変化を組み合わせた内容としてもよい。例えば前述した高温注意情報と犯罪の発生とが重複して取得された場合には、キャラクターの画像を薄着に変化させ、かつ、汗を流し、かつ、おびえる様子の画像に変化させてもよい。
また、センサによって取得された情報と環境情報とを組み合わせてオブジェクトの表示に変化を与えてもよい。

前述の実施の形態においては、基本的に個々のセンサが測定する物理量を用いて表示に特定の変化を与えているが、複数のセンサの出力を組み合わせて表示に変化を与えてもよい。ここでの物理量は、測定対象である圧力、加速度、温度、湿度、気圧、標高、水深、磁極、音、位置情報などの他、センサに現れる電気信号（電流や電圧）の変化を含んでもよい。
例えば時刻の情報と、標高値と、温度値と、照度値の４つを組み合わせて情報処理装置１の使用環境を特定し、特定された使用環境（例えば夏山）に応じてオブジェクトの一部や画面に変化を与えてもよい。
また例えばオブジェクトとしてのキャラクターを避暑地の服装や夏山登山の服装に変更してもよいし、表示部２に表示される画像を夏の空の画像に変化させてもよい。
また、水深と、温度値とを組み合わせて表示部２に特定された水深と水温を満たす水域に生息する生物を表示してもよいし、オブジェクトの表示形態に変化を与えてもよい。

前述の実施の形態では、三次元オブジェクトの例としてキャラクターやりんご等を用いて説明したが、三次元的に表示されるオブジェクトはこれらに限らない。例えば時間の経過を表現する砂時計や電波の強度を表す一組のアンテナも三次元オブジェクトの一例である。
また、表示対象としての三次元オブジェクトは、ファームウェア等のソフトウェアに基づいて動作する組み込み機器、器具や機械等の製品であってもよい。この場合において、製品の設計情報（例えばＣＡＤデータ、構成する部品の性能情報等）の利用が可能であれば、これらの情報とセンサの出力値とを組み合わせた表示も可能になる。

例えば組み立てられる部品や着脱される個々の部材の熱膨張率などを情報処理装置１が取得可能な場合において、センサから温度の情報が得られる場合、表示されているオブジェクトの個々の部品の形状を取得された情報に応じて変形させることもできる。この場合、変形を強調した表示とすることも可能である。
この表示機能を用いれば、情報処理装置１の周囲が高温であれば、一部の部品の形状を膨張させた表示に変化させることができる。この表示は、現在の環境下で製品がどのようになるかをシミュレーションするのと同じである。一般的なシミュレーションでは、温度条件などの入力を必要とするが、この表示機能により、現地や現場で対象製品を画面に表示するだけで、製品に生じる変化を確認することができる。
また、この表示機能を用いれば、情報処理装置１の周囲が低温の場合における潤滑油の硬化を予測して画面に表示される製品の動きにハードウェア上の変化を与えることもできる。

また、この表示機能は、使用環境がソフトウェアに与える影響やソフトウェアの異常に起因するハードウェア上の動きの異変を、オブジェクトの表示に対する変化として表現することもできる。例えば情報処理装置１の周囲が多湿や高温の場合には、オブジェクトを構成する電気回路のショートやＣＰＵの熱暴走を予測し、表示画面上におけるオブジェクトの動きを異常時に特有の動作（例えば画面の消灯、異常メッセージの表示等）に変化させることもできる。

なお、各種のセンサから取得された情報に基づいたオブジェクトの表示上の変化は、例えば図３１に示す対応表６０を用いて実現することができる。
図３１は、変化の対象とするオブジェクトとセンサ値の次元数の組み合わせと変化後の画像との対応関係を示す対応表６０の例を説明する図である。
対応表６０では、変化の対象とするオブジェクトが３次元の画像（３次元画像）として表示される場合だけでなく、１次元の画像（１次元画像）や２次元の画像（２次元画像）として表示される場合にも備えた構成となっている。すなわち、前述の実施例では、３次元オブジェクトの表示を変化させる場合を主に説明しているが、表示対象とするオブジェクトの次元は表示部が対応できる次元であれば任意であり、各次元に応じた変化画像が用意されていれば、各種のセンサの出力等に基づいて表示上の画像を変化させることができる。

一方、センサ値については、取得される情報の次元に応じた区分が用意されている。具体的には、センサ値が１次元である場合に対応する１次元センサ値６２、センサ値が２次元である場合に対応する２次元センサ値６３、センサ値が３次元である場合に対応する３次元センサ値６４が用意されている。
ここでの１次元センサ値６２、２次元センサ値６３、３次元センサ値６４の区分は、例えば３次元空間上の次元の数を基準に行ってもよい。
例えば１つのセンサが検知する物理量が３次元空間内の１つの次元（例えばＸ軸方向）に対応する場合、このセンサの出力値は１次元センサ値６２である。なお、２つのセンサがそれぞれ異なる物理量を検知する場合でも、各物理量が共通の次元（例えばＸ軸方向）に対応する場合、これら２つのセンサの出力値は１次元センサ値６２である。

同様に、例えば１つのセンサが検知する物理量が３次元空間内の２つの次元（例えばＸ軸方向とＹ軸方向）に対応する場合、このセンサの出力値は２次元センサ値６３である。また、２つのセンサがそれぞれ検知する１次元の物理量の方向が異なる場合（例えば一方はＸ軸方向であり、他方はＹ軸方向である場合）、これら２つのセンサの出力値は２次元センサ値６３である。
同様に、例えば１つのセンサが検知する物理量が３次元空間内の３つの次元（例えばＸ軸方向とＹ軸方向とＺ軸方向）に対応する場合、このセンサの出力値は３次元センサ値６４である。また、３つのセンサがそれぞれ検知する１次元の物理量の方向が異なる場合（例えば１つはＸ軸方向であり、１つはＹ軸方向であり、１つはＺ軸方向である場合）、これら３つのセンサの出力値は３次元センサ値６４である。

また、ここでの１次元センサ値６２、２次元センサ値６３、３次元センサ値６４の区分は、例えば情報の次元の数を基準に行ってもよい。
例えば１つの値を出力するセンサが２つ存在する場合、オブジェクトの表示がそれら２つのセンサの出力値の組み合わせで変化するのであれば、これら２つのセンサ値は２次元センサ値６３である。また、１つのセンサが２つの値を出力する場合、１つのセンサから出力される２つのセンサ値は２次元センサ値６３である。ここでの複数の出力値は、いずれも同じ物理量に対応するものでもよいし、異なる物理量に対応するものでもよい。
また、１次元センサ値６２、２次元センサ値６３、３次元センサ値６４の区分は、例えば３次元空間上の次元の数と情報の次元の数との組み合わせを基準に行ってもよい。

図３１の例では、各次元の画像に対して複数の変化画像１〜Ｎが、各次元のセンサ値の大きさに対応付けられている。
例えば１次元センサ値６２については、大きさの違いに応じ、Ｎ個の変化画像１が１次元画像に対応付けられており、Ｎ個の変化画像４が２次元画像に対応付けられており、Ｎ個の変化画像７が３次元画像に対応付けられている。
例えば２次元センサ値６３については、大きさの組み合わせの違いに応じ、Ｍ個の変化画像２が１次元画像に対応付けられており、Ｍ個の変化画像５が２次元画像に対応付けられており、Ｍ個の変化画像８が３次元画像に対応付けられている。
同様に、３次元センサ値６４については、大きさの組み合わせの違いに応じ、Ｌ個の変化画像３が１次元画像に対応付けられており、Ｌ個の変化画像６が２次元画像に対応付けられており、Ｌ個の変化画像９が３次元画像に対応付けられている。
なお、図３１の例では、センサ値の次元数ごとに、同じ数の変化画像が画像の次元数によらず対応付けられているが、各組み合わせに応じて異なる数の変化画像が割り当てられていてもよい。また、センサ値の次元数ではなく、画像の次元数に応じて各変化画像の数が定められていてもよい。

また、前述の実施の形態では、説明を簡略化するために、画面上には、１つのオブジェクトが表示されている場合について説明したが、複数のオブジェクトが表示される場合も考えられる。この場合において、複数のオブジェクトをいずれも同じ次元で描画することも可能であるが、それぞれ異なる次元で描画することもできる。例えば３次元で画像を描画できる場合に、一部のオブジェクトは３次元で表示する一方、他の画像は２次元や１次元で表示してもよい。なお、全てのオブジェクトを、描画可能な次元よりも低い次元で表示することも可能である。
この場合、各画像には、個々の画像の描画に用いられている次元に応じた変化を与えてもよい。
また、センサ値に応じた変化は、複数のオブジェクトに対応する個々の画像に与えることも可能であるが、複数のオブジェクトのうちユーザによって指定された特定のオブジェクトや特定の次元に対応する画像につてのみ変化を与えるようにしてもよい。例えば３次元で描画されるオブジェクトの画像と２次元で描画されるオブジェクトの画像が混在する場合に、ユーザの指定した３次元で描画されるオブジェクトの画像に対してのみ変化を与えてもよい。

前述の実施の形態では、情報処理装置１による表示を変化させる場合について説明したが、この表示上の変化を画像形成装置（いわゆるプリンター）への出力にも反映させてもよい。例えばセンサの出力値に応じて三次元オブジェクトの表示に変化が生じている状態で印刷が指示されたとき、変化後の内容に対応する印刷データを生成して画像を印刷してもよい。すなわち、センサの出力値は画像の表示だけでなく、印刷にも反映させることができる。

なお、表示上の変化と印刷する画像の内容とは独立としてもよい。すなわち、表示上のオブジェクトが変化している場合でも、印刷される内容はセンサの出力値によって変化が生じる前の三次元オブジェクトの内容としてもよい。この際、センサの出力値によって変化した後の表示の内容で画像を印刷するか、センサの出力値によって変化が生じる前の内容で画像を印刷するかはユーザインタフェース画面において選択できることが望ましい。
ここでのユーザインタフェースは、設定画面として用意されてもよいし、印刷が指示されるたびにポップアップ表示される確認画面の一部として用意されてもよい。

画像を用紙に印刷する場合、情報処理装置１は、三次元オブジェクトを規定する三次元情報を二次元情報に変換する。ここでの二次元情報は、例えば三次元オブジェクトの表面を観察した画像であってもよいし、図２４等のように三次元オブジェクトの内部構造の変化を反映した画像でもよい。
なお、いわゆるプリンターは用紙などの記録材に二次元像を印刷する装置の他、立体像（三次元像）を形成する三次元プリンターであってもよい。出力先が三次元プリンターである場合、三次元オブジェクトを二次元情報に変換することなく、立体物で出力する。

前述の実施の形態においては、情報処理装置１としてタブレット型のコンピュータやスマートフォンなどの携帯型の情報端末を想定したが、表示部（投影機能を含む）とセンサを有する情報端末であれば、時計、ゲーム機などの玩具、テレビジョン受像機、プロジェクタ、ヘッドマウントディスプレイ、画像形成装置（いわゆるプリンタ）、電子黒板、コミュニケーション用のロボット等にも利用できる。

１、１Ａ、１Ｂ、５６、６５…情報処理装置、２、２Ａ、２Ｂ、２Ｃ、２Ｄ…表示部、３…制御部、４…位置検知センサ、５、７Ａ、７Ｂ…圧力検知センサ、６…捻じれ検知センサ、８…加速度検知センサ、９Ａ、９Ｂ、９Ｃ…温度検知センサ、１０Ａ、１０Ｂ、１０Ｃ…湿度検知センサ、１４…主記憶装置、１５…通信部、２１…圧力強度特定部、２２…圧力部位特定部、２３…操作位置特定部、２４…温度特定部、２５…湿度特定部、２６…加速度方向特定部、２７…加速度強度特定部、２８…捻じれ特定部、２９…表示内容決定部、５１…変形検知センサ、５２…曲げ位置特定部、５７…表示装置、６１、６１Ａ…情報処理システム、６４…撮像装置、６６…三次元空間描画装置

Claims (3)

1. オブジェクトの画像を三次元的に表示する表示部と、
   加速度を検知する特定の位置に配列された複数の検知部と、
   前記特定の位置に配列された複数の前記検知部の出力に応じ、前記表示部に表示されるオブジェクトの特定の部位の表示に変化を加える表示制御部と
   を有し、
   前記表示制御部は、
   複数の前記検知部が検知した、前記表示部に対する操作を除く、装置本体に対する衝撃の加速度の方向に基づいて、前記表示部に表示されている前記オブジェクトのうち表示に変化を加える部位を特定し、
   複数回の衝撃の累積強度に応じて前記オブジェクトに継続的な変化を与える、
   情報処理装置。
2. 前記表示制御部は、検知された加速度の大きさに応じて前記オブジェクトに与える変化の大きさを変える、請求項１に記載の情報処理装置。
3. オブジェクトの画像を三次元的に表示する表示部と、加速度を検知する特定の位置に配列された複数の検知部とを有する情報処理装置におけるコンピュータに、
   前記特定の位置に配列された複数の前記検知部の出力に応じ、前記表示部に表示されるオブジェクトの特定の部位の表示に変化を加える機能と、
   複数の前記検知部が検知した、前記表示部に対する操作を除く、装置本体に対する衝撃の加速度の方向に基づいて、前記表示部に表示されている前記オブジェクトのうち表示に変化を加える部位を特定する機能と、
   複数回の衝撃の累積強度に応じて前記オブジェクトに継続的な変化を与える機能と、
   を実現させるためのプログラム。

Images