JP2015153325A - 情報処理装置、操作支援方法及び操作支援プログラム - Google Patents

Abstract

【課題】ユーザが操作に困惑している状態の検出までの時間を短縮し、検出の確度を上げる。
【解決手段】記憶部３は、ユーザが操作に困惑していると想定される状態を示す困惑状態情報３ａを記憶する。検知信号解析部２は、ユーザの動きや様子を検知した検知信号を解析し、当該ユーザが操作を行っているときのユーザ操作状態を検出する。操作状態判定部４は、ユーザ操作状態を困惑状態情報３ａと照合し、ユーザが操作に困惑しているか否かを判定する。操作状態判定部４によってユーザが操作に困惑していると判定されたとき、操作支援部５は、ユーザに対して操作支援を行う。
【選択図】図１

Description

本発明は、情報処理装置、操作支援方法及び操作支援プログラムに関する。

近年、携帯電話機、携帯型オーディオ機器、ディジタルカメラ、車載ナビゲーションなどは、高機能化と多機能化が図られており、マイクロプロセッサを搭載した情報処理装置として位置付けることができる。

このような情報処理装置では、所望の機能を利用する際に、ユーザは予め決められた所定の操作を行う必要がある。しかしながら、ユーザには、その操作を熟知している者もいれば、操作に不慣れな者もいる。また、同じユーザでも利用する機能が異なればその操作に不慣れな場合もあり、単にユーザに対応して操作不慣れを判定することはできない。ユーザは、不慣れな操作を行うとき、操作方法がわからずに同じ操作を繰り返したり、操作が止まってしまったりするなど、操作に困惑し、不快な思いをする。

そこで、ユーザの操作履歴を取得して操作に困惑している可能性の高い操作パターンと照合し、ユーザが操作に困惑しているかどうかを判断する監視支援方法がある（例えば、特許文献１参照）。

また、複写機のユーザをカメラで撮影し、困惑の表情をしていることが検出されたとき、ヘルプガイダンス画面を表示するものがある（例えば、特許文献２参照）。

特開平１０−２２２４６７号公報 特開２００２−２５８６８２号公報

情報処理装置を利用するユーザにとって、操作に困惑しているときは、できるだけ早く操作支援が行われることが好ましい。一方、操作に困惑していないときに操作支援が行われると、それまでの作業が中断されるため好ましくない。

しかしながら、操作履歴と操作パターンとを照合する方法では、少なくともユーザが操作を行ったことが認識されないと操作に困惑しているかどうかの判定ができない。例えば、タッチパネル操作の場合、操作に困惑してイライラしたユーザがキーに対応しない領域にタッチしても、操作として認識されない場合がある。また、操作と認識されても、１回の操作では単なる間違いか、操作に不慣れであるのかを判断できない。したがって、ユーザがこの操作を繰り返し行った後でなければ確度の高い判定を行うことができない。このため、ユーザが操作に困惑していることを検出するまでに時間がかかり、操作支援が遅れてしまう。

また、単に困惑の表情を検出して操作支援を行う方法では、ユーザが困惑している原因が操作の不慣れにあるのかどうかわからない。他の原因で困惑の表情となっていた場合、必要のない操作支援が行われ、かえってユーザに不快感を与えてしまう場合がある。

１つの側面では、本発明は、ユーザが操作に困惑している状態を検出するまでの時間を短縮し、かつ検出の確度を上げ、適切な操作支援を行うことが可能な情報処理装置、操作支援方法及び操作支援プログラムを提供することを目的とする。

上記目的を達成するために、以下に示すような情報処理装置が提供される。情報処理装置は、記憶部と、検知信号解析部と、操作状態判定部と、操作支援部と、を有する。記憶部は、ユーザが操作に困惑していると想定される状態を示す困惑状態情報を記憶する。検知信号解析部は、ユーザの動きや様子を検知した検知信号を解析し、当該ユーザが操作を行っているときのユーザ操作状態を検出する。操作状態判定部は、ユーザ操作状態を困惑状態情報と照合し、ユーザが操作に困惑しているか否かを判定する。操作支援部は、操作状態判定部によってユーザが操作に困惑していると判定されたときは、ユーザに対して操作支援を行う。

１態様によれば、ユーザが操作に困惑している状態の検出までの時間を短縮し、かつ検出の確度を上げ、適切な操作支援を行うことが可能となる。

第１の実施形態の情報処理装置の構成の一例を示す図である。 第２の実施の形態の携帯電話機の構成の一例を示す図である。 第２の実施の形態の携帯電話機のハードウェア構成の一例を示す図である。 第２の実施の形態の携帯電話機の機能構成の一例を示す図である。 第２の実施の形態の操作履歴情報の一例を示す図である。 第２の実施の形態のユーザ表情情報の一例を示す図である。 第２の実施の形態の音声キーワード情報の一例を示す図である。 第２の実施の形態の操作不慣れ支援処理の手順を示すフローチャートである。 第２の実施の形態の操作不慣れ判定処理の手順を示すフローチャートである。 第２の実施の形態のユーザサポート処理の手順を示すフローチャートである。 第３の実施の形態の携帯電話機の機能構成の一例を示す図である。 第３の実施の形態の除外項目情報の一例を示す図である。 第３の実施の形態の除外操作判定処理の手順を示すフローチャートである。

以下、本実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、第１の実施形態の情報処理装置について図１を用いて説明する。図１は、第１の実施形態の情報処理装置の構成の一例を示す図である。

図１に示した情報処理装置は、検知部１、検知信号解析部２、記憶部３、操作状態判定部４、操作支援部５、操作判定部６及びアプリ制御部７を有する。
検知部１は、ユーザの動きや様子を検知する手段として、タッチ検知部１ａ、カメラ撮影部１ｂ、角速度検知部１ｃ、音声検知部１ｄを備える。各検知手段は、検知したユーザの動きや様子を検知信号として出力する。タッチ検知部１ａは、タッチパネルの一部を構成し、ユーザの指などがタッチパネルを押したことをタッチとして認識し、押された位置座標（以下、タッチ位置と表記する）と、押した圧力の大きさ（以下、タッチ圧と表記する）と、を検知する。カメラ撮影部１ｂは、ユーザの顔を撮影し、イメージ画像信号を生成する。角速度検知部１ｃは、情報処理装置の向きの変化や角速度を検知する。音声検知部１ｄは、ユーザの声を検知する。なお、図１のタッチ検知部１ａ、カメラ撮影部１ｂ、角速度検知部１ｃ及び音声検知部１ｄは検知部１の構成の一例であり、検知部１は、このうちの一部からなる構成、または他の検知手段を備える構成としてもよい。

検知信号解析部２は、検知部１から取得した検知信号を解析し、このユーザが操作を行っているときのユーザ操作状態を検出する。検知信号解析部２は、検知部１から取得した検知信号によって「操作中」の条件が成立したとき、情報処理装置の動作状態を「操作中」とする。例えば、タッチ検知部１ａによって、予め決められた領域内がタッチされたことを「操作中」の条件とすることができる。また、所定の音声入力があったときでもよい。「操作中」は、少なくとも条件が成立してから一定時間、または有効な操作が続いている間は保持される。また、ユーザ操作状態とは、ユーザが操作中に検知信号から得られる操作を含むユーザの動作、及び表情や声の様子である。

タッチ検知部１ａから取得した検知信号を解析し、ユーザがタッチパネルを操作したタッチ位置及びタッチ圧を検出する。カメラ撮影部１ｂから取得したらユーザの顔のイメージ画像信号を解析し、ユーザの表情の種別を検出する。例えば、イメージ画像信号に捉えられた顔の特徴と、困っている表情、哀しんでいる表情など、各表情に表れる特徴とを照合し、それぞれの表情との類似度によって表情の種別を特定する。角速度検知部１ｃから取得した検知信号を解析し、情報処理装置に加わった衝撃の大きさを検出する。音声検知部１ｄから取得した音声信号を解析し、ユーザが発した言葉と、声の音量とを検出する。これら検出されたユーザの状態と、「操作中」が成立する条件とを照合してユーザが操作中であるか否かを判定する。また、「操作中」であるときは、検出したユーザの状態をユーザ操作状態として操作状態判定部４に出力する。さらに、検知したタッチ位置及びタッチ圧は、操作情報として操作判定部６にも出力する。音声による操作が行われているときは、ユーザの発した言葉を操作情報として操作判定部６に出力する。

記憶部３は、操作状態判定部４が参照する困惑状態情報３ａを予め記憶している。困惑状態情報３ａには、ユーザが操作に困惑していると想定される状態であって、検知信号解析部２によって検出可能なユーザ操作状態が登録されている。操作に困惑している状態とは、操作がまったくわからない、操作がうろ覚え、あるいは、間違った操作を覚えているなど、操作がうまくいかず困っている状態をいう。このようなとき、人は、例えば、タッチ圧が強くなる、タッチ頻度が増す、キー以外の箇所を繰り返しタッチする、情報処理装置を振って衝撃を与える、表情が険しくなる、ため息や「わからない」などの言葉を口にする、声が大きくなるなど、困惑していない通常の状態と動作や様子が異なることが知られている。困惑状態情報３ａには、このような困惑時の特徴的なユーザ操作状態を示す情報が設定されている。なお、タッチ圧が強くなる、声が大きくなるなど、個人差が大きい特徴は、予め通常の状態において測定した値から閾値を求め、困惑状態情報３ａに設定しておくようにしてもよい。

操作状態判定部４は、検知信号解析部２が検出したユーザ操作状態を取得し、取得したユーザ操作状態を、困惑状態情報３ａと照合する。検出したユーザ操作状態が困惑状態情報３ａに示された状態と合致するときは、ユーザが操作に困惑していると判定する。合致していなければユーザは操作に困惑していないと判定する。判定結果は、操作支援部５に出力する。

操作支援部５は、操作状態判定部４からユーザが操作に困惑しているか否かの判定結果を取得する。ユーザが操作に困惑していることが検出されたときは、操作案内を提供して操作支援を行う。また、操作案内を行う前に、ユーザを操作案内に誘導する操作案内誘導画面を表示して、操作案内が必要かどうかを問い合わせるとしてもよい。例えば、「ヘルプ」キーを表示し、ユーザがこれを操作すれば操作案内を提供し、操作されなければ操作案内は行わないようにする。操作案内は、操作判定部６が保持するこれまでの操作履歴や、アプリ制御部７が保持する現在動作中のアプリケーション（以下、アプリとする）に関する情報などに基づいて、適切なメッセージを出して行う。

操作判定部６は、検知信号解析部２から取得した操作情報に基づき、ユーザが行った操作を操作履歴として保持するとともに、操作に応じた指示をアプリ制御部７に出力する。
アプリ制御部７は、操作判定部６から取得した指示に基づき、指示されたアプリの開始や終了処理、アプリの動作状態の変更などのアプリ制御処理を行う。情報処理装置には、所定の機能を実現するためのアプリが複数搭載されており、ユーザは任意のアプリを起動して動作させることができる。アプリ制御部７は、動作中のアプリに関するアプリ情報も保持している。

このように、第１の実施の形態の情報処理装置では、検知部１をなすタッチ検知部１ａ、カメラ撮影部１ｂ、角速度検知部１ｃ及び音声検知部１ｄが、ユーザの動きや様子を検知する。例えば、操作に困惑したユーザのタッチ圧やタッチ間隔が短くなったときは、タッチ検知部１ａがこれを検出する。ユーザが困惑の表情を浮かべれば、カメラ撮影部１ｂがこれを捉える。情報処理装置を振ったりたたいたりすれば、角速度検知部１ｃがこれを検知する。そして、困惑を表す言葉を発したり、声が大きくなったりすれば音声検知部１ｄが検知する。このように、ユーザが操作に困惑したときに行うと想定される動作や様子を検知部１により検知する。検知信号解析部２は、検知部１から取得したそれぞれの検知信号を解析し、ユーザが操作中であるか否かを判定するとともに、操作中であれば、そのときのユーザ操作状態を検出する。タッチ検知部１ａの検知信号からタッチ位置とタッチ圧、カメラ撮影部１ｂの検知信号からユーザの表情の種別、角速度検知部１ｃの検知信号から情報処理装置に加わった衝撃の大きさ、音声検知部１ｄの検知信号からユーザの発した言葉と音量をそれぞれユーザ操作状態として検出する。検出したユーザ操作状態は、操作状態判定部４に出力する。操作状態判定部４は、検出されたユーザ操作状態と、記憶部３に記憶される困惑状態情報３ａに設定されるユーザが操作に困惑したと想定される状態とを照合し、ユーザが操作に困惑しているか否かを判定する。操作支援部５は、ユーザが操作に困惑していると判定されたとき、ユーザに対して操作支援を行う。

このように、第１の実施の形態の情報処理装置では、操作履歴を用いた方法では「キー操作」という通常状態でも発生する動作に基づき判定を行わなければならないのに対し、操作に困惑している状態という通常状態とは異なるユーザ操作状態を検知して判定する。これにより、ユーザが操作に困惑している状態をいち早く検知し、かつ検知の確度を上げることができる。したがって、ユーザが困惑しながら操作を繰り返さなくても、より早いタイミングで適切な操作支援を行うことが可能となる。

［第２の実施の形態］
次に、第２の実施の形態として、第１の実施の形態の情報処理装置を携帯電話機に適用した場合について説明する。図２は、第２の実施の形態の携帯電話機の構成の一例を示す図である。

携帯電話機１００は、タッチパネル対応ディスプレイ１０１、近接センサ１０２、照度センサ１０３、受話口１０４、インカメラ１０５、ワンセグ・ＦＭトランスミッタアンテナ１０６、ジャイロ・加速度センサ１０７及び送話口１０８を有する。

タッチパネル対応ディスプレイ１０１は、タッチパネルとしての機能を兼ね備えたディスプレイである。ディスプレイとして、起動されたアプリに応じて動画や静止画を表示する。また、タッチパネルとして、所定の領域にタッチ用のキーを表示するとともに、ユーザが押したタッチ位置とタッチ圧とを検出する、タッチ検知部１ａの一形態である。近接センサ１０２は、物体が近接したことを検知し、照度センサ１０３は、周囲の明るさを検知する。受話口１０４は、電話として動作するとき、相手の音声を再生する。インカメラ１０５は、ユーザ側の撮影を行うカメラであり、カメラ撮影部１ｂの一形態である。ワンセグ・ＦＭトランスミッタアンテナ１０６は、放送信号を受信するアンテナである。ジャイロ・加速度センサ１０７は、角速度に加え加速度を検知するセンサであり、携帯電話機１００の動き、すなわち、ユーザが携帯電話機１００に動かしたことを検知する、角速度検知部１ｃの一形態である。送話口１０８は、ユーザの音声を入力する、音声検知部１ｄの一形態である。

このように、携帯電話機１００は、第１の実施の形態の検知部１を構成するタッチ検知部１ａ、カメラ撮影部１ｂ、角速度検知部１ｃ及び音声検知部１ｄに対応するセンサを備える。なお、インカメラ１０５及び送話口１０８も画像及び音声を検知するセンサとして位置付ける。

次に、携帯電話機１００のハードウェア構成について図３を用いて説明する。図３は、第２の実施の形態の携帯電話機のハードウェア構成の一例を示す図である。図２と同じものには同じ番号を付し、説明は省略する。

携帯電話機１００は、制御部１１０と、ディスプレイ１０１ａ、タッチパネル１０１ｂ、近接センサ１０２、照度センサ１０３、受話口１０４、インカメラ１０５、ワンセグ・ＦＭトランスミッタアンテナ１０６、ジャイロ・加速度センサ１０７及び送話口１０８を備える。なお、図３では、図２に示したタッチパネル対応ディスプレイ１０１を便宜的にディスプレイ１０１ａとタッチパネル１０１ｂとに分けている。

制御部１１０は、携帯電話機１００を統括的に制御する。制御部１１０は、ＣＰＵ（Central Processing Unit）１１１によって全体が制御されている。ＣＰＵ１１１には、バス１１６を介してＲＯＭ（Read Only Memory）１１２と、ＲＡＭ（Random Access Memory）１１３と、通信インタフェース１１４及び入出力インタフェース１１５が接続されている。

ＲＯＭ１１２は、制御部１１０の電源遮断時においても記憶内容を保持する。ＲＯＭ１１２は、たとえば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）やフラッシュメモリなどの半導体記憶装置や、ＨＤＤ（Hard Disk Drive）などである。また、ＲＯＭ１１２は、制御部１１０の補助記憶装置として使用される。ＲＯＭ１１２には、ＯＳ（Operating System）のプログラムやファームウェア、アプリケーションプログラム、および各種データが格納される。

ＲＡＭ１１３は、制御部１１０の主記憶装置として使用される。ＲＡＭ１１３には、ＣＰＵ１１１に実行させるＯＳのプログラムやファームウェア、アプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１１３には、ＣＰＵ１１１による処理に必要な各種データが格納される。また、ＲＡＭ１１３は、各種データの格納に用いるメモリと別体にキャッシュメモリを含むものであってもよい。

通信インタフェース１１４は、ネットワーク２００に接続し、ネットワーク２００を経由して外部装置との間で情報を交換する。
入出力インタフェース１１５は、ディスプレイ１０１ａ、タッチパネル１０１ｂ、近接センサ１０２、照度センサ１０３、受話口１０４、インカメラ１０５、ワンセグ・ＦＭトランスミッタアンテナ１０６、ジャイロ・加速度センサ１０７及び送話口１０８と接続し、これらの各部からの入力信号をバス１１６経由で制御部１１０内に取り込む。また、ＣＰＵ１１１に従って、各部へ出力信号を出力する。

以上のようなハードウェア構成によって、第２の実施形態の携帯電話機１００の処理機能を実現することができる。
次に、携帯電話機１００が有する機能について図４を用いて説明する。図４は、第２の実施の形態の携帯電話機の機能構成の一例を示す図である。なお、図４では、操作支援に関係しない機能部の図示は省略している。

携帯電話機１００は、検知部１０、検知信号解析部２０、記憶部３０、操作不慣れ判定部４０及びユーザサポート実施部５０を有する。操作不慣れ判定部４０は、操作状態判定部４の一形態である。なお、以下の説明では、操作は、ユーザがタッチパネル１０１ｂに有効なタッチを行ったときに開始されるとする。

検知部１０は、ユーザの動きや様子を検知するため、タッチパネル１０１ｂ、インカメラ１０５、ジャイロ・加速度センサ１０７及び送話口１０８を備える。タッチパネル１０１ｂは、ユーザが指などによって押圧したタッチ位置とタッチ圧とに応じた検知信号を生成する。インカメラ１０５は、ユーザ側の撮影を行うカメラで、ユーザの顔を撮影した画像信号を生成する。ジャイロ・加速度センサ１０７は、携帯電話機１００に加わった加速度及び角速度に応じた検知信号を生成する。送話口１０８は、ユーザの声を検知し、音声信号を生成する。検知部１０の各センサの検知信号は、検知信号解析部２０の対応する解析部に出力される。タッチパネル１０１ｂの検知信号は、タッチ操作解析部２１に出力される。インカメラ１０５の画像信号は、ユーザ表情解析部２２に出力される。ジャイロ・加速度センサ１０７の検知信号は、衝撃解析部２３に出力される。送話口１０８の音声信号は、音声解析部２４に出力される。検知部１０の各部は、所定の周期、近接センサ１０２がユーザの接近を検知したとき、あるいはタッチパネル１０１ｂが有効なタッチを検知したときなどのタイミングで起動する。そして、少なくとも携帯電話機１００の動作状態が操作中の間は、ユーザの動きや様子が検知可能な状態にある。なお、常時検知可能な状態にあるとすることもできる。

検知信号解析部２０は、ユーザが操作中に検知された検知信号を解析してユーザ操作状態を検出し、検出したユーザ操作状態を操作不慣れ判定部４０に出力する。タッチ操作解析部２１、ユーザ表情解析部２２、衝撃解析部２３及び音声解析部２４を有し、それぞれ検知信号からユーザ操作状態を検出する。それぞれ検知の対象が異なっており、少なくとも１つのセンサがユーザの動作や様子を検知し、対応する検知信号解析部２０の各部がその検知信号を解析する。タッチ操作解析部２１は、タッチパネル１０１ｂから取得した検知信号を解析し、ユーザが押圧したタッチ位置とタッチ圧とを検出する。タッチ位置が所定の領域内に含まれ、タッチ圧が一定値以上であるとき、有効なタッチであると判定する。そして、現在の携帯電話機１００の状態が操作中であれば、操作中を継続させる。操作中でなければ、操作が開始されたとして携帯電話機１００の動作状態を操作中にする。検出したタッチ位置とタッチ圧とは、ユーザ操作判定部４１と、タッチ圧判定部４２に出力する。ユーザ表情解析部２２は、インカメラ１０５から取得した画像信号を解析し、ユーザの表情の種別を検出する。表情の種別の検出は、例えば、顔構成要素である眉、目、口の特徴点の座標変化に基づく方法などが知られているが、実施の形態ではこれら公知の方法を用いるとする。なお、ユーザ表情解析部２２では、困惑時に表れると想定される表情の特徴に基づき、該当するかどうかのみを判定するとしてもよい。検出された表情の種別あるいは、困惑の表情であるか否かの判定結果は、ユーザ表情判定部４３に出力する。衝撃解析部２３は、ジャイロ・加速度センサ１０７から取得した検知信号を解析し、携帯電話機１００に加わった加速度あるいは角速度に応じた衝撃の大きさを検出する。検出した衝撃の大きさは、衝撃操作判定部４４に出力する。音声解析部２４は、送話口１０８から取得した音声信号を解析し、ユーザが発した言葉と、声の大きさとを検出する。ユーザが発した言葉は、よく知られている音声認識処理を用いて検出する。また、ため息など語として認識できない音声は、例えば、感嘆詞として分類しておくとしてもよい。検出した言葉と音量は、音声キーワード判定部４５と音量判定部４６に出力する。

記憶部３０は、操作履歴情報３１、タッチ圧情報３２、ユーザ表情情報３３、衝撃操作情報３４、音声キーワード情報３５及び音量情報３６を記憶領域に格納する。これらの各情報は、困惑状態情報３ａの一例であり、操作不慣れ判定部４０の各部に対応して用意される。それぞれについて説明する。

操作履歴情報３１は、ユーザ操作判定部４１に対応して記憶部３０に格納される情報であり、ユーザの操作の履歴から操作不慣れによる困惑を検出するために参照される。図５は、第２の実施の形態の操作履歴情報の一例を示す図である。操作履歴テーブル３１０には、ユーザが操作に困惑しているときによく行われる操作が「操作不慣れと判定する操作」として設定されている。例えば、次の操作がわからないため操作を中断する「長時間放置」がある。また、操作がうろ覚え、あるいは、操作を誤って覚えているため同じ操作を繰り返す「操作繰り返し」、操作がわからないため最初の設定画面に頻繁に戻る「設定画面の高頻度呼び出し」といった操作が設定されている。

タッチ圧情報３２は、タッチ圧判定部４２に対応して記憶部３０に格納される情報であり、タッチ圧からユーザが操作に困惑していることを検出するために参照される。ユーザが操作に困惑しているとき、イライラしてタッチパネル１ｂをタッチする力が大きくなることがある。タッチ圧情報３２には、ユーザが操作に困惑しているか否かを判定するための閾値が登録されている。なお、ユーザが操作に困惑していると推定されるタッチ圧の大きさを閾値として予め設定しておくとしてもよいが、測定値に基づいて設定することもできる。例えば、初期設定時あるいは所定のタイミングで通常時のタッチ圧を測定し、測定されたタッチ圧からユーザが操作に困惑していることを検出するための閾値を求め、設定しておく。なお、ここではタッチ圧で検出するとしたが、タッチ圧ばかりでなく、ユーザが操作に困惑しているときのタッチ位置や、タッチ間隔などが設定されていてもよい。

ユーザ表情情報３３は、ユーザ表情判定部４３に対応して記憶部３０に格納される情報であり、ユーザの困惑の表情を検出するために参照される。図６は、第２の実施の形態のユーザ表情情報の一例を示す図である。ユーザ表情テーブル３３０には、操作不慣れによってユーザが困惑しているときに多い表情の種別が「操作不慣れと判定する表情」として設定されている。図６の例では、操作に困惑している状態では、ユーザは「怒り」や「哀しみ」の表情となることが設定されている。

衝撃操作情報３４は、衝撃操作判定部４４に対応して記憶部３０に格納される情報であり、ユーザが携帯電話機１００に加えた衝撃の大きさを検出するために参照される設定情報である。ユーザが操作不慣れによって困惑しているとき、イライラして携帯電話機１００を振ったり、たたいたりすることがあり、その際、携帯電話機１００は通常の使用状態よりも大きく動く。衝撃操作情報３４には、携帯電話機１００に衝撃が加えられて動いたとき、その衝撃が、ユーザが操作に困惑していることによるのか否かの判定に用いる閾値が設定されている。なお、ユーザが操作に困惑していると推定される衝撃の大きさ（角速度と加速度）を閾値として予め設定しておいてもよいが、測定値に基づいて設定することもできる。例えば、初期設定時あるいは所定のタイミングで通常の使用時に検出される角速度や加速度を測定し、測定された値からユーザが困惑状態にあることを検出するための閾値を求め、設定しておく。

音声キーワード情報３５は、音声キーワード判定部４５に対応して記憶部３０に格納される情報であり、ユーザが操作に困惑しているときの言葉を検出するために参照される。図７は、第２の実施の形態の音声キーワード情報の一例を示す図である。音声キーワードテーブル３５０は、ユーザが操作に困惑しているときによく口にする言葉が「操作不慣れと判定する音声キーワード」として設定されている。例えば、操作がわからないときや、携帯電話機１００が期待通りに動作しないとき、「解らない」、「使い辛い」、「壊れた」といった音声キーワードを検出することが設定されている。

音量情報３６は、音量判定部４６に対応して記憶部３０に格納される情報であり、ユーザが困惑し、大きな声をあげたことを検出するために参照される。ユーザが操作に困惑しているとき、奇声をあげたり、叫んだりして声の音量が通常状態よりも大きくなることがある。音量情報３６には、ユーザが操作に困惑しているか否かの判定に用いる閾値が設定されている。なお、閾値は予め設定しておくほか、例えば、初期設定時あるいは所定のタイミングで通常の使用時に検出されるユーザの音量を測定し、測定された音量値からユーザが困惑状態にあることを検出するための閾値を求め、設定しておいてもよい。

なお、タッチ圧、角速度、加速度、音量などの閾値は、記憶部３０に格納するのではなく、予めプログラムに組み込んでおくとしてもよい。
図４に戻って説明する。

操作不慣れ判定部４０は、ユーザ操作判定部４１、タッチ圧判定部４２、ユーザ表情判定部４３、衝撃操作判定部４４、音声キーワード判定部４５及び音量判定部４６を有する。検知信号解析部２０が検出したユーザ操作状態と、記憶部３０に格納される困惑状態情報３ａと、に基づき、ユーザが不慣れな操作に困惑しているか否かを判定する。判定結果は、ユーザサポート実施部５０に出力する。

ユーザ操作判定部４１は、タッチ操作解析部２１が検出したタッチ位置及びタッチ圧に基づき、有効な操作であるかどうかを判定する。有効な操作であれば、「操作中」を設定するとともに、タッチ位置に対応する操作を特定し、この操作を操作履歴に保存しておく。得られた操作履歴を記憶部３０に格納される操作履歴情報３１と照合する。一致するものがあれば、ユーザが不慣れな操作に困惑していると判定する。一致するものがなければ、困惑していないと判定する。また、所定の機能の動作に必要な一連の操作入力が終了した時点で「操作中」を解除し、対応する機能を実現するアプリを実行させる。また、タッチパネル１０１ｂ以外の箇所に操作ボタンが配置されている装置では、このような操作ボタンが操作されたときも有効な操作と見なし、「操作中」とする。

なお、ユーザ操作判定部４１は、操作不慣れ判定部４０の他の判定部と異なり、ユーザが操作を繰り返した後でなければ操作に困惑していることを検出することができない。しかしながら、操作に困惑しているものの他の判定部で検出されるような動作や様子をユーザが行わない場合も考えられる。携帯電話機１００では、このような場合にも、ユーザ操作判定部４１によってユーザが操作に困惑していることを検出できる。

タッチ圧判定部４２は、「操作中」であれば、タッチ操作解析部２１が検出したタッチ位置及びタッチ圧を記憶部３０に格納されるタッチ圧情報３２の閾値と比較する。検出されたタッチ圧が閾値を超えていれば、ユーザが不慣れな操作に困惑していると判定する。閾値を超えていなければ、困惑していないと判定する。なお、タッチ圧の閾値に加え、タッチ圧情報３２にタッチ位置やタッチ間隔の閾値が設定され、タッチ操作解析部２１からタッチ間隔が得られるときは、これも判定に用いることができる。例えば、タッチ位置が操作キーの表示領域ではないとき、あるいは、タッチ間隔が短いとき、ユーザはイライラしているとし、この状態を困惑の判定に用いる。このように、操作に困って通常状態より強くタッチするなど、通常時と異なるタッチ操作が行われたときは、タッチ圧判定部４２によってユーザが操作に困惑していることを検出できる。

ユーザ表情判定部４３は、「操作中」であれば、ユーザ表情解析部２２が検出したユーザの表情を記憶部３０に格納されるユーザ表情情報３３の設定と照合する。一致する表情があれば、ユーザが不慣れな操作に困惑していると判定する。一致する表情がなければ、困惑していないと判定する。なお、ユーザ表情解析部２２においてユーザが操作に困惑している表情であるか否かを検出していたときは、照合は行わず、結果を利用するとしてもよい。このように、操作に困ってユーザの表情が険しくなるなど、通常状態とは異なる困惑の表情となったときは、ユーザ表情判定部４３によってユーザが操作に困惑していることを検出できる。

衝撃操作判定部４４は、「操作中」であれば、衝撃解析部２３が検出した携帯電話機１００が外部から加わった力によって動いたときの加速度及び角速度を、記憶部３０に格納される衝撃操作情報３４の閾値と比較する。検出された加速度あるいは角速度が閾値を超えていれば、ユーザが不慣れな操作に困惑していると判定する。閾値を超えていなければ、困惑していないと判定する。このように、操作に困っているユーザがイライラして携帯電話機１００をたたいたり振ったりして通常状態では生じないような衝撃が携帯電話機１００に加えられたときは、衝撃操作判定部４４によってユーザが操作に困惑していることを検出できる。

音声キーワード判定部４５は、「操作中」であれば、音声解析部２４が検出したユーザの発した言葉を記憶部３０に格納される音声キーワード情報３５に設定される音声キーワードと照合する。検出されたユーザの言葉の中に音声キーワードが含まれていれば、ユーザが不慣れな操作に困惑していると判定する。音声キーワードが含まれていなければ、困惑していないと判定する。このように、操作に困っているユーザが困惑を表す言葉を発したときは、音声キーワード判定部４５によってユーザが操作に困惑していることを検出できる。

音量判定部４６は、「操作中」であれば、音声解析部２４が検出したユーザの声の音量を記憶部３０に格納される音量情報３６の閾値と比較する。検出された音量が閾値を超えていれば、ユーザが不慣れな操作に困惑していると判定する。閾値を超えていなければ、困惑していないと判定する。このように、操作に困っているユーザがイライラして通常状態より大きな声を出したときは、音量判定部４６によってユーザが操作に困惑していることを検出できる。

ユーザサポート実施部５０は、操作不慣れ判定部４０からユーザが不慣れな操作に困惑しているか否かの判定結果を取得し、ユーザが困惑していると判定されたときは、ユーザの操作をサポートするユーザサポート処理を実施する。ユーザサポート処理では、最初に、ユーザに対してサポートが必要であるかどうかを問い合わせる。例えば、「ヘルプ」キーを画面の一部に表示し、サポートが必要であれば「ヘルプ」を操作するようにメッセージを出す。メッセージは、画面上に表示されても音声で出力されてもよい。そして、ユーザが「ヘルプ」を操作し、サポートを要求したときに、サポート画面を表示する。このように、サポート処理の開始前にサポートの要否を問い合わせることにより、不必要なサポート画面が表示されたときのユーザの不快感をさらに低減することができる。

上記の携帯電話機１００では、操作中のユーザが操作に困ったときに観察される通常時とは異なる動作や様子を検知部１０の各センサが捉える。検知信号解析部２０が検知部１０の検知信号を解析し、ユーザが操作を行っているときの動作や様子を含むユーザ操作状態を検出する。操作不慣れ判定部４０は、検知信号解析部２０が検出したユーザ操作状態と、記憶部３０に格納される操作不慣れのユーザが困惑している状態を設定した情報と、を照合し、ユーザが不慣れな操作に困惑しているか否かを判定する。携帯電話機１００では、ユーザのタッチ圧、表情、発した言葉、声の大きさや、自装置に加わった衝撃の大きさによって、ユーザが操作に困惑している状態を検出することができる。ユーザが不慣れな操作に困惑していると判定されたときは、ユーザサポート実施部５０がサポートの要否を問い合わせるメッセージを提示し、要求されたときはサポートを行う。

次に、携帯電話機１００が実行する操作不慣れ支援処理について図８を用いて説明する。図８は、第２の実施の形態の操作不慣れ支援処理の手順を示すフローチャートである。
操作不慣れ支援処理は、検知部１０を構成するタッチパネル１０１ｂ、ジャイロ・加速度センサ１０７、送話口１０８がユーザの動作を検知したとき、あるいはインカメラ１０５がユーザの顔を撮影したとき、開始される。

［ステップＳ１１］検知信号解析部２０は、検知部１０が検知した検知信号を解析し、ユーザ操作状態を検出する。タッチ操作解析部２１は、タッチパネル１０１ｂの検知信号を解析し、少なくともタッチ位置とタッチ圧とを検出する。ユーザ表情解析部２２は、インカメラ１０５の画像信号を解析し、ユーザの表情を検出する。衝撃解析部２３は、ジャイロ・加速度センサ１０７の検知信号を解析し、携帯電話機１００に加わった衝撃の大きさを検出する。音声解析部２４は、送話口１０８の音声信号を解析し、ユーザが発した言葉と、声の音量を検出する。各解析部における解析処理は、検知部１０から対応する検知信号が得られたときに実行される。

［ステップＳ１２］操作不慣れ判定部４０は、検知信号解析部２０が解析したユーザ操作状態が、操作に困惑している状態であるか否かを判定する。操作不慣れ判定処理については、図９を用いて後で説明する。

［ステップＳ１３］操作不慣れ判定部４０は、操作不慣れによってユーザが操作に困惑しているか否かを判定する。ユーザが不慣れな操作に困惑している状態が検出されたときは、ステップＳ１４に進み、不慣れな操作に困惑している状態が検出されなかったときは、処理を終了する。

［ステップＳ１４］ユーザの操作不慣れによる困惑が検出されたとき、ユーザサポート実施部５０は、ユーザの操作をサポートするための処理を実行する。ユーザサポート処理については、図１０を用いて後で説明する。

次に、操作不慣れ判定処理について、図９を用いて説明する。図９は、第２の実施の形態の操作不慣れ判定処理の手順を示すフローチャートである。操作不慣れ支援処理において、検知信号が解析され、ユーザ操作状態が検出された後に起動される。

［ステップＳ１２１］ユーザ操作判定部４１は、ユーザの操作履歴を取得し、得られた操作履歴を操作履歴情報３１と照合し、ユーザが操作に困惑している状態に該当する操作が検出されるか否かを判定する。該当操作が検出されていればステップＳ１２７に進み、検出されていなければステップＳ１２２に進む。

［ステップＳ１２２］タッチ圧判定部４２は、検出されたユーザのタッチ圧と、タッチ圧情報３２の閾値とを比較し、タッチ圧が閾値を超える該当タッチ圧であるか否かを判定する。タッチ圧が閾値を超えていればステップＳ１２７に進み、閾値を超えていなければステップＳ１２３に進む。

［ステップＳ１２３］ユーザ表情判定部４３は、検出されたユーザの表情をユーザ表情情報３３と照合して困惑表情が検出されるか否かを判定する。困惑表情が検出されればステップＳ１２７に進み、検出されなければステップＳ１２４に進む。

［ステップＳ１２４］衝撃操作判定部４４は、検出された携帯電話機１００が受けた衝撃の大きさ（加速度及び角速度）と、衝撃操作情報３４の閾値とを比較し、衝撃の大きさが閾値を超えたか否かを判定する。衝撃の大きさが閾値を超えていればステップＳ１２７に進み、閾値を超えていなければステップＳ１２５に進む。

［ステップＳ１２５］音声キーワード判定部４５は、検出されたユーザの発した言葉を音声キーワード情報３５と照合して、ユーザが操作に困惑しているときに口にすると想定される音声キーワードを発したか否かを判定する。ユーザが音声キーワードを発していればステップＳ１２７に進み、発していなければステップＳ１２６に進む。

［ステップＳ１２６］音量判定部４６は、検出されたユーザの声の音量と、音量情報３６の閾値とを比較し、ユーザが大きな声を出したか否かを判定する。音量が閾値を超えていればステップＳ１２７に進み、閾値を超えていなければステップＳ１２８に進む。

［ステップＳ１２７］ユーザが不慣れな操作に困惑していると想定される動作や様子が少なくとも１つ検出されたので、ユーザが不慣れな操作に困惑している状態であると判定する。

［ステップＳ１２８］ユーザが不慣れな操作に困惑していると想定される動作や様子が全く検出されなかったので、ユーザが不慣れな操作に困惑している状態でないと判定する。

なお、上記の操作不慣れ判定処理では、検知信号ごとに判定処理を順次行って、いずれかの判定処理で操作不慣れを検出したときは、それ以降の判定処理を行わないようになっている。しかし、検知信号ごとの判定処理をすべて行った後、それぞれの判定処理で得られた結果の論理和を算出して判定を行うとしてもよい。

次に、ユーザサポート処理について、図１０を用いて説明する。図１０は、第２の実施の形態のユーザサポート処理の手順を示すフローチャートである。操作不慣れ支援処理において、ユーザの操作不慣れが検出されたときに起動される。

［ステップＳ１４１］ユーザサポート実施部５０は、ユーザに対してヘルプ誘導通知を実行し、ユーザに操作をサポートする必要があるか否かを問い合わせる。例えば、操作をサポートするヘルプ処理を起動させる開始ボタンと、サポートが必要であるか否かを問い合わせるメッセージを表示画面に表示する。

［ステップＳ１４２］ユーザサポート実施部５０は、ヘルプ誘導通知を受けたユーザがヘルプを要求したか否かを判定する。例えば、開始ボタンが押されたか否かを判定する。ヘルプが要求されれば処理をステップＳ１４３に進め、ヘルプが要求されなければヘルプ誘導通知を消し、処理を終了する。

［ステップＳ１４３］ユーザサポート実施部５０は、ユーザがヘルプを要求したので、サポート情報を提供する。例えば、表示画面をサポート用の表示画面に切り替え、サポート情報を表示する。

このような携帯電話機１００の操作支援処理によれば、ユーザが操作に困惑していると想定される動作や様子が検知されると、ユーザサポート処理が開始される。これらの動作及び様子は、通常状態における動作及び様子とは異なるため、ユーザの操作不慣れによる困惑状態を高い確度で検出することができる。また、困惑した状態のユーザが操作を繰り返し行う前にユーザサポートを行うことができるため、より早くユーザサポート処理を行うことができる。

［第３の実施の形態］
次に、第３の実施の形態として、第２の実施の形態の構成に対象操作状態判定部を設け、ユーザが操作に困惑している状態の検出の確度をより高めることが可能な構成について説明する。

携帯電話機１００の多機能化及び高機能化は著しく、本来の通話機能に加え、カメラ機能、動画像の再生機能、ブラウザ機能、ナビゲーション機能などを備えている。このように多機能化された携帯電話機１００では、動作中のアプリによっては、ユーザが操作に困惑していると想定されるユーザの動作や様子が、操作に困惑していなくても検出される場合が考えられる。第３の実施の形態は、このようなケースを除外することによって、ユーザが操作に困惑している状態の検出確度を上げることを可能にするものである。

第３の実施の形態の構成について図１１を用いて説明する。図１１は、第３の実施の形態の携帯電話機の機能構成の一例を示す図である。図４と同じものには同じ番号を付し、説明は省略する。

携帯電話機３００は、検知部１０、検知信号解析部２０、操作不慣れ判定部４０、ユーザサポート実施部５０及び対象操作状態判定部８０を有する。検知部１０、検知信号解析部２０、操作不慣れ判定部４０及びユーザサポート実施部５０は、第２の実施の形態の携帯電話機１００と同じである。なお、図１１では、図４に示した記憶部３０は省略している。

第３の実施の形態の携帯電話機３００は、第２の実施の形態の携帯電話機１００に対象操作状態判定部８０を加えた構成である。よって、以下では、対象操作状態判定部８０について説明する。

対象操作状態判定部８０は、動作アプリ判定部８１、除外項目情報記憶部８２及び除外操作状態判定部８３を有し、検知信号解析部２０と操作不慣れ判定部４０との間に配置される。そして、検知信号解析部２０が検出したユーザ操作状態から指定されたものを除外し、ユーザが操作に困惑しているか否かを判定する操作不慣れ判定部４０に出力する。動作アプリ判定部８１は、ユーザが操作を行っているときに動作しているアプリを判定する。除外項目情報記憶部８２は、除外項目テーブル８２ａを格納する記憶部である。

ここで、除外項目テーブル８２ａは、ユーザが操作に困惑している状態を検出する際の参照項目から除外するものを設定した情報である。図１２は、第３の実施の形態の除外項目情報の一例を示す図である。除外項目テーブル８２ａには、操作不慣れ判定部４０によるユーザが操作に困惑しているか否かの判定の対象から除外する項目が「操作不慣れ判定から除外される項目」として、動作アプリに対応付けて設定されている。例えば、動作アプリがカメラであるときは、検出された操作がファインダー画面での操作であれば、判定の対象から除外することが設定されている。また、動作アプリがマップであるときは、地図画面上で操作が行われているとき、この操作を判定の対象から除外することが設定されている。操作ばかりでなく、動作アプリが動画再生であるとき、ユーザの表情を判定の対象から除外することが設定されている。視聴する動画の内容によっては、操作に困惑しているわけではないのにユーザの顔が険しくなることが想定されるためである。

図１１に戻って説明する。除外操作状態判定部８３は、検知信号解析部２０からユーザ操作状態（ユーザの動作及び様子）を取得するとともに、動作アプリ判定部８１から動作中の動作アプリに関する情報を取得する。そして、取得した動作アプリ及びユーザ操作状態を除外項目情報記憶部８２に格納される除外項目テーブル８２ａと照合し、一致する項目の有無を判定する。一致する項目があるときは、該当するユーザ操作状態を削除する。操作不慣れ判定部４０には、除外操作状態判定部８３によって除外項目を除去したユーザ操作状態を出力する。

このように、携帯電話機３００では、対象操作状態判定部８０は、検知信号解析部２０が検出したユーザ操作状態のうち、除外項目テーブル８２ａに設定された除外項目を除外し、残ったユーザ情報のみを操作不慣れ判定部４０に出力する。操作不慣れ判定部４０は、対象操作状態判定部８０によって除外された項目を除くユーザ操作状態に基づき、ユーザが操作に困惑しているか否かを判定する。例えば、動画の視聴中に音量の調整などの操作を行ったユーザが、視聴している動画の内容によって険しい表情となっていたとしても、検知信号解析部２０によって検出された険しい表情は対象操作状態判定部８０によって判定処理の参照項目から除外される。操作不慣れ判定部４０は、判定時にユーザの表情を参照しないので、このようなケースでユーザサポート処理が行われることはない。これにより、ユーザが操作に困惑していることをより正確に検出できるようになる。

次に、除外操作判定処理について、図１３を用いて説明する。なお、除外操作判定処理は、図８に示した操作不慣れ支援処理において、検知信号解析処理（ステップＳ１１）が行われた後であって、操作不慣れ判定処理（ステップＳ１２）の前に実行される。図１３は、第３の実施の形態の除外操作判定処理の手順を示すフローチャートである。除外操作判定処理は、検知信号解析処理によってユーザ操作状態が検出された後に起動される。

［ステップＳ１８１］動作アプリ判定部８１は、現在どのアプリを使用しているのかを示すアプリ情報を取得し、動作しているアプリに除外項目が設定されているか否かを判定する。判定は、動作アプリと、除外項目情報記憶部８２に格納される除外項目テーブル８２ａの「動作アプリ」とを照合して実行する。動作アプリに除外項目が設定されていればステップＳ１８２に進み、除外項目が設定されていなければ処理を終了する。

［ステップＳ１８２］除外操作状態判定部８３は、検知信号解析部２０から取得したユーザ操作状態と、除外項目情報記憶部８２に格納される除外項目テーブル８２ａの該当する「動作アプリ」に設定されている「操作不慣れ判定から除外される項目」と、を照合する。検知信号解析部２０が検出したユーザ操作状態が「操作不慣れ判定から除外される項目」と一致していれば、ステップＳ１８３に進み、一致していなければステップＳ１８４に進む。

［ステップＳ１８３］除外操作状態判定部８３は、検出されたユーザ操作状態が「操作不慣れ判定から除外される項目」と一致しているので、検出されたユーザ操作状態を操作不慣れ判定処理の対象から除外する。

［ステップＳ１８４］除外操作状態判定部８３は、検出されたすべての「ユーザ操作状態」について、「操作不慣れ判定から除外される項目」との照合が終了したかどうかを判定する。検出されたすべての「ユーザ操作状態」について照合が終了していなければ、ステップＳ１８２に戻り、照合が終了していれば処理を終了する。

このように、除外操作判定処理により、検出された「ユーザ操作状態」が使用しているアプリに対応して設定された操作不慣れの判定の対象から除外される項目であれば、この「ユーザ操作状態」は操作不慣れ判定処理の対象から除外される。これにより、操作不慣れ判定処理における判定をより正確に行うことができる。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、情報処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。

プログラムを流通させる場合には、たとえば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。

また、上記の処理機能の少なくとも一部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）などの電子回路で実現することもできる。

１ 検知部
１ａ タッチ検知部
１ｂ カメラ撮影部
１ｃ 角速度検知部
１ｄ 音声検知部
２ 検知信号解析部
３ 記憶部
３ａ 困惑状態情報
４ 操作状態判定部
５ 操作支援部
６ 操作判定部
７ アプリ制御部
１０ 検知部
２０ 検知信号解析部
３０ 記憶部
４０ 操作不慣れ判定部
５０ ユーザサポート実施部
８０ 対象操作状態判定部

Claims (10)

1. ユーザが操作に困惑していると想定される状態を示す困惑状態情報を記憶する記憶部と、
   前記ユーザの動きや様子を検知した検知信号を解析し、当該ユーザが操作を行っているときのユーザ操作状態を検出する検知信号解析部と、
   前記ユーザ操作状態を前記困惑状態情報と照合し、前記ユーザが操作に困惑しているか否かを判定する操作状態判定部と、
   前記操作状態判定部によって前記ユーザが操作に困惑していると判定されたときは、前記ユーザに対して操作支援を行う操作支援部と、
   を有する情報処理装置。
2. 前記検知信号は、前記ユーザがタッチパネルにタッチした圧力を検知した信号であって、前記検知信号解析部は、前記ユーザ操作状態を前記ユーザのタッチ圧として検出し、
   前記操作状態判定部は、検出した前記ユーザのタッチ圧と、前記困惑状態情報が示す前記ユーザが操作に困惑していると想定されるタッチ圧の閾値と、を比較し、検出した前記ユーザのタッチ圧が前記困惑状態情報の示すタッチ圧の閾値を超えているときは、前記ユーザが操作に困惑していると判定する、
   請求項１に記載の情報処理装置。
3. 前記検知信号は、前記情報処理装置が動いたときの角速度と加速度のうちの少なくとも一つを検知した信号であって、前記検知信号解析部は、前記ユーザ操作状態を前記情報処理装置に加えられた衝撃の大きさとして検出し、
   前記操作状態判定部は、検出した前記衝撃の大きさと、前記困惑状態情報が示す前記ユーザが操作に困惑していると想定される衝撃の大きさの閾値と、を比較し、検出した前記情報処理装置に加えられた衝撃の大きさが前記困惑状態情報の示す衝撃の大きさの閾値を超えているときは、前記ユーザが操作に困惑していると判定する、
   請求項１に記載の情報処理装置。
4. 前記検知信号は、ユーザの声を入力した音声信号であって、前記検知信号解析部は、前記ユーザ操作状態を前記ユーザが発した言葉として検出し、
   前記操作状態判定部は、検出した前記ユーザの言葉と、前記困惑状態情報が示す前記ユーザが操作に困惑しているときに発すると想定される音声キーワードと、を照合し、検出した前記ユーザの言葉に前記困惑状態情報の示す音声キーワードが含まれるときは、前記ユーザが操作に困惑していると判定する、
   請求項１に記載の情報処理装置。
5. 前記検知信号は、ユーザの声を入力した音声信号であって、前記検知信号解析部は、前記ユーザ操作状態を前記ユーザの声の音量として検出し、
   前記操作状態判定部は、検出した前記ユーザの声の音量と、前記困惑状態情報が示す前記ユーザが操作に困惑していると想定される声の音量の閾値と、を比較し、検出した前記ユーザの声の音量が前記困惑状態情報の示す声の音量の閾値を超えているときは、前記ユーザが操作に困惑していると判定する、
   請求項１に記載の情報処理装置。
6. 前記検知信号は、ユーザの顔を撮像した画像信号であって、前記検知信号解析部は、前記ユーザ操作状態を前記ユーザの顔の表情の種別として検出し、
   前記操作状態判定部は、検出した前記ユーザの顔の表情の種別と、前記困惑状態情報が示す前記ユーザが操作に困惑している想定される顔の表情の種別と、を照合し、検出した前記ユーザの表情の種別が前記困惑状態情報の示す顔の表情の種別に含まれているときは、前記ユーザが操作に困惑していると判定する、
   請求項１に記載の情報処理装置。
7. 前記操作状態判定部における判定処理の対象から除外する前記ユーザ操作状態の項目を使用しているアプリケーションに対応付けて示した除外項目情報を参照し、前記検知信号解析部が検出した前記ユーザ操作状態が、動作しているアプリケーションに対応する除外項目と一致するときは、当該ユーザ操作状態を前記判定処理の対象から除外する対象操作状態判定部を有し、
   前記操作状態判定部は、前記対象操作状態判定部において前記判定処理の対象として残った前記ユーザ操作状態を前記困惑状態情報と照合し、前記ユーザが操作に困惑しているか否かを判定する、
   請求項１から請求項６のいずれか一項に記載の情報処理装置。
8. 前記操作支援部は、前記ユーザが操作に困惑していると判定されたときは、前記ユーザを操作案内へ誘導する操作案内誘導画面を表示し、前記操作案内誘導画面において前記ユーザから前記操作案内の提供を指示されたとき、前記操作案内を提供する処理を開始する、
   請求項１から請求項７のいずれか一項に記載の情報処理装置。
9. コンピュータが、
   ユーザの動きや様子を検知した検知信号を解析して当該ユーザが操作を行っているときのユーザ操作状態を検出し、
   前記ユーザ操作状態と、記憶部に記憶される前記ユーザが操作に困惑していると想定される状態を示す困惑状態情報と、を照合して前記ユーザが操作に困惑しているか否かを判定し、
   前記ユーザが操作に困惑していると判定されたときは、前記ユーザに対して操作支援を行う、
   操作支援方法。
10. コンピュータに、
    ユーザの動きや様子を検知した検知信号を解析して当該ユーザが操作を行っているときのユーザ操作状態を検出し、
    前記ユーザ操作状態と、記憶部に記憶される前記ユーザが操作に困惑していると想定される状態を示す困惑状態情報と、を照合して前記ユーザが操作に困惑しているか否かを判定し、
    前記ユーザが操作に困惑していると判定されたときは、前記ユーザに対して操作支援を行う、
    処理を実行させる操作支援プログラム。

Images