JP2016122980A - タッチスクリーン付情報処理端末、情報処理方法および情報処理プログラム - Google Patents

Abstract

【解決手段】携帯電話機１０はタッチスクリーン１８を含む。タッチスクリーン上の機能表示部１０６に、タッチ入力によって操作可能な、タッチ可能オブジェクト１０６ａ‐１０６iが表示され、これらのオブジェクトのうち可読文字が付与されていないオブジェクトには、可読文字を含む可読マーク１０８が付加される。スピーカ切り替えキー２４ｄを押した状態でマイク２２から音声を入力すると、その音声が識別される。入力された音声が、オブジェクトの可読文字または可読マークの可読文字に相当するとき、該当するオブジェクトの機能を実行できる。
【効果】タッチ可能オブジェクトを音声入力によって操作できるので、確実に所望の操作を実行することができる。
【選択図】図４

Description

この発明は、タッチスクリーン付情報処理端末、情報処理方法および情報処理プログラムに関し、特にたとえばタッチスクリーン上に表示されているタッチ入力によって操作可能なオブジェクト（タイルないしアイコン、仮想（ソフト）キーなどを含む。）を音声（ボイス）で操作する、新規なタッチスクリーン付情報処理端末、情報処理方法および情報処理プログラムに関する。

背景技術の一例が特許文献１に開示されている。この特許文献１の携帯電話機では、メール着信があったとき、「読んで」と音声入力をすれば、メールを読み上げるものである。ただし、この背景技術は、音声によってオブジェクトを操作する技術ではない。

非特許文献１には、音声によって、携帯電話機に依頼することができる機能「Siri」(商品名)が記載されている。たとえば、「山田一郎さんに電話」のように、音声によって指示を入力すると、携帯電話機はその音声指示を解釈して、必要な動作を実行して所望の結果をユーザに提供する。

特開2005-268975号公報［H04M 1/00、G06F 13/00］

http://manuals.info.apple.com/MANUALS/1000/MA1565/ja_JP/iphone_user_guide_j.pdf

非特許文献１の技術によれば、携帯電話機をユーザが直接操作しなくても、所望の結果が得られるので、便利である。

しかしながら、たとえば上記の例において、電話帳の登録名が「山田一郎」ではなく名を省略したたとえば「山田さん」である場合には、携帯電話機は指示音声にある「山田一郎」を電話帳から見つけることができず、結局その指示に応えられないという結果を生じる可能性がある。つまり、携帯電話機が理解できるような音声入力がなければ、確実な操作ができないという問題がある。

それゆえに、この発明の主たる目的は、新規な、タッチスクリーン付情報処理端末、情報処理方法および情報処理プログラムを提供することである。

この発明の他の目的は、音声入力によって確実に操作できる、タッチスクリーン付情報処理端末、情報処理方法および情報処理プログラムを提供することである。

この発明の態様は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

本発明の第１の態様によるタッチスクリーン付情報端末は、マイクと、電源キーを含む複数のキーを含み、タッチスクリーン上に表示されたタッチ可能オブジェクトをタッチ入力によって操作したときそのオブジェクトの機能を実行する実行部を備える、タッチスクリーン付情報処理端末であって、特定のモードが設定されているときにマイクから入力された音声を認識する音声認識部、および音声認識部が認識した音声がタッチ可能オブジェクトを指示するかどうか判断する判断部を備え、実行部は、判断部によって音声がタッチ可能オブジェクトを指示すると判断したとき、そのオブジェクトの機能を実行する、タッチスクリーン付情報処理端末である。

第１の態様では、タッチスクリーン付情報処理端末（１０：実施例において相当する参照番号の例示である。以下同様。）は、マイク（２２）と、電源キーを含む複数のキー（２４ａ‐２４ｈ）と、タッチスクリーン（１８）を含む。ホーム画面やアプリケーション画面においては、タッチスクリーン（１８）上にタッチ可能オブジェクト（１０６ａ‐１０６ｉ、１１２ａ‐１１２ｉなど）を表示する。これらのタッチ可能オブジェクトをタッチ入力によって操作したとき、実行部（３０、３０２ｄ、Ｓ４３、Ｓ６３）は、タッチ入力によって操作されたオブジェクトに割り付けられた機能を実行する。たとえば、スピーカ切り替えキー（２４ｄ）のような特定のキーを押し続けると、音声操作モードが設定される。音声操作モードにおいて、ユーザがマイク（２２）から音声を入力すると、音声認識部（３０、３０２ｃ、Ｓ３９、Ｓ５９）がその音声を認識する。そして、判断部（３０、３０２ｃ、Ｓ４１、Ｓ６１）が、音声認識部が認識した音声がタッチ可能オブジェクトを指示すると判断すると、実行部は、そのオブジェクトの機能を実行する。

第１の態様によれば、タッチスクリーン上に表示されたタッチ可能オブジェクトを音声入力によって操作するようにしているので、タッチ入力によってタッチ可能オブジェクトを操作する場合と同様に、オブジェクトを確実に操作できる。

本発明の第２の態様は、は、第１の態様に従属し、タッチ可能オブジェクトが可読文字を含むとき、判断部は音声が可読文字に該当するかどうか判断する、タッチスクリーン付情報処理端末である。

第２の態様では、オブジェクトが可読文字を含むか、もしくはオブジェクトが可読文字とともに表示されているときには、判断部は、入力された音声が、オブジェクトに含まれるかオブジェクトに関連して表示される可読文字に相当するかどうか判断する。

第２の態様によれば、大部分のオブジェクトは可読文字を含みまたは可読文字とともにタッチスクリーン上に表示されるので、音声入力に関連する機能を追加するだけで、実現できる。

本発明の第３の態様は、第１または第２の態様に従属し、タッチ可能オブジェクトに、可読文字を含む可読マークを付加する付加部をさらに備え、判断部は音声が可読マークに含まれる可読文字に該当するかどうか判断する、タッチスクリーン付情報処理端末である。

第３の態様では、付加部（３０、３０２ｃ、Ｓ３１、Ｓ５１）は、可読文字を含まないオブジェクトまたは可読文字とともに表示されていないオブジェクト、さらには人前で読み上げることがプライバシーに関わるようなオブジェクトに対して、可読マーク（１０８、１１４ａ‐１１４ｃ、１１４ａ‐１１４ｃなど）を付加する。したがって、判断部は、入力された音声が可読マークに含まれる可読文字に該当するかどうか判断する。

第３の態様によれば、たとえば可読文字を含まないオブジェクトであっても、可読マークを付加することによって、そのオブジェクトを音声入力によって確実に操作できる。

本発明の第４の態様は、第１ないし第３のいずれかの態様に従属し、ロック解除画面が表示されている状態において、音声認識部が認識した音声がロック解除のための正しい音声に該当するかどうか判断する第２判断部、および第２判断部が、音声がロック解除のための正しい音声に該当すると判断したとき、ロック状態を解除するロック解除部をさらに備える、タッチスクリーン付情報処理端末。

第４の態様では、第２判断部（３０、３０２ａ、Ｓ１３）は、たとえばスピーカ切り替えキー（２４ｄ）を押し続けているときに音声認識部が認識した音声がロック解除のための正しい音声（たとえば、「Smart Device」：スマートデバイス）に該当するかどうか判断する。そして、第２判断部が、音声がロック解除のための正しい音声に該当すると判断したとき、ロック解除部（３０、３０２ａ、Ｓ１５）ロック状態を解除して、たとえばホーム画面を表示する。

第４の態様によれば、音声入力によってロック状態を解除することができる。

本発明の第５の態様は、第１ないし第４のいずれかの態様に従属し、特定のモードは、特定のハードウェアキーの操作に応じて設定される、タッチスクリーン付情報処理端末である。

第５の態様では、スピーカ切り替えキー（２４ｄ）のような特定のキーを操作することによって、音声入力によってタッチ可能オブジェクトを操作する特定のモードが設定できる。

第５の態様によれば、特定のキーの操作で特定のモードを簡単に設定できる。

本発明の第６の態様は、マイク（２２）と、電源キーを含む複数のキー（２４ａ‐２４ｈ）を含み、タッチスクリーン（１８）上に表示されたタッチ可能オブジェクトをタッチ入力によって操作したときそのオブジェクトの機能を実行する実行部（３０、３０２ｄ、Ｓ４３、Ｓ６３）を備える、タッチスクリーン付情報処理端末（１０）のプロセサ（３０）が次のステップを実行する情報処理方法であって、特定のモードが設定されているときにマイクから入力された音声を認識する音声認識ステップ（Ｓ３９、Ｓ５９）、および音声認識ステップにおいて認識した音声がタッチ可能オブジェクトを指示するかどうか判断する判断ステップ（Ｓ４１、Ｓ６１）を備え、実行部は、判断ステップによって音声がタッチ可能オブジェクトを指示すると判断したとき、そのオブジェクトの機能を実行する、情報処理方法である。

本発明の第７の態様は、マイク（２２）と、電源キーを含む複数のキー（２４ａ‐２４ｈ）を含み、タッチスクリーン（１８）上に表示されたタッチ可能オブジェクトをタッチ入力によって操作したときそのオブジェクトの機能を実行する実行部（３０、３０２ｄ、Ｓ４３、Ｓ６３）を備える、タッチスクリーン付情報処理端末（１０）のプロセサ（３０）を、特定のモードが設定されているときにマイクから入力された音声を認識する音声認識部（３０、３０２ｃ、Ｓ３９、Ｓ５９）、および音声認識部が認識した音声がタッチ可能オブジェクトを指示するかどうか判断する判断部（３０、３０２ｃ、Ｓ４１、Ｓ６１）して機能させ、実行部によって、判断部によって音声がタッチ可能オブジェクトを指示すると判断したとき、そのオブジェクトの機能を実行させる、情報処理プログラムである。

第６および第７の発明によっても、第１の発明と同様の効果が期待できる。

この発明の一態様によれば、タッチスクリーン上に表示されたタッチ可能オブジェクトを音声入力によって操作するようにしているので、タッチ入力によってタッチ可能オブジェクトを操作する場合と同様に、オブジェクトをより確実に操作できる。

また、オブジェクトに可読マークを付加するようにすれば、たとえば可読文字を持たないオブジェクトであっても、音声入力によってより確実に操作することができる。

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例の携帯電話機を示す外観図を示す。 図２は図１に示す携帯電話機の電気的な構成を示すブロック図である。 図３はタッチスクリーンに表示されるロック解除画面の一例を示す概略図である。 図４はタッチスクリーンに表示されるホーム画面の一例を示す概略図である。 図５はタッチスクリーンに表示される連絡先画面の一例を示す概略図である。 図６はタッチスクリーンに表示される連絡先画面の次の例を示す概略図である。 図７はタッチスクリーンに表示される呼び出し画面の一例を示す概略図である。 図８は図２に示すＲＡＭのメモリマップの一例を示す概略図である。 図９は図１に示す携帯電話機におけるロック解除の操作を示すフロー図である。 図１０は図１に示す携帯電話機におけるホーム画面上での操作を示すフロー図である。 図１１は図１に示す携帯電話機におけるアプリケーション画面上での操作を示すフロー図である。 図１２はタッチスクリーンに表示されるホーム画面の他の例を示す概略図である。 図１３はタッチスクリーンに表示されるアプリケーション画面の他の例を示す概略図である。

図１を参照して、この発明の一実施例の携帯電話機１０は、一例としてスマートフォン（smartphone）であり、ユーザによって所持される。ただし、この発明は、携帯電話機１０のみならず、デスクトップ型ＰＣ、ラップトップ型ＰＣ、タブレット型ＰＣ、タブレット端末、ＰＤＡなどの任意のタッチスクリーン付情報処理端末に適用可能であることを予め指摘しておく。

図１に示すように、携帯電話機１０は縦長の扁平矩形のハウジング１２が設けられる。ハウジング１２の主面（表面）には、ディスプレイ１４が設けられる。たとえば、ディスプレイ１４は、液晶や有機ＥＬなどで構成される。このディスプレイ１４の上には、タッチパネル１６が設けられる。なお、この明細書においては、ディスプレイ１４およびタッチパネル１６を個別に呼ぶ場合もあるが、必要なときには、このようなディスプレイ１４およびタッチパネル１６を含めて「タッチスクリーン１８」と呼ぶ。つまり、タッチスクリーン１８上では、表示されているオブジェクトをタッチ入力によって操作できる。ただし、ディスプレイ１４およびタッチパネル１６は別々の部品であってもよく、一体の部品であってもよい。

ハウジング１２の縦方向一端（上端）にスピーカ２０が内蔵され、縦方向他端（下端）の主面側にマイク２２が内蔵される。また、ハウジング１２の主面および側面には、タッチスクリーン１８とともに入力部ないし操作部として機能するハードウェアキー（以下、単に「キー」と呼ぶことにする。）２４ａ、２４ｂ、２４ｃ、２４ｄ、２４ｅ、２４ｆ、２４ｇ、２４ｈが設けられる。

図１からも分かるように、キー２４ａ、２４ｂ、２４ｃは、ハウジング１２の主面であり、かつタッチスクリーン１８の下方に、横並びで設けられる。キー２４ｄは、ハウジング１２の天面（上側面）の左端部に設けられる。また、キー２４ｅおよびキー２４ｆは、ハウジング１２の左側面に設けられる。

図１からも分かるように、ハウジング１２の左側面のうち、キー２４ｅは、上端部に設けられ、キー２４ｆは中央部に設けられる。さらに、キー２４ｇおよびキー２４ｈは、ハウジング１２の右側面に設けられる。

図１からも分かるように、ハウジング１２の右側面のうち、キー２４ｇは、中央部の少し上方に設けられ、キー２４ｈは、中央部の少し下方に設けられる。

ただし、キー２４ａ‐２４ｈの配置および個数は一例であり、実施例の携帯電話機１０の構成に限定される必要はなく、適宜変更可能である。また、後述するキー２４ａ‐２４ｈに割り当てられた機能も一例であり、限定されるべきではなく、実際の製品の仕様によって適宜変更可能である。

キー２４ａは、バックキーであり、直前の画面を表示する（直前の画面に戻る）ために用いられる。キー２４ｂは、ホームキーであり、ホーム画面（図４参照）を表示するために用いられる。キー２４ｃは、メニューキーであり、現在表示されている画面のオプションについてのメニューを表示するために用いられる。

キー２４ｄは、スピーカ２０の切り替えキーであり、受話用スピーカとハンズフリー用スピーカを切り替えるために用いられる。この実施例では、スピーカ２０は受話用スピーカとハンズフリー用スピーカの兼用であり、スピーカ２０のゲインを調整することにより、受話用の音量とハンズフリー用の音量の間で切り替えられる。

キー２４ｅは、ボリュームキーであり、音量を調整するために用いられる。このキー２４ｅは、ＵＰキーおよびＤＯＷＮキーで構成される。ＵＰキーが操作されると、音量が増大され、ＤＯＷＮキーが操作されると、音量が減少される。ただし、音量は最大値と最小値の間で調整可能である。また、このキー２４ｅはいわゆるシーソーキーまたはロッカーキーであり、増減を調整する必要のある他の用途に用いられることもある。

キー２４ｆは、ＰＴＴ（Push-To-Talk)通話キーであり、ＰＴＴ通話において、発言（発話）する場合に用いられる。

キー２４ｇは、電源キーであり、携帯電話機１０の主電源をオン／オフするために用いられる。キー２４ｈは、カメラキーであり、カメラ機能（カメラアプリケーション）を実行するために用いられる。ただし、この実施例ではカメラ機能は重要ではないので、以下カメラ機能に関する記述は省略する。

図２は図１に示す携帯電話機１０の電気的な構成の一例を示すブロック図である。図２に示すように、携帯電話機１０は、プロセサ３０を含み、プロセサ３０には、無線通信回路３２、Ａ／Ｄ変換器３６、Ｄ／Ａ変換器３８、ゲイン調整回路３９、入力装置４０、表示ドライバ４２、フラッシュメモリ４４、ＲＡＭ４６、タッチパネル制御回路４８などが接続される。

無線通信回路３２にはアンテナ３４が接続され、Ａ／Ｄ変換器３６にはマイク２４が接続され、Ｄ／Ａ変換器３８にはゲイン調整回路３９を介してスピーカ２０が接続される。さらに、表示ドライバ４２にはディスプレイ１４が接続され、タッチパネル制御回路４８にはタッチパネル１６が接続される。

プロセサ３０は、コンピュータまたはＣＰＵとも呼ばれ、携帯電話機１０の全体制御を司る。フラッシュメモリ４４は、記憶部として機能し、携帯電話機１０の制御プログラムや制御プログラムの実行に必要な各種のデータを保存する。ＲＡＭ４６は、記憶部として機能し、プロセサ３０のワーキング領域ないしバッファ領域として用いられる。したがって、ＲＡＭ４６には、フラッシュメモリ４４に記憶されている制御プログラムの全部または一部が使用に際して展開され（書き込まれ）、プロセサ３０はこのＲＡＭ４６上の制御プログラムに従って動作する。また、ＲＡＭ４６には、制御プログラムの実行に必要なデータも記憶される。

入力装置４０は、図１に示したキー２４ａ‐２４ｈを含み、キー２４ａ‐２４ｈに対するキー操作を受け付ける。キー操作を受け付けたキー２４ａ‐２４ｈの情報（キーデータ）は入力装置４０によってプロセサ３０に入力される。ただし、入力装置４０としては、タッチスクリーン１８上に表示される仮想キー（ソフトウェアキー）、たとえば数字キー、アルファベットキーなども含む。

無線通信回路３２は、アンテナ３４を通して、音声通話やメールなどのための電波を送受信するための回路である。実施例では、無線通信回路３２は、ＣＤＭＡ方式での無線通信を行うための回路である。たとえば、タッチスクリーン１８が受け付けた発呼（音声発信）の操作に基づき、無線通信回路３２は、プロセサ３０の指示の下、音声発信処理を実行し、アンテナ３４を介して音声発信信号を出力する。音声発信信号は、基地局および通信網を経て相手の電話機に送信される。そして、相手の電話機において音声着信処理が行われると、通信可能状態が確立され、プロセサ３０は通話処理を実行する。なお、無線通信回路３２は、ＣＤＭＡ方式ではなく、ＬＴＥ方式などの他の通信方式に対応するものであってもよい。

Ａ／Ｄ変換器３６は、マイク２２から得られたアナログの音声信号をディジタルの音声データに変換し、その音声データをプロセサ３０に入力する。Ｄ／Ａ変換器３８は、ディジタルの音声データをアナログの音声信号に変換して、ゲイン調整回路３９を介してスピーカ２０に与える。したがって、音声データに基づく音声がスピーカ２０から出力される。そして、通話処理が実行されている状態では、マイク２２によって集音された音声が相手の電話機に送信され、相手の電話機で集音された音声が、スピーカ２０から出力される。

ただし、スピーカ２０の音量は、ゲイン調整回路３９によって調整される。ゲイン調整回路３９は、プロセサ３０の指示の下、キー２４ｄの操作に応じて、受話用の音量（音圧レベル）とハンズフリー用の音量（音圧レベル）の間で切り替え、キー２４ｅの操作に応じて、受話用の音量の制御範囲内で音量を変化させたり、ハンズフリー用の音量の制御範囲内で音量を変化させたりする。

ディスプレイ１４（タッチスクリーン１８）は、プロセサ３０から出力される映像データまたは画像データに従って映像または画像を表示する。たとえば、表示ドライバ４２は、ディスプレイ１４（タッチスクリーン１８）に表示するための映像データまたは画像データを一時的に記憶するビデオメモリを含んでおり、プロセサ３０から出力された映像データまたは画像データはこのビデオメモリに記憶される。そして、表示ドライバ４２は、ビデオメモリの内容に従って、ディスプレイ１４（タッチスクリーン１８）に映像または画像を表示する。つまり、表示ドライバ４２は、プロセサ３０の指示の下、当該表示ドライバ４２に接続されたディスプレイ１４（タッチスクリーン１８）の表示を制御する。

タッチパネル制御回路４８は、タッチパネル１６（タッチスクリーン１８）に必要な電圧などを付与すると共に、指またはスタイラスによってタッチされた位置（タッチ位置）を示す座標データをプロセサ３０に入力する。したがって、プロセサ３０は、入力された座標データに基づいて、タッチ操作されたオブジェクトを判断する。ただし、この明細書において、オブジェクトとは、タッチスクリーン１８に表示されるアイコン、タイル、ソフトウェアキー（仮想キー）、静止画、文字、数字、文字列などを含むタッチ入力によって操作可能なすべてのＧＵＩを意味する。

図３はロック解除画面１００の一例を示し、ロック状態（電源キー２４ｇ以外の操作を受け付けない状態）が設定されているとき、電源キー２４ｇが操作されると、このようなロック解除画面１００がタッチスクリーン１８上に表示される。

このようなロック解除画面１００では、よく知られているように、たとえばタッチスクリーン１８上において、予め設定しているパターン（軌跡）に合致するタッチ操作を行うと、ロック状態が解除されて図４のようなホーム画面表示に移行する。

しかしながら、たとえば作業現場において汚れた手袋をはめている状態などでは、特定のパターンに合致するタッチ操作を行うのはかなり難しい。この発明の実施例では、このような場合に音声入力によってロック状態を解除できるようにする。そのためにこのロック解除画面１００には、状態表示部１００ａの他に、音声入力指示部１００ｂが表示される。その音声入力指示部１００ｂによる指示に従って、ユーザは音声入力する。なお、図３では、音声入力部による指示として、括弧書き「マークさんお話ください。」を記載したが、これは、わかりやすさのために記載しているのであり、必ずしもタッチスクリーン１８上に表示されない。また、以下において、英語表記に続く括弧書きのカタカナは発音を例示するために付記されている。

詳細は後に説明するが、音声入力によってロック状態を解除するためには、まず、特定のキー、実施例では左上のスピーカ切り替えキー２４ｄを押す。スピーカ切り替えキー２４ｄを押した状態で、マイク２２から、予め決めている音声、実施例では「Smart Device （スマートデバイス）」を入力すると、ロック状態が解除される。つまり、タッチ操作でも、音声操作でも、状況に応じて、ロック状態を解除することができる。

図４はタッチスクリーン１８に表示されるホーム画面１０２の一例を示す概略図である。このホーム画面１０２には、状態表示部１０４および機能表示部１０６が形成され、状態表示部１０４には、アンテナ３４による電波受信状態を示すピクト、二次電池の残電池容量を示すピクトおよび時刻が表示される。機能表示部１０６には、機能を表示するアイコンまたはタイルのようなオブジェクトが表示される。

オブジェクト１０６ａは、電話やメールに限らず連絡を取れるすべての相手を登録している連絡先帳機能を実行するためのショートカットオブジェクトであり、そのオブジェクト１０６ａには、この実施例では、「CONTACTS（コンタクツ）」（「連絡先」を意味する）という可読文字（ユーザが読めて発音できる文字）が付されている。したがって、ユーザがこのオブジェクト１０６ａを音声によって指示したいときは、「コンタクツ」と発音すればよい。

オブジェクト１０６ｂは、ダウンロードによってコンテンツ（映像、音楽、データなど）を取得するためのショートカットオブジェクトである。オブジェクト１０６ｂには、この実施例では、「DOWNLOAD（ダウンロード）という可読文字が付されている。したがって、ユーザがこのオブジェクト１０６ｂを音声によって指示したいときは、「ダウンロード」と発音すればよい。

オブジェクト１０６ｃは、メールを送る機能を実行するためのショートカットオブジェクトである。オブジェクト１０６ｃには、この実施例では、「EMAIL（イーメール）という可読文字が付されている。したがって、ユーザがこのオブジェクト１０６ｃを音声によって指示したいときは、「イーメール」と発音すればよい。

オブジェクト１０６ｄは、たとえばインタネットを使ってＵＲＬにアクセスする機能を実行するためのショートカットオブジェクトであり、オブジェクト１０６ｄには、この実施例では、「BROWSER（ブラウザ）という可読文字が付されている。したがって、ユーザがこのオブジェクト１０６ｄを音声によって指示したいときは、「ブラウザ」と発音すればよい。

オブジェクト１０６ｅは、上述のCONTACTSオブジェクト１０６ａとは異なり、電話帳機能を実行するためのショートカットオブジェクトであり、そのオブジェクト１０６ｅには、この実施例では、「PHONE（フォン）」という可読文字が付されている。したがって、ユーザがこのオブジェクト１０６ｅを音声によって指示したいときは、「フォン」と発音すればよい。

オブジェクト１０６ｆは、メッセージ送信機能を実行するためのショートカットオブジェクトであり、そのオブジェクト１０６ｆには、この実施例では、「MESSAGE（メッセージ）」という可読文字が付されている。メッセージには、たとえば
Twitter（登録商標）、Facebook（登録商標）などのＳＮＳ（social networking service）を含む。ユーザがこのオブジェクト１０６ｄを音声によって指示したいときは、「メッセージ」と発音すればよい。

オブジェクト１０６ｇは、他のメニューまたはサブメニューを選択させるためのショートカットオブジェクトである。上述したオブジェクト１０６ａ‐１０６ｆおよび後述のオブジェクト１０６ｈ、１０６ｉには、もともと可読文字が付与されている。したがって、ユーザがこれらのオブジェクト１０６ａ‐１０６ｆ、１０６ｈ、１０６ｉを音声で指示使用とするとき、それらの可読文字を見れば容易に発音できる。

これに対して、他のアプリケーションを選択するメニュー選択機能を実行するためのオブジェクト１０６ｇには、可読文字が付与されていない。したがって、ユーザがこのオブジェクト１０６ｇを音声入力によって指示しようしても読めない。そのため、このオブジェクト１０６ｇに対して適切な音声を入力することはできない。したがって、様々な音声がこのオブジェクト１０６ｇに対して入力されてしまい、必ずしもこのオブジェクト１０６ｇを適正に指示できるとは限らない。

そこで、この実施例では、可読文字が付されていないオブジェクトの場合、後述の電話番号（図６）のように可読文字はあるもの文字列が長過ぎて音声入力には不向きであるような場合、人前で読み上げることがプライバシーに関わるような場合などには、別途準備した可読マーク１０８をオブジェクトに対して付与するようにしている。

図４の実施例では、メニューオブジェクト１０６ｇには、可読文字である「Ａ（エー）」を含む可読マーク１０８が付される。したがって、ユーザがこのオブジェクト１０６ｇを音声によって指示したいときは、「エー」と発音するだけでよい。

オブジェクト１０６ｈは、写真を見るための機能を実行するためのショートカットオブジェクトであり、そのオブジェクト１０６ｈには、この実施例では、「GALLERY（ギャラリ）」という可読文字が付されている。したがって、ユーザがこのオブジェクト１０６ｈを音声によって指示したいときは、「ギャラリ」と発音すればよい。

なお、オブジェクト１０６ｉはカメラ機能を実行するためのオブジェクトであるが、カメラ機能はキー２４ｈに固定的に割り当てられているので、カメラ機能を実行するためにはそのキー２４ｈを押せばよい。

しかしながら、カメラ機能を音声によって指示することもできる。カメラ機能を実行するためのオブジェクト１０６には可読文字「CAMERA(カメラ)」が付与されているので、ユーザがこのオブジェクト１０６ｉを音声によって指示したいときは、「カメラ」と発音すればよい。

図４に示すすべてのオブジェクト１０６ａ‐１０６ｉは、タッチスクリーン１８に表示されるのであるから、従来の携帯電話機と同様に、タッチ入力によって任意のオブジェクトを指定することができるのである。そして、この実施例は、このようなタッチ可能なオブジェクト１０６ａ‐１０６ｉの各々を音声入力によっても指定できるように、各オブジェクトに可読文字を付与しており、可読文字のないオブジェクトについては可読マーク１０８を付加する。

上述のようなホーム画面１０２でオブジェクト１０６ａ‐１０６ｉのどれかを選択した場合、タッチスクリーン１８の表示は、そのオブジェクトによって示される具体的なアプリケーションを実行するためのアプリケーション画面に移行する。

図５は、図４のホーム画面１０２において、タッチ入力または音声入力で、オブジェクト１０６ａすなわちコンタクツ機能を選択した場合のアプリケーション画面を例示する。図５は、コンタクツアプリケーションで、タッチスクリーン１８上に表示される連絡先画面１１０の一例を示す。この連絡先画面１１０には、オブジェクト１１２ａ、１１２ｂ、１１２ｃが画面上部に表示される。

オブジェクト１１２ａは、登録しているお気に入りを呼び出すためのオブジェクトであり、「FAVORITES（フェイバリツ）」の可読文字が付与されている。したがって、ユーザがこのオブジェクト１１２ａを音声によって指示したいときは、「フェイバリツ」と発音すればよい。

オブジェクト１１２ｂは、図４のオブジェクト１０６ａと同様に、コンタクツ機能を実行するためのオブジェクトであり、「CONTACTS」という可読文字が付与されている。したがって、ユーザがこのオブジェクト１１２ｂを音声によって指示したいときは、「コンタクツ」と発音すればよい。

オブジェクト１１２ｃは、連絡先として登録しているグループを呼び出すためのオブジェクトであり、「GROUP（グループ）」という可読文字が付されている。したがって、ユーザがこのオブジェクト１１２ｃを音声によって指示したいときは、「グループ」と発音すればよい。

連絡先機能画面１１０ではさらに、この実施例では、アルファベット「Ａ」、「Ｂ」、「Ｃ」…の順に登録情報がタッチスクリーン１８上に表示されている。この例では、「Ａ」の欄には、連絡先の名前として「ASHER」（アッシャ）を示すオブジェクト１１２ｄが表示されている。もしユーザがこの登録名の連絡先を呼び出したいと思えば、オブジェクト１１２ｄにタッチして選択すればよいのであるが、音声入力を用いてもこのオブジェクト１１２ｄを指定できる。そのためには、ユーザは「ASHER（アッシャ）」と発音すればよい。

「Ｂ」の欄には、連絡先の名前として「BENJIAMIN」（ベンジャミン）を示すオブジェクト１１２ｅが表示されている。もしユーザがこの登録名の連絡先を呼び出したいと思えば、オブジェクト１１２ｅにタッチして選択すればよいのであるが、音声入力を用いてもこのオブジェクト１１２ｅを指定できる。そのためには、ユーザは「BENJIAMIN(ベンジャミン）」と発音すればよい。ただし、「ハニービー」は、あだ名である。

「Ｂ」の欄にはさらに、連絡先の名前として「BROWN」（ブラウン）を示すオブジェクト１１２ｄが表示されている。もしユーザがこの登録名の連絡先を呼び出したいと思えば、オブジェクト１１２ｄにタッチして選択すればよいのであるが、音声入力を用いてもこのオブジェクト１１２ｄを指定できる。そのためには、ユーザは「BROWN(ブラウン）」と発音すればよい。ただし、「もっちゃん」は、あだ名である。

なお、連絡先機能画面１１０では、登録情報が、「あ」行、「か」行、「さ」行、「た」行、「な」行、「は」行、「ま」行、「や」行、「ら」行、「わ」行毎に表示されてもよい。

連絡先画面１１０のこれらの登録名の下方に、「検索」を意味する記号を有するオブジェクト１１２ｇ、「＋」記号を有するオブジェクト１１２ｈおよび「…（３点リーダ）」記号を有するサブメニューを呼び出すためのオブジェクト１１２ｉが表示される。これらのオブジェクト１１２ｇ‐１１２ｉもタッチ入力によって選択ないし指定することができる。

ユーザがこれらオブジェクト１１２ｇ、１１２ｈおよび１１２ｉを音声入力で指示したいと思っても、これらのオブジェクト１１２ｇ‐１１２ｉには可読文字がないので、読み方がわからない。したがって、正しい音声入力ができないことも予想される。

そこで、図４のホーム画面１０２のオブジェクト１０６ｇと同様に、簡単な可読文字を有する、可読マーク１１４ａ、１１４ｂおよび１１４ｃを、対応するオブジェクト１１２ｇ、１１２ｈおよび１１２ｉに付加している。したがって、もしユーザが音声にもよってこれらのオブジェクト１１２ｇ‐１１２ｉのどれかを指示したいと思えば、付加されている可読マーク１１４ａ‐１１４ｃの対応のものを読み上げて音声入力とすればよい。

図６は、図５のアプリケーション画面１１０においてタッチ入力または音声入力によってオブジェクト１１２を指示した後に、タッチスクリーン１８上に表示されるアプリケーション画面１１６の一例を示す。この例では、「BENJIAMIN(ベンジャミン）」と呼ばれる人物の写真が表示されるとともに、その写真の上方に、「BENJIAMIN(ベンジャミン）」という人物の電話帳登録を呼び出すためのオブジェクト１１８ａ、お気に入りを示す記号（☆）を有するオブジェクト１１８ｂおよび「３点リーダ」記号を有するオブジェクト１１８ｃが表示される。もちろん、これらのオブジェクト１１８ａ‐１１８ｃはタッチ可能オブジェクトであるので、それぞれタッチ入力によって指定することが可能である。

ところが、これらオブジェクト１１８ａ‐１１８ｃを音声入力で指示する場合、オブジェクト１１８ａ以外は読み方がわからないので、正しい音声入力ができるかどうか疑問である。

そこで、この実施例では、オブジェクト１１８ｂおよび１１８ｃにそれぞれ、可読マーク１２０ａおよび１２０ｂを付加して表示した。

「BENJIAMIN(ベンジャミン）」という人物の写真はタッチ入力で指定または選択できるオブジェクトではないので、写真には可読マークは付加しない。

写真の下に、どのように発音するかを示す「Phonetic Name（発音名称）」が表示されるが、この発音名称もタッチ入力で指定すべきオブジェクトではないので、発音名称には可読マークは付加しない。

発音名称の下のタッチスクリーン１８上には、「BENJIAMIN(ベンジャミン）」氏の電話番号がオブジェクト１１８ｄとして表示され、この隣には、ＳＭＳ（Short Message Service）を表すオブジェクト１１８ｅが表示される。これらのオブジェクト１１８ｄおよび１１８ｅはタッチ入力によって指定できる。

電話番号を示すオブジェクト１１８ｄには、電話番号を示す文字列が表示されているので、その電話番号を読み上げることによって、音声入力することも可能である。ところが、電話番号は桁数が多いので読み上げに時間がかかって不都合であるばかりでなく、人が居る場所で電話番号を読み上げることはプライバシーにも関わるので不都合でもある。そこで、この実施例では、この電話番号を示すオブジェクト１１８ｄに可読マーク１２０ｃを付加することとした。つまり、可読文字が付与されているオブジェクトであっても、その可読文字を読み上げることで不都合が生じると考えられる場合、別の可読マークを準備してそれを付加してオブジェクトを表示する。

ただし、ＳＭＳオブジェクト１１８ｅは読み方が不明なので、そのオブジェクト１１８ｅには、別の可読マーク１２０ｄを付加している。

図６のアプリケーション画面１１６でもしオブジェクト１１８ｄがタッチ入力または音声入力によって指定されると、電話番号が指定されたことを意味するので、タッチスクリーン１８上の表示は、図７に示す呼び出し画面１２２に遷移する。なお、図７では、括弧書き「呼び出し画面」を記載したが、これは、わかりやすさのために記載しているのであり、必ずしもタッチスクリーン１８上に表示されない。

なお、図４‐図６からわかるように、各表示画面において付加される可読マークはたとえば「Ａ」、「Ｂ」、「Ｃ」…のように画面毎に更新される。つまり、各画面において同じ可読マークが使用される。したがって、予め準備しておく可読マークの数が少なくてよい。他方、プロセサ３０は、各表示画面中においてどの可読マークがどのオブジェクトに付加されているかは知っているので、ユーザからの音声入力が現在の表示画面ではどのオブジェクトを指示するかは的確に判断することができる。

ただし、各画面毎に異なる可読マークを使用するようにしてもよい。つまり、任意の形式の可読マークが使用可能である。

なお、可読マークは、「Ａ」、「Ｂ」、「Ｃ」…等のアルファベットに限らず、ユーザが音声入力可能な、たとえば、数字であってもよい。また、可読マークは１文字に限らず、複数の文字からなる文字列であってもよい。

図８を参照して、ＲＡＭ４６には、プログラム記憶領域３０２とデータ記憶領域３０４とが形成される。プログラム記憶領域３０２は、先に説明したように、フラッシュメモリ４４（図２）に予め設定しているプログラムデータの一部または全部を読み出して記憶（展開）しておくための領域である。

プログラム記憶領域３０２には、ＯＳや携帯電話機として必要な通信プログラム（他の電話機と通話したり、他の電話機やコンピュータとデータ通信したりするためのプログラム）などの基本的プログラム（図示せず）が記憶される。

プログラム記憶領域３０２には、さらに、ロック解除プログラム３０２ａ、タッチ操作プログラム３０２ｂ、音声操作プログラム３０２ｃ、アプリケーションプログラム３０２ｄなどのプログラムが記憶される。

ロック解除プログラム３０２ａは、図３のようなロック解除画面を表示して、タッチ入力または音声入力によって、ロック状態を解除するためのプログラムである。タッチ操作プログラム３０２ｂは、タッチ入力によってオブジェクトを操作するためのプログラムであり、音声操作プログラム３０２ｃは、音声入力によってオブジェクトを操作するためのプログラムである。

アプリケーションプログラム３０２ｄは、この携帯電話機１０にインストールされていて、たとえば図４の機能表示部１０６で表示されるオブジェクトで示される各種アプリケーションプログラムを含み、タッチ操作プログラム３０２ｂまたは音声操作プログラム３０２ｃとともに各オブジェクトの機能を実行するためのプログラムである。つまり、タッチ操作プログラム３０２ｂおよび音声操作プログラム３０２ｃは、アプリケーションプログラムにおいて必要なとき実行されるプログラムである。

特に、音声操作プログラム３０２ｃには、可読文字を持たないオブジェクトのように可読マークを必要とするオブジェクトに対して可読マーク１０８（図４）、１１４ａ‐１０４ｃ（図５）、１２０ａ‐１２０ｄ（図６）などを付加する機能を有する。さらに、音声操作プログラム３０２ｃは、タッチスクリーン１８に表示しているオブジェクトの可読文字あるいは可読マークの中に、マイク２２から入力された音声に相当する可読文字または可読マークがあるかどうかの判断なども実行する。

さらに、タッチ操作プログラム３０２ｂは、タッチ入力によって示されるタッチ座標が、そのときタッチスクリーン１８に表示しているオブジェクトを指示しているかどうか、つまり各オブジェクトにタッチしているかどうかの判断などを実行する。

ＲＡＭ４６のデータ記憶領域３０４には、タッチデータバッファ３０４ａ、音声データバッファ３０４ｂ、画面データバッファ３０４ｃなどが設けられる。

タッチデータバッファ３０４ａには、タッチパネル制御回路４８が出力するタッチ座標のデータが一時的に記憶される。音声データバッファ３０４ｂには、プロセサ３０が取得した、マイク２２を通してユーザが入力した音声のデータが一時的に記憶される。画面データバッファ３０４ｃには、タッチスクリーン１８上に現在表示されているオブジェクトに付与されている可読文字または可読マークと、それらの可読文字または可読マークがどのオブジェクトに付与されているのかを示す音声データ、座標位置データなどが、タッチスクリーン１８の表示の切り替え毎に一時的に記憶される。

プロセサ３０は、Ｗｉｎｄｏｗｓ（登録商標）ベースのＯＳや、Ａｎｄｒｏｉｄ（登録商標）およびｉＯＳ（登録商標）などのＬｉｎｕｘ（登録商標）ベースのＯＳなどその他のＯＳの制御下で、図９に示すロック解除処理、図１０、図１１に示すアプリケーション処理などを含む、複数のタスクを並列的に処理する。

携帯電話機１０の電源キー２４ｇがオンされると、図９に示すロック解除のための処理が実行される。ただし、この図９のフロー図も、図１０、図１１のフロー図と同様に、比較的短い時間間隔（たとえばフレーム周期）で実行される。

図９の最初のステップＳ１では、図１に示すキー２４ａ‐２４ｆ、２４ｈのうちの特定のキー、実施例ではスピーカ切り替えキー２４ｄが押されているかどうか判断する。ステップＳ１で“ＹＥＳ”を判断したとき、つまり、キー２４ｄが押されているとき、音声操作モードを設定するため、ステップＳ３において、プロセサ３０はタッチパネル１６を無効化する。したがって、タッチ入力による操作ができなくなる。

次のステップＳ５では、携帯電話機１０がロック状態かどうか判断する。プロセサ３０は、適宜のフラグをチェックすることによってロック状態かどうか判断できる。

ステップＳ５で“ＹＥＳ”が判断されると、つまり、ロック状態が設定されていると、スピーカ切り替えキー２４ｄが押され続けていれば、次のステップＳ７において、たとえば図３に示す音声入力によるロック解除画面１００を表示する。

そして、ステップＳ９において、ユーザがマイク２２から音声を入力するのを待つ。音声入力があると、その音声入力による音声データは、音声データバッファ３０４ｂ（図８）に一時記憶される。つまり、ユーザはキー２４ｄを押した状態のまま、音声をマイク２２から入力する。もし、ステップＳ９において音声がマイク２２から入力されるまでの間にキー２４ｄを離すと、その時点で処理が終了し、タッチ操作モードに移ってしまう。

次のステップＳ１１で、プロセサ３０は、その音声データを用いて音声認識処理を実行する。つまり、そのときユーザが入力した音声の内容を調べる。

ステップＳ１３において、プロセサ３０は、音声認識の結果判明した音声入力が、予め設定している音声、実施例では上述のように、「Smart Device（スマートデバイス）」と一致するかどうか、つまり、ロック解除のための正しい音声入力がされたかどうか、判断する。

ロック解除用の正しい音声入力があったと判断したとき、プロセサ３０は、ステップＳ１５において、ロック状態を解除するとともに、たとえば図４に示すようなホーム画面１０２を表示する。

音声入力が正しい音声入力ではなかったとき、プロセサ３０はロック状態を解除せず、ロック解除処理を終了する。ただし、ステップＳ１３で“ＮＯ”を判断したとき、再度の音声入力を促すメッセージをスピーカ２０（図１）から出力して再入力を許容するようにしてもよい。

また、ステップＳ５で“ＮＯ”が判断されたときには、ロック状態が設定されていないのであるから、音声操作モードのまま、ステップＳ１５に進む。

なお、ステップＳ１で“ＮＯ”が判断されたとき、つまり、音声操作モードが設定されていないときには、タッチパネル１６を無効化しないで、ステップＳ１９でロック状態が設定されているかどうか判断する。もし、ロック状態が設定されていれば、通常のタッチ操作によるロック解除処理を実行する。ロック状態が設定されていなければ、タッチ操作モードで、ステップＳ１５に進む。

ステップＳ１９で“ＹＥＳ”が判断されたとき、プロセサ３０は、ステップＳ２１で、タッチ操作用のロック解除画面（図示せず）を表示する。なお、タッチ操作でのロック解除は種々提案されているので、特定のロック解除画面は図示しない。

タッチ操作用のロック解除画面を表示した状態で、ステップＳ２３において、タッチ入力があると、そのタッチ座標データは、ステップＳ２５においてタッチデータバッファ３０４ａ（図８）に一時記憶される。

ステップＳ２７において、プロセサ３０は、タッチ座標データが、予め設定しているロック解除のためのタッチ座標データと合致するかどうか、判断する。

ロック解除用の正しいタッチ入力があったと判断したとき、プロセサ３０は、先のステップＳ１５において、ロック状態を解除して、ホーム画面１０２を表示する。

ただし、タッチ入力が正しいタッチ入力ではなかったとき、プロセサ３０はロック状態を解除せず、ロック解除処理を終了する。ただし、ステップＳ２７で“ＮＯ”を判断したとき、再度のタッチ入力を促すメッセージをタッチスクリーン１８上に表示して再入力を許容するようにしてもよい。

このようにして、この実施例においては、タッチ操作または音声操作によって、ロック状態を解除することができる。そして、ロック状態が解除されて、図４に示すホーム画面１０２が表示されると図１０で示すフロー図に従って、メニューを選択する。

図１０の最初のステップＳ３１でプロセサ３０は、画面データバッファ３０４ｃに記憶されているホーム画面の画面データを参照して、そのホーム画面において、可読文字を持たないオブジェクトなど可読マークを必要とするオブジェクトがあるかどうか判断し、もし可読マークを必要とするオブジェクトがあれば、そのオブジェクトに対して、たとえば図４に示す可読マーク１０８を付加する。

そして、ステップＳ３３で、プロセサ３０は、スピーカ切り替えキー２４ｄが押されているかどうか判断する。キー２４ｄが押されていれば、音声操作モードを設定するため、ステップＳ３５で、タッチパネル１６を無効化する。

なお、スピーカ切り替えキー２４ｄが押されたと判断された場合に、可読マーク１０８が付加されてもよい。すなわち、ステップＳ３３でＹＥＳが判断された後に、ステップＳ３１の処理が行われてもよい。

その後ステップＳ３７、ステップＳ３９において、先のステップＳ９、ステップＳ１１と同様にして、キー２４ｄを押したままの状態でユーザがマイク２２から入力した音声の音声認識を行う。

ステップＳ３９で認識した音声に基づいて、プロセサ３０は、ステップＳ４１で、その音声に該当するオブジェクトがホーム画面上にあるかどうか、つまり、ユーザの音声入力がホーム画面のどのオブジェクトを指示しているのか判断する。

該当するオブジェクトがあれば、ステップＳ４３でそのオブジェクトが示す機能を実行する。たとえば、具体的なアプリケーションが選択されたのであれば、そのアプリケーションを実行するための画面（アプリケーション画面）を表示する。

なお、ステップＳ４１で“ＮＯ”が判断されると、ホーム画面の表示がそのまま維持される。

なお、ステップＳ３３で“ＮＯ”が判断されると、タッチ操作モードとなる。したがって、プロセサ３０は、ステップＳ４５、Ｓ４７でタッチ座標を検出し、ステップＳ４９で、画面データを参照して、そのタッチ座標がどれかのオブジェクトを指示しているかどうか判断する。つまり、タッチ位置にオブジェクトがあるかどうか、判断する。

該当するオブジェクトがあれば、ステップＳ４３でそのオブジェクトが示す機能を実行する。たとえば、具体的なアプリケーションが選択されたのであれば、そのアプリケーションを実行するための画面（アプリケーション画面）を表示する。

なお、ステップＳ４９で“ＮＯ”が判断されると、ホーム画面の表示がそのまま維持される。

このように、この実施例によれば、タッチ入力によって操作できるホーム画面上の各オブジェクト（タッチ可能オブジェクト）を音声入力によって直接指示することができる。したがって、音声によって指示文（依頼文）を入力する場合に比べて、オブジェクトを確実に操作することができる。

アプリケーション画面１１０（図５）からアプリケーション画面１１６（図６）へ移行すると、プロセサ３０は、図１１のフロー図に従って動作する。ただし、この図１１の各ステップＳ５１‐Ｓ６９は、表示されているオブジェクトが異なるだけで、プロセサ３０の動作としては、図１０のステップＳ３１‐Ｓ４９とほぼ同様であるので、重複する説明は省略する。

なお、図３のロック解除画面において、図９のフロー図に従ってロック解除した後のホーム画面の他の例が図１２に示される。図１２のホーム画面１０２では、タッチパネル８上には、すべて可読文字が付与されているオブジェクト１２４ａ‐１２４ｅが表示されている。

オブジェクト１２４ａには、「RECENT CALLS（最近の呼び出し）」の可読文字が付されている。したがって、このオブジェクト１２４ａは、最近かけた電話を表示するためのオブジェクトであることがわかる。オブジェクト１２４ｂはカメラを使うためのオブジェクトであり、このオブジェクト１２４ｂには「CAMERA（カメラ）」の可読文字が付与されている。

オブジェクト１２４ｃは通知事項を示すオブジェクトであり、このオブジェクト１２４ｃには「NOTIFICATION（ノーティフィケーション：お知らせ）」の可読文字が付与されている。オブジェクト１２４ｄはこの携帯電話機１０に設けている白色ＬＥＤ(図示せず)を使うフラッシュとして使うためのオブジェクトであり、このオブジェクト１２４ｄには「FLASHLIGHT（フラッシュライト）」の可読文字が付与されている。オブジェクト１２４ｅは、ＰＴＴ（Push-To-Talk)を使うためのオブジェクトであり、このオブジェクト１２４ｅには「PTT（ピーティーティー）」の可読文字が付与されている。

この図１２のホーム画面１０２のように、タッチスクリーン１８上に表示されているオブジェクトにすべてもともと可読文字が付与されている場合には、別途準備した可読マークを付加する必要はない。

しかしながら、電話番号などのように、秘匿する必要がある場合には、たとえそのオブジェクトが可読であっても、抽象的な可読マークを付加することも考えられる。たとえば図１３は、図１２のホーム画面１０２上でオブジェクト１２４ａが音声入力またはタッチ入力で指示されたときのアプリケーション画面１２６を示すが、この図１３において、たとえば最上段の電話番号を示すオブジェクト１２６には、可読マーク１２８ａが付与されている。したがって、ユーザが音声入力する場合、電話番号を読み上げる必要はなく、可読マーク１２８ａに対して「Ａ（エー）」と音声入力するだけでよい。

なお、実施例で示した具体的な画面は単なる例示であり、任意の意匠を持つホーム画面やアプリケーション画面に実施例は適用できるものである。

なお、上述の実施例ではいずれも、特定のキー、たとえばスピーカ切り替えキー２４ｄを押し続けると音声操作モードが実行されるので、タッチパネル１１６を無効化した（ステップＳ３、Ｓ３５、Ｓ６５）が、タッチパネル１６を無効化するかどうかは任意である。つまり、タッチパネル１６が有効なままで、音声操作モードに移行するようにしてもよい。

また、タッチスクリーン上に表示された文字の中に、可読マークの読みと同じ読みを有する文字が存在する場合、たとえば、タッチスクリーン上に「Ａ」という可読マークとともに、その可読マークとは別に「Ａ」というオブジェクトが表示されている場合、ユーザがその読み（エー）を音声入力すると、タッチスクリーン上に、たとえば「可読マークのＡですか？」という旨のメッセージとともに、「はい」および「いいえ」の選択肢を表示させてもよい。ユーザは、可読マークのＡを音声入力したい場合は、「はい」と発声し、別の「Ａ」を音声入力したい場合は、「いいえ」と発声すればよい。

なお、プロセサ３０によって、タッチスクリーン上に同じ読みのオブジェクトが表示されないよう制御されてもよい。

なお、本実施例では、スピーカ切り替えキー２４ｄが押されている間は、音声入力可能であるとしたが、音声入力不可能な状態（タッチ入力モード）でスピーカ切り替えキー２４ｄが押されると音声入力可能になり、音声入力可能な状態（音声入力モード）でスピーカ切り替えキー２４ｄが押されると音声入力不可能になってもよい。すなわち、スピーカ切り替えキー２４ｄを押すことによって、タッチ入力モードと音声入力モードの間で入力モードが切り替わってもよい。

換言すれば、上述の実施例ではスピーカ切り替えキー２４ｄのような特定のキーを操作すると特定のモード（実施例では、タッチ可能オブジェクトを音声入力によって操作できる、音声入力モード）が設定されたが、このような特定のモードを設定する方法は実施例の方法に限られることはない。

さらに、上述の実施例では、特定のキーとしてスピーカ切り替えキー２４ｄを用いたが、これは電源キー２４ｇ以外の他のキーに代えられてもよい。

また、本実施例で用いられたプログラムは、データ配信用のサーバのＨＤＤに記憶され、ネットワークを介して携帯電話機１０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤ（Blue-Ray Disk）などの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体に複数のプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、プログラムが本実施例と同等の構成の携帯電話機にインストールされた場合、本実施例と同等の効果が得られる。

１０… 携帯電話機
１８… タッチスクリーン
２２… マイク
２４ａ‐２４ｈ… （ハードウエア）キー
３０… プロセサ
４４… フラッシュメモリ
４６… ＲＡＭ
４８… タッチパネル制御回路
１００… ロック解除画面
１０２… ホーム画面
１０６… 機能表示部
１１０、１１６… アプリケーション画面
１０６ａ‐１０６ｉ、１１２ａ‐１１２ｉ、１１８ａ‐１０６ｅ… オブジェクト
１０８、１１４ａ‐１１４ｃ、１２０ａ‐１２０ｃ… 可読マーク

Claims (7)

1. マイクと、電源キーを含む複数のキーを含み、タッチスクリーン上に表示されたタッチ可能オブジェクトをタッチ入力によって操作したときそのオブジェクトの機能を実行する実行部を備える、タッチスクリーン付情報処理端末であって、
   特定のモードが設定されているときに前記マイクから入力された音声を認識する音声認識部、および
   前記音声認識部が認識した音声が前記タッチ可能オブジェクトを指示するかどうか判断する判断部を備え、
   前記実行部は、前記判断部によって前記音声が前記タッチ可能オブジェクトを指示すると判断したとき、そのオブジェクトの機能を実行する、タッチスクリーン付情報処理端末。
2. 前記タッチ可能オブジェクトが可読文字を含むとき、前記判断部は前記音声が前記可読文字に該当するかどうか判断する、請求項１記載のタッチスクリーン付情報処理端末。
3. 前記タッチ可能オブジェクトに、可読文字を含む可読マークを付加する付加部をさらに備え、前記判断部は前記音声が前記可読マークに含まれる可読文字に該当するかどうか判断する、請求項１または２記載のタッチスクリーン付情報処理端末。
4. ロック解除画面が表示されている状態において、前記音声認識部が認識した音声がロック解除のための正しい音声に該当するかどうか判断する第２判断部、および
   前記第２判断部が、前記音声がロック解除のための正しい音声に該当すると判断したとき、ロック状態を解除するロック解除部をさらに備える、請求項1ないし３のいずれかに記載のタッチスクリーン付情報処理端末。
5. 前記特定のモードは、特定のハードウェアキーの操作に応じて設定される、請求項1ないし４のいずれかに記載のタッチスクリーン付情報処理端末。
6. マイクと、電源キーを含む複数のキーを含み、タッチスクリーン上に表示されたタッチ可能オブジェクトをタッチ入力によって操作したときそのオブジェクトの機能を実行する実行部を備える、タッチスクリーン付情報処理端末のプロセサが次のステップを実行する情報処理方法であって、
   特定のモードが設定されているときに前記マイクから入力された音声を認識する音声認識ステップ、および
   前記音声認識ステップにおいて認識した音声が前記タッチ可能オブジェクトを指示するかどうか判断する判断ステップを備え、
   前記実行部は、前記判断ステップによって前記音声が前記タッチ可能オブジェクトを指示すると判断したとき、そのオブジェクトの機能を実行する、情報処理方法。
7. マイクと、電源キーを含む複数のキーを含み、タッチスクリーン上に表示されたタッチ可能オブジェクトをタッチ入力によって操作したときそのオブジェクトの機能を実行する実行部を備える、タッチスクリーン付情報処理端末のプロセサを、
   特定のモードが設定されているときに前記マイクから入力された音声を認識する音声認識部、および
   前記音声認識部が認識した音声が前記タッチ可能オブジェクトを指示するかどうか判断する判断部
   として機能させ、
   前記実行部によって、前記判断部によって前記音声が前記タッチ可能オブジェクトを指示すると判断したとき、そのオブジェクトの機能を実行させる、情報処理プログラム。

Images