JP2022019426A - 表示装置、制御方法、プログラム - Google Patents

Abstract

【課題】電源状態に応じて認識処理の実行を制御することができる表示装置を提供すること。【解決手段】表示装置２であって、入力手段２５００によって手書きデータの入力を受け付ける受付手段２１と、前記手書きデータの認識処理を行う認識手段２６と、前記表示装置の電源状態に応じて、前記認識処理の頻度を制御する制御手段２３と、を有することを特徴とする。【選択図】図１

Description

本発明は、表示装置、制御方法、及び、プログラムに関する。

手書き認識技術を利用し、手書きデータを文字等に変換して、ディスプレーに表示する表示装置が知られている。表示装置は、例えば、会議などの他、デジタルサイネージや看板などにも利用できる。また、表示装置はバッテリーで動作することも可能であり、屋外での活用も期待されている。

各種の装置において消費電力を低減する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、各ジョブ・機能における消費電力を自動的に計測して記憶しておき、バッテリー残量が少ないと判断された場合、記憶されている消費電力表を使用してシステムの動作を制御する情報処理装置が開示されている。

しかしながら、従来の技術では、電源状態に関わらず手書きデータの認識処理が実行されるという問題があった。常に認識処理が実行されるため、
・容量の大きなバッテリーが必要
・バッテリー動作時間が短くなる
・バッテリーを充電しながら使用すると、充電時間が長くなる
といった状況が生じやすくなる。

本発明は、上記課題に鑑み、電源状態に応じて認識処理の実行を制御することができる表示装置を提供することを目的とする。

上記課題に鑑み、本発明は、表示装置であって、入力手段によって手書きデータの入力を受け付ける受付手段と、前記手書きデータの認識処理を行う認識手段と、前記表示装置の電源状態に応じて、前記認識処理の頻度を制御する制御手段と、を有することを特徴とする。

電源状態に応じて認識処理の実行を制御することができる表示装置を提供する。

表示装置の電源状態の一例を示す図である。 表示装置が電源状態に応じて制御する認識処理の頻度を説明する図である。 ペンの斜視図の一例である。 表示装置の全体構成図を示した図の一例である。 表示装置のハードウェア構成図の一例である。 図５のうち電源に関するブロックを取り出したハードウェアの概略図である。 表示装置が有する機能をブロック状に示す機能ブロック図の一例である。 操作ガイドと操作ガイドが表示する選択可能候補の一例を示す図である。 表示装置が文字列候補を表示する処理を説明する一例のシーケンス図である（その１）。 表示装置が文字列候補を表示する処理を説明する一例のシーケンス図である（その２）。 表示装置が文字列候補を表示する処理を説明する一例のシーケンス図である（その３）。 表示装置が文字列候補を表示する処理を説明する一例のシーケンス図である（その４）。 表示装置が文字列候補を表示する処理を説明する一例のシーケンス図である（その５）。 表示装置が文字列候補を表示する処理を説明する一例のシーケンス図である（その６）。 手書き認識制御部が文字を認識する処理の概略を説明する図である。 頻度制御テーブルの一例を示す図である。 一文字の一部が認識された場合の処理を説明する図である。 表示装置が電源状態に応じて認識処理の頻度を制御する手順を示すフローチャート図の一例である。 表示装置が非常情報を受信した場合に認識処理の頻度を制御する手順を示すフローチャート図の一例である。 電源状態が改善した場合、表示装置が一括認識を行う処理を説明するフローチャート図の一例である。 手書き入力保存部に保存されている保存データを模式的に示す図である。 表示装置のディスプレーに表示される電源状態の一例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。

以下、本発明を実施するための形態の一例として表示装置と、表示装置が行う制御方法について図面を参照しながら説明する。

＜電源状態に応じた認識処理の制御の概略＞
まず、手書きデータの認識処理の実行により消費電力が増大する理由を説明する。表示装置が手書きデータを認識する認識処理を実行すると、以下のような処理により、ＣＰＵやＲＡＭ（ＳＳＤ：Solid State Drive、ＨＤＤ：Hard Disk Drive）の消費電力が増大する。
ＣＰＵ：文字のマッチング処理、変換候補の探索処理（検索処理）
ＲＡＭ（ＳＳＤ、ＨＤＤ）：マッチングや変換候補のデータベースへのアクセス
またディスプレーに電子ペーパーが採用されている場合、電子ペーパーの画面の書き換えに電力が消費される。電子ペーパーでは書き換えが発生しないと消費電力が少なくてすむ。液晶ディスプレーや有機ＥＬディスプレー等と異なる点である。
電子ペーパー：変換候補やメニューの表示、手書きデータから文字への表示書き換え
これらにより消費電力が増大すると、以下の不都合が発生しうる。
・容量の大きな電源/バッテリーが必要
・バッテリーでの駆動時間が短くなる
・バッテリーの充電時間が延びる
交流電源を不足なく使用できる状況であれば支障は少ないが、屋外などで使用される場合、バッテリー駆動時間は長い方がよい。また、屋内で使用される場合でも消費電力の低減が求められる場合は少なくない。例えば、災害などの発生のため、電力供給が限られる場面など、屋内で表示装置が使用されても消費電力は少ない方がよい。したって、バッテリー動作時や充電時は消費電力を低減して駆動時間を長く、充電時間を短くすることが求められる。

次に、図１、図２を参照して、認識処理の頻度の電源状態に応じた制御について説明する。図１は、表示装置の電源状態の一例を示す図である。表示装置は、一例として、バッテリー動作状態Ａ、バッテリー充電中状態Ｂ、及び、交流電源動作状態Ｃの３つの電源状態を有している。
・バッテリー動作状態Ａ…電源ケーブルが接続されておらず、バッテリーのみで動作している状態である。
・バッテリー充電中状態Ｂ…電源ケーブルが接続されているが、バッテリーが満充電でないため、交流電源が表示装置の処理と充電に振り分けられる状態である。
・交流電源動作状態Ｃ…電源ケーブルが接続されており、バッテリーが満充電又は残電力量が閾値以上（例えば９０％以上）であるため、充電に電力が使用されず、交流電源の全てが表示装置の処理に使用される状態である。

図１に示すように各電源状態は以下の遷移条件で遷移する。
１．「バッテリー動作状態Ａ」→「バッテリー充電中状態Ｂ」
電源ケーブル接続
２．「バッテリー充電中状態Ｂ」→「交流電源動作状態Ｃ」
満充電完了
３．「交流電源動作状態Ｃ」→「バッテリー動作状態Ａ」
電源ケーブル切断
４．「交流電源動作状態Ｃ」→「バッテリー充電中状態Ｂ」
自然放電
５．「バッテリー充電中状態Ｂ」→「バッテリー動作状態Ａ」
電源ケーブル切断
なお、「バッテリー動作状態Ａ」から「交流電源動作状態Ｃ」に遷移してもよい。この場合は、バッテリー状態に応じて必ずしも自動的にバッテリーを充電しない場合である。

図２は、表示装置が電源状態に応じて制御する認識処理の頻度を説明する図である。本実施形態では、認識処理の頻度が３つの文字認識モードで制御される。したがって、認識処理の頻度は三段階で制御される。

Ａ．バッテリー動作状態
表示装置は文字認識モードを一括モードに設定する。表示装置は、アイコン押下時などのユーザー指示がない限り、認識処理を実行しない。

Ｂ．バッテリー充電中状態
表示装置は文字認識モードをリアルタイム(低)モードに設定する。表示装置は、例えば10ストロークデータごとなど、低頻度で認識処理を実行する。

Ｃ．交流電源動作状態
表示装置は文字認識モードをリアルタイム(高)モードに設定する。表示装置は例えば１ストロークデータごとなど、高頻度で認識処理を実行する。

電源状態に応じて認識処理が実行される頻度を制御する（下げる）ことで消費電力を低減でき、バッテリーの駆動時間を長くし、また、充電時間を短くすることができる。

＜用語について＞
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークという。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレーに表示される情報である。ストロークデータは適宜、補間されてよい。ストロークにより手書きされたデータをストロークデータという。手書きデータは１つ以上のストロークデータを有する。ストロークデータに基づいてディスプレーに表示される表示物をオブジェクトという。

文字認識とは手書きデータを文字コードに変換することを言う。日本語だけでなく英語などの多国語に変換することもできる。また、数字、記号（％、＄、＆など）、図形（線、丸、三角など）等にも変換できる。

電源状態とは、表示装置に供給される電力の状態である。本実施形態では、バッテリー動作状態Ａ、バッテリー充電中状態Ｂ、及び、交流電源動作状態Ｃの３つの電源状態を例にするがこれ以外の電源状態もあり得る。例えば、バッテリー動作状態Ａを残電力量に応じて更に複数の電源状態にわけること、バッテリー充電中状態Ｂを残電力量に応じて更に複数の電源状態にわけることができる。この場合、表示装置２は残電力量が少ないほど、認識処理の頻度を小さくする。

＜ペンの外観の一例＞
図３は、ペン２５００の斜視図の一例を示す。図３は多機能なペン２５００の一例を示す。電源を内蔵して表示装置２に命令を送信できるペン２５００をアクティブペンという（電源を内蔵しないペンをパッシブペンという）。図３のペン２５００は、物理的なスイッチがペン先に一つ、ペン尻に一つ、ペン側面に二つあり、ペン先が筆記用、ペン尻が消去用、ペン側面はユーザー機能割り当て用である。本実施形態のペン２５００は不揮発性のメモリーを有しており、他のペンと重複しないペンＩＤを記憶している。

なお、スイッチ付きのペンであれば、ユーザーの表示装置２の操作手順を減らすことも可能である。スイッチ付きのペンとは主にアクティブペンを言うが、電磁誘導方式では電源を内蔵しないパッシブペンでもＬＣ回路だけで電力を発生できるため、アクティブペンだけでなく電磁誘導方式のパッシブペンを含む。電磁誘導方式以外の光学方式、赤外線方式、及び、静電容量方式のスイッチのあるペンはアクティブペンである。

なお、ペン２５００のハードウェア構成は、通信機能とマイコンを備えた一般的な制御方式と同様であるとする。ペン２５００の座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、ペン２５００は、筆圧検知、傾き検知、ホバー機能（ペンが触れる前にカーソルを表示）、などの機能を有していてよい。

＜装置の全体構成＞
図４を用いて、本実施形態に係る表示装置２の全体構成を説明する。図４は、表示装置２の全体構成図を示した図である。図４（ａ）では、表示装置２の一例として、壁につり下げられた横長の電子黒板として使用される表示装置２を示している。

図４（ａ）に示されているように、表示装置２の上部には表示装置の一例としてのディスプレー２２０が設置されている。ユーザーＵは、ペン２５００を用いて、ディスプレー２２０に文字等を手書きする（入力、描画ともいう）ことができる。

図４（ｂ）は壁につり下げられた縦長の電子黒板として使用される表示装置２を示している。表示装置２は加速度センサーを有しており、重力方向から設置方向を検出できる。これにより、設置方向に関係なく文字認識が可能になる。

図４（ｃ）は机２３０に平置きされた表示装置２を示す。表示装置２は厚みが１ｃｍ程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、容易に移動できる。

＜装置のハードウェア構成＞
続いて、図５を用いて、表示装置２のハードウェア構成を説明する。表示装置２は図示するように情報処理装置又はコンピュータの構成を有している。図５は、表示装置２のハードウェア構成図の一例である。図５に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、及び、ＳＳＤ(Solid State Drive)２０４を備えている。

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、表示装置２用のプログラム等の各種データを記憶する。なお、プログラムは、プログラム配信サーバーから表示装置２がダウンロードしてもよいし、記憶媒体からインストールされてもよい。このプログラムはアプリケーションソフトと呼ばれる場合がある。

また、表示装置２は、ディスプレーコントローラー２１３、タッチセンサーコントローラー２１５、タッチセンサー２１６、ディスプレー２２０、電源スイッチ２２７、チルトセンサー２１７、シリアルインタフェース２１８、スピーカー２１９、マイク２２１、無線通信装置２２２、赤外線Ｉ／Ｆ２２３、電源制御回路２２４、バッテリー制御回路２２８、ＡＣアダプター２２５、及びバッテリー２２６を備えている。

ディスプレーコントローラー２１３は、出力画像をディスプレー２２０等へ出力するために画面表示の制御及び管理を行う。タッチセンサー２１６は、ディスプレー２２０上にペン２５００やユーザーの手等（ペンやユーザーの手は入力手段となる）が接触したことを検知する。また、タッチセンサー２１６はペンＩＤを受信する。

タッチセンサーコントローラー２１５は、タッチセンサー２１６の処理を制御する。タッチセンサー２１６は、座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、例えば、光学式の場合、ディスプレー２２０の上側両端部に設置された２つ受発光装置が、ディスプレー２２０に平行して複数の赤外線を放射し、ディスプレー２２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。タッチセンサー２１６は、物体によって遮断された２つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー２１５に出力し、タッチセンサーコントローラー２１５が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー２１５は通信ユニット２１５ａを有しており、ペン２５００と無線で通信することができる。例えば、Bluetooth（登録商標）などの規格で通信している場合は、市販されているペンを使用することができる。通信ユニット２１５ａに予め１つ以上のペン２５００を登録しておくと、ユーザーはペン２５００を表示装置２と通信させる接続設定を行わなくても通信できる。

電源スイッチ２２７は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。チルトセンサー２１７は、表示装置２の傾き角度を検出するセンサーである。主に、表示装置２が図４（ａ）、図４（ｂ）、又は、図４（ｃ）のいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。

シリアルインタフェース２１８はＵＳＢなどの外部との通信インタフェースである。外部からの情報の入力などに使用される。スピーカー２１９は音声の出力に使用され、マイク２２１は音声の入力に使用される。無線通信装置２２２は、ユーザーが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置２２２はWi－FiやBluetooth（登録商標）などで通信するが、通信規格は問われない。無線通信装置２２２はアクセスポイントを形成しており、ユーザーが入手したＳＳＩＤ（Service Set Identifier）とパスワードをユーザーが携帯する端末に設定すると、アクセスポイントに接続できる。

なお、無線通信装置２２２には２つのアクセスポイントが用意されているとよい。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
ａのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。ｂのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。

赤外線Ｉ／Ｆ２２３は隣に配置された表示装置２を検出する。赤外線の直進性を利用して、隣に配置された表示装置２のみを検出できる。赤外線Ｉ／Ｆ２２３は各辺に１つずつ設けられることが好ましく、表示装置２のどの方向に他の表示装置２が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置２に過去に手書きされた手書き情報（１つのディスプレー２２０の広さを１ページとして別のページの手書き情報）等を表示できる。

電源制御回路２２４は表示装置２の電源であるＡＣアダプター２２５又はバッテリー２２６からの電力をＣＰＵ等に供給する。バッテリー制御回路２２８は表示装置２の電源であるバッテリー２２６の充電を制御する。ＡＣアダプター２２５は商用電源が供給する交流を直流に変換する。詳細は図６を参照して説明する。

ディスプレー２２０がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー２２６による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置２を使用することが可能になる。

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図５に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、タッチセンサー２１６は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなど種々の検出手段を用いてもよい。タッチセンサー２１６は、ペン先のタッチの有無を検知するのに電子ペンが必要ない方式であってよい。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、ペン２５００は、細長いペン型である必要はない。

＜電源に関するハードウェアの説明＞
図６は、本実施形態の説明のため、図５のうち電源に関するブロックを取り出したハードウェアの概略図である。図６において、実線は電力の流れを意味し、点線は情報の流れを意味している。

ＡＣアダプター２２５及びバッテリー２２６が電源制御回路２２４とバッテリー制御回路２２８にそれぞれ接続されている。電源制御回路２２４は、ＡＣアダプター２２５からの電力をディスプレー２２０とＣＰＵ２０１に供給する。図６では図５のハードウェアブロックのうち代表的なものを示しているに過ぎず、他のハードウェアブロックにも電力は供給される。

バッテリー制御回路２２８はＡＣアダプター２２５からの電力をバッテリーのＳＯＣ（State of Charge）に応じてバッテリーに２２６供給する。電源制御回路２２４はＡＣアダプター２２５が接続されていない場合、バッテリー２２６からの電力をディスプレー２２０とＣＰＵ２０１に供給する。

ＣＰＵ２０１は以下の情報を電源制御回路２２４及びバッテリー制御回路２２８から受け取る。
電源制御回路２２４：使用している電源の種類 (ＡＣアダプターかバッテリーか)
バッテリー制御部３３：バッテリー情報(バッテリー残量、充電中か否か、充電電流など)
ＣＰＵ２０１がこれらの情報を取得することで電源状態を判断でき、電源状態に応じて手書きデータの認識処理の頻度を制御できる。

＜装置の機能について＞
次に、図７を用いて、表示装置２が有する機能について説明する。図７は表示装置２が有する機能をブロック状に示す機能ブロック図の一例である。表示装置２は、手書き入力部２１、表示部２２、手書き入力表示制御部２３、候補表示タイマー制御部２４、手書き入力保存部２５、手書き認識制御部２６、手書き認識辞書部２７、文字列変換制御部２８、文字列変換辞書部２９、予測変換制御部３０、予測変換辞書部３１、バッテリー制御部３３、電源制御部３４、及び、非常情報受信部３５を備えている。表示装置２が有する各機能は、図５に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。

手書き入力部２１はタッチセンサー２１６等により実現されており、ユーザーによる手書き入力を受け付ける。手書き入力部２１はユーザーのペン入力をペンＩＤ付きのペン操作データ（ペンアップ、ペンダウン、又はペン座標データ）に変換し、手書き入力表示制御部２３に送信する。ペン座標データは離散値として定期的に送信され、離散値間の座標は補完計算される。

表示部２２はディスプレー２２０等により実現され、手書きされたストロークデータ、認識後の文字列、及び、操作メニュー等を表示する。表示部２２は手書き入力表示制御部２３がビデオメモリーに書き込んだ描画データをディスプレー２２０の特性に応じたデータに変換し、ディスプレー２２０に送信する。

手書き入力表示制御部２３は手書き入力と表示に関する全体的な制御を行う。手書き入力表示制御部２３は手書き入力部２１からのペン操作データを処理し、表示部２２に送信することで表示させる。ペン操作データの処理及びストロークデータの表示の詳細は後述の図９～図１４にて説明する。

候補表示タイマー制御部２４は、選択可能候補の表示制御タイマーである。タイマーを開始又は停止して選択可能候補の表示を開始するタイミングと表示を消去するタイミングを生成する。選択可能候補とは、後述する操作ガイドに選択可能に表示される手書き認識文字列候補、言語文字列候補、変換文字列候補、文字列/予測変換の候補、及び、操作コマンドの候補、である。候補表示タイマー制御部２４は手書き入力表示制御部２３からタイマー開始要求（タイマー停止要求の場合もある）を受信し、タイムアウトイベントを手書き入力表示制御部２３に送信する。

手書き入力保存部２５はユーザーデータ（手書きデータ/認識後の文字列）を保存しておくストレージの機能を有する。手書き入力保存部２５は手書き入力表示制御部２３からユーザーデータを受信し、手書き入力保存部２５に保存し、手書き入力表示制御部２３から取得要求を受け取って、手書き入力保存部２５に保存されたユーザーデータを送信する。

手書き認識制御部２６はオンライン手書き認識（手書きデータの認識処理）を行う認識エンジンである。一般的なＯＣＲ(Optical Character Reader)とは異なり、ユーザーのペン操作と並行して文字（日本語だけでなく英語などの多国語）、数字、記号（％、＄、＆など）、図形（線、丸、三角など）等を認識していく。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。

手書き認識制御部２６はペン操作データを手書き入力表示制御部２３から受信し、手書き認識を実行して手書き認識文字列候補を保持する。また、手書き認識制御部２６は手書き認識辞書部２７を使用して手書き認識文字列候補から変換した言語文字列候補を保持しておく。別途、取得要求を手書き入力表示制御部２３から受信した場合、手書き認識制御部２６は保持している手書き認識文字列候補及び言語文字列候補を手書き入力表示制御部２３に送信する。

手書き認識辞書部２７は手書き認識の言語変換用の辞書データである。手書き認識辞書部２７は手書き認識文字列候補を手書き認識制御部２６から受信し、言語的に確からしい言語文字列候補に変換して手書き認識制御部２６に送信する。例えば、日本語の場合は、平仮名を漢字や片仮名へ変換する。

文字列変換制御部２８は変換文字列候補の文字列への変換を制御する。変換文字列とは手書き認識文字列候補又は言語文字列候補を含んで生成される可能性が高い文字列である。文字列変換制御部２８は手書き認識文字列候補及び言語文字列候補を手書き認識制御部２６から受信し、文字列変換辞書部２９を使用して変換文字列候補に変換して保持しておく。別途、取得要求を手書き入力表示制御部２３から受信した場合、保持している変換文字列候補を手書き入力表示制御部２３に送信する。

文字列変換辞書部２９は文字列変換用の辞書データである。文字列変換辞書部２９は文字列変換制御部２８から手書き認識文字列候補及び言語文字列候補を受信し、変換文字列候補を文字列変換制御部２８に送信する。

予測変換制御部３０は手書き認識文字列及び言語文字列候補を手書き認識制御部２６から受信し、変換文字列候補を文字列変換制御部２８から受信する。予測変換制御部３０はそれぞれについて予測変換辞書部３１を使用して予測文字列候補に変換しておく。予測文字列候補とは手書き認識文字列候補、言語文字列候補又は変換文字列候補を含んで生成される可能性が高い文字列である。別途、取得要求を手書き入力表示制御部２３から受信した場合、予測文字列候補を手書き入力表示制御部２３に送信する。

予測変換辞書部３１は予測変換用の辞書データである。予測変換辞書部３１は手書き認識文字列候補、言語文字列候補と変換文字列候補を予測変換制御部３０から受信し、予測文字列候補を予測変換制御部３０に送信する。

バッテリー制御部３３は、バッテリー情報 (バッテリー残量、充電中か否か、充電電流など)を電源制御部３４に送信する。電源制御部３４は、表示装置２が消費している電源の種類 (ＡＣアダプター又はバッテリー)とバッテリー情報から電源状態を判断して、手書き入力表示制御部２３に送信する。
・ＡＣアダプター２２５が接続されていない…バッテリー動作状態Ａ
・ＡＣアダプター２２５が接続されている＋バッテリー残量が０～９９％で充電中…バッテリー充電中状態Ｂ
・ＡＣアダプター２２５が接続されている＋バッテリー残量が１００％で充電中でない…交流電源動作状態Ｃ
手書き入力表示制御部２３は電源制御部３４から受信した電源状態に基づいて、認識処理を実行する頻度（文字認識モード）を判断する。

非常情報受信部３５は、例えばネットワークを介して通信するサーバーから非常情報（災害や停電といった消費電力の削減を求められる情報）を受信する。受信した場合、非常情報受信部３５は、手書き入力表示制御部２３に認識処理の頻度を下げる旨を通知する。例えば一括モードに切り替え、ユーザーからの指示がない限り認識処理を実行しないようにする。

＜＜電源状態（文字認識モード）と動作する機能ブロックの関係＞
図７の機能ブロックと文字認識モードの対応を説明する。図７において点線で囲まれた機能ブロックは、文字認識モードに関係なく常に動作する。

Ａ．バッテリー動作状態（一括モード）
手書き入力部２１、表示部２２、手書き入力表示制御部２３、候補表示タイマー制御部２４、手書き入力保存部２５、バッテリー制御部３３、及び、電源制御部３４が動作する。手書き認識制御部２６、手書き認識辞書部２７、文字列変換制御部２８、文字列変換辞書部２９、予測変換制御部３０、予測変換辞書部３１は動作しないので、駆動時間を延ばすことができる。

Ｂ．バッテリー充電中状態
Ａの機能ブロックに加え、残りの機能ブロックも動作する。ただし、動作する頻度が交流電源動作状態Ｃよりも少ない。これにより、充電時間を短縮できる。

Ｃ．交流電源動作状態
Ａの機能ブロックに加え、残りの機能ブロックも制約なく高頻度で動作する。これにより、認識処理のレスポンスを短くすることができる
＜選択可能候補の表示例＞
続いて、図８を参照して、手書きデータの変換時に表示される操作ガイド５００について説明する。図８は操作ガイド５００と操作ガイド５００が表示する選択可能候補５３０の一例である。ユーザーが手書きデータ５０４を手書きすることで、操作ガイド５００が表示される。操作ガイド５００は、操作ヘッダー５２０、操作コマンドの候補５１０、手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８、及び、手書きデータ矩形領域表示５０３を有している。選択可能候補５３０は、操作コマンドの候補５１０、手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８である。また、操作コマンドの候補５１０を除く選択可能候補５３０を文字列候補５３９という。

操作ヘッダー５２０はボタン５０１、５０９、５０２、５０５を有する。ボタン５０１は予測変換とカナ変換の切り替え操作を受け付ける。図８の例ではユーザーが「予測」と表示されているボタン５０１を押下すると、表示部２２が「かな」というボタン５０１に表示を変更する。変更後は、文字列候補５３９が「カナ変換」の確率降順で並ぶ。

ボタン５０２は候補表示のページ操作のためのボタンである。図８の例では候補表示ページは３ページあり、現在は１ページ目を表示している。ボタン５０５は操作ガイド５００の消去を受け付ける。ユーザーがボタン５０５を押下すると表示部２２は手書きデータ以外の表示を消去する。ボタン５０９は一括表示消去を受け付ける。ユーザーがボタン５０９を押下すると表示部２２は手書きデータを含め、図８に示されているすべての表示を消去して、ユーザーが最初から手書きをしなおすことを可能にする。

手書きデータ５０４はユーザーが手書きした「ぎ」という文字である。手書きデータ５０４を囲む手書きデータ矩形領域表示５０３が表示される。図８では一文字の入力で操作ガイド５００が表示されているが、操作ガイド５００が表示されるタイミングは、ユーザーが手書きを中断したタイミングである。したがって、手書きデータ５０４の文字数は任意である。

手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８にはそれぞれの文字列候補が確率降順で並んでいる。手書き認識文字列候補５０６の「ぎ」は認識結果の候補である。この例では正しく「ぎ」を認識している。

変換文字列候補５０７は「ぎ」のカナ漢字変換の結果（例えば「技」）から変換された変換文字列候補（例えば技を含む熟語）である。この例の「技量試」とは「技術量産試作」の略名である。文字列/予測変換の候補５０８は変換文字列候補５０７から変換された予測文字列候補である。この例では「技量試を決裁」と「議事録の送付先」が表示されている。

操作コマンドの候補５１０は認識された文字に応じて表示される、予め定義されている操作コマンド（ファイル操作、文字の編集などのコマンド）の候補である。図８の例では行頭文字の「》」５１１が操作コマンドの候補であることを示している。図８では「ぎ」の文字列候補である「議事録」が、操作コマンドの定義データと部分一致したため、操作コマンドの候補５１０として表示されている。

ユーザーが「議事録テンプレートを読み込む」を選択すると、定義データで定義された操作コマンドが実行される。このように操作コマンドの候補は、変換された文字列を含む操作コマンド定義データが見つかる場合に表示されるため、常に表示されるとは限らない。

なお、本実施形態では操作コマンドの表示処理は省略されているが、表示装置２が操作コマンド用の辞書を有することで図８のように表示できる。

＜認識処理の動作手順＞
以上の構成と図９～図１４を用いて、表示装置２が手書きデータを認識する処理について説明する。図９～図１４は表示装置２が文字列候補を表示する処理を説明する一例のシーケンス図である。図９の処理は、表示装置２が起動すると（アプリケーションが起動すると）スタートする。図９～図１４では交流電源動作状態Ｃの認識処理を説明する。なお、図９～図１４ではスペースの都合上、符号で図７の機能を示した。

S1：まず、手書き入力表示制御部２３が手書きデータ開始を手書き入力保存部２５に送信する。手書き入力保存部２５は手書きデータ領域（手書きデータを保存するメモリー領域）を確保する。ユーザーがペンを手書き入力部２１に接触させてから手書きデータ領域を確保してもよい。

S2：次にユーザーが手書き入力部２１にペンを接触させる。手書き入力部２１はペンダウンを検出して手書き入力表示制御部２３に送信する。

S3：手書き入力表示制御部２３は手書き入力保存部２５にストローク開始を送信し、手書き入力保存部２５はストローク領域を確保する。

S4：ユーザーがペンを手書き入力部２１に接触させたまま移動させると、手書き入力部２１はペン座標を手書き入力表示制御部２３に送信する。

S5：手書き入力表示制御部２３はペン座標補完表示データ（離散的なペン座標を補間するデータ）を表示部２２に送信する。表示部２２はペン座標補完表示データを用いてペン座標を補間して線を表示する。

S6：手書き入力表示制御部２３はペン座標とその受信時刻を手書き入力保存部２５に送信する。手書き入力保存部２５はペン座標をストロークデータに追加する。ユーザーがペンを動かしている間は、手書き入力部２１は定期的に手書き入力表示制御部２３へのペン座標の送信を繰り返すため、ステップS4～S6の処理がペンアップされるまで繰り返される。

S7：ユーザーが手書き入力部２１からペンを離すと、手書き入力部２１はペンアップを手書き入力表示制御部２３に送信する。

S8：手書き入力表示制御部２３は手書き入力保存部２５にストローク終了を送信し、手書き入力保存部２５はストロークデータのペン座標を確定させる。ストロークデータのペン座標の確定により以降はストロークデータにペン座標を追加できなくなる。

S9：次に、手書き入力表示制御部２３はすでに手書きされている手書きデータ近傍の矩形領域（外接矩形）に基づいて、手書きデータ近傍の矩形領域とストローク矩形領域の重なり状況取得を手書き入力保存部２５に送信する。手書き入力保存部２５は重なり状況を計算して重なり状況を手書き入力表示制御部２３に送信する。

続く、ステップS10～S15は、手書きデータ近傍矩形領域とストローク矩形領域が重なっていない場合に実行される。

S10：手書きデータ近傍矩形領域とストローク矩形領域が重なっていない場合、１つの手書きデータが確定するので、手書き入力表示制御部２３は保持データクリアを手書き認識制御部２６に送信する。

S11,S12：手書き認識制御部２６は保持データクリアをそれぞれ文字列変換制御部２８、予測変換制御部３０に送信する。手書き認識制御部２６、文字列変換制御部２８、予測変換制御部３０がこれまでに保持している文字列候補と操作コマンドの候補に係るデータをクリアする。なお、クリアの時点では最後に手書きされたストロークデータは手書きデータに追加されていない。

S13：手書き入力表示制御部２３は手書きデータ終了を手書き入力保存部２５に送信する。手書き入力保存部２５は手書きデータを確定させる。手書きデータの確定とは１つの手書きデータが完成したこと（これ以上、ストロークデータが追加されないこと）をいう。

S14：手書き入力表示制御部２３は手書きデータ開始を手書き入力保存部２５に送信する。次の手書きデータの手書きの開始（ペンダウン）に備えて、手書き入力保存部２５は新しい手書きデータ領域を確保する。

S15：次に手書き入力表示制御部２３はステップS8で終了したストロークデータに関してストローク追加を手書き入力保存部２５に送信する。ステップS10～S15が実行された場合、追加されるストロークデータは手書きデータの最初のストロークデータであり、手書き入力保存部２５は開始中の手書きデータにストロークデータを追加する。ステップS10～S15が実行されてない場合、追加されるストロークデータはすでに手書き中の手書きデータに追加される。

S16：続いて手書き入力表示制御部２３はストローク追加を手書き認識制御部２６に送信する。手書き認識制御部２６は文字列候補が格納されるストロークデータ保持領域（ストロークデータが一時的に格納される領域）にストロークデータを追加する。

S17：次に、手書き認識制御部２６はストロークデータに手書き認識を実行する。このように、交流電源動作状態Ｃでは１ストロークデータごとに認識処理が実行される。

S18：手書き認識制御部２６は認識処理の実行結果の１つである手書き認識文字列候補を手書き認識辞書部２７に送信する。手書き認識辞書部２７は言語的に確からしい言語文字列候補を手書き認識制御部２６に送信する。

S19：手書き認識制御部２６は手書き認識文字列候補及び受信した言語文字列候補を文字列変換制御部２８に送信する。

S20：文字列変換制御部２８は手書き認識文字列候補及び言語文字列候補を文字列変換辞書部２９に送信する。文字列変換辞書部２９は変換文字列候補を文字列変換制御部２８に送信する。

S21：文字列変換制御部２８は受信した変換文字列候補を予測変換制御部３０に送信する。

S22：予測変換制御部３０は受信した変換文字列候補を予測変換辞書部３１に送信する。予測変換辞書部３１は予測文字列候補を予測変換制御部３０に送信する。

S23：手書き認識制御部２６は手書き認識文字列候補及び言語文字列候補を予測変換制御部３０に送信する。

S24：予測変換制御部３０は手書き認識文字列候補及び受信した言語文字列候補を予測変換辞書部３１に送信する。予測変換辞書部３１は予測文字列候補を予測変換制御部３０に送信する。

以上のように、１つのストロークデータから予測文字列候補までが作成される。表示装置２はストロークデータが増えるたびに同じ処理を繰り返している。このため、消費電力が多くなる傾向がある。

手書き認識制御部２６、文字列変換制御部２８、及び、予測変換制御部３０はそれぞれ手書き認識文字列候補、言語文字列候補、変換文字列候補、及び、予測文字列候補に係るデータを後段のステップS29～S31で手書き入力表示制御部２３が取得できるよう保持しておく。

S16－2：手書き入力表示制御部２３はステップS16でストローク追加を手書き認識制御部２６に送信した直後、選択可能候補表示タイマー開始を候補表示タイマー制御部２４に送信する。候補表示タイマー制御部２４はこの選択可能候補表示タイマーを開始する。

続く、ステップS25～S27は一定時間が経過する前に（タイマーがタイムアウトする前に）ペンダウンが発生した場合に実行される。つまり、ユーザーが続けて手書きしている場合である。

S25：選択可能候補表示タイマーがタイムアウトする前に、ユーザーが手書き入力部２１にペンを接触させた場合、手書き入力部２１はペンダウン（ステップS2と同じイベント）を手書き入力表示制御部２３に送信する。

S26:手書き入力表示制御部２３はストローク開始（ステップS3と同じ）を手書き入力保存部２５に送信する。この後のシーケンスはステップS3以降と同じである。

S27：更に手書き入力表示制御部２３は選択可能候補表示タイマー停止を候補表示タイマー制御部２４に送信する。候補表示タイマー制御部２４は選択可能候補表示タイマーを停止させる。ペンダウンが検出されたので選択可能候補表示タイマーが不要になるからである。

ステップS28～S53は一定時間が経過する前に（選択可能候補表示タイマーがタイムアウトする前に）ペンダウンが発生しない場合に実行される。したがって、図８に示した操作ガイド５００が表示される。

S28:選択可能候補表示タイマー開始中にユーザーが手書き入力部２１にペンを接触させなかった場合、候補表示タイマー制御部２４はタイムアウトを手書き入力表示制御部２３に送信する。

S29:手書き入力表示制御部２３は手書き認識文字列候補と言語文字列候補の取得を手書き認識制御部２６に送信する。手書き認識制御部２６は現在保持している手書き認識文字列候補と言語文字列候補を手書き入力表示制御部２３に送信する。

S30:手書き入力表示制御部２３は変換文字列候補の取得を文字列変換制御部２８に送信する。文字列変換制御部２８は現在保持している変換文字列候補を手書き入力表示制御部２３に送信する。

S31:手書き入力表示制御部２３は予測文字列候補の取得を予測変換制御部３０に送信する。予測変換制御部３０は現在保持している予測文字列候補を手書き入力表示制御部２３に送信する。

S32:更に、手書き入力表示制御部２３は推定書字方向取得を手書き入力保存部２５に送信する。手書き入力保存部２５は手書きデータ矩形領域の水平距離と垂直距離から判断して、推定書字方向（縦書き、横書き）を手書き入力表示制御部２３に送信する。

S33:手書き入力表示制御部２３はこれらの手書き認識文字列候補（図８では「ぎ」）、言語文字列候補（図８では表示がないが例えば「議」「技」）、変換文字列候補（図８では「議事録」「技量試」）、予測文字列候補（図８では「技量試を決済」「議事録の送付先」）、操作コマンドの候補（図８では「議事録テンプレートを読み込む」「議事録フォルダーに保存する）、各選択確率、及び、推定書字方向から図８のような選択可能候補表示データを作成する。手書き入力表示制御部２３は選択可能候補表示データを表示部２２に送信することで表示させる。

S34:また、手書き入力表示制御部２３は手書きデータの矩形領域表示データ（矩形枠）（図８では手書きデータ矩形領域表示５０３）を、表示部２２に送信することで表示させる。

S35:手書き入力表示制御部２３は選択可能候補表示データの表示から一定時間後に消去するため選択可能候補消去タイマー開始を候補表示タイマー制御部２４に送信する。候補表示タイマー制御部２４はこの選択可能候補消去タイマーを開始する。

ステップS36～S40は、選択可能候補消去タイマー開始中に、ユーザーが表示部２２に表示された選択可能候補表示を消去したか、手書きデータの変化が発生した場合（即ち手書きデータのストロークデータの追加、削除、移動、変形又は分割された場合）、又は、タイムアウトまでに候補が選択されなかった場合に実行される。

更に、ステップS36～S37は、候補表示が消去された場合に実行される。

S36：手書き入力部２１は選択可能候補消去を手書き入力表示制御部２３に送信する。

S37：手書き入力表示制御部２３は選択可能候補消去タイマー停止を送信する。候補表示タイマー制御部２４は選択可能候補消去タイマーを停止する。ユーザーが消去したため選択可能候補消去タイマーが不要になるからである。

S39：手書き入力表示制御部２３は選択可能候補表示データ消去を表示部２２に送信することで、表示を消去させる。

S40：手書き入力表示制御部２３は手書きデータの矩形領域表示データ消去を表示部２２に送信することで、表示を消去させる。したがって、手書きデータはそのまま表示が維持される。

S38:一方、選択可能候補消去タイマー開始中に、選択可能候補消去が発生しなかった場合（ユーザーがペン操作をしなかった場合は）、候補表示タイマー制御部２４はタイムアウトを手書き入力表示制御部２３に送信する。

選択可能候補消去タイマーのタイムアウトの後も同様に、手書き入力表示制御部２３はステップS39とS40を実行する。一定時間の経過で選択可能候補表示データ、手書きデータの矩形領域表示データを消去してよいためである。

選択可能候補消去タイマー開始中に、ユーザーが選択可能候補を選択した場合、ステップS41～S53が実行される。

S41：選択可能候補消去タイマー開始中に、ユーザーが選択可能候補を選択した場合、手書き入力部２１は文字列候補又は操作コマンドの候補選択を手書き入力表示制御部２３に送信する。

S42:手書き入力表示制御部２３は選択可能候補消去タイマー停止を候補表示タイマー制御部２４に送信する。候補表示タイマー制御部２４はこの選択可能候補消去タイマーを停止する。

S43:次に手書き入力表示制御部２３は保持データクリアを手書き認識制御部２６に送信する。

S44:手書き認識制御部２６は保持データクリアを文字列変換制御部２８に送信する。

S45:手書き認識制御部２６は保持データクリアを予測変換制御部３０に送信する。

手書き認識制御部２６、文字列変換制御部２８、及び、予測変換制御部３０は、これまで保持していた文字列候補に係るデータをクリアする。

S46:次に手書き入力表示制御部２３は選択可能候補表示データ消去を表示部２２に送信することで表示を消去させる。

S47：手書き入力表示制御部２３は手書きデータの矩形領域表示データ消去を表示部２２に送信することで表示を消去させる。

S48：手書き入力表示制御部２３は手書きデータ表示データ消去及びステップS5で送信したペン座標補完表示データ消去を表示部２２に送信することで表示を消去させる。文字列候補又は操作コマンドの候補が選択されたため、手書きデータ等が不要になるためである。

S49：手書き入力表示制御部２３は手書きデータ削除を手書き入力保存部２５に送信する。認識結果が表示されるため、手書きのストロークデータは不要になるからである。

S50:文字列候補が選択された場合、手書き入力表示制御部２３は認識で得た（ユーザーが選択した）文字列の追加を手書き入力保存部２５に送信する。

S51：更に手書き入力表示制御部２３は文字列データフォント取得を手書き入力保存部２５に送信する。手書き入力保存部２５は手書きデータの推定文字サイズから定義済みフォントを選択して手書き入力表示制御部２３に送信する。

S52:次に手書き入力表示制御部２３は手書き入力保存部２５から受信した定義済みフォントを使用して、手書きデータと同じ位置に表示させる文字列データ表示データを表示部２２に送信させることで、表示させる。

S53：次の手書きデータのために手書き入力表示制御部２３は手書きデータ開始を手書き入力保存部２５に送信する。手書き入力保存部２５は手書きデータ領域を確保する。これ以降、ステップS2～S53の処理が繰り返される。

＜認識処理の概略＞
続いて、図１５を参照して、認識処理の概略について説明する。図１５は、手書き認識制御部２６が文字を認識する処理の概略を説明する図である。図１５では「木」という文字を認識する場合を説明する。

(1) ユーザーが木の第一画のストロークデータを手書きする。手書き認識制御部２６は第一画のストロークデータを形状が予め定義されている基本ストロークとパターンマッチングする。パターンマッチングとは、データを検索する場合に、特定のパターンが出現するかどうか、またどこに出現するかを特定する手法、又は、情報の特徴に基づき手書き文字、図形、音声などを予め登録されている多数の標準パターンと比較・認識することをいう。パターン認識ともいう。

基本ストロークはひらがな、カタカナ、漢字、数字、アルファベット、図形が含むストロークデータを１つずつ取り出しある程度の抽象化・共通化したものである。換言すると、全ての文字等は基本ストロークを合成してできている。基本ストロークは日本語、英語、図形、又は、数字のうちどれの基本ストロークであるかが識別されている。

(2) 手書き認識制御部２６は、第一画のストロークデータと全ての基本ストロークとパターンマッチングを行い、それぞれの基本ストロークで類似の程度を表す確度を算出する。形状が似ている基本ストロークほど高い確度が算出される。

(3) 次に、手書き認識制御部２６は確度が高い上位のＮ個の基本ストロークで基本形状辞書３０１～３０４を検索する。つまり、第一画で完結するか、又は、第一画を含む文字等を基本形状辞書３０１～３０４から取得する。基本形状辞書３０１～３０４は日本語用、英語用、図形用、数字用などに分かれており、それぞれから候補を検索できるようになっている。例えば「一（いち）」「－（横線）」などが検索に適合する。

(4) 手書き認識制御部２６は第二画についても同様の処理を行う。したがって、第二画と各基本ストロークとの確度が算出される。なお、複数のストロークデータが何文字分に相当するかは手書き内容によって変わるので、手書き認識制御部２６は空白で一文字に区切って認識するか、又は、複数の文字に対応した基本形状辞書３０１～３０４を使用する。

(5) 手書き認識制御部２６は第一画目で上位のＮ個の基本ストロークと第二画目で上位のＮ個の基本ストロークを組み合わせてＮ×Ｎ個の文字を生成する。Ｎを２とすると２×２＝４つの文字が生成される。手書き認識制御部２６はこれらの文字で基本形状辞書３０１～３０４を検索する。つまり、第一画と第二画で完結するか、又は、第一画と第二画を含む文字等を基本形状辞書３０１～３０４から取得する。例えば「十」「ナ」などが検索に適合する。

このように、手書き認識制御部２６は１つのストロークデータごとに認識処理を実行でき、ユーザーがペンアップして選択可能候補表示タイマーがタイムアウトした（Ｓ２８）場合はすぐに文字列候補を表示できる。

＜各電源状態で認識処理が実行される頻度＞
図９～図１４のシーケンス図で説明したように、手書き入力表示制御部２３が手書き認識制御部２６にストロークデータを追加すると、手書き認識制御部２６が認識処理を開始する。したがって、認識処理の頻度を制御するには、手書き入力表示制御部２３が手書き認識制御部２６にストロークデータを追加する頻度を制御すればよい。このため、手書き入力表示制御部２３は、図１６に示すような頻度制御テーブルを有している。

図１６は頻度制御テーブルの一例を示す。頻度制御テーブルでは電源状態に認識処理の頻度が対応づけられている。認識処理の頻度はストローク数で表されている。例えば、バッテリー動作状態Ａには無限大のストローク数が対応づけられている。これは、例えばアイコンの押下などユーザー操作が入力されないと認識処理が実行されないことを示す。また、バッテリー充電中状態Ｂには「１０本」のストローク数が対応づけられている。また、「交流電源動作状態Ｃ」には「１本」のストローク数が対応づけられている。

手書き入力表示制御部２３は、手書き入力保存部２５に追加したストロークデータの数をカウントすると共に、頻度制御テーブルを参照して、頻度制御テーブルで決まっている所定数（２以上）のストロークデータを手書き入力保存部２５に追加すると、手書き認識制御部２６に認識処理を要求する。なお、「１０本」は一例であって、適宜設定される。また、ユーザーが所望のストローク数を設定してもよい。

手書き認識制御部２６は例えば１０本分のストロークデータに対し認識処理を行う。１０本分のストロークデータが何文字分に相当するかは手書き内容に応じて変動するが、日本語と英語の活字体の場合は一文字ごとに空白があり、一文字ごとに区分される。英語の筆記体の場合は例えば単語単位で認識される。

ただし、手書き認識制御部２６は１０本分のストロークデータに到達しなくても、選択可能候補表示タイマーのタイムアウトにより、ストロークデータに対し認識処理を行う。選択可能候補表示タイマーがタイムアウトした場合、ユーザーが手書きを終え、文字列候補５３９を表示させたいと考えられるためである。したがって、バッテリー充電中状態Ｂの場合、「１０本」のストロークデータが手書きされた場合、又は、選択可能候補表示タイマーがタイムアウトした場合に、手書き入力表示制御部２３は手書き認識制御部２６に認識処理を要求する。

手書き認識制御部２６は１０本分のストロークデータのうち１文字に区分した１つ以上のストロークデータに対し図１５で説明した処理を行う。この場合、１ストロークデータごとの基本形状辞書３０１～３０４の検索が不要になり、１文字分のストロークデータの組み合わせで生成された文字で基本形状辞書３０１～３０４を検索すればよい。このことは、１０本分のストロークデータに対し認識処理を行うことで消費電力を低減できること意味する。

なお、この場合、一文字の一部で認識処理が実行される場合もある。例えば、図１７に示すように、ユーザーが「言葉の森」と手書きしようとしたのに「森」の途中まで手書きした状態で認識処理が実行される場合がある。この場合、手書き認識制御部２６は「言葉の木」と認識するが、ユーザーは手書きを続けているので、選択可能候補表示タイマーがタイムアウトしないため、「言葉の木」が表示されることはない。表示されるのは、ユーザーが「言葉の森」まで書き終えて、選択可能候補表示タイマーがタイムアウトした場合である。

＜電源状態に応じた認識処理の頻度の制御＞
図１８は、表示装置２が電源状態に応じて認識処理の頻度を制御する手順を示すフローチャート図の一例である。図１８の処理は、手書き入力表示制御部２３が手書き入力保存部２５にストローク終了を通知すると（図１０のＳ８）スタートする。

手書き入力表示制御部２３は、電源制御部３４が通知する電源状態がバッテリー動作状態Ａか否かを判断する（Ｓ１０１）。

ステップＳ１０１の判断がＹｅｓの場合、手書き入力表示制御部２３は文字認識モードを一括モードに設定する（Ｓ１０２）。したがって、ユーザーの指示があるまで、手書き認識制御部２６にストロークデータを通知しない（図１１のＳ１６を行わない）。

ステップＳ１０１の判断がＮｏの場合、手書き入力表示制御部２３はバッテリー充電中状態Ｂか否かを判断する（Ｓ１０３）。

ステップＳ１０３の判断がＹｅｓの場合、手書き入力表示制御部２３は文字認識モードをリアルタイム（低）モードに設定する（Ｓ１０４）。したがって、手書き入力表示制御部２３は手書き入力保存部２５に追加されたストロークデータの数をカウントし、頻度制御テーブルでリアルタイム（低）モードに対応づけられたストロークの数になるまで、手書き認識制御部２６にストロークデータを通知しない（図１１のＳ１６を行わない）。

ステップＳ１０３の判断がＮｏの場合、手書き入力表示制御部２３は文字認識モードをリアルタイム（高）モードに設定する（Ｓ１０５）。したがって、手書き入力表示制御部２３は１ストロークデータごとに手書き認識制御部２６にストロークデータを通知する（ストロークデータごとに図１１のＳ１６を行う）。

＜非常時の処理について＞
続いて、図１９を参照して、表示装置２が非常情報を受信した場合の処理について説明する。図１９は、表示装置２が非常情報を受信した場合に認識処理の頻度を制御する手順を示すフローチャート図の一例である。

非常情報受信部３５は、非常情報を受信したか否かを判断する（Ｓ２０１）。非常情報は、表示装置２で消費する電力を低減すべき状況が生じたことを知らせる情報である。屋内であれば、表示装置２の電力よりも他の装置に電力を優先すべき状況が生じたことを知らせる情報である。野外であれば、バッテリー動作時間を増大すべき状況が生じたことを知らせる情報である。

非常情報は、例えば地震、停電、火災、水害などの発生を知らせる情報である。非常時に非常電源が供給される病院などではこのような状況になりやすい。病院に限らず、表示装置２よりも他の装置に優先的に電力を供給したい施設は少なくない。

非常情報は、表示装置２が設置された施設内のサーバーから送信されてもよいし、クラウド上のサーバーから送信されてもよい。また、ＬＡＮで送信されても電話回線で送信されてもよい。

ステップＳ２０１の判断がＹｅｓの場合、手書き入力表示制御部２３は文字認識モードを一括モードに設定する（Ｓ１０２）。したがって、ユーザーの指示があるまで、手書き認識制御部２６にストロークデータを通知しない（図１１のＳ１６を行わない）。以降の処理は図１８と同様でよい。

＜電源状態の改善に伴う一括変換＞
電源状態がバッテリー動作状態Ａの表示装置２にバッテリーケーブルが接続される場合がある。ユーザーが認識処理を実行していないストロークデータがある可能性が高いので、自動的に一括認識を行うとユーザーの手間を低減できる。

図２０は、電源状態が改善した場合、表示装置２が一括認識を行う処理を説明するフローチャート図の一例である。図２０の説明では図１８との相違を説明する。

ステップＳ１０２で一括モードであると判断された後、又は、ステップＳ１０４でリアルタイム（低）モードであると判断された後、手書き入力表示制御部２３は電源状態に基づいて電源状態が改善されたか否かを判断する（Ｓ１０６）。すなわち、バッテリー動作状態Ａからバッテリー充電中状態Ｂ（又は交流電源動作状態Ｃでもよい）に変化した場合、又は、バッテリー充電中状態Ｂから交流電源動作状態Ｃに変化した場合、電源状態が改善されたと判断する。

ステップＳ１０６の判断がＹｅｓの場合、手書き入力表示制御部２３は手書き入力保存部２５に保存されている文字認識されていないストロークデータの一括認識を行う（Ｓ１０７）。

図２１は、手書き入力保存部２５に保存されている保存データを模式的に示す。図２１の１行が１つのストロークデータを表す。１つの保存データは、DataId、Type、PenId, Color, Width, Pattern, Angle、AccountId 、StartPoint、StartTime、EndPoint、EndTime、Point、及び、Pressureの各項目を有している。

DataIdはストロークデータの識別情報である。Typeはストロークデータの種別である。種別にはストローク(Stroke)、及びテキスト(Text)がある。手書き入力保存データ８０１、８０２の種別はStrokeであり、手書き入力保存データ８０４の種別はテキストである。PenId、Color, Width, Pattern, Angle、AccountIdは、ペン２５００のＩＤ、色、太さ、線種、向き、である。StartPointはストロークデータの始点座標であり、StartTimeはストロークデータの始点時刻である。EndPointはストロークデータの終点座標であり、EndTimeはストロークデータの終点時刻である。Pointは始点から終点までの座標点列であり、Pressureは始点から終点までの筆圧である。

したがって、手書き入力表示制御部２３はType=Strokeの保存データを手書き入力保存部２５から取得して手書き認識制御部２６に認識処理を要求する。

このように、認識処理を実行していないストロークデータがある場合、電源状態の改善に応じて、一括認識を行うことでユーザーの手間を低減できる。

＜電源状態に応じた検索範囲の広さの制御＞
電源状態に応じて認識処理の頻度を制御することに加え、ストロークデータのパターンマッチングの範囲、及び、変換候補の検索範囲の広さを制御することで更に消費電力を抑制することが可能になる。

まず、パターンマッチングの範囲について説明する。図１５で説明したように、１つのストロークデータは基本ストロークとパターンマッチングされる。各基本ストロークは日本語、英語、図形、又は、数字のどれから抽出されたのか識別されているので、パターンマッチングの対象の基本ストロークを少なくすれば、消費電力を低減できる。例えば、手書き認識制御部２６は、電源状態に応じて以下のように、認識処理において比較の対象とする基本ストロークの検索範囲の広さを制御する。
・バッテリー動作状態Ａ（一括モード）…手書き認識制御部２６は日本語の基本ストロークのみとパターンマッチングする。また、日本語用の基本形状辞書のみを検索する。
・バッテリー充電中動作状態（リアルタイム（低）モード）…手書き認識制御部２６は日本語、数字の基本ストロークのみとパターンマッチングする。また、日本語用と数字用の基本形状辞書のみを検索する。
・交流電源動作状態Ｃ（リアルタイム（高）モード）…手書き認識制御部２６は全ての基本ストロークとパターンマッチングする。また、全ての基本形状辞書を検索する。

次に、変換候補の検索範囲について説明する。図７に示したように、表示装置２は文字列変換辞書部２９と予測変換辞書部３１とを有している。文字列変換辞書部２９と予測変換辞書部３１も日本語、英語、図形、及び、数字に分かれているので、検索する辞書の種類を少なくすれば、消費電力を低減できる。

また、文字列変換制御部２８は文字列変換辞書部２９により「ぎ」を「技量試」「議事録」等の変換文字列候補５０７に変換できるが、何文字まで変換文字列候補５０７を検索するかによって消費電力が異なる。つまり、辞書から取得する文字列の文字数を少なくすれば消費電力を低減できる。例えば「技量試」「議事録」の３文字の変換文字列候補５０７を「技量」「議事」の２文字に制限することで検索時間が短くなり消費電力を低減できる。

文字列/予測変換の候補５０８についても同様に、例えば「議事録の送付先」の文字列/予測変換の候補５０８を「議事録の」「議事録を」のように文字数を制限することで検索時間が短くなり消費電力を低減できる。

以上から、文字列変換制御部２８と予測変換制御部３０は、電源状態に応じて例えば以下のように変換候補の検索範囲の広さを制御する。
・バッテリー動作状態Ａ（一括モード）…日本語の辞書のみを検索する。また、変換文字列候補５０７を１文字に制限し、文字列/予測変換の候補５０８を３文字に制限する。
・バッテリー充電中動作状態（リアルタイム（低）モード）…日本語、数字の辞書のみを検索範囲とする。また、変換文字列候補５０７を２文字に制限し、文字列/予測変換の候補５０８を４文字に制限する。

なお、フローチャート図は図１８と同様になり、ステップＳ１０２，Ｓ１０４、Ｓ１０５で手書き認識制御部２６はパターンマッチングの範囲を制御し、文字列変換制御部２８と予測変換制御部３０は変換候補の検索範囲を制御する。

このようにストロークデータのパターンマッチングの範囲、及び、変換候補の検索範囲を制御することで更に消費電力を抑制することが可能になる。

＜電源状態の表示例＞
図２２は、表示装置のディスプレーに表示される電源状態の一例を示す。図２２（ａ）はディスプレー２２０の表示例を示す。ディスプレー２２０には電源状態を示すバッテリーのアイコン３３０が表示される（図２２（ｄ）参照）。

図２２（ｂ）はバッテリー動作状態Ａのアイコン３３０を示す。図２２（ｃ）はバッテリー充電中状態Ｂのアイコン３３０を示す。図２２（ｄ）は、交流電源動作状態Ｃのアイコン３３０を示す。ユーザーはアイコン３３０を見て現在の電源状態を把握できる。

更に、表示装置２は図２２（ａ）に示すように文字認識モードを表示してもよい。図２２（ａ）ではバッテリー動作状態Ａに対応して「現在、一括モードです」というメッセージ３１０が表示されている。ユーザーは手書きデータがどのように変換されるかを把握できる。バッテリー充電中状態Ｂの場合は「現在、リアルタイム（低）モードです」と表示され、交流電源動作状態Ｃの場合は「現在、リアルタイム（高）モードです」と表示される。なお、メッセージ３１０とアイコン３３０は常時、表示されてもよいし、定期的に表示されてもよいし、ユーザー操作で表示されてもよい。

＜主な効果＞
以上説明したように、本実施形態によれば、電源状態に応じて認識処理が実行される頻度を制御（下げる）ことで消費電力を低減でき、バッテリーの駆動時間を長くし、また、充電時間を短くすることができる。

以下の実施例では表示装置２の別の構成例について説明する。

＜＜表示装置の別の構成例１＞＞
本実施形態の表示装置２は大型のタッチパネルを有するものとして説明されているが、表示装置２はタッチパネルを有するものに限られない。

図２３は、表示装置２の他の構成例を示す図である。図２３では、通常のホワイトボード４１３の上辺にプロジェクター４１１が設置されている。このプロジェクター４１１が表示装置２に相当する。通常のホワイトボード４１３とは、タッチパネルと一体のフラットパネルディスプレーではなく、ユーザーがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。

プロジェクター４１１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４１３に投影できる。この映像は、無線又は有線で接続されたＰＣ４００－１から送信されてもよいし、プロジェクター４１１が記憶していてもよい。

ユーザーは専用の電子ペン２５０１を使ってホワイトボード４１３に手書きする。電子ペン２５０１は、ユーザーが手書きのためにホワイトボード４１３に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザーの目には見えない。プロジェクター４１１はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５０１の方向を特定する。また、電子ペン２５０１は発光と共に音波を発信しており、プロジェクター４１１は音波の到達時間により距離を算出する。方向と距離により電子ペン２５０１の位置を特定できる。電子ペン２５０１の位置には手書きされたデータが描画（投影）される。

プロジェクター４１１はメニュー４３０を投影するので、ユーザーが電子ペン２５０１でボタンを押下すると、プロジェクター４１１が電子ペン２５０１の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１が押下されると、ユーザーが手書きした手書きされたデータ（座標点列）がプロジェクター４１１で保存される。プロジェクター４１１は、予め定められたサーバー４１２又はＵＳＢメモリー２６００等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザーが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー４３０は表示されなくてもよい。

＜＜表示装置の別の構成例２＞＞
図２４は、表示装置２の他の構成例を示す図である。図２４の例では、表示装置２として、端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。

端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。

ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、電子ペン８２０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し（検出方法は図２３と同様でよい）、端末装置６００へ送信する。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力される手書きデータの画像データを生成し、画像投影装置７００Ａによって手書きデータの画像をスクリーン８００に描画させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。

＜＜表示装置の別の構成例３＞＞
図２５は、表示装置２の構成例を示す図である。図２５の例では、表示装置２として、端末装置６００と、ディスプレー８００Ａと、ペン動作検出装置８１０とを有する。

ペン動作検出装置８１０は、ディスプレー８００Ａの近傍に配置され、ディスプレー８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し（検出方法は図２３と同様でよい）、端末装置６００へ送信する。なお、図２５の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０Ａによって入力される手書データの画像の画像データを生成し、ディスプレー８００Ａに表示させる。

＜＜表示装置の別の構成例４＞＞
図２６は、表示装置２の構成例を示す図である。図２６の例では、表示装置２として、端末装置６００と、画像投影装置７００Ａとを有する。

端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。座標情報は、スクリーン８００に形成された微小な位置情報を電子ペン８２０Ｂが読み取ってもよいし、スクリーン８００から座標情報を受信してもよい。

そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力される手書データの画像の画像データを生成し、画像投影装置７００Ａに手書データの画像を投影させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。

以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

文字列は文字コードとして、手書きデータは座標点データとして表示装置２に保存される。また、各種の記憶媒体に保存したり、ネットワーク上の記憶装置に保存したりしておいて、後で、表示装置２からダウンロードして再使用することができる。再使用する表示装置２はどの表示装置でもよく、一般的な情報処理装置でもよい。したがって、ユーザーは手書きした内容を異なる表示装置２で再現して会議などを継続することができる。

例えば、本実施形態では電子黒板を一例として説明したが、電子黒板は、電子ホワイトボード、電子情報ボード、手書き入力装置などと呼ばれてよい。また、本実施形態は、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークデータとしてプロジェクターが描画（投影）する。

また、図７などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、表示装置２が行う処理の一部を、表示装置２とネットワークを介して接続されたサーバーが行ってもよい。

また、本実施形態において、比較の対象として閾値が例示されていたとしても閾値は例示された値には限定されない。このため、本実施形態では、全ての閾値に関し、閾値未満と閾値以下という記載は同等の意味を持ち、閾値超過と閾値以上という記載は同等の意味を持つ。例えば、閾値を１１とした場合の閾値未満という記載は閾値が１０である場合の閾値以下と同等の意味を持つ。また、閾値を１０とした場合の閾値超過という記載は閾値が１１である場合の閾値以上と同等の意味を持つ。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

なお、手書き入力部２１は受付手段の一例であり、手書き認識制御部２６は認識手段の一例であり、手書き入力表示制御部２３は制御手段の一例であり、非常情報受信部３５は
非常情報受信手段の一例である。

２ 表示装置

特開２０１０‐１３４８７６号公報

Claims (10)

1. 表示装置であって、
   入力手段によって手書きデータの入力を受け付ける受付手段と、
   前記手書きデータの認識処理を行う認識手段と、
   前記表示装置の電源状態に応じて、前記認識処理の頻度を制御する制御手段と、
   を有することを特徴とする表示装置。
2. 前記認識手段は、一画ごとのストロークデータの形状が予め定義された基本ストロークと前記手書きデータを比較するパターン認識を用いて前記認識処理を行い、
   前記制御手段は、前記表示装置の電源状態に応じて、前記認識処理において比較の対象とする前記基本ストロークの検索範囲の広さを制御することを特徴とする請求項１に記載の表示装置。
3. 前記表示装置は、前記認識処理で得た文字を辞書で検索して、検索に適合した文字列を表示するものであり、
   前記制御手段は、前記表示装置の電源状態に応じて、検索する前記辞書の種類を制御することを特徴とする請求項１又は２に記載の表示装置。
4. 前記制御手段は、前記表示装置の電源状態に応じて、前記辞書から取得する文字列の文字数を制御することを特徴とする請求項３に記載の表示装置。
5. 前記電源状態は、バッテリーのみで動作するバッテリー動作状態、電源ケーブルが接続され前記バッテリーが充電されているバッテリー充電中状態、及び、電源ケーブルが接続されているが前記バッテリーが充電されていない交流電源動作状態であることを特徴とする請求項１～４のいずれか１項に記載の表示装置。
6. 前記制御手段は、
   前記バッテリー動作状態では、ユーザー指示がない限り前記認識処理を実行せず、
   前記バッテリー充電中状態では、２以上の所定数のストロークデータごとに前記認識処理を実行し、
   前記交流電源動作状態では、１ストロークデータごとに前記認識処理を実行する、ことを特徴とする請求項５に記載の表示装置。
7. 前記表示装置の電源状態が改善した場合、
   前記制御手段は、認識処理が行われていなかった前記手書きデータに前記認識処理を実行することを特徴とする請求項６に記載の表示装置。
8. 外部から非常情報を受信する非常情報受信手段を有し、
   前記非常情報受信手段が前記非常情報を受信した場合、前記制御手段は、前記認識処理の頻度を低減することを特徴とする請求項１～７のいずれか１項に記載の表示装置。
9. 表示装置が行う制御方法であって、
   受付手段が、入力手段によって手書きデータの入力を受け付けるステップと、
   認識手段が、前記手書きデータの認識処理を行うステップと
   制御手段が、前記表示装置の電源状態に応じて、前記認識処理の頻度を制御するステップと、
   を有することを特徴とする制御方法。
10. 情報処理装置を、
    入力手段によって手書きデータの入力を受け付ける受付手段、
    前記手書きデータの認識処理を行う認識手段、
    前記情報処理装置の電源状態に応じて、前記認識処理の頻度を制御する制御手段、
    として機能させるためのプログラム。

Images