JP6202997B2 - 電子機器、方法及びプログラム - Google Patents

Description

本発明の実施形態は、手書き文書を整形する技術に関する。

近年、タブレット、ＰＤＡ（Personal Digital Assistant）、スマートフォンといったタッチスクリーンディスプレイを備え、また手書き入力が可能な種々の電子機器が開発されている。

このような電子機器は、手書きページに含まれる文字や図表を整形し、手書きページを様々な形式（例、Power Point形式、Word形式等）でエクスポートすることができる。しかしながら、従来の技術では、文字と図形が混載された手書きの表を整形した後に編集可能な形式でさらに整形した場合に、整形前のレイアウトと整形後のレイアウトとに大きな違いが生じてしまうという不都合がある。これに伴い、ユーザに違和感を与えるという不都合が生じる。

特開平８−５０６５０号公報

本発明の一形態の目的は、ユーザに違和感を与えることのない表示を実現する電子機器、方法及びプログラムを提供することである。

実施形態によれば、電子機器は、手書き文書の情報を入力する入力手段と、前記手書き文書に手書きされた表が含まれる場合であって、前記表の１つのセルの領域に１つのオブジェクトが認識される場合、前記１つのオブジェクトの認識結果を用いてセルの値を表示し、前記表の１つのセルの領域に２以上のオブジェクトが認識される場合、前記２以上のオブジェクトを、前記表とは別個のオブジェクトとして表示する表示制御手段とを具備する。

図１は、実施形態に係る電子機器の外観の一例を示す斜視図である。 図２は、同実施形態の電子機器と外部装置との連携動作を示す図である。 図３は、同実施形態の電子機器のタッチスクリーンディスプレイ上に手書きされる手書き文書の例を示す図である。 図４は、同実施形態の電子機器によって記憶媒体に保存される、図３の手書き文書に対応する時系列情報を説明するための図である。 図５は、同実施形態の電子機器のシステム構成を示すブロック図である。 図６は、同実施形態の電子機器のタッチスクリーンディスプレイに表示される画面の構成要素を示す図である。 図７は、同実施形態の電子機器内の手書きノートアプリケーションプログラムによって表示されるデスクトップ画面を示す図である。 図８は、同実施形態の電子機器内の手書きノートアプリケーションプログラムによって表示されるノートプレビュー画面を示す図である。 図９は、同実施形態の電子機器内の手書きノートアプリケーションプログラムによって表示されるページ編集画面を示す図である。 図１０は、同実施形態の電子機器内の手書きノートアプリケーションプログラムによって表示されるページ編集画面のソフトウェアボタン群を示す図である。 図１１は、同実施形態の電子機器内の手書きノートアプリケーションプログラムによって表示されるページ編集画面の別のソフトウェアボタン群を示す図である。 図１２は、同実施形態の電子機器内の手書きノートアプリケーションプログラムによって表示され、図９のページ編集画面上の手書きページが整形されて表示される画面を示す図である。 図１３は、同実施形態の電子機器内の手書きノートアプリケーションの機能構成の例を示すブロック図である。 図１４は、同実施形態の電子機器内の手書きノートアプリケーションプログラムによって実行される表整形処理の手順の例を示すフローチャートである。 図１５は、同実施形態の電子機器内の手書きノートアプリケーションプログラムによって表示される別のページ編集画面を示す図である。 図１６は、図１５のページ編集画面上の手書きページに対して、通常の表整形処理を実行した場合の表整形処理後の画面を示す図である。 図１７は、図１５のページ編集画面上の手書きページに対して、同実施形態の電子機器内の手書きノートアプリケーションプログラムによる表整形処理を実行した場合の表整形処理後の画面を示す図である。

以下、実施の形態について図面を参照して説明する。

図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ等として実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはスレート（Slate）コンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。

本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの２種類のセンサの双方がタッチスクリーンディスプレイ１７に組み込まれている場合を想定する。

このタッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作のみならず、ペン１００を使用した画面に対するタッチ操作も検出することができる。ペン１００は例えばデジタイザペン（電磁誘導ペン）であってもよい。ユーザは、ペン１００を使用してタッチスクリーンディスプレイ１７上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上のペン１００の動きの軌跡、つまり手書き入力操作によって手書きされるストローク（手書きストロークの軌跡）がリアルタイムに描画され、これによって手書きにより入力された複数のストロークが画面上に表示される。ペン１００が画面に接触されている間のペン１００の動きの軌跡が１つのストロークに相当する。手書きされた文字、手書きされた図形、手書きされた表、などに対応する多数のストロークの集合が手書き文書を構成する。

本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係を示す時系列情報（手書き文書データ）として記憶媒体に保存される。この時系列情報の詳細は図４を参照して後述するが、この時系列情報は、複数のストロークが手書きされた順を示し、かつ複数のストロークにそれぞれ対応する複数のストロークデータを含む。換言すれば、この時系列情報は、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある一つのストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序に相当する。

タブレットコンピュータ１０は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまりこの時系列情報によって示される複数のストロークを画面上に表示することができる。時系列情報によって示される複数のストロークも、手書きによって入力される複数のストロークである。

さらに、本実施形態のタブレットコンピュータ１０は、ペン１００を使用せずに、指で手書き入力操作を行うためのタッチ入力モードも有している。タッチ入力モードが有効な場合、ユーザは、指を使用してタッチスクリーンディスプレイ１７上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の指の動きの軌跡、つまり手書き入力操作によって手書きされるストローク（手書きストロークの軌跡）がリアルタイムに描画され、これによって手書きにより入力された複数のストロークが画面上に表示される。

さらに、タブレットコンピュータ１０は編集機能を有している。この編集機能は、「消しゴム」ツール、範囲選択ツール、および他の各種ツール等を用いたユーザによる編集操作に応じて、範囲選択ツールによって選択される表示中の手書き文書内の任意の手書き部分（手書き文字、手書きマーク、手書き図形、手書き表、等）を削除または移動することができる。またさらに、範囲選択ツールによって選択される手書き文書内の任意の手書き部分を、手書き文書を検索するための検索キーとして指定することもできる。またさらに、範囲選択ツールによって選択される手書き文書内の任意の手書き部分に対して、手書き文字認識／手書き図形認識／手書き表認識のような認識処理を実行することもできる。

本実施形態では、手書き文書は、１つまたは複数のページとして管理されうる。この場合、時系列情報（手書き文書データ）を１つの画面に収まる面積単位で区切ることによって、１つの画面に収まる時系列情報のまとまりを１つのページとして記録してもよい。あるいは、ページのサイズを可変できるようにしてもよい。この場合、ページのサイズは１つの画面のサイズよりも大きい面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を一つのページとして扱うことができる。１つのページ全体をディスプレイに同時に表示できない場合は、そのページを縮小してするようにしてもよいし、縦横スクロールによってページ内の表示対象部分を移動するようにしてもよい。

図２は、タブレットコンピュータ１０と外部装置との連携動作の例を示している。タブレットコンピュータ１０は、パーソナルコンピュータ１やクラウドと連携することができる。すなわち、タブレットコンピュータ１０は、無線ＬＡＮなどの無線通信デバイスを備えており、パーソナルコンピュータ１との無線通信を実行することができる。さらに、タブレットコンピュータ１０は、インターネット上のサーバ２との通信を実行することもできる。サーバ２はオンラインストレージサービス、他の各種クラウドコンピューティングサービスを実行するサーバであってもよい。

パーソナルコンピュータ１はハードディスクドライブ（ＨＤＤ）のようなストレージデバイスを備えている。タブレットコンピュータ１０は、時系列情報（手書き文書データ）をネットワーク越しにパーソナルコンピュータ１に送信して、パーソナルコンピュータ１のＨＤＤに記録することができる（アップロード）。タブレットコンピュータ１０とパーソナルコンピュータ１との間のセキュアな通信を確保するために、通信開始時には、パーソナルコンピュータ１がタブレットコンピュータ１０を認証するようにしてもよい。この場合、タブレットコンピュータ１０の画面上にユーザに対してＩＤまたはパスワードの入力を促すダイアログを表示してもよいし、タブレットコンピュータ１０のＩＤなどを自動的にタブレットコンピュータ１０からパーソナルコンピュータ１に送信してもよい。

これにより、タブレットコンピュータ１０内のストレージの容量が少ない場合でも、タブレットコンピュータ１０が多数の時系列情報あるいは大容量の時系列情報を扱うことが可能となる。

さらに、タブレットコンピュータ１０は、パーソナルコンピュータ１のＨＤＤに記録されている任意の１以上の時系列情報を読み出し（ダウンロード）、その読み出した時系列情報によって示されるストロークをタブレットコンピュータ１０のディスプレイ１７の画面に表示することができる。この場合、複数の時系列情報それぞれのページを縮小することによって得られるサムネイルの一覧をディスプレイ１７の画面上に表示してもよいし、これらサムネイルから選ばれた１ページをディスプレイ１７の画面上に通常サイズで表示してもよい。

さらに、タブレットコンピュータ１０が通信する先はパーソナルコンピュータ１ではなく、上述したように、ストレージサービスなどを提供するクラウド上のサーバ２であってよい。タブレットコンピュータ１０は、時系列情報（手書き文書データ）をネットワーク越しにサーバ２に送信して、サーバ２のストレージデバイス２Ａに記録することができる（アップロード）。さらに、タブレットコンピュータ１０は、サーバ２のストレージデバイス２Ａに記録されている任意の時系列情報を読み出して（ダウンロード）、その時系列情報によって示されるストロークそれぞれの軌跡をタブレットコンピュータ１０のディスプレイ１７の画面に表示することができる。

このように、本実施形態では、時系列情報が保存される記憶媒体は、タブレットコンピュータ１０内のストレージデバイス、パーソナルコンピュータ１内のストレージデバイス、サーバ２のストレージデバイス２Ａのいずれであってもよい。

次に、図３および図４を参照して、ユーザによって手書きされたストローク（文字、図形、表など）と時系列情報との関係について説明する。図３は、ペン１００などを使用してタッチスクリーンディスプレイ１７上に手書きされる手書き文書（手書き文字列）の例を示している。

手書き文書では、一旦手書きによって入力される文字や図形などの上に、さらに別の文字や図形などが手書きによって入力されるというケースが多い。図３においては、「ＡＢＣ」の手書き文字列が「Ａ」、「Ｂ」、「Ｃ」の順番で手書きによって入力され、この後に、手書きの矢印が、手書き文字「Ａ」のすぐ近くに手書きによって入力された場合が想定されている。

手書き文字「Ａ」は、ペン１００などを使用して手書きされる２つのストローク（「∧」形状の軌跡、「−」形状の軌跡）によって、つまり２つの軌跡によって表現される。最初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標ＳＤ１１、ＳＤ１２、…ＳＤ１ｎが得られる。同様に、次に手書きされる「−」形状のペン１００の軌跡も等時間間隔でリアルタイムにサンプリングされ、これによって「−」形状のストロークの時系列座標ＳＤ２１、ＳＤ２２、…ＳＤ２ｎが得られる。

手書き文字「Ｂ」は、ペン１００などを使用して手書きされた２つのストローク、つまり２つの軌跡によって表現される。手書き文字「Ｃ」は、ペン１００などを使用して手書きされた手書きされた１つのストローク、つまり１つの軌跡によって表現される。手書きの「矢印」は、ペン１００などを使用して手書きされた２つのストローク、つまり２つの軌跡によって表現される。

図４は、図３に示した手書き文書に対応する時系列情報２００を示している。時系列情報は、複数のストロークデータＳＤ１、ＳＤ２、…、ＳＤ７を含む。時系列情報２００内においては、これらストロークデータＳＤ１、ＳＤ２、…、ＳＤ７は、これらストロークが手書きされた順に時系列に並べている。

時系列情報２００において、先頭の２つのストロークデータＳＤ１、ＳＤ２は、手書き文字「Ａ」の２つのストロークをそれぞれ示している。３番目と４番目のストロークデータＳＤ３、ＳＤ４は、手書き文字「Ｂ」を構成する２つのストロークをそれぞれ示している。５番目のストロークデータＳＤ５は、手書き文字「Ｃ」を構成する１つのストロークを示している。６番目と７番目のストロークデータＳＤ６、ＳＤ７は、手書き「矢印」を構成する２つのストロークをそれぞれ示している。

各ストロークデータは、一つのストロークに対応する座標データ系列（時系列座標）、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各ストロークデータにおいては、複数の座標はストロークが書かれた順に時系列に並べられている。例えば、手書き文字「Ａ」に関しては、ストロークデータＳＤ１は、手書き文字「Ａ」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つまりｎ個の座標データＳＤ１１、ＳＤ１２、…ＳＤ１ｎを含む。ストロークデータＳＤ２は、手書き文字「Ａ」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりｎ個の座標データＳＤ２１、ＳＤ２２、…ＳＤ２ｎを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。

各座標データは、対応する軌跡内のある１点に対応するＸ座標およびＹ座標を示す。例えば、座標データＳＤ１１は、「∧」形状のストロークの始点のＸ座標（Ｘ１１）およびＹ座標（Ｙ１１）を示す。ＳＤ１ｎは、「∧」形状のストロークの終点のＸ座標（Ｘ１ｎ）およびＹ座標（Ｙ１ｎ）を示す。

さらに、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Ｔを含んでいてもよい。手書きされた時点は、絶対時間（例えば、年月日時分秒）またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間（例えば、年月日時分秒）をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Ｔとして付加してもよい。

このように、各座標データにタイムスタンプ情報Ｔが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。

さらに、各座標データには、筆圧を示す情報（Ｚ）を追加してもよい。

図４で説明したような構造を有する時系列情報２００は、個々のストロークの筆跡だけでなく、ストローク間の時間的関係も表すことができる。したがって、この時系列情報２００を使用することにより、図３に示すようにたとえ手書き「矢印」の先端部が手書き文字「Ａ」上に重ねてまたは手書き文字「Ａ」に近接して書かれたとしても、手書き文字「Ａ」と手書き「矢印」の先端部とを異なる文字または図形として扱うことが可能となる。

さらに、本実施形態では、上述したように、手書き文書データは、イメージまたは文字認識結果ではなく、時系列のストロークデータの集合から構成される時系列情報２００として記憶されるので、手書き文字の言語に依存せずに手書き文字を扱うことができる。よって、本実施形態の時系列情報２００の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。

図５は、タブレットコンピュータ１０のシステム構成を示す図である。

タブレットコンピュータ１０は、図５に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８等を備える。

ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、手書きノートアプリケーションプログラム２０２が含まれている。この手書きノートアプリケーションプログラム２０２は、上述の手書き文書データを作成および表示する機能、手書き文書データを編集する機能、所望の手書き部分を含む手書き文書データや、ある手書き文書データ内の所望の手書き部分を検索するための手書き文書検索機能を有している。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。

グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。タッチパネル１７Ｂ、ＬＣＤ１７Ａおよびデジタイザ１７Ｃは互いに重ね合わされている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン（デジタイザペン）１００が接触される画面上の接触位置および接触位置の動き等はデジタイザ１７Ｃによって検出される。

無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。

図６は、タッチスクリーンディスプレイ１７に表示される画面の構成要素を示す。

画面は、表示領域（コンテンツ領域とも云う）５１と、表示領域５１の下のバー（ナビゲーションバーとも云う）５２とを備える。表示領域５１はコンテンツを表示するための領域である。アクティブ状態のアプリケーションプログラムのコンテンツは表示領域５１上に表示される。図６では、ランチャープログラムがアクティブ状態である場合が想定されている。この場合、複数のアプリケーションプログラムに対応する複数のアイコン５１Ａがランチャープログラムによって表示領域５１上に表示される。

なお、あるアプリケーションプログラムがアクティブであるとは、このアプリケーションプログラムがフォアグラウンドに移行していること、換言すればこのアプリケーションプログラムが起動されており且つフォーカスされていることを意味する。

バー５２はＯＳ２０１の１以上のソフトウェアボタン（ソフトウェアキーとも云う）を表示するための領域である。各ソフトウェアボタンには予め決められた機能が割り当てられている。あるソフトウェアボタンが指またはペン１００によってタップされると、このソフトウェアボタンに割り当てられた機能がＯＳ２０１によって実行される。例えば、Android（登録商標）環境においては、図６に示されているように、戻るボタン５２Ａ、ホームボタン５２Ｂ、リーセントアプリケーションボタン５２Ｃがバー５２上に表示される。これらソフトウェアボタンはバー５２上のデフォルトの表示場所に表示される。

次に、手書きノートアプリケーションプログラム２０２によってユーザに提示される幾つかの代表的な画面の例を説明する。

図７は、手書きノートアプリケーションプログラム２０２によって表示されるデスクトップ画面を示す。デスクトップ画面は複数の手書き文書データを扱うための基本画面である。以下では、手書き文書データを手書きノートと称する。

デスクトップ画面は、デスクトップ画面領域７０とドロア画面領域７１とを含む。デスクトップ画面領域７０は作業中の複数の手書きノートに対応する複数のノートアイコン８０１〜８０５を表示するテンポラリ領域である。ノートアイコン８０１〜８０５の各々は、対応する手書きノート内のあるページのサムネイルを表示する。デスクトップ画面領域７０は、さらに、ペンアイコン７７１、カレンダーアイコン７７２、スクラップノート（ギャラリー）アイコン７７３、タグ（ラベル）アイコン７７４を表示する。

ペンアイコン７７１は、表示画面をデスクトップ画面からページ編集画面に切り替えるためのグラフィカルユーザインタフェース（ＧＵＩ）である。カレンダーアイコン７７２は現在の日付を示すアイコンである。スクラップノートアイコン７７３は、他のアプリケーションプログラムからまたは外部ファイルから取り込んだデータ（スクラップデータまたはギャラリーデータと称する）を閲覧するためのＧＵＩである。タグアイコン７７４は、任意の手書きノート内の任意のページにラベル（タグ）を貼り付けるためのＧＵＩである。

ドロア画面領域７１は、作成済みの全ての手書きノートを格納するためのストレージ領域を閲覧するための表示領域である。ドロア画面領域７１は、全ての手書きノート内の幾つかの手書きノートに対応するノートアイコン８０Ａ，８０Ｂ，８０Ｃを表示する。ノートアイコン８０Ａ，８０Ｂ，８０Ｃの各々は、対応する手書きノート内のあるページのサムネイルを表示する。手書きノートアプリケーションプログラム２０２は、ペン１００または指を使用してユーザによって行われるドロア画面領域７１上のジェスチャ（例えばスワイプジェスチャ等）を検出することができる。このジェスチャ（例えばスワイプジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム２０２は、ドロア画面領域７１上の画面イメージを左方向または右方向にスクロールする。これにより、ドロア画面領域７１に任意の手書きノートそれぞれに対応するノートアイコンを表示することができる。

さらに、手書きノートアプリケーションプログラム２０２は、ペン１００または指を使用してユーザによって行われるドロア画面領域７１のノートアイコン上のジェスチャ（例えばタップジェスチャ等）を検出することができる。ドロア画面領域７１上のあるノートアイコン上のジェスチャ（例えばタップジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム２０２は、このノートアイコンをデスクトップ画面領域７０の中央部に移動する。そして、手書きノートアプリケーションプログラム２０２は、このノートアイコンに対応する手書きノートを選択し、そして、デスクトップ画面の代わりに、図８に示すノートプレビュー画面を表示する。図８のノートプレビュー画面は、選択された手書きノート内の任意のページを閲覧可能な画面である。

さらに、手書きノートアプリケーションプログラム２０２は、ペン１００または指を使用してユーザによって行われるデスクトップ画面領域７０上のジェスチャ（例えばタップジェスチャ等）も検出することができる。デスクトップ画面領域７０の中央部に位置するノートアイコン上のジェスチャ（例えばタップジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム２０２は、中央部に位置するノートアイコンに対応する手書きノートを選択し、そして、デスクトップ画面の代わりに、図８に示すノートプレビュー画面を表示する。

さらに、デスクトップ画面はメニューを表示することができる。このメニューは、リストノートボタン８１Ａ、ノート追加ボタン８１Ｂ、ノート削除ボタン８１Ｃ、検索ボタン８１Ｄ、設定ボタン８１Ｅを備える。リストノートボタン８１Ａは手書きノートの一覧を表示するためのボタンである。ノート追加ボタン８１Ｂは、新しい手書きノートを作成（追加）するためのボタンである。ノート削除ボタン８１Ｃは手書きノートを削除するためのボタンである。検索ボタン８１Ｄは検索画面（検索ダイアログ）を開くためのボタンである。設定ボタン８１Ｅは設定画面を開くためのボタンである。

また、バー５２には、戻るボタン５２Ａ、ホームボタン５２Ｂ、リーセントアプリケーションボタン５２Ｃが表示される。

図８は上述のノートプレビュー画面を示す。

ノートプレビュー画面は、選択された手書きノート内の任意のページを閲覧可能な画面である。ここでは、ノートアイコン８０１に対応する手書きノートが選択された場合を想定する。この場合、手書きノートアプリケーションプログラム２０２は、この手書きノートに含まれる複数のページ９０１，９０２，９０３，９０４，９０５を、これらページ９０１，９０２，９０３，９０４，９０５それぞれの少なくとも一部分が視認可能で且つこれらページ９０１，９０２，９０３，９０４，９０５が重なった形態で表示する。

ノートプレビュー画面は、さらに、上述のペンアイコン７７１、カレンダーアイコン７７２、スクラップノートアイコン７７３、タグアイコン７７４を表示する。

ノートプレビュー画面は、さらに、メニューを表示することができる。このメニューは、デスクトップボタン８２Ａ、リストページボタン８２Ｂ、ページ追加ボタン８２Ｃ、編集ボタン８２Ｄ、ページ削除ボタン８２Ｅ、ラベルボタン８２Ｆ、および検索ボタン８２Ｇを備える。デスクトップボタン８２Ａは、デスクトップ画面を表示するためのボタンである。リストページボタン８２Ｂは、現在選択されている手書きノート内のページの一覧を表示するためのボタンである。ページ追加ボタン８２Ｃは、新しいページを作成（追加）するためのボタンである。編集ボタン８２Ｄはページ編集画面を表示するためのボタンである。ページ削除ボタン８２Ｅは、ページを削除するためのボタンである。ラベルボタン８２Ｆは、使用可能なラベルの種類の一覧を表示するためのボタンである。検索ボタン８２Ｇは検索画面を表示するためのボタンである。

また、バー５２には、戻るボタン５２Ａ、ホームボタン５２Ｂ、リーセントアプリケーションボタン５２Ｃが表示される。

手書きノートアプリケーションプログラム２０２はユーザによって行われるノートプレビュー画面上の様々なジェスチャを検出することができる。例えば、あるジェスチャの検出に応答して、手書きノートアプリケーションプログラム２０２は、一番上に表示されるべきページを任意のページに変更する（ページ送り、ページ戻し）。また、一番上のページ上で行われるあるジェスチャ（例えばタップジェスチャ）の検出に応答して、またはペンアイコン７７１上で行われるあるジェスチャ（例えばタップジェスチャ）の検出に応答して、あるいは編集ボタン８２Ｄ上で行われるあるジェスチャ（例えばタップジェスチャ）の検出に応答して、手書きノートアプリケーションプログラム２０２は、一番上のページを選択し、そしてノートプレビュー画面の代わりに、図９に示すページ編集画面を表示する。

図９のページ編集画面は、ページ（手書きページ）の新規作成、および既存のページの閲覧および編集が可能な画面である。図８のノートプレビュー画面上のページ９０１が選択された場合には、図９に示すように、ページ編集画面は、ページ９０１の内容を表示する。

このページ編集画面において、破線で囲まれた矩形の領域５００は手書き入力可能な手書き入力エリアである。手書き入力エリア５００においては、デジタイザ１７Ｃからの入力イベントは手書きストロークの表示（描画）のために使用され、タップ等のジェスチャを示すイベントとしては使用されない。一方、ページ編集画面において、手書き入力エリア５００以外の領域においては、デジタイザ１７Ｃからの入力イベントはタップ等のジェスチャを示すイベントとしても使用され得る。

タッチパネル１７Ｂからの入力イベントは、手書きストロークの表示（描画）には使用されず、タップ、スワイプ等のジェスチャを示すイベントとして使用される。

ページ編集画面は、さらに、ユーザによって予め登録された３種類のペン５０１〜５０３と、範囲選択ペン５０４、消しゴムペン５０５とを含むクイックセレクトメニューを表示する。ここでは、黒ペン５０１、赤ペン５０２、マーカー５０３がユーザによって予め登録されている場合が想定されている。ユーザは、ペン１００または指でクイックセレクトメニュー内のあるペン（ボタン）をタップすることにより、使用するペンの種類を切り替えることが出来る。例えば、黒ペン５０１がユーザによるペン１００または指を使用したタップジェスチャによって選択された状態で、ペン１００を用いた手書き入力操作がページ編集画面上で行われると、手書きノートアプリケーションプログラム２０２は、ペン１００の動きに合わせて黒色のストローク（軌跡）をページ編集画面上に表示する。

クイックセレクトメニュー内の上述の３種類のペンは、ペン１００のサイドボタンの操作によっても切り替えることが出来る。クイックセレクトメニュー内の上述の３種類のペンの各々には、よく使うペンの色やペンの太さ（幅）等の組み合わせを設定することができる。

ページ編集画面は、さらに、メニューボタン５１１、ページ戻しボタン５１２、ページ送りボタン５１３を表示する。メニューボタン５１１はメニューを表示するためのボタンである。

図１０は、メニューボタン５１１の操作によってページ編集画面上にメニューとして表示されるソフトウェアボタン群を示す図である。

メニューボタン５１１が操作されると、図１０に示すように、ページ編集画面上に、ノートプレビューボタン８３Ａ、ページ追加ボタン８３Ｂ、検索ボタン８３Ｃ、エクスポートボタン８３Ｄ、インポートボタン８３Ｅ、メールボタン８３Ｆ、ペンケースボタン８３Ｇがメニューとして表示される。

ノートプレビューボタン８３Ａは、ノートプレビュー画面に戻るためのボタンである。ページ追加ボタン８３Ｂは、新規ページを追加するためのボタンである。検索ボタン８３Ｃは、検索画面を開くためのボタンである。エクスポートボタン８３Ｄは、エクスポートのためのサブメニューを表示するためのボタンである。インポートボタン８３Ｅは、インポートのためのサブメニューを表示するためのボタンである。メールボタン８３Ｆは、ページ編集画面上に表示されている手書きページをテキストに変換して電子メールによって送信する処理を起動するためのボタンである。ペンケースボタン８３Ｇは、クイックセレクトメニュー内の３種類のペンの各々の色（描画される線の色）や太さ［幅］（描画される線の太さ［幅］）等を変更可能なペン設定画面を呼び出すためのボタンである。

また、図１１は、エクスポートボタン８３Ｄの操作によってページ編集画面上にサブメニューとしてさらに表示されるソフトウェアボタン群を示す図である。

エクスポートボタン５１１が操作されると、図１１に示すように、（エクスポートボタン８３Ｄを含むソフトウェアボタン群がメニューとして表示されている）ページ編集画面上に、プレゼンテーションボタン８４Ａ、ドキュメントボタン８４Ｂ、イメージボタン８４Ｃ、共有ボタン８４Ｄがサブメニューとしてさらに表示される。

プレゼンテーションボタン８４Ａは、ページ編集画面上に表示されている手書きページを認識してプレゼンテーションファイルに変換する処理を起動するためのボタンである。ドキュメントボタン８４Ｂは、ページ編集画面上に表示されている手書きページを認識して電子文書ファイルに変換する処理を起動するためのボタンである。イメージボタン８４Ｃは、ページ編集画面上に表示されている手書きページを画像ファイルに変換する処理を起動するためのボタンである。共有ボタン８４Ｄは、ページ編集画面上に表示されている手書きページを画像ファイルに変換して他のアプリケーションプログラムと共有する処理を起動するためのボタンである。

図１２は、プレゼンテーションボタン８４Ａの操作によって図９に示したページ編集画面上の手書きページが整形されて表示される画面を示す図である。

前述したように、プレゼンテーションボタン８４Ａが操作されると、手書きノートアプリケーションプログラム２０２は、ページ編集画面上に表示されている手書きページを認識してプレゼンテーションファイルに変換する処理を起動する。その結果、図９に示したページ編集画面上の手書きページ内のストロークで構成される各文字、各図形及び各表が、図１２に示すように、（認識結果である）各文字に対応する文字コードのフォント、各図形に対応する図形オブジェクト、各表に対応するテーブルオブジェクトを用いて整形されて表示される。

次に、図１３を参照して、手書きノートアプリケーションプログラム２０２の機能構成について説明する。

手書きノートアプリケーションプログラム２０２は、ペン軌跡表示処理部３０１、時系列情報生成部３０２、編集処理部３０３、ページ保存処理部３０４、ページ取得処理部３０５、手書き文書表示処理部３０６、認識処理部３０７、表整形部３０８及び作業メモリ４０１等を備える。認識処理部３０７は、認識制御部３０７Ａ、文字認識処理部３０７Ｂ、図形認識処理部３０７Ｃ及び表認識処理部３０７Ｄを含む。さらに、表認識処理部３０７Ｄは、表内文字認識処理部３０７Ｅ及び表内図形認識処理部３０７Ｆを含む。

手書きノートアプリケーションプログラム２０２は、タッチスクリーンディスプレイ１７を用いて入力されるストロークデータを使用することによって、手書き文書の作成、表示、編集等を行う。タッチスクリーンディスプレイ１７は、「タッチ」、「移動（スライド）」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動（スライド）」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。

ペン軌跡表示処理部３０１及び時系列情報生成部３０２は、タッチスクリーンディスプレイ１７によって発生される「タッチ」または「移動（スライド）」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動（スライド）」イベントにも、移動先の接触位置の座標が含まれている。したがって、ペン軌跡表示処理部３０１及び時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から、接触位置の動きの軌跡に対応する座標列を受信することができる。

ペン軌跡表示処理部３０１は、タッチスクリーンディスプレイ１７から座標列を受信し、この座標列に基づいて、ペン１００等を使用した手書き入力操作によって手書きされる各ストロークの軌跡をタッチスクリーンディスプレイ１７内のＬＣＤ１７Ａの画面上に表示する。このペン軌跡表示処理部３０１により、画面にペン１００が接触している間のペン１００の軌跡、つまり各ストロークの軌跡がＬＣＤ１７Ａの画面上に描かれる。

時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から出力される上述の座標列を受信し、この座標列に基づいて、図４で詳述したような構造を有する上述の時系列情報を生成する。この場合、時系列情報、つまりストロークの各点に対応する座標及びタイムスタンプ情報は作業メモリ４０１に一時保存してもよい。

編集処理部３０３は現在表示中の手書きページを編集するための処理を実行する。すなわち、編集処理部３０３は、タッチスクリーンディスプレイ１７上でユーザによって行われる編集操作に応じて、表示されている複数のストローク内の１以上のストロークを削除または移動等するための編集処理を実行する。さらに、編集処理部３０３は、編集処理の結果を表示中の時系列情報に反映するためにこの時系列情報を更新する。

ページ保存処理部３０４は、生成された時系列情報を手書き文書（手書きページ）として記憶媒体４０２に保存する。記憶媒体４０２は、上述したように、タブレットコンピュータ１０内のストレージデバイス、パーソナルコンピュータ１内のストレージデバイス、サーバ２のストレージデバイス２Ａのいずれであってもよい。

ページ取得処理部３０５は、記憶媒体４０２から既に格納されている任意の時系列情報を読み出す。読み出された時系列情報は手書き文書表示処理部３０６に送られる。手書き文書表示処理部３０６は、時系列情報を解析し、この解析結果に基づいて、時系列情報によって示される各ストロークの軌跡を画面上に手書きページとして表示する。

認識処理部３０７は、表示中の時系列情報（手書きページ）に対して手書き文字認識、手書き図形認識、手書き表認識等の認識処理を実行する。この認識処理は、手書きページを、ペイント系アプリケーションプログラム等が扱うことが可能な構造を有するアプリケーションデータに変換するために利用することができる。

認識制御部３０７Ａは、文字認識処理部３０７Ｂ、図形認識処理部３０７Ｃ及び表認識処理部３０７Ｄの３つの認識モジュールを制御するためのモジュールである。

文字認識処理部３０７Ｂは、認識処理対象の時系列情報によって示される複数のストロークデータをグループ化処理することによって得られる複数のブロック（手書きブロック）の各々を文字認識して、これら複数のブロック内の手書き文字それぞれを文字コードに変換する。グループ化処理では、互いに近傍に位置し且つ連続的に手書きされたストロークにそれぞれ対応するストロークデータ同士が同一ブロックに分類されるように、認識処理対象の時系列情報によって示される複数のストロークデータがグループ化される。すなわち、文字認識処理部３０７Ｂでは、グループ化処理することによって得られる複数のブロックの各々を文字認識して、これら複数のブロック内の手書き文字または複数の手書き文字からなる手書き文字列を文字コードに変換することができる。

図形認識処理部３０７Ｃは、認識処理対象の時系列情報によって示される複数のストロークデータを上述のようにグループ化処理することによって得られる複数のブロック内の処理対象ブロックを、複数の図形オブジェクトの一つに変換するための図形認識処理を実行する。手書き文書（手書きページ）内に含まれる手書きの図形は、PowerPoint（登録商標）等のペイント系アプリケーションプログラムが扱うことが可能な図形オブジェクトに変換される。図形認識処理部３０７Ｃは、例えば、複数の図形オブジェクトそれぞれの特徴を示す図形情報を予め保持しており、手書き図形と複数の図形オブジェクトそれぞれとの間の類似度を算出する。そして、手書き図形は、この手書き図形に関する類似度が最も高い図形オブジェクトに変換される。

類似度の算出においては、手書き図形を必要に応じて回転、拡大、または縮小してもよく、回転、拡大、または縮小された後の手書き図形と複数の図形オブジェクトそれぞれとの間の類似度が求められる。そして、手書き図形に関する類似度が最も高い図形オブジェクトが選択され、この選択された図形オブジェクトは、手書き図形に対して施された回転、拡大、または縮小の処理内容に基づいて変形される。この変形された図形オブジェクトが、手書き図形の代わりに表示される。

上述の類似の計算においては、手書き図形のストロークの軌跡情報及び各図形オブジェクトの軌跡情報の各々をベクトルの集合として扱い、ベクトルの集合同士の比較を行うことによって類似度を算出することができる。これにより、手書きで描いた図形を容易にPowerPoint等のペイント系の文書（アプリケーションデータ）に変換することができる。

表認識処理部３０７Ｄは、認識処理対象の時系列情報によって示される複数のストロークデータを上述のようにグループ化処理することによって得られる複数のブロック内の処理対象ブロックが、幾つかの線状の軌跡の組み合わせを含む表形状であるか否かを認識する。すなわち、表認識処理部３０７Ｄは、手書きページ内の縦横の線の組み合わせを認識し、それらの組み合わせが表の状態になっていることを認識する。

表内文字認識処理部３０７Ｅは、表認識処理部３０７Ｄによって所定の処理対象ブロックが表形状であると認識された場合に、この処理対象ブロック内の複数のストロークデータを上述のようにさらにグループ化処理することによって得られる複数のブロックの各々を文字認識する（すなわち、１以上の文字又は記号を含む文字列を認識する）。これにより、表内文字認識処理部３０７Ｅは、複数のブロック内の手書き文字または複数の手書き文字からなる手書き文字列の文字コードを取得することができる。

表内図形認識処理部３０７Ｆは、表認識処理部３０７Ｄによって所定の処理対象ブロックが表形状であると認識された場合に、この処理対象ブロック内の複数のストロークデータを上述のようにさらにグループ化処理することによって得られる複数のブロックの各々を図形認識する。これにより、表内図形認識処理部３０７Ｆは、複数のブロック内の手書き図形に類似する図形オブジェクトを取得することができる。

なお、文字認識処理、図形認識処理及び表認識処理を実行する順序は任意の順序で構わないが、例えば、文字認識処理及び図形認識処理の前処理として、全てのブロックを、表形状を含むブロックと表形状を含まないブロックとに分けるための処理を行うとしてもよい。これにより、表形状を含むと判定されたブロックは、文字認識処理部３０７Ｂ及び図形認識処理部３０７Ｃの処理対象から除外することができるので、文字認識処理及び図形認識処理の各々の認識率を向上させることができる。

表整形部３０８は、表認識処理部３０７Ｄによって表形状であると認識された処理対象ブロックを、認識された表形状の縦横の要素数と同じ縦横の要素数（セル領域）を有するテーブルオブジェクトに変換する。すなわち、手書き文書（手書きページ）内に含まれる手書きの表は、Excel（登録商標）等の表計算アプリケーションプログラムで扱うことが可能なテーブルオブジェクトに変換される。

表整形部３０８は、テーブルオブジェクトが有する複数のセル領域の１つに、１つの手書き文字または１つの手書き文字列だけが含まれる（すなわち、１つのオブジェクトが認識される）場合、表内文字認識処理部３０７Ｅによって得られた当該セル領域に含まれる手書き文字または手書き文字列の文字コードを当該セル領域に入力する（すなわち、１つのオブジェクトの認識結果を用いてセルの値をＬＣＤ１７Ａに表示する）。つまり、表整形部３０８は、テーブルオブジェクトが有する複数のセル領域の１つに、１つの手書き文字または１つの手書き文字列だけが含まれる場合、手書き文字または手書き文字列と当該セル領域との関連付けを行う。

表整形部３０８は、テーブルオブジェクトが有する複数のセル領域の１つに、２以上の手書き文字または２以上の手書き文字列が含まれる（すなわち、２以上のオブジェクトが認識される）場合、表内文字認識処理部３０７Ｅによって得られた当該セル領域に含まれる手書き文字または手書き文字列の文字コードそれぞれを、図形オブジェクトの一種であるテキストボックスにそれぞれ入力する（すなわち、２以上のオブジェクトを、テーブルオブジェクトとは別個のオブジェクトとしてＬＣＤ１７Ａに表示する）。これにより、表整形部３０８は、セル領域に含まれる手書き文字または手書き文字列と同じ数のテキストボックスを取得することができる。そして、表整形部３０８は、取得したテキストボックスを手書き文書（手書きページ）のオブジェクトとして配置する。つまり、表整形部３０８は、テーブルオブジェクトが有する複数のセル領域の１つに、２以上の手書き文字または２以上の手書き文字列が含まれる場合、これら手書き文字または手書き文字列と当該セル領域との関連付けを行わない。

表整形部３０８は、テーブルオブジェクトが有する複数のセル領域の１つに、１以上の手書き図形が含まれる場合、表内図形認識処理部３０７Ｆによって得られたセル領域に含まれる手書き図形に類似する図形オブジェクトを手書き文書（手書きページ）のオブジェクトとして配置する。つまり、表整形部３０８は、テーブルオブジェクトが有する複数のセル領域の１つに、１以上の手書き図形が含まれる場合、これら手書き図形と当該セル領域との関連付けを行わない。

表整形部３０８は、テーブルオブジェクトが有する複数のセル領域の１つに、手書き文字または手書き文字列と手書き図形とが含まれる場合、表内文字認識処理部３０７Ｆによって得られた当該セル領域に含まれる手書き文字または手書き文字列の文字コードを、図形オブジェクトの一種であるテキストボックスに入力する。これにより、表整形部３０８は、セル領域に含まれる手書き文字または手書き文字列の文字コードが入力されたテキストボックスを取得することができる。そして、表整形部３０８は、取得したテキストボックスと、表内図形認識処理部３０７Ｆによって得られたセル領域に含まれる手書き図形に類似する図形オブジェクトとを手書き文書（手書きページ）のオブジェクトとして配置する。つまり、表整形部３０８は、テーブルオブジェクトが有するセル領域の１つに、手書き文字または手書き文字列と手書き図形とが含まれる場合、手書き文字列（手書き文字）及び手書き図形と当該セル領域との関連付けを行わない。

表整形部３０８は、上述のように表整形処理を実行し終えると、整形後の手書き文書（手書きページ）をＬＣＤ１７Ａの画面上に表示する。

次に、図１４のフローチャートを参照して、手書きノートアプリケーションプログラム２０２の表整形部３０８によって実行される表整形処理の手順について説明する。ここでは、認識処理部３０７によって、所定の手書きページに対して認識処理が実行され、その結果、表形状であると認識された処理対象ブロックがある場合を想定する。

始めに、表整形部３０８は、認識処理部３０７（表認識処理部３０７Ｄ）によって表形状であると認識された処理対象ブロックを、認識された表形状の縦横の要素数と同じセル領域を有するテーブルオブジェクトに変換する（を配置する）（ブロック１００１）。そして、表整形部３０８は、テーブルオブジェクトが有する複数のセル領域それぞれに、図形オブジェクトが含まれていないことを示すフラグ０（flag=0）をたてる（ブロック１００２）。

続いて、表整形部３０８は、テーブルオブジェクトが有する複数のセル領域全てに対して表整形処理を実行したか否かを判定する（ブロック１００３）。全てのセル領域に対して表整形処理を実行したと判定された場合（ブロック１００３のＹＥＳ）、表整形部３０８による表整形処理は終了する。

全てのセル領域に対して表整形処理が実行されていないと判定された場合（ブロック１００３のＮＯ）、表整形部３０８は、まだ表整形処理が実行されていないセル領域に対して表整形処理を実行する。まず表整形部３０８は、表内図形認識処理部３０７Ｆによる認識処理結果を用いて、表整形処理対象のセル領域に手書き図形が含まれているか否かを判定する（ブロック１００４）。表整形処理対象のセル領域に手書き図形が含まれていないと判定された場合（ブロック１００４のＮＯ）、表整形部３０８は後述するブロック１００７の処理を実行する。

表整形処理対象のセル領域に手書き図形が含まれていると判定された場合（ブロック１００４のＹＥＳ）、表整形部３０８は、表内図形認識処理部３０７Ｆによって得られた当該セル領域に含まれる手書き図形に類似した図形オブジェクトを手書き文書のオブジェクトとして配置する（ブロック１００５）。そして、表整形部３０８は、整形処理対象のセル領域に、図形オブジェクトが含まれていることを示すフラグ１（flag=1）をたてる（ブロック１００６）。

次に、表整形部３０８は、表内文字認識処理部３０７Ｅによる認識処理結果を用いて、表整形処理対象のセル領域に手書き文字列（手書き文字）が含まれているか否かを判定する（ブロック１００７）。表整形処理対象のセル領域に手書き文字列が含まれていないと判定された場合（ブロック１００７のＮＯ）、表整形部３０８は、表整形処理対象のセル領域のフラグを上述のブロック１００２の処理でたてたフラグ０のままとした後に（ブロック１００８）、ブロック１００３の処理を再度実行する。

表整形処理対象のセル領域に手書き文字列が含まれていると判定された場合（ブロック１００７のＹＥＳ）、表整形部３０８は、表内文字認識処理部３０７Ｅによる認識処理結果を用いて、表整形処理対象のセル領域に２以上の手書き文字列が含まれているか否かを判定する（ブロック１００９）。表整形処理対象のセル領域に２以上の手書き文字列が含まれていると判定された場合（ブロック１００９のＹＥＳ）、表整形部３０８は、表内文字認識処理部３０７Ｅによって得られた２以上の文字列それぞれの文字コードを、図形オブジェクトの一種であるテキストボックスにそれぞれ入力する。そして、表整形部３０８は、これらテキストボックスを手書き文書のオブジェクトとして配置した後に（ブロック１０１０）、上述したブロック１００８の処理を実行する。

表整形処理対象のセル領域に２以上の手書き文字列が含まれていないと判定された場合（ブロック１００９のＮＯ）、表整形部３０８は、表整形処理対象のセル領域のフラグが１であるか否かを判定する（ブロック１０１１）。

表整形処理対象のセル領域のフラグが１であると判定された場合（ブロック１０１１のＹＥＳ）、表整形部３０８は、表内文字認識処理部３０７Ｅによって得られた文字列の文字コードを、図形オブジェクトの一種であるテキストボックスに入力する。そして、表整形部３０８は、このテキストボックスを手書き文書のオブジェクトとして配置した後に（ブロック１０１２）、上述したブロック１００８の処理を実行する。

表整形処理対象のセル領域のフラグが１でないと判定された場合（ブロック１０１１のＮＯ）、表整形部３０８は、表内文字認識処理部３０７Ｅによって得られた文字列の文字コードを、表整形処理対象のセル領域に入力した後に（ブロック１０１３）、上述したブロック１００８の処理を実行する。

なお、本実施形態では、表整形処理対象のセル領域に２以上の手書き文字列が含まれている場合、これら手書き文字列それぞれの文字コードをテキストボックスに入力して、これらテキストボックスを手書き文書のオブジェクトとして配置する表整形処理を実行するとしたが、表整形処理対象のセル領域に２以上の手書き文字列が含まれている場合、別の方法による表整形処理が実行されるとしても構わない。以下に、図１５〜図１７を参照しながら詳しく説明する。

図１５は、表整形処理前の手書きされた表が表示された画面を示す図であり、図１６は、一般的な表整形処理後の表が表示された画面を示す図である。図１５に示すように、セル領域Ｒ１には２以上の手書き文字列「August」、「September」、「October」が含まれている。このセル領域Ｒ１に対して一般的な表整形処理が実行されると、文字認識により得られる「August」、「September」、「October」の文字コードそれぞれがセル領域Ｒ１に入力される。このため、図１６に示すように、表整形処理後の表では、全ての文字列が繋がって表示されてしまうという不都合が生じる。このため、本実施形態では、表整形処理前の見た目を維持するために、表整形処理対象のセル領域に２以上の手書き文字列が含まれている場合、これら手書き文字列の文字コードを入力したテキストボックスを手書き文書のオブジェクトとして配置するようにした。

しかしながら、表整形処理対象のセル領域に２以上の手書き文字列だけが含まれている場合、別の方法による表整形処理によって表整形処理前の見た目を維持することもできる。具体的には、表整形処理対象のセル領域に２以上の手書き文字列だけが含まれている（すなわち、１以上の文字又は記号を含む第１文字列と、１以上の文字又は記号を含む第２文字列とが認識される）場合、表整形部３０８は、表内文字認識処理部３０７Ｅによる認識処理結果を用いて、２以上の手書き文字列間に所定の空間（例えば、全角１文字分の空間等）があるか否かを判定する。そして、２以上の手書き文字列間に所定の空間があると判定された場合、表整形部３０８は、この所定の空間を空白（スペース）の文字コードとして、表内文字認識処理部３０７Ｅによって得られた文字コードと共に、セル領域Ｒ１に入力する（すなわち、第１文字列と、第２文字列と、第１文字列と第２文字列の間隔に関する情報とを含む１つのオブジェクトを用いてセルの値をＬＣＤ１７Ａに表示する）。つまり、表整形部３０８は、セル領域Ｒ１に、「August」の文字コード、空白の文字コード、「September」の文字コード、空白の文字コード、「October」の文字コードといった具合に文字コードを入力する。これにより、図１７に示すように、上述したテキストボックスを手書き文書のオブジェクトとして配置する方法とは別の方法においても、表整形処理前の見た目を維持した表を表示することができる。

以上説明した一実施形態によれば、タブレットコンピュータ１０は、表整形処理対象のセル領域に２以上の手書き文字列、１以上の手書き文字列と１以上の手書き図形、または１以上の手書き図形が含まれている場合に、手書き文字列及び手書き図形を図形オブジェクトとしてセル領域に配置することができる手書きノートアプリケーションプログラム２０２を備える。したがって、ユーザに違和感を与えることのない表示を実現することができる。

なお、本実施形態の処理は、コンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１７Ａ…ＬＣＤ、２０２…手書きノートアプリケーション、３０１…ペン軌跡表示処理部、３０２…時系列情報生成部、３０３…編集処理部、３０４…ページ保存処理部、３０５…ページ取得処理部、３０６…手書き文書表示処理部、３０７…認識処理部、３０７Ａ…認識制御部、３０７Ｂ…文字認識処理部、３０７Ｃ…図形認識処理部、３０７Ｄ…表認識処理部、３０７Ｅ…表内文字認識処理部、３０７Ｆ…表内図形認識処理部、３０８…表整形部、４０１…作業メモリ、４０２…記憶媒体。

Claims (15)

1. 手書き文書の情報を入力する入力手段と、
   前記手書き文書に手書きされた表が含まれる場合であって、前記表の１つのセルの領域に１つのオブジェクトが認識される場合、前記１つのオブジェクトの認識結果を用いてセルの値を表示し、
   前記表の１つのセルの領域に２以上のオブジェクトが認識される場合、前記２以上のオブジェクトを、前記表とは別個のオブジェクトとして表示する表示制御手段と
   を具備する電子機器。
2. 前記１つのオブジェクト又は前記２以上のオブジェクトは、手書き文書の情報に含まれるストロークデータに基づいて、認識される請求項１に記載の電子機器。
3. 前記表、前記１つのオブジェクト、又は前記２以上のオブジェクトを認識可能な認識手段をさらに備える請求項１に記載の電子機器。
4. 前記１つのオブジェクト又は前記２以上のオブジェクトに対応する１つのオブジェクトは、１以上の文字又は記号を含む文字列、または図形である請求項１に記載の電子機器。
5. 前記表の１つのセルの領域に、１以上の文字又は記号を含む第１文字列と、１以上の文字又は記号を含む第２文字列とが認識される場合に、前記表示制御手段は、前記第１文字列と、前記第２文字列と、前記第１文字列と前記第２文字列の間隔に関する情報とを含む１つのオブジェクトを用いてセルの値を表示する請求項１に記載の電子機器。
6. 手書き文書の情報を入力することと、
   前記手書き文書に手書きされた表が含まれる場合であって、前記表の１つのセルの領域に１つのオブジェクトが認識される場合、前記１つのオブジェクトの認識結果を用いてセルの値を表示し、
   前記表の１つのセルの領域に２以上のオブジェクトが認識される場合、前記２以上のオブジェクトを、前記表とは別個のオブジェクトとして表示することと
   を具備する方法。
7. 前記１つのオブジェクト又は前記２以上のオブジェクトは、手書き文書の情報に含まれるストロークデータに基づいて、認識される請求項６に記載の方法。
8. 前記表、前記１つのオブジェクト、又は前記２以上のオブジェクトを認識することをさらに備える請求項６に記載の方法。
9. 前記１つのオブジェクト又は前記２以上のオブジェクトに対応する１つのオブジェクトは、１以上の文字又は記号を含む文字列、または図形である請求項６に記載の方法。
10. 前記表の１つのセルの領域に、１以上の文字又は記号を含む第１文字列と、１以上の文字又は記号を含む第２文字列とが認識される場合に、前記表示することは、前記第１文字列と、前記第２文字列と、前記第１文字列と前記第２文字列の間隔に関する情報とを含む１つのオブジェクトを用いてセルの値を表示する請求項６に記載の方法。
11. コンピュータにより実行されるプログラムであって、前記プログラムは前記コンピュータを、
    手書き文書の情報を入力する入力手段と、
    前記手書き文書に手書きされた表が含まれる場合であって、前記表の１つのセルの領域に１つのオブジェクトが認識される場合、前記１つのオブジェクトの認識結果を用いてセルの値を表示し、
    前記表の１つのセルの領域に２以上のオブジェクトが認識される場合、前記２以上のオブジェクトを、前記表とは別個のオブジェクトとして表示する表示制御手段として動作させるプログラム。
12. 前記１つのオブジェクト又は前記２以上のオブジェクトは、手書き文書の情報に含まれるストロークデータに基づいて、認識される請求項１１に記載のプログラム。
13. 前記表、前記１つのオブジェクト、又は前記２以上のオブジェクトを認識可能な認識手段として前記コンピュータをさらに動作させる請求項１１に記載のプログラム。
14. 前記１つのオブジェクト又は前記２以上のオブジェクトに対応する１つのオブジェクトは、１以上の文字又は記号を含む文字列、または図形である請求項１１に記載のプログラム。
15. 前記表の１つのセルの領域に、１以上の文字又は記号を含む第１文字列と、１以上の文字又は記号を含む第２文字列とが認識される場合に、前記表示制御手段は、前記第１文字列と、前記第２文字列と、前記第１文字列と前記第２文字列の間隔に関する情報とを含む１つのオブジェクトを用いてセルの値を表示する請求項１１に記載のプログラム。

Images