JP6100013B2 - 電子機器および手書き文書処理方法 - Google Patents

Description

本発明の実施形態は、手書き文書を処理する技術に関する。

近年、タブレット、ＰＤＡ、スマートフォンといった種々の電子機器が開発されている。この種の電子機器の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。

ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクトを指などでタッチすることにより、これらメニューまたはオブジェクトに関連づけられた機能の実行を電子機器に指示することができる。

しかし、タッチスクリーンディスプレイを備える既存の電子機器の多くは、画像、音楽、他の各種メディアデータに対する操作性を追求したコンシューマ向け製品であり、会議、商談、商品開発などのビジネスシーンにおける利用については必ずしも適していない場合がある。このため、ビジネスシーンにおいては、いまなお、紙の手帳が広く利用されている。

最近では、手書きデータを文字認識するための技術も開発されている。

特開２０１２−９３８６６号公報

しかし、従来では、手書き文書内の所望の部分を容易に整形するための技術については考慮されていないのが現状である。

本発明の一形態の目的は、手書き文書内の所望の部分を容易に整形することができる電子機器および手書き文書処理方法を提供することである。

実施形態によれば、電子機器は、表示処理手段と、送信手段と、受信手段とを具備する。前記表示処理手段は、手書きにより記載される複数のストロークを含む手書き文書を画面上に表示する。前記送信手段は、前記画面上の選択範囲によって指定される手書き部分に含まれる複数のストロークに対応する複数のストロークデータをシステムに送信する。前記受信手段は、前記複数のストロークデータから前記手書き部分を整形することによって得られる整形結果を前記システムから受信する。前記表示処理手段は、前記手書き文書の内、前記選択範囲外のストロークの表示を維持しつつ、前記選択範囲の画面位置では、前記手書き部分が手書き文字に対応する１以上のストロークと手書き文字以外の１以上のストロークとを含む場合、前記手書き文字に対応する前記１以上のストロークの軌跡を前記画面から消し、前記整形結果の表示領域と前記手書き部分の表示領域とを重ねて表示する。

実施形態に係る電子機器の外観を示す斜視図。 同実施形態の電子機器と手書き文書変換システムとの連携動作を示す図。 同実施形態の電子機器のタッチスクリーンディスプレイ上に手書きされる手書き文書の例を示す図。 同実施形態の電子機器によって記憶媒体に保存される、図３の手書き文書に対応する時系列情報を説明するための図。 同実施形態の電子機器のシステム構成を示すブロック図。 同実施形態の電子機器によって表示されるデスクトップ／ドロア画面を示す図。 同実施形態の電子機器によって表示されるデスクトップ画面を示す図。 同実施形態の電子機器によって表示されるノートビュー画面を示す図。 同実施形態の電子機器によって実行されるデジタルノートブックアプリケーションプログラムの機能構成を示すブロック図。 同実施形態の電子機器によって実行される範囲選択動作を説明するための図。 同実施形態の電子機器によって表示される、整形機能を実行するためのユーザインタフェースを説明するための図。 同実施形態の電子機器によって、手書き部分に代えて表示される整形結果を示す図。 同実施形態の電子機器の画面に表示される、整形結果を手書き部分に戻すためのユーザインタフェースを説明するための図。 同実施形態の電子機器によって、整形結果に変えて表示される手書き部分を示す図。 同実施形態の電子機器によって、手書き部分上に重ねて表示される整形結果を示す図。 同実施形態の電子機器によって、手書き文字が削除された手書き部分上に重ねて表示される整形結果を示す図。 同実施形態の電子機器によって実行される手書き文書処理の手順を説明するフローチャート。

以下、実施の形態について図面を参照して説明する。
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ等として実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはストレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。

本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの２種類のセンサの双方がタッチスクリーンディスプレイ１７に組み込まれている場合を想定する。

このタッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作のみならず、ペン１００を使用した画面に対するタッチ操作も検出することができる。ペン１００は例えば電磁誘導ペンであってもよい。ユーザは、外部オブジェクト（ペン１００又は指）を使用してタッチスクリーンディスプレイ１７上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の外部オブジェクト（ペン１００又は指）の動きの軌跡、つまり手書き入力操作によって手書きされるストローク（手書きストロークの軌跡）がリアルタイムに描画され、これによって手書きにより入力された複数のストロークが画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が１つのストロークに相当する。手書きされた文字、手書きされた図形、手書きされた表、などに対応する多数のストロークの集合が手書き文書を構成する。

本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係を示す時系列情報（手書き文書データ）として記憶媒体に保存される。この時系列情報の詳細は図４を参照して後述するが、この時系列情報は、複数のストロークが手書きされた順を示し、且つ複数のストロークにそれぞれ対応する複数のストロークデータを含む。換言すれば、この時系列情報は、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある一つのストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序に相当する。

タブレットコンピュータ１０は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまりこの時系列情報によって示される複数のストロークを画面上に表示することができる。時系列情報によって示される複数のストロークも、手書きによって入力される複数のストロークである。

さらに、タブレットコンピュータ１０は編集機能を有している。この編集機能は、「消しゴム」ツール、範囲選択ツール、および他の各種ツール等を用いたユーザによる編集操作に応じて、範囲選択ツールによって選択される表示中の手書き文書内の任意の部分（手書き文字、手書きマーク、手書き図形、手書き表、等）を削除または移動することができる。またさらに、この編集機能は、選択範囲内に属する手書き部分に対して各種機能、例えば、図整形機能、表整形機能、手書き文字整形機能、等を実行することができる。これら整形機能はクラウドサーバシステムを利用することによって実行することができる。

本実施形態では、手書き文書は、１つまたは複数のページとして管理されうる。この場合、時系列情報（手書き文書データ）を１つの画面に収まる面積単位で区切ることによって、１つの画面に収まる時系列情報のまとまりを１つのページとして記録してもよい。あるいは、ページのサイズを可変できるようにしてもよい。この場合、ページのサイズは１つの画面のサイズよりも大きい面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を一つのページとして扱うことができる。１つのページ全体をディスプレイに同時に表示できない場合は、そのページを縮小してするようにしてもよいし、縦横スクロールによってページ内の表示対象部分を移動するようにしてもよい。なお、タブレットコンピュータ１０によって表示されるべき手書き文書としては、手書きによって記載される複数のストローク（手書きストローク）を含む任意の手書き文書を使用し得る。

図２は、タブレットコンピュータ１０と手書き文書変換システム２との連携動作の例を示している。タブレットコンピュータ１０は、手書き文書変換システム２と連携することができる。すなわち、タブレットコンピュータ１０は、無線ＬＡＮなどの無線通信デバイスを備えており、インターネット上の手書き文書変換システム２との通信を実行することもできる。手書き文書変換システム２は各種クラウドコンピューティングサービスを実行する１以上のサーバから構成されている。

手書き文書変換システム２は、タブレットコンピュータ１０から受信される手書き文書３１（複数のストロークデータ）を既存のワードプロセッサソフトウェアまたは既存のプレゼンテーションソフトウェアなどによって閲覧・編集が可能なファイルフォーマットの電子文書に変換するサービスを実行することができる。この変換サービスにおいては、手書き文書３１内の手書き文字、手書き図形、手書き表などがそれぞれ整形される。手書き文字列の整形においては、この手書き文字列は文字認識によって幾つかの文字コードに変換される。手書き図形の整形においては、この手書き図形は既存のワードプロセッサソフトウェアまたは既存のプレゼンテーションソフトウェアなどによって閲覧・編集が可能なオブジェクトデータに変換される。例えば、手書きの丸は丸形状の図形オブジェクトに変換される。手書き表の整形においては、この手書き表はこの手書きの表のセル数と同じセル数を含む表オブジェクトに変換される。さらに、手書きの表の各セルに含まれる手書き文字列は幾つかの文字コードに変換される。

タブレットコンピュータ１０は、手書き文書３１を構成する複数のストロークデータを手書き文書変換システム２に送信し（アップロード）、手書き文書変換システム２に手書き文書３１の整形（変換）を要求することができる。そして、タブレットコンピュータ１０は、手書き文書３１の整形結果である電子文書３２を手書き文書変換システム２から受信することができる（ダウンロード）。また、タブレットコンピュータ１０は、手書き文書３１内の任意の手書き部分だけを文書変換システム２に送信し（アップロード）、手書き文書変換システム２にこの手書き部分の整形（変換）を要求することもできる。

ここで、タブレットコンピュータ１０と手書き文書変換システム２との連携動作の例について説明する。タブレットコンピュータ１０は手書き文書変換システム２に対してアクセスし、手書き文書変換システム２のインタフェースを介して変換の対象となる手書き文書３１を手書き文書変換システム２に送信する。この場合、タブレットコンピュータ１０は、手書き文書３１の変換後のファイル形式（ＰＤＦ、イメージデータ、ベクトルデータ、マイクロソフト社のワード（登録商標）、マイクロソフト社のエクセル（登録商標）、マイクロソフト社のパワーポイント（登録商標）、等）を手書き文書変換システム２に指示することもできる。手書き文書３１は手書き文書変換システム２のストレージ２１に格納される。テキスト／図表整形エンジン２２はストレージ２１から手書き文書３１を受け取り、手書き文書３１内の手書き文字列、手書きの図形、手書きの表を認識してこれら手書き文字列、手書きの図形、手書きの表を整形する。電子文書変換エンジン２３はテキスト／図表整形エンジン２２から整形結果を受信する。そして、電子文書変換エンジン２３は、この整形結果を、タブレットコンピュータ１０によって指定されたファイル形式の電子文書３２に変換し、この電子文書３２をストレージ２１に格納する。タブレットコンピュータ１０は電子文書３２をインタフェース２０を介して閲覧したり、この電子文書３２をインタフェース２０を介して手書き文書変換システム２から受信することができる（ダウンロード）。

なお、上述したように、タブレットコンピュータ１０は、手書き文書３１内の任意の手書き部分を文書変換システム２に送信し、この手書き部分に対応する整形結果を手書き文書変換システム２から受信することもできる。この整形結果に対応するオブジェクトデータは各種ソフトウェアが扱うことができるベクトルデータであってもよいし、あるいはイメージデータであってもよい。

次に、図３および図４を参照して、ユーザによって手書きされたストローク（文字、図形、表など）と時系列情報との関係について説明する。図３は、ペン１００などを使用してタッチスクリーンディスプレイ１７上に手書きされる手書き文書（手書き文字列）の例を示している。

手書き文書では、一旦手書きによって入力される文字や図形などの上に、さらに別の文字や図形などが手書きによって入力されるというケースが多い。図３においては、「ＡＢＣ」の手書き文字列が「Ａ」、「Ｂ」、「Ｃ」の順番で手書きによって入力され、この後に、手書きの矢印が、手書き文字「Ａ」のすぐ近くに手書きによって入力された場合が想定されている。

手書き文字「Ａ」は、ペン１００などを使用して手書きされる２つのストローク（「∧」形状の軌跡、「−」形状の軌跡）によって、つまり２つの軌跡によって表現される。最初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標ＳＤ１１、ＳＤ１２、…ＳＤ１ｎが得られる。同様に、次に手書きされる「−」形状のペン１００の軌跡も等時間間隔でリアルタイムにサンプリングされ、これによって「−」形状のストロークの時系列座標ＳＤ２１、ＳＤ２２、…ＳＤ２ｎが得られる。

手書き文字「Ｂ」は、ペン１００などを使用して手書きされた２つのストローク、つまり２つの軌跡によって表現される。手書き文字「Ｃ」は、ペン１００などを使用して手書きされた手書きされた１つのストローク、つまり１つの軌跡によって表現される。手書きの「矢印」は、ペン１００などを使用して手書きされた手書きされた２つのストローク、つまり２つの軌跡によって表現される。

図４は、図３の手書き文書に対応する時系列情報２００を示している。時系列情報は、複数のストロークデータＳＤ１、ＳＤ２、…、ＳＤ７を含む。時系列情報２００内においては、これらストロークデータＳＤ１、ＳＤ２、…、ＳＤ７は、これらストロークが手書きされた順に時系列に並べている。

時系列情報２００において、先頭の２つのストロークデータＳＤ１、ＳＤ２は、手書き文字「Ａ」の２つのストロークをそれぞれ示している。３番目と４番目のストロークデータＳＤ３、ＳＤ４は、手書き文字「Ｂ」を構成する２つのストロークをそれぞれ示している。５番目のストロークデータＳＤ５は、手書き文字「Ｃ」を構成する１つのストロークを示している。６番目と７番目のストロークデータＳＤ６、ＳＤ７は、手書き「矢印」を構成する２つのストロークをそれぞれ示している。

各ストロークデータは、一つのストロークに対応する座標データ系列（時系列座標）、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各ストロークデータにおいては、複数の座標はストロークが書かれた順に時系列に並べられている。例えば、手書き文字「Ａ」に関しては、ストロークデータＳＤ１は、手書き文字「Ａ」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つまりｎ個の座標データＳＤ１１、ＳＤ１２、…ＳＤ１ｎを含む。ストロークデータＳＤ２は、手書き文字「Ａ」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりｎ個の座標データＳＤ２１、ＳＤ２２、…ＳＤ２ｎを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。

各座標データは、対応する軌跡内のある１点に対応するＸ座標およびＹ座標を示す。例えば、座標データＳＤ１１は、「∧」形状のストロークの始点のＸ座標（Ｘ１１）およびＹ座標（Ｙ１１）を示す。ＳＤ１ｎは、「∧」形状のストロークの終点のＸ座標（Ｘ１ｎ）およびＹ座標（Ｙ１ｎ）を示す。

さらに、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Ｔを含んでいてもよい。手書きされた時点は、絶対時間（例えば、年月日時分秒）またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間（例えば、年月日時分秒）をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Ｔとして付加してもよい。

このように、各座標データにタイムスタンプ情報Ｔが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。

さらに、各座標データには、筆圧を示す情報（Ｚ）を追加してもよい。

図４で説明したような構造を有する時系列情報２００は、個々のストロークの筆跡だけでなく、ストローク間の時間的関係も表すことができる。したがって、この時系列情報２００を使用することにより、図３に示すようにたとえ手書き「矢印」の先端部が手書き文字「Ａ」上に重ねてまたは手書き文字「Ａ」に近接して書かれたとしても、手書き文字「Ａ」と手書き「矢印」の先端部とを異なる文字または図形として扱うことが可能となる。

さらに、本実施形態では、上述したように、手書き文書データは、イメージまたは文字認識結果ではなく、時系列のストロークデータの集合から構成される時系列情報２００として記憶されるので、手書き文字の言語に依存せずに手書き文字を扱うことができる。よって、本実施形態の時系列情報２００の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。

図５は、タブレットコンピュータ１０のシステム構成を示す図である。
タブレットコンピュータ１０は、図５に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０５、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８等を備える。

ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、手書きノートアプリケーションプログラム２０２が含まれている。この手書きノートアプリケーションプログラム２０２は、上述の手書き文書を作成および表示する機能、文書変換システム２と共同して手書き文書を整形する機能、等を有している。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。

グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂおよびデジタイザ１７Ｃが配置されている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン１００が接触される画面上の接触位置および接触位置の動き等はデジタイザ１７Ｃによって検出される。

無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。

次に、手書きノートアプリケーションプログラム２０２によってユーザに提示される幾つかの代表的な画面の例を説明する。

図６は、手書きノートアプリケーションプログラム２０２によって表示されるデスクトップ／ドロア画面を示す。デスクトップ／ドロア画面は複数の手書き文書データを扱うための基本画面である。以下では、手書き文書データを手書きノートとも称する。

デスクトップ／ドロア画面は、デスクトップ画面領域７０とドロア画面領域７１とを含む。デスクトップ画面領域７０は作業中の複数の手書きノートに対応する複数のノートアイコン８０１〜８０５を表示するテンポラリ領域である。ノートアイコン８０１〜８０５の各々は、対応する手書きノート内のあるページのサムネイルを表示する。デスクトップ画面領域７０は、さらに、ペンアイコン７７１、カレンダーアイコン７７２、スクラップノートアイコン７７３、タグアイコン７７４を表示する。

ペンアイコン７７１は、表示画面をデスクトップ／ドロア画面から図８で後述するノートビュー画面に切り替えるためのグラフィカルユーザインタフェース（ＧＵＩ）である。カレンダーアイコン７７２は現在の日付を示すアイコンである。このカレンダーアイコン７７２は、表示画面をデスクトップ／ドロア画面から現在の日付に関連付けられたタイムラインノート画面に切り替えるためのＧＵＩである。スクラップノートアイコン７７３は、スクラップデータを作成または閲覧するためのＧＵＩである。作成されたスクラップデータはストラップブック（ストラップノート）に登録される。スクラップノートアイコン７７３は、スクラップブックに登録されている各スクラップデータのサムネイルを表示する。文書変換システム２から受信される電子文書（手書き文書の整形結果）をスクラップデータとしてストラップブックに登録することかできる。ユーザは、スクラップブック内の任意のスクラップデータを作成／編集中の手書きノートにインポートすることができる。タグアイコン７７４は、任意の手書きノート内の任意のページに付箋紙（タグ）を貼り付けるためのＧＵＩである。

ドロア画面領域７１は、作成済みの全ての手書きノートを格納するためのストレージ領域を閲覧するための表示領域である。ドロア画面領域７１は、全ての手書きノート内の幾つかの手書きノートに対応するノートアイコン８０Ａ，８０Ｂ，８０Ｃを表示する。ノートアイコン８０Ａ，８０Ｂ，８０Ｃの各々は、対応する手書きノート内のあるページのサムネイルを表示する。手書きノートアプリケーションプログラム２０２は外部オブジェクトを使用してユーザによって行われるドロア画面領域７１上のジェスチャ（例えばスワイプジェスチャ等）を検出することができる。このジェスチャ（例えばスワイプジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム２０２は、ドロア画面領域７１上の画面イメージを左方向または右方向にスクロールする。これにより、ドロア画面領域７１に任意の手書きノートそれぞれに対応するノートアイコンを表示することができる。

さらに、手書きノートアプリケーションプログラム２０２は外部オブジェクトを使用してユーザによって行われるドロア画面領域７１のノートアイコン上のジェスチャ（例えばタップジェスチャ等）を検出することができる。ドロア画面領域７１上のあるノートアイコン上のジェスチャ（例えばタップジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム２０２は、このノートアイコンをデスクトップ画面領域７０の中央部に移動する。そして、手書きノートアプリケーションプログラム２０２は、このノートアイコンに対応する手書きノートを選択し、そして、デスクトップ／ドロア画面の代わりに、図７に示すデスクトップ画面を表示する。図７のデスクトップ画面は、選択された手書きノート内の任意のページを閲覧可能な画面である。

さらに、手書きノートアプリケーションプログラム２０２は外部オブジェクトを使用してユーザによって行われるデスクトップ画面領域７０上のジェスチャ（例えばタップジェスチャ等）も検出することができる。デスクトップ画面領域７０の中央部に位置するノートアイコン上のジェスチャ（例えばタップジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム２０２は、中央部に位置するノートアイコンに対応する手書きノートを選択し、そして、デスクトップ／ドロア画面の代わりに、図７に示すデスクトップ画面を表示する。

上述したように、図７のデスクトップ画面は、選択された手書きノート内の任意のページを閲覧可能な画面である。ここでは、ノートアイコン８０１に対応する手書きノートが選択された場合を想定する。この場合、手書きノートアプリケーションプログラム２０２は、この手書きノートに含まれる複数のページ９０２，９０３，９０４，９０５を、これらページ９０１，９０２，９０３，９０４，９０５それぞれの少なくとも一部分が視認可能で且つこれらページ９０１，９０２，９０３，９０４，９０５が重なった形態で表示する。

デスクトップ画面は、さらに、上述のペンアイコン７７１、カレンダーアイコン７７２、スクラップノートアイコン７７３、タグアイコン７７４を表示する。

手書きノートアプリケーションプログラム２０２はユーザによって行われるデスクトップ画面上の様々なジェスチャを検出することができる。例えば、あるジェスチャの検出に応答して、手書きノートアプリケーションプログラム２０２は、一番上に表示されるべきページを任意のページに変更する（ページ送り、ページ戻し）。また、一番上のページ上で行われるあるジェスチャ（例えばタップジェスチャ）の検出に応答して、またはペンアイコン７７１上で行われるあるジェスチャ（例えばタップジェスチャ）の検出に応答して、手書きノートアプリケーションプログラム２０２は、一番上のページを選択し、そしてデスクトップ画面の代わりに、図８に示すノートビュー画面を表示する。

図８のノートビュー画面は、ページ（手書きページ）の新規作成、および既存のページの閲覧および編集が可能な画面である。図７のデスクトップ画面上のページ９０１が選択された場合には、図８に示すように、ノートビュー画面は、ページ９０１の内容を表示する。

ノートビュー画面は、さらに、黒ペンボタン５０１、赤ペンボタン５０２、マーカーボタン５０３、選択ボタン５０４、および消しゴムボタン５０５を表示する。

例えば、黒ペンボタン５０１がユーザによるタップジェスチャによって選択された状態で、ペン１００を用いた手書き入力操作がノートビュー画面上で行われると、手書きノートアプリケーションプログラム２０２は、ペン１００の動きに合わせて黒色のストローク（軌跡）をノートビュー画面上に表示する。選択ボタン５０４は、ノートビュー画面上の任意の範囲を選択するための範囲選択ツールを起動するためのボタンである。ユーザによるタップジェスチャによって選択ボタン５０４が選択された状態で、ペン１００を用いた手書き入力操作がノートビュー画面上で行われると、手書きノートアプリケーションプログラム２０２は、ペン１００のドラッグ操作に応じて、ノートビュー画面中に矩形枠または自由枠を描画する。この矩形枠または自由枠によって囲まれる部分が選択範囲として使用される。

図９は、手書きノートアプリケーションプログラム２０２の機能構成を示す。
手書きノートアプリケーションプログラム２０２は、手書きデータを扱うことが可能なＷＹＳＩＷＹＧアプリケーションであり、ペン軌跡表示処理部３０１、時系列情報生成部３０２、ページ保存処理部３０４、ページ取得処理部３０５、手書き文書表示処理部３０６、範囲選択部３０７、送信部３０８、受信部３０９、および整形結果表示処理部３１０等を備える。

手書きノートアプリケーションプログラム２０２は、タッチスクリーンディスプレイ１７を用いて入力されるストロークデータを使用することによって、手書き文書の作成、表示、編集等を行う。タッチスクリーンディスプレイ１７は、「タッチ」、「移動（スライド）」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動（スライド）」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。

ペン軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７によって発生される「タッチ」または「移動（スライド）」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動（スライド）」イベントにも、移動先の接触位置の座標が含まれている。したがって、ペン軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から、接触位置の動きの軌跡に対応する座標列を受信することができる。

ペン軌跡表示処理部３０１は、手書きによって入力される複数のストロークをタッチスクリーンディスプレイ１７内のＬＣＤ１７Ａの画面上に表示する。より詳しくは、ペン軌跡表示処理部３０１は、タッチスクリーンディスプレイ１７から座標列を受信し、この座標列に基づいて、ペン１００等を使用した手書き入力操作によって書かれる手書きオブジェクトに対応する各ストロークをタッチスクリーンディスプレイ１７内のＬＣＤ１７Ａの画面上に表示する。このペン軌跡表示処理部３０１により、画面にペン１００が接触している間のペン１００の軌跡、つまり各ストロークの軌跡がＬＣＤ１７Ａの画面上に描かれる。

時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から出力される上述の座標列を受信し、この座標列に基づいて、図４で詳述したような構造を有する上述の時系列情報（ストロークデータの集合）を生成する。この場合、時系列情報、つまりストロークの各点に対応する座標およびタイムスタンプ情報は作業メモリ４０１に一時保存してもよい。

ページ保存処理部３０４は、生成された時系列情報を手書き文書（手書きページ）として記憶媒体４０２に保存する。記憶媒体４０２は、上述したように、タブレットコンピュータ１０内のストレージデバイス、パーソナルコンピュータ１内のストレージデバイス、サーバ２のストレージデバイスのいずれであってもよい。

ページ取得処理部３０５は、記憶媒体４０２から既に格納されている任意の時系列情報を読み出す。読み出された時系列情報は手書き文書表示処理部３０６に送られる。手書き文書表示処理部３０６は、時系列情報を解析し、この解析結果に基づいて、時系列情報によって示される各ストローク（手書きによって入力された各ストローク）を画面上に手書きページとして表示する。

範囲選択部３０７は、ノートビュー画面上の選択範囲によって指定される手書き部分を手書きページから選択する。この手書き部分の選択は、ユーザによって行われる範囲選択操作に応じて実行される。範囲選択操作は、ノートビュー画面上の手書きページ内の任意の部分、つまり任意の手書き部分を選択するための操作である。ユーザは、例えば「範囲選択」ツールを使用することにより、ペン１００の操作によって画面上の任意の部分を矩形枠等によって囲むことができる。範囲選択部３０７は、矩形枠によって囲まれた選択範囲内に属する手書き部分、つまり選択範囲内に属する複数のストロークを、上述の整形等の機能を実行すべき処理対象手書き部分として選択することができる。

送信部３０８は、範囲選択部３０７によって選択される手書き部分を手書き文書変換システム２に送信するように構成されている。より詳しくは、送信部３０８は、範囲選択部３０７によって選択される手書き部分（複数のストローク）に対応する複数のストロークデータを手書き文書変換システム２に送信する。受信部３０９は、上述の手書き部分（複数のストローク）を整形することによって得られる整形結果（１以上のオブジェクトデータ）を手書き文書変換システム２から受信する。整形結果表示処理部３１０は、整形結果をノートビュー画面上に表示する。これにより、ユーザは、手書きページ内の選択範囲以外の手書き部分それぞれを手書きの状態に維持したまま、手書きページ内の選択範囲に対応する手書き部分のみを整形することができる。

整形結果をノートビュー画面上に表示する処理においては、整形結果表示処理部３１０は、整形結果と上述の手書き部分とをユーザが容易に見比べられるように、整形結果と上述の手書き部分とを互いに関連づけてノートビュー画面上に表示する。このように、整形結果と上述の手書き部分とを互いに関連づけて表示することにより、手書きページ内の一部分のみを整形する場合でも、整形結果が手書きページ内のどの手書き部分に対応しているかをユーザに分かり易く提示することができる。

図１０は、範囲選択部３０７によって実行される範囲選択動作の例を示す。図１０のノートビュー画面においては、複数の手書き文字列と手書きの表６０１とを含む手書きページが表示されており、この手書きの表６０１が範囲選択ツールを用いて描画される矩形枠５５０によって囲まれた場合が想定されている。範囲選択部３０７は矩形枠５５０によって示される選択範囲によって指定される手書きの表６０１を手書きページから選択する。

手書きノートアプリケーションプログラム２０２は、図１１に示すように、ノートビュー画面上に整形ボタン６１０を表示する。この整形ボタン６１０がユーザの指またはペン１００によってタップされると、送信部３０８は、範囲選択部３０７によって選択される手書き部分（ここでは手書きの表６０１）に対応する複数のストロークデータを手書き文書変換システム２に送信する。受信部３０９は手書き文書変換システム２から手書きの表６０１の整形結果を受信する。そして、整形結果表示処理部３１０は、ノートビュー画面上の手書き部分の表示位置に基づき、手書きの表６０１と手書きの表６０１の整形結果とを互いに関連づけてノートビュー画面上に表示することができる。

手書きの表６０１と整形結果とを互いに関連づけてノートビュー画面上に表示するための表示形態としては、整形前の手書き部分（手書きの表６０１）と整形結果とをユーザが見比べることが可能な任意の表示形態を使用し得る。

例えば、整形結果表示処理部３１０は、手書きページの表示形態を、手書きの表６０１に代えて整形結果が手書きの表６０１の表示位置に表示される第１の表示形態と、整形結果に代えて手書きの表６０１が上述の表示位置に表示される第２の表示形態との間で切り替えてもよい。

この場合、整形結果表示処理部３１０は、まず、図１２に示すように、手書き部分の表示位置に基づき、整形結果６０２を手書きの表６０１に代えてこの手書きの表６０１の表示位置に表示する。つまり、整形結果表示処理部３１０は、手書きページ内の手書きの表６０１を整形結果６０２に入れ替える。

整形結果表示処理部３１０は、図１２の整形結果６０２上で行われるジェスチャ（例えば、ユーザの指によって行われるタップジェスチャ）を検出することができる。図１２の整形結果６０２上で行われるジェスチャの検出に応答して、整形結果表示処理部３１０は、図１３に示すように、表示切り替えボタン６２１を整形結果６０２の近くに表示する。表示切り替えボタン６２１は、手書きページの表示形態を、上述の第１の表示形態と上述の第２の表示形態との間で切り替えるためのユーザインタフェースである。

表示切り替えボタン６２１がペン１００または指によってタップされた時、整形結果表示処理部３１０は、図１４に示すように、手書き部分（手書きの表６０１）の表示位置に基づき、整形結果６０２に代えて、手書きの表６０１を元の表示位置に表示する。手書きの表６０１の近くには表示切り替えボタン６２１が表示される。表示切り替えボタン６２１がペン１００または指によって再びタップされた時、整形結果表示処理部３１０は、図１３に示すように、手書き部分の表示位置に基づき、整形結果６０２を手書きの表６０１に代えてこの手書きの表６０１の表示位置に再び表示する。

このように、本実施形態では、ユーザの操作に応じて、手書きページの表示形態を、手書きページ内の選択範囲内の表示内容が整形結果に入れ替えられる図１２または図１３の表示形態と、選択範囲内の表示内容が元の手書き部分に戻される図１４の表示形態との間で切り替えることができる。これにより、ノートビュー画面のサイズに限りがある場合でも、ユーザは、変換前の手書き部分の内容と整形結果の内容とを見比べて整形結果が正しいか否かを容易に確認することができる。整形結果が正しくない場合には、ユーザは、例えば図示しないアンドゥボタンをタップすること等により、ノートビュー画面を範囲選択操作が実行される前の状態に戻すことができる。そして、ユーザは、必要に応じて、範囲選択操作、及び整形ボタン６１０のタップ操作を再度行うことができる。

整形前の手書き部分（手書きの表６０１）と整形結果とをユーザが見比べることが可能な任意の表示形態としては、図１５に示すように、整形結果６０２の表示領域と手書きの表６０１の表示領域とが少なくとも一部重ねて表示される表示形態を使用してもよい。この場合、整形結果表示処理部３１０は、整形結果６０２の表示領域を手書きの表６０１の表示領域の少なくとも一部の上に重ねて表示してもよい。さらに、整形結果表示処理部３１０は、整形結果６０２内の複数の文字列および複数の線と手書き部分（手書きの表６０１）内の複数の手書き文字および手書きの線とが重なり合うことによって整形結果６０２が見づらくなることを防ぐために、図１５に示すように、手書き部分（手書きの表６０１）に含まれる複数のストロークの線種（太さ、実線／破線、等）または色を変更することもできる。各ストロークの色を変更するための方法としては、各ストロークを薄く表示できる任意の方法を使用し得る。例えば、各ストロークの現在の色の階調レベルを変更してもよい。あるいは、各ストロークの現在の色を、予め決められた特定の薄い色に変更してもよい。

また、複数のストロークの線種（線幅、実線／破線、等）を変更する方法としては、各ストロークを薄く表示することができる任意の方法を使用できる。例えば、（１）これら複数のストロークの線幅を細くしてもよく、あるいは（２）これら複数のストロークを破線にしてもよい。

そして、整形結果表示処理部３１０は、手書き部分の表示位置に基づき、整形結果６０２を、図１５に示すように、手書きの表６０１上に重ねて表示する。この場合、必ずしも整形結果６０２の表示領域全体が手書きの表６０１の表示領域上に重なる必要は無く、整形結果６０２の表示領域が部分的に手書きの表６０１の表示領域上に重なるように、整形結果６０２の領事領域の表示位置を、手書きの表６０１の表示領域の表示位置に対して上下方向または左右方向にずらしてもよい。さらに、整形結果表示処理部３１０は、手書きの表６０１の表示領域と重なる整形結果６０２の表示領域で、手書きの表６０１の少なくとも一部が整形結果６０２の表示領域を通して透けて見えるように表示する。例えば、、整形結果表示処理部３１０は、整形結果６０２の背面にある手書きの表６０１が整形結果６０２の背景（整形結果６０２の表示領域）を通して透けて見えるように整形結果６０２の背景（整形結果６０２の表示領域）の透明度を設定してもよい。この場合、整形結果６０２の背景は透明であってもよい。

さらに、整形結果表示処理部３１０は、ノートビュー画面上に「ＯＫ」ボタン６１１、「キャンセル」ボタン６１２を表示してもよい。「ＯＫ」ボタン６１１がユーザによって操作（例えばタップ操作）された時、整形結果表示処理部３１０は、手書きの表６０１を整形結果６０２に入れ替える。この場合、手書きの表６０１はノートビュー画面から消され、そして整形結果６０２が元の手書きの表６０１の表示位置に表示されるように必要に応じて整形結果６０２の表示位置が移動される。一方、「キャンセル」ボタン６１２がユーザによって操作（例えばタップ操作）された時、整形結果表示処理部３１０は、整形結果６０２をノートビュー画面から消し、手書きの表６０１に含まれる複数のストロークの線種（太さ、実線／破線、等）または色を元の状態に戻す。

また、整形結果表示処理部３１０は、整形結果６０２内の複数の文字列および複数の線と手書きの表６０１内の複数の手書き文字および手書きの線とが重なり合うことによって整形結果６０２が見づらくなることを防ぐために、図１６に示すように、手書きの表６０１内の各手書き文字に対応する１以上のストロークの軌跡をノートビュー画面から消してもよい。この場合、手書きの表６０１の複数の罫線に対応する複数のストロークだけが表示され、手書きの表６０１の各セルの手書き文字に対応する複数のストロークは表示されない。各セルの手書き文字に対応する複数のストロークを削除することにより、整形結果６０２の視認性を高めることができる。また、たとえ各セルの手書き文字に対応する複数のストロークを削除しても、ユーザは手書きの表６０１の複数の罫線と整形結果の複数の罫線とを見比べることができるので、整形結果の縦横の要素（セル）数が手書きの表６０１の縦横の要素（セル）数と同じであるかどうかなどを確認することができる。

さらに、整形結果表示処理部３１０は、手書きの表６０１の複数の罫線に対応する複数のストロークの線種（太さ、実線／破線、等）または色を変更してもよい。これにより、整形結果６０２の視認性をさらに高めることができる。

そして、整形結果表示処理部３１０は、手書き文字に対応する複数のストロークが削除された手書きの表６０１の表示領域と整形結果６０２の表示領域とを少なくとも一部重ねて表示する。整形結果表示処理部３１０は、例えば、手書きの表６０１の表示領域の少なくとも一部上に重ねて整形結果６０２の表示領域を表示してもよい。この場合、整形結果６０２の背面にある手書きの表６０１が整形結果６０２の背景を通して透けて見えるように整形結果６０２の背景は例えば透明に設定される。

図１６のノートビュー画面上の「ＯＫ」ボタン６１１がユーザによって操作（例えばタップ操作）された時、整形結果表示処理部３１０は、手書きの表６０１を整形結果６０２に入れ替える。この場合、手書きの表６０１はノートビュー画面から消され、そして整形結果６０２が元の手書きの表６０１の表示位置に表示されるように必要に応じて整形結果６０２の表示位置が移動される。一方、「キャンセル」ボタン６１２がユーザによって操作（例えばタップ操作）された時、整形結果表示処理部３１０は、整形結果６０２をノートビュー画面から消し、手書きの表６０１に含まれる複数のストロークの線種（太さ、実線／破線、等）または色を元の状態に戻す。さらに、整形結果表示処理部３１０は、手書きの表６０１内の各セル上に、削除された手書き文字のストロークを再び表示する。

図１７のフローチャートは、手書きノートアプリケーションプログラム２０２によって実行される手書き文書処理の手順を示す。
手書きノートアプリケーションプログラム２０２は、ノートビュー画面を表示する（ステップＳ１１）。そして、手書きノートアプリケーションプログラム２０２は、手書きによって記載される複数のストロークを含む手書き文書をノートビュー画面上に表示する（ステップＳ１２）。ステップＳ１２では、手書き文書を構成する複数のストロークがノートビュー画面上に表示される。これらストロークの表示は、例えば、記憶媒体４０２から読み出した手書きページデータに基づいて行われても良いし、ノートビュー画面上の手書き入力操作に応じて行われても良い。手書きノートアプリケーションプログラム２０２は、ノートビュー画面上の選択範囲によって指定される手書き部分（複数のストローク）を手書き文書から選択する（ステップＳ１３）。

ユーザによって整形機能の実行が要求されたならば（ステップＳ１４のＹＥＳ）、手書きノートアプリケーションプログラム２０２は、選択される手書き部分を文書変換システム２に送信する（ステップＳ１５）。ステップＳ１５では、選択される手書き部分に含まれる複数のストロークに対応する複数のストロークデータが文書変換システム２に送信される。

そして、手書きノートアプリケーションプログラム２０２は、手書き部分を整形することによって得られる整形結果（オブジェクトデータ）を文書変換システム２から受信する（ステップＳ１６）。手書きノートアプリケーションプログラム２０２は、手書き部分の表示位置（表示領域）に基づき、整形結果（オブジェクトデータに対応するオブジェクト）と手書き部分とを互いに関連づけてノートビュー画面上に表示する（ステップＳ１７）。

ステップＳ１７では、図１２、図１３で説明したように、手書きノートアプリケーションプログラム２０２は、手書き部分の表示位置に基づき、手書き部分に代えて整形結果を手書き部分の表示位置に表示してもよい。これにより、手書き文書内の選択範囲の表示内容は整形結果に入れ替えられる。そして、手書きノートアプリケーションプログラム２０２は、図１３、図１４で説明したように、ユーザによる操作に応じて、手書き文書内の選択範囲に表示すべき内容を、整形結果と元の手書き部分との間で交互に切り替える。

あるいは、図１５、図１６で説明したように、手書きノートアプリケーションプログラム２０２は、手書き部分に含まれる複数のストロークの線種または色を変更し、そして手書き部分の表示位置に基づき、手書き部分の表示領域と整形結果の表示領域とを少なくとも一部重ねて表示してもよい。

以上説明したように、本実施形態においては、画面上の選択範囲によって指定される手書き部分がタブレットコンピュータ１０から手書き文書変換システム２に送信される。そして、手書き部分と手書き文書変換システム２から受信される整形結果とが互いに関連付けられた画面上に表示される。したがって、手書き文書内の所望の部分を容易に整形することができ、また整形結果をユーザが整形前の手書き部分と整形結果とを見比べることが可能な形態でユーザに提示することができる。

本実施形態の手書き文書に対する各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…タブレットコンピュータ、２００…時系列情報、３０１…ペン軌跡表示処理部、３０２…時系列情報生成部、３０４…ページ保存処理部、３０５…ページ取得処理部、３０６…手書き文書表示処理部、３０７…範囲選択部、３０８…送信部、３０９…受信部、３１０…整形結果表示処理部。

Claims (4)

1. 手書きにより記載される複数のストロークを含む手書き文書を画面上に表示する表示処理手段と、
   前記画面上の選択範囲によって指定される手書き部分に含まれる複数のストロークに対応する複数のストロークデータをシステムに送信する送信手段と、
   前記複数のストロークデータから前記手書き部分を整形することによって得られる整形結果を前記システムから受信する受信手段とを具備し、
   前記表示処理手段は、前記手書き文書の内、前記選択範囲外のストロークの表示を維持しつつ、前記選択範囲の画面位置では、前記手書き部分が手書き文字に対応する１以上のストロークと手書き文字以外の１以上のストロークとを含む場合、前記手書き文字に対応する前記１以上のストロークの軌跡を前記画面から消し、前記整形結果の表示領域と前記手書き部分の表示領域とを重ねて表示する電子機器。
2. 手書きにより記載される複数のストロークを含む手書き文書を画面上に表示する表示処理手段と、
   前記画面上の選択範囲によって指定される手書き部分に含まれる複数のストロークに対応する複数のストロークデータをシステムに送信する送信手段と、
   前記複数のストロークデータから前記手書き部分を整形することによって得られる整形結果を前記システムから受信する受信手段とを具備し、
   前記表示処理手段は、前記手書き文書の内、前記選択範囲外のストロークの表示を維持しつつ、前記選択範囲の画面位置では、前記手書き部分が手書き文字に対応する１以上のストロークと手書き文字以外の１以上のストロークとを含む場合、前記手書き文字に対応する前記１以上のストロークの軌跡を前記画面から消し、前記手書き文字以外の前記１以上のストロークの線種または色を変更し、且つ前記整形結果の表示領域と前記手書き部分の表示領域とを重ねて表示する電子機器。
3. 手書きにより記載される複数のストロークを含む手書き文書を画面上に表示し、
   前記画面上の選択範囲に対応する手書き部分に含まれる複数のストロークに対応する複数のストロークデータをシステムに送信し、
   前記複数のストロークデータから前記手書き部分を整形することによって得られる整形結果を前記システムから受信し、
   前記手書き文書の内、前記選択範囲外のストロークの表示を維持しつつ、前記選択範囲の画面位置では、前記手書き部分が手書き文字に対応する１以上のストロークと手書き文字以外の１以上のストロークとを含む場合、前記手書き文字に対応する前記１以上のストロークの軌跡を前記画面から消し、前記整形結果の表示領域と前記手書き部分の表示領域とを重ねて表示する
   手書き文書処理方法。
4. コンピュータによって実行されるプログラムであって、
   手書きにより記載される複数のストロークを含む手書き文書を画面上に表示する手順と、
   前記画面上の選択範囲に対応する手書き部分に含まれる複数のストロークに対応する複数のストロークデータをシステムに送信する手順と、
   前記複数のストロークデータから前記手書き部分を整形することによって得られる整形結果を前記システムから受信する手順と、
   前記手書き文書の内、前記選択範囲外のストロークの表示を維持しつつ、前記選択範囲の画面位置では、前記手書き部分が手書き文字に対応する１以上のストロークと手書き文字以外の１以上のストロークとを含む場合、前記手書き文字に対応する前記１以上のストロークの軌跡を前記画面から消し、前記整形結果の表示領域と前記手書き部分の表示領域とを重ねて表示する手順と
   を前記コンピュータに実行させるためのプログラム。

Images