JP5703125B2 - 表示装置および表示プログラム - Google Patents

Description

本発明は、表示パネルと一体的に形成されたタッチパネルを備え、表示パネルに表示された文書画像を表す画像データと重なるようにタッチパネルに手書き入力された線分に基づいて、文書画像を表す画像データを透過するような色、透明度で塗り潰された曲線線分を生成し、その曲線線分を表示パネルに表示することができる表示装置および表示プログラムに関する。

電子黒板システム、パーソナルコンピュータ、携帯電話端末、電子手帳などには、液晶ディスプレイなどの表示パネルと、この表示パネルと一体的に形成されたタッチパネルとを含んで構成される、手書きで入力された文字を表示可能な表示装置が備えられている。表示装置は、タッチパネルに対する入力操作により手書き入力された軌跡の入力座標データに基づいて、文書画像を表す画像データを取得し、その取得した文書画像を表す画像データを表示パネルに表示する。また、表示装置は、ＰＤＦ形式のデータファイル等の電子文書ファイルを、文書画像を表す画像データとして取得し、その取得した文書画像を表す画像データを表示パネルに表示する。

このような表示装置において、表示パネルに表示された文書画像を表す画像データの所望部分に、注目のための修飾記号を付加する技術が提案されている。

たとえば、特許文献１には、表示パネルに表示された文書画像を表す画像データの、ユーザが所望する文字列部分に、文字列を塗り潰す線分を付加するような修飾編集機能に関する技術が開示されている。特許文献１に開示の技術によれば、表示パネルに表示された文書画像を表す画像データの任意の文字列に対応して、タッチパネルを介して手書きで線分を入力することによって、任意の文字列の画像に重なり、かつ文字列の画像が透過するように、直線線分が表示される。

このように、ユーザは、所望する任意の文字列に対応して手書きで線分を入力するだけで、文字列の視認性を損なわず、手書き線分を体裁よく直線線分として表示させることができる。そのため、任意の文字列に対して蛍光ペンで定規を用いて直線を上書きしたように、文字列を修飾編集することができる。

特開２００１−２８２７８５号公報

特許文献１に開示の技術は、直線状に配列した任意の文字列に対して、直線線分を付加して修飾するものである。そのため、特許文献１に開示の技術では、タッチパネルに対して手書き入力された軌跡に基づく文書画像を表す画像データや、ＰＤＦ形式のデータファイル等の電子文書ファイルに基づく文書画像を表す画像データなどに含まれる、直線状に配列されていない文字列に対しては、蛍光ペンで上書きしたように修飾編集することができない。

したがって本発明の目的は、表示部に表示された文書画像を表す画像データにおいて、曲線状に配列された文字列に対しても、蛍光ペンで上書きしたように修飾編集することができる表示装置および表示プログラムを提供することである。

本発明は、文書画像を表す画像データを取得する文書画像データ取得部と、
前記文書画像データ取得部が取得した文書画像を表す画像データに基づいて、文書画像を表示する表示部と、
前記表示部の表面上に積層されて、前記表示部と一体的に形成され、手書き入力によって指示された点の位置を表す座標データを出力する入力部と、
前記入力部から出力される手書き入力の軌跡に対応する座標データに基づいて、前記表示部に表示された文書画像と重なるように手書き入力された入力線分を認識し、入力線分の両端点の座標データを取得する入力線分認識部と、
前記入力線分の両端点の座標データに基づいて、前記入力線分と重なった文書画像から文字領域を抽出し、抽出した文字領域に含まれる文字列を認識し、１文字ごとの文字の軌跡を表す座標データを取得する文字認識部と、
前記文字認識部が取得した１文字ごとの座標データに基づいて、前記文字認識部が認識した文字列を構成する文字のうち、前記入力線分の両端点のそれぞれに最も近接する２つの文字である第１端部文字および第２端部文字を含む任意の文字を抽出し、抽出した各文字の外接矩形を設定し、その外接矩形の座標データを取得する文字抽出部と、
前記文字抽出部が抽出した各文字の外接矩形における前記文字列の文字配列方向に延びる２辺のそれぞれを含む、各文字に対する２つの接線線分である第１接線線分および第２接線線分を、文字ごとに生成する文字接線生成部と、
前記文字接線生成部が生成した文字ごとのそれぞれの第１接線線分上の任意の点を通るように曲線近似された第１曲線と、文字ごとのそれぞれの第２接線線分上の任意の点を通るように曲線近似された第２曲線とを生成する近似曲線生成部と、
前記近似曲線生成部が生成した前記第１曲線と前記第２曲線との間で規定される幅を有する帯状領域を生成し、生成した帯状領域内を前記文書画像を透過するような色で前記表示部に表示させる帯状領域生成部と、を備えることを特徴とする表示装置である。

また本発明の表示装置において、前記文書画像データ取得部は、前記入力部に対する手書き入力の軌跡に対応する座標データに基づいて、文書画像を表す画像データを取得することを特徴とする。

また本発明の表示装置において、前記近似曲線生成部は、前記文字接線生成部が生成した文字ごとのそれぞれの第１接線線分の両端点を通る近似曲線を前記第１曲線として生成し、文字ごとのそれぞれの第２接線線分の両端点を通る近似曲線を前記第２曲線として生成することを特徴とする。

また本発明の表示装置において、前記帯状領域生成部は、前記第１端部文字に対応する前記第１接線線分と前記第２接線線分との外方側端点を通る直線、前記第２端部文字に対応する前記第１接線線分と前記第２接線線分との外方側端点を通る直線、前記第１曲線、および前記第２曲線で囲まれた領域を、帯状領域として生成することを特徴とする。

また本発明は、入力部および表示部を備えるコンピュータを、前記表示装置として機能させることを特徴とする表示プログラムである。

本発明によれば、表示装置は、文書画像データ取得部が取得した文書画像を表す画像データに基づいて、文書画像を表示部に表示する装置である。さらに、表示装置は、入力部と、入力線分認識部と、文字認識部と、文字抽出部と、文字接線生成部と、近似曲線生成部と、帯状領域生成部とを備える。

入力部は、表示部の表面上に積層されて表示部と一体的に形成され、手書き入力によって指示された点の位置を表す座標データを出力する。入力線分認識部は、たとえばユーザが、表示部に表示された文書画像と重なるように、入力部に対して線分を手書き入力した場合、その手書き入力された入力線分を認識し、入力線分の両端点の座標データを取得する。文字認識部は、入力線分の両端点の座標データに基づいて、入力線分と重なった文書画像から文字領域を抽出し、抽出した文字領域に含まれる文字列を認識し、１文字ごとの文字の軌跡を表す座標データを取得する。文字抽出部は、文字認識部が取得した１文字ごとの座標データに基づいて、文字認識部が認識した文字列を構成する文字のうち、入力線分の両端点のそれぞれに最も近接する第１端部文字および第２端部文字を含む任意の文字を抽出し、抽出した各文字の外接矩形を設定し、その外接矩形の座標データを取得する。

文字接線生成部は、文字抽出部が抽出した各文字に対する２つの接線線分である第１接線線分および第２接線線分を文字ごとに生成する。この第１接線線分および第２接線線分は、各文字の外接矩形における、文字列の文字配列方向に延びる２辺のそれぞれを含む線分である。近似曲線生成部は、文字接線生成部が生成した文字ごとのそれぞれの第１接線線分上の任意の点を通るように曲線近似された第１曲線と、文字ごとのそれぞれの第２接線線分上の任意の点を通るように曲線近似された第２曲線とを生成する。そして、帯状領域生成部は、近似曲線生成部が生成した第１曲線と第２曲線との間で規定される幅を有する帯状領域を生成し、生成した帯状領域内を文書画像を透過するような色で表示部に表示させる。

本発明の表示装置では、近似曲線生成部が生成する第１曲線および第２曲線は、入力部に手書き入力された入力線分と重なった文字列を構成する文字のうち、第１端部文字および第２端部文字を含む任意の複数の文字に接して、文字配列方向に沿って延びる曲線となる。そして、帯状領域生成部は、上記のような第１曲線と第２曲線との間で幅が規定される帯状領域を生成し、生成した帯状領域内を文書画像を透過するような色、透明度で表示部に表示させる。これによって、表示部に表示された文書画像において、曲線状に配列された文字列に対しても、蛍光ペンで上書きしたように修飾編集することができる。

また本発明によれば、文書画像データ取得部は、入力部に対する手書き入力の軌跡に対応する座標データに基づいて、文書画像を表す画像データを取得する。文書画像データ取得部によって取得された、入力部に対するユーザの入力操作によって手書き入力された軌跡に基づく文書画像を表す画像データは、表示部に表示される。

本発明の表示装置では、上記のようにして表示部に表示された文書画像と重なるように手書き入力された入力線分に基づいて、帯状領域生成部によって帯状領域が生成される。生成される帯状領域は、入力線分と重なった文字列を構成する文字のうち、第１端部文字および第２端部文字を含む任意の複数の文字に接する第１曲線と第２曲線との間で幅が規定され、文書画像を透過するような色、透明度で塗り潰された領域である。このようにして、表示装置は、入力部に対して手書き入力された軌跡に基づく文書画像に含まれる、曲線状に配列された文字列に対して、蛍光ペンで上書きしたように修飾編集することができる。

また本発明によれば、近似曲線生成部は、文字ごとのそれぞれの第１接線線分の両端点を通る近似曲線を第１曲線として生成し、文字ごとのそれぞれの第２接線線分の両端点を通る近似曲線を第２曲線として生成する。このようにして、近似曲線生成部は、入力部に手書き入力された入力線分と重なった文字列を構成する文字のうち、第１端部文字および第２端部文字を含む任意の複数の文字に接して、文字配列方向に沿って延びる第１曲線および第２曲線を生成することができる。

また本発明によれば、帯状領域生成部は、第１端部文字に対応する第１接線線分と第２接線線分との外方側端点を通る直線、第２端部文字に対応する第１接線線分と第２接線線分との外方側端点を通る直線、第１曲線、および第２曲線で囲まれた領域を、帯状領域として生成する。このようにして、帯状領域生成部は、第１曲線と第２曲線との間で幅が規定される帯状領域を生成し、生成した帯状領域内を文書画像を透過するような色、透明度で表示部に表示させることができる。

また本発明によれば、表示プログラムは、入力部および表示部を備えるコンピュータを、前記表示装置として機能させるためのプログラムである。このような表示プログラムは、表示部に表示された文書画像において、曲線状に配列された文字列に対しても、蛍光ペンで上書きしたように修飾編集することが可能な表示処理を、ソフトウェアで制御することができる。

本発明の実施の一形態に係る表示装置１の構成を示すブロック図である。 表示装置１の動作を示すフローチャートである。 表示装置１における入力線分認識処理の動作を示すフローチャートである。 表示装置１における入力線分認識処理の動作を説明するための図である。 表示装置１における修飾編集範囲設定処理の動作を示すフローチャートである。 表示装置１における修飾編集範囲設定処理の動作を説明するための図である。 表示装置１における文字認識処理の動作を示すフローチャートである。 表示装置１における文字認識処理の動作を説明するための図である。 表示装置１における文字認識処理の動作を説明するための図である。 表示装置１における文字認識処理の動作を説明するための図である。 表示装置１における文字抽出処理の動作を示すフローチャートである。 表示装置１における文字抽出処理の動作を説明するための図である。 表示装置１における接線線分生成処理の動作を示すフローチャートである。 表示装置１における接線線分生成処理の動作を説明するための図である。 表示装置１における近似曲線生成処理の動作を示すフローチャートである。 表示装置１における近似曲線生成処理の動作を説明するための図である。 表示装置１における帯状領域生成処理の動作を示すフローチャートである。 表示装置１における帯状領域生成処理の動作を説明するための図である。

図１は、本発明の実施の一形態に係る表示装置１の構成を示すブロック図である。表示装置１は、入力部である透明なタッチパネル２と、表示部である表示パネル３と、タッチパネルデータ処理部４と、表示データ処理部５と、制御手段であるＣＰＵ６と、メモリなどで構成される第１記憶手段７と、ＨＤＤなどで構成される第２記憶手段８とを含む。表示装置１は、タッチパネル２に対して手書き入力された軌跡に基づく文書画像を表す画像データ（以下、「文書画像データ」という）や、ＰＤＦ形式のデータファイル等の電子文書ファイルに基づく文書画像データなどを表示パネル３に表示する装置である。

本実施形態の表示装置１では、タッチパネル２は、直交座標が設定された入力面を有し、表示パネル３の表面上に積層されて、表示パネル３と一体的に形成されている。このタッチパネル２は、入力面に対する入力操作によって手書き入力され、入力された座標点を表わす座標データを出力する。タッチパネルデータ処理部４は、タッチパネルドライバによって実現され、表示データ処理部５は、表示ドライバによって実現される。

上記以外の入力方式として赤外線を遮る赤外線遮断方式、静電容量結合方式、電磁誘導方式、カメラ方式等のタブレットを用いることも可能である。

ＣＰＵ６は、文書画像データ取得部６０と、座標データ取得部６１と、軌跡表示指示部６２と、入力線分認識部６３と、修飾編集範囲設定部６４と、文字認識部６５と、文字抽出部６６と、文字接線生成部６７と、近似曲線生成部６８と、帯状領域生成部６９とを含む。

文書画像データ取得部６０は、タッチパネル２に対して手書き入力された軌跡に対応する座標データに基づいて、文書画像データを取得する。また、文書画像データ取得部６０は、ＰＤＦ形式のデータファイル等の電子文書ファイルに基づく文書画像データを取得する。文書画像データ取得部６０によって取得された文書画像データに基づいて、表示パネル３に文書画像が表示される。

座標データ取得部６１は、タッチパネル２から出力される座標データを取得する。軌跡表示指示部６２は、タッチパネル２に入力される手書き入力の座標データを表示パネル３に送信し、この座標データに基づいた手書き入力の軌跡を表示パネル３に表示させる。

入力線分認識部６３は、タッチパネル２から出力される手書き入力の軌跡に対応する座標データに基づいて、表示パネル３に表示された文書画像と重なるように手書き入力された入力線分を認識し、入力線分の両端点の座標データを取得する。入力線分認識部６３が認識する入力線分は、ユーザのタッチパネル２の入力面に対する入力操作によって設定される。

修飾編集範囲設定部６４は、入力線分認識部６３が取得した入力線分の両端点の座標データに基づいて、表示パネル３に表示された文書画像のうち、入力線分と重なった特定領域の範囲を示す修飾編集範囲を設定する。この修飾編集範囲設定部６４が設定する修飾編集範囲が、後述する帯状領域生成部６９により生成される帯状領域で、蛍光ペンで上書きしたように修飾編集される対象領域となる。

文字認識部６５は、修飾編集範囲設定部６４が設定した修飾編集範囲内における文書画像から文字領域を抽出し、抽出した文字領域に含まれる文字列を認識し、１文字ごとの文字の軌跡を表す座標データを取得する。文字認識部６５は、ＯＣＲ（Optical Character Recognition）技術を利用して、文字領域に含まれる文字の認識を行う。また、文字認識部６５は、認識した各文字の外接矩形を設定し、その外接矩形の座標データ、Ｘ軸に対する各文字の傾き、各文字のサイズデータを取得する。

文字抽出部６６は、文字認識部６５が取得した１文字ごとの座標データに基づいて、文字認識部６５が認識した文字列を構成する文字のうち、入力線分の両端点のそれぞれに最も近接する第１端部文字および第２端部文字を含む任意の文字を抽出し、抽出した各文字の外接矩形を設定し、その外接矩形の座標データを取得する。また、文字抽出部６６は、抽出した各文字の傾き、各文字のサイズデータを取得する。

文字接線生成部６７は、文字抽出部６６が抽出した各文字に対する２つの接線線分である第１接線線分および第２接線線分を文字ごとに生成する。この第１接線線分および第２接線線分は、各文字の外接矩形における、文字列の文字配列方向に延びる２辺のそれぞれを含む線分である。

近似曲線生成部６８は、文字接線生成部６７が生成した文字ごとのそれぞれの第１接線線分上の任意の点（制御点）を通るように曲線近似された第１曲線と、文字ごとのそれぞれの第２接線線分上の任意の点（制御点）を通るように曲線近似された第２曲線とを生成する。

帯状領域生成部６９は、近似曲線生成部６８が生成した第１曲線と第２曲線との間で規定される幅を有する帯状領域を生成し、生成した帯状領域内を文書画像を透過するような色、透明度で表示パネル３に表示させる。

本実施形態の表示装置１では、近似曲線生成部６８が生成する第１曲線および第２曲線は、タッチパネル２に手書き入力された入力線分と重なった文字列を構成する文字のうち、第１端部文字および第２端部文字を含む任意の複数の文字に接して、文字配列方向に沿って延びる曲線となる。そして、帯状領域生成部６９は、上記のような第１曲線と第２曲線との間で幅が規定される帯状領域を生成し、生成した帯状領域内を文書画像を透過するような色、透明度で表示パネル３に表示させる。これによって、表示パネル３に表示された文書画像において、曲線状に配列された文字列に対しても、蛍光ペンで上書きしたように修飾編集することができる。

第１記憶手段７は、表示装置１におけるワーキングメモリとしての機能を有する。第１記憶手段７は、表示情報記憶部７０と、座標データ記憶部７１と、認識文字情報記憶部７２と、認識文字数記憶部７３と、抽出文字情報記憶部７４と、接線線分情報記憶部７５と、近似曲線生成用制御点記憶部７６と、標準文字サイズ情報記憶部７７と、文字サンプル情報記憶部７８とを含む。

表示情報記憶部７０は、表示パネル３に表示されている表示情報を記憶する。座標データ記憶部７１は、タッチパネル２から出力された入力線分の座標データ、および、手書き入力された軌跡に基づく座標データを記憶する。認識文字情報記憶部７２は、文字認識部６５が取得した認識文字の外接矩形の座標データ、Ｘ軸に対する文字傾き、サイズデータなどの認識文字の情報を記憶する。認識文字数記憶部７３は、文字認識部６５が認識した文字の数を記憶する。抽出文字情報記憶部７４は、文字抽出部６６が取得した抽出文字の外接矩形の座標データ、Ｘ軸に対する文字傾き、サイズデータなどの抽出文字の情報を記憶する。

接線線分情報記憶部７５は、文字接線生成部６７が生成した、各抽出文字に対応する第１接線線分および第２接線線分の座標データを記憶する。近似曲線生成用制御点記憶部７６は、近似曲線生成部６８が第１曲線および第２曲線を生成するときに用いる、第１接線線分および第２接線線分上に位置する任意の制御点の座標データを記憶する。標準文字サイズ情報記憶部７７は、修飾編集範囲設定部６４が修飾編集範囲を設定するときに用いる、予め定める標準文字のサイズ（高さ、幅）に関する情報を記憶する。文字サンプル情報記憶部７８は、文字認識部６５が文字認識処理を実行するときに用いる、比較用の文字サンプルの形状に関する情報を記憶する。

第２記憶手段８は、ソフトウェア記憶部８０と、ドライバ記憶部８１と、ユーザ設定表示画面記憶部８２とを含む。ソフトウェア記憶部８０は、表示装置１を動作させるためのソフトウェアを記憶する。ドライバ記憶部８１は、タッチパネルデータ処理部４を実現するタッチパネルドライバと、表示データ処理部５を実現する表示ドライバとを記憶する。ユーザ設定表示画面記憶部８２は、表示装置１を操作するユーザが設定する、表示パネル３の設定に関する情報を記憶する。

次に、本実施形態の表示装置１の動作について、図２を用いて説明する。図２は、表示装置１の動作を示すフローチャートである。

ステップｓ１では、文書画像データ取得部６０は、たとえば、タッチパネル２に対して手書き入力された軌跡に対応する座標データに基づいて、文書画像データを取得する。文書画像データ取得部６０によって取得された文書画像データに基づいて、表示パネル３に文書画像が表示される。

次に、ステップｓ２では、修飾編集を実行する指示を表す指示信号がタッチパネル２を介して入力された後に、タッチパネル２に対する手書き入力の入力操作がなされることで、表示装置１は、入力線分認識処理を行う。

図３は、表示装置１における入力線分認識処理の動作を示すフローチャートである。図４は、表示装置１における入力線分認識処理の動作を説明するための図である。

入力線分認識部６３は、図４（ａ）に示すように、表示パネル３の表示面３１に文書画像が表示された状態で、タッチパネル２の入力面２１に対する手書き入力の入力操作がなされることで、入力線分認識処理を行う。図４（ａ）では、表示パネル３の表示面３１には、手書き入力された軌跡に基づく「強調したい文字をマーク」という文字列からなる文書画像が表示されている。この「強調したい文字をマーク」という文字列における各文字は、表示面３１のＸ軸左端部側からＸ軸右端部側に向かうにつれて、Ｙ軸方向下方側に配置されるように、曲線状に配列されている。

まず、ステップｓ２−１では、入力線分認識部６３は、タッチパネル２の入力面２１に対する入力線分Ｌ_１の手書き入力が開始されたか否かを判定する。入力線分認識部６３は、手書き入力の入力開始点Ｔ_１に対応する座標データがタッチパネル２から出力された場合に、入力線分Ｌ_１の手書き入力が開始されたと判定する。入力線分認識部６３が入力線分Ｌ_１の手書き入力が開始されたと判定した場合にはステップｓ２−２に進み、入力線分Ｌ_１の手書き入力が開始されていないと判定した場合にはステップｓ２−１を繰返す。なお、タッチパネル２から出力された入力開始点Ｔ_１に対応する座標データは、座標データ記憶部７１に記憶される。

ステップｓ２−２では、入力線分認識部６３は、座標データ記憶部７１から入力開始点Ｔ_１に対応する座標データを取得する。

次に、ステップｓ２−３では、入力線分認識部６３は、タッチパネル２の入力面２１に対する入力線分Ｌ_１の手書き入力が終了したか否かを判定する。入力線分認識部６３は、予め定める時間経過してもタッチパネル２の入力面２１に対する入力操作が行われない場合に、入力線分Ｌ_１の手書き入力が終了したと判定する。入力線分認識部６３が入力線分Ｌ_１の手書き入力が終了したと判定した場合にはステップｓ２−４に進み、入力線分Ｌ_１の手書き入力が終了していないと判定した場合にはステップｓ２−３を繰返す。なお、入力線分Ｌ_１の手書き入力による軌跡に対応する座標データは、入力終了点Ｔ_２の座標データも含めて座標データ記憶部７１に記憶される。

ステップｓ２−４では、入力線分認識部６３は、座標データ記憶部７１から入力終了点Ｔ_２に対応する座標データを取得する。

以上のようにして、入力線分認識部６３は、図４（ｂ）に示すように、表示パネル３の表示面３１に表示された文書画像と重なるように手書き入力された入力線分Ｌ_１を認識し、入力線分の両端点である入力開始点Ｔ_１の座標データ、および入力終了点Ｔ_２の座標データを取得する。

図２に戻って、ステップｓ２において入力線分認識処理が終了すると、ステップｓ３に進む。ステップｓ３では、表示装置１は、修飾編集範囲設定処理を行う。

図５は、表示装置１における修飾編集範囲設定処理の動作を示すフローチャートである。図６は、表示装置１における修飾編集範囲設定処理の動作を説明するための図である。修飾編集範囲設定部６４は、入力線分認識部６３が取得した入力線分Ｌ_１の両端点（入力開始点Ｔ_１および入力終了点Ｔ_２）の座標データに基づいて、表示パネル３の表示面３１に表示された文書画像のうち、入力線分Ｌ_１と重なった修飾編集範囲を設定する。

まず、ステップｓ３−１では、修飾編集範囲設定部６４は、標準文字サイズ情報記憶部７７から標準文字のサイズ情報を読出す。なお、標準文字の幅サイズ（Ｘ軸方向のサイズ）を「Ｓｘ」とし、高さサイズ（Ｙ軸方向のサイズ）を「Ｓｙ」とする。

次に、ステップｓ３−２では、修飾編集範囲設定部６４は、図６（ａ）に示すように、入力開始点Ｔ_１からＸ軸方向外方側に「Ｓｘ／２」、Ｙ軸方向上方側に「Ｓｙ／２」だけ移動した位置を第１基準点Ｒ_１として設定する。次に、ステップｓ３−３では、修飾編集範囲設定部６４は、入力終了点Ｔ_２からＸ軸方向外方側に「Ｓｘ／２」、Ｙ軸方向下方側に「Ｓｙ／２」だけ移動した位置を第２基準点Ｒ_２として設定する。

そして、ステップｓ３−４では、修飾編集範囲設定部６４は、図６（ｂ）に示すように、第１基準点Ｒ_１と第２基準点Ｒ_２とを対角線の頂点とする矩形範囲を、修飾編集範囲Ｒとして設定し、修飾編集範囲設定処理を終了する。

図２に戻って、ステップｓ３において修飾編集範囲設定処理が終了すると、ステップｓ４に進む。ステップｓ４では、表示装置１は、文字認識処理を行う。

図７は、表示装置１における文字認識処理の動作を示すフローチャートである。図８Ａ〜図８Ｃは、表示装置１における文字認識処理の動作を説明するための図である。文字認識部６５は、修飾編集範囲設定部６４が設定した修飾編集範囲Ｒ内における文書画像から文字領域を抽出し、抽出した文字領域に含まれる文字列を認識する。

まず、ステップｓ４−１では、文字認識部６５は、図８Ａ（ａ）に示すように、入力開始点Ｔ_１から表示面３１の周縁右端部まで、Ｘ軸に平行に延びる水平線Ｌ_２を生成する。そして、文字認識部６５は、図８Ａ（ｂ）に示すように、水平線Ｌ_２が修飾編集範囲Ｒ内の文字と重ならない位置まで、水平線Ｌ_２をＹ軸方向上方側に移動させる。これによって、水平線Ｌ_２は、点Ｔ_３から表示面３１の周縁右端部まで、Ｘ軸に平行に延びる線となる。

次に、ステップｓ４−２では、文字認識部６５は、図８Ａ（ｃ）に示すように、修飾編集範囲Ｒ内のいずれかの文字と点接触するまで水平線Ｌ_２を点Ｔ_３を中心に回転させて、文字認識基準線Ｌ_３を生成する。次に、ステップｓ４−３では、文字認識部６５は、図８Ｂ（ｄ）に示すように、点Ｔ_３を通り、文字認識基準線Ｌ_３に垂直な垂線Ｌ_４を生成する。

次に、ステップｓ４−４では、文字認識部６５は、図８Ｂ（ｅ）に示すように、垂線Ｌ_４を、その傾きが変化しないように表示面３１の周縁右端部に向けて平行移動させながら、垂線Ｌ_４と文字との交点Ａ_１の数を算出する。次に、ステップｓ４−５では、文字認識部６５は、垂線Ｌ_４と文字との交点Ａ_１の数に基づいてヒストグラムを作成し、そのヒストグラムを２値化する。

次に、ステップｓ４−６では、文字認識部６５は、図８Ｂ（ｆ）に示すように、２値化の結果に基づいて、修飾編集範囲Ｒ内における文書画像を１文字ごとに分離する。

そして、ステップｓ４−７では、文字認識部６５は、図８Ｃ（ｇ）に示すように、分離した文字に対して文字認識を実施し、各文字の軌跡を表す座標データを取得するとともに、認識した文字の情報を取得する。具体的には、文字認識部６５は、図８Ｃ（ｈ）に示すように、分離した各文字に対応する比較用の標準的な文字サンプルを、文字サンプル情報記憶部７８から読出して、その文字サンプルと分離した各文字とを比較することで、認識文字の情報を取得する。まず、文字認識部６５は、分離した各文字に対して、文字サンプルを回転させながらマッチングさせ、最もマッチした文字サンプルのＸ軸に対する傾斜角度を、分離した各文字の傾き「Ｒｉ」として算出する。次に、文字認識部６５は、分離した各文字に対して、文字サンプルの大きさを変化させ、最もマッチした文字サンプルのサイズを、分離した各文字のサイズデータ（幅サイズＷｉ、高さサイズＨｉ）として算出する。

このようにして算出した文字の傾き「Ｒｉ」、文字のサイズデータを用いて、文字認識部６５は、分離した各文字の外接矩形を設定し、その外接矩形の座標データを取得する。文字認識部６５は、外接矩形の座標データとして、外接矩形の４つの頂点、すなわち、上辺のＸ軸左端部側の頂点Ｐ_Ｕ１、上辺のＸ軸右端部側の頂点Ｐ_Ｕ２、下辺のＸ軸左端部側の頂点Ｐ_Ｌ１、下辺のＸ軸右端部側の頂点Ｐ_Ｌ２の座標データを取得する。

なお、文字認識部６５が取得した文字の傾き「Ｒｉ」、文字のサイズデータ、および外接矩形の座標データなどの認識文字の情報は、認識文字情報記憶部７２に記憶される。

図２に戻って、ステップｓ４において文字認識処理が終了すると、ステップｓ５に進む。ステップｓ５では、認識文字数記憶部７３は、文字認識部６５が認識した文字の数を記憶する。たとえば、文字認識部６５が「強調したい文字をマーク」という文書画像データから、１文字ごとに文字を認識した場合には、「強」、「調」、「し」、「た」、「い」、「文」、「字」、「を」、「マ」、「ー」、および「ク」の合計１１個の文字が認識されるので、認識文字数記憶部７３には、認識文字数として「１１」が記憶される。

次に、ステップｓ６では、表示装置１は、文字抽出処理を行う。図９は、表示装置１における文字抽出処理の動作を示すフローチャートである。図１０は、表示装置１における文字抽出処理の動作を説明するための図である。文字抽出部６６は、文字認識部６５が認識した文字列を構成する文字から任意の文字を抽出する。

まず、ステップｓ６−１では、文字抽出部６６は、図１０に示すように、文字認識部６５が認識した文字のうち、入力線分Ｌ_１の入力開始点Ｔ_１に最も近接する第１端部文字Ｃ_１を抽出する。図１０では、第１端部文字Ｃ_１は、「強」である。

次に、ステップｓ６−２では、文字抽出部６６は、文字認識部６５が認識した文字のうち、入力線分Ｌ_１の入力終了点Ｔ_２に最も近接する第２端部文字Ｃ_ｎを抽出する。図１０では、第２端部文字Ｃ_ｎは、「ク」である。

次に、ステップｓ６−３では、文字抽出部６６は、認識文字数記憶部７３から認識文字数の情報を読出し、認識文字数「ｎ」が予め定める文字数「Ｎ」以下であるか否かを判定する。文字抽出部６６が文字数「Ｎ」以下であると判定した場合にはステップｓ６−４に進み、文字数「Ｎ」を超えると判定した場合にはステップｓ６−５に進む。

ステップｓ６−４では、文字抽出部６６は、文字認識結果の２文字目から（ｎ−１）文字目までを中間文字Ｃ_Ｓとして抽出する。

ステップｓ６−５では、文字抽出部６６は、文字認識結果の２文字目から（ｎ−１）文字目までの文字のうち、間の文字数が等間隔となるように、（Ｎ−２）個の文字を中間文字Ｃｓとして抽出する。たとえば、「強」、「調」、「し」、「た」、「い」、「文」、「字」、「を」、「マ」、「ー」、および「ク」の合計１１個（認識文字数ｎ＝１１）の文字が配列され、予め定める文字数「Ｎ」が「３」である場合、中間文字Ｃｓの文字数は、（Ｎ−２）＝１個であり、その中間文字Ｃ_Ｓとして「文」が抽出される。中間文字Ｃ_Ｓである「文」は、２文字目の「調」から（ｎ−１）文字目までの「ー」のうち、第１端部文字Ｃ_１である「強」との間に「調」、「し」、「た」、および「い」の４文字が配置され、第２端部文字Ｃ_ｎである「ク」との間に「字」、「を」、「マ」、および「ー」の４文字が配置されている。

また、認識文字数「ｎ」が「１０」であり、文字数「Ｎ」が「３」である場合、文字抽出部６６は、（Ｎ−２）＝１個の中間文字Ｃ_Ｓとして、たとえば５文字目の文字を抽出する。この場合には、第１端部文字Ｃ_１と中間文字Ｃ_Ｓとの間には３文字、第２端部文字Ｃ_ｎと中間文字Ｃ_Ｓとの間には４文字が配置されているが、このような場合においても、間の文字数が等間隔であると見なす。

また、文字抽出部６６は、抽出した第１端部文字Ｃ_１、第２端部文字Ｃ_ｎ、および中間文字Ｃ_Ｓの、文字の傾き「Ｒｉ」、文字のサイズデータ（幅サイズＷｉ、高さサイズＨｉ）、および外接矩形の座標データなどの抽出文字の情報を取得する。

なお、文字抽出部６６が取得した文字の傾き「Ｒｉ」、文字のサイズデータ、および外接矩形の座標データなどの抽出文字の情報は、抽出文字情報記憶部７４に記憶される。

図２に戻って、ステップｓ６において文字抽出処理が終了すると、ステップｓ７に進む。ステップｓ７では、表示装置１は、接線線分生成処理を行う。

図１１は、表示装置１における接線線分生成処理の動作を示すフローチャートである。図１２は、表示装置１における接線線分生成処理の動作を説明するための図である。文字接線生成部６７は、文字抽出部６６が抽出した各文字に対する２つの接線線分である第１接線線分Ｓ_１および第２接線線分Ｓ_２を文字ごとに生成する。

まず、ステップｓ７−１では、文字接線生成部６７は、抽出文字情報記憶部７４から抽出文字の情報を読出す。

次に、ステップｓ７−２では、文字接線生成部６７は、図１２に示すように、文字抽出部６６が抽出した各文字の外接矩形における、文字列の文字配列方向（Ｘ軸方向）に延びる上辺を含む第１接線線分Ｓ_１を文字ごとに生成する。本実施形態では、文字接線生成部６７は、外接矩形の上辺のＸ軸左端部側の頂点Ｐ_Ｕ１から、上辺のＸ軸右端部側の頂点Ｐ_Ｕ２まで延びる線分を、第１接線線分Ｓ_１として生成する。この第１接線線分Ｓ_１は、線分の長さが文字の幅サイズＷｉに対応する長さであり、傾きが文字の傾きＲｉに対応する。

次に、ステップｓ７−３では、文字接線生成部６７は、文字抽出部６６が抽出した各文字の外接矩形における、文字列の文字配列方向（Ｘ軸方向）に延びる下辺を含む第２接線線分Ｓ_２を文字ごとに生成する。本実施形態では、文字接線生成部６７は、外接矩形の下辺のＸ軸左端部側の頂点Ｐ_Ｌ１から、下辺のＸ軸右端部側の頂点Ｐ_Ｌ２まで延びる線分を、第２接線線分Ｓ_２として生成する。この第２接線線分Ｓ_２は、線分の長さが文字の幅サイズＷｉに対応する長さであり、傾きが文字の傾きＲｉに対応する。

文字接線生成部６７は、上記のように生成した第１接線線分Ｓ_１の両端点Ｓ_Ｕ１，Ｓ_Ｕ２の座標データを取得する。端点Ｓ_Ｕ１は頂点Ｐ_Ｕ１に対応し、端点Ｓ_Ｕ２は頂点Ｐ_Ｕ２に対応する。また、文字接線生成部６７は、第２接線線分Ｓ_２の両端点Ｓ_Ｌ１，Ｓ_Ｌ２の座標データを取得する。端点Ｓ_Ｌ１は頂点Ｐ_Ｌ１に対応し、端点Ｓ_Ｌ２は頂点Ｐ_Ｌ２に対応する。

なお、文字接線生成部６７が取得した第１接線線分Ｓ_１の両端点Ｓ_Ｕ１，Ｓ_Ｕ２の座標データ、第２接線線分Ｓ_２の両端点Ｓ_Ｌ１，Ｓ_Ｌ２の座標データは、近似曲線生成用制御点記憶部７６に記憶される。

図２に戻って、ステップｓ７において接線線分生成処理が終了すると、ステップｓ８に進む。ステップｓ８では、表示装置１は、近似曲線生成処理を行う。

図１３は、表示装置１における近似曲線生成処理の動作を示すフローチャートである。図１４は、表示装置１における近似曲線生成処理の動作を説明するための図である。近似曲線生成部６８は、第１曲線Ｂ_Ｕと、第２曲線Ｂ_Ｌとを生成する。

まず、ステップｓ８−１では、近似曲線生成部６８は、近似曲線生成用制御点記憶部７６から、文字抽出部６６が抽出した各文字に対応して、第１接線線分Ｓ_１の両端点Ｓ_Ｕ１，Ｓ_Ｕ２の座標データ、第２接線線分Ｓ_２の両端点Ｓ_Ｌ１，Ｓ_Ｌ２の座標データを読出す。

次に、ステップｓ８−２では、近似曲線生成部６８は、図１４に示すように、文字抽出部６６が抽出した各文字に対応する、文字ごとのそれぞれの第１接線線分Ｓ_１の両端点Ｓ_Ｕ１，Ｓ_Ｕ２を通る近似曲線（ベジェ曲線）を、第１曲線Ｂ_Ｕとして生成する。

そして、ステップｓ８−３では、近似曲線生成部６８は、文字抽出部６６が抽出した各文字に対応する、文字ごとのそれぞれの第２接線線分Ｓ_２の両端点Ｓ_Ｌ１，Ｓ_Ｌ２を通る近似曲線（ベジェ曲線）を、第２曲線Ｂ_Ｌとして生成する。

図２に戻って、ステップｓ８において近似曲線生成処理が終了すると、ステップｓ９に進む。ステップｓ９では、表示装置１は、帯状領域生成処理を行う。

図１５は、表示装置１における帯状領域生成処理の動作を示すフローチャートである。図１６は、表示装置１における帯状領域生成処理の動作を説明するための図である。帯状領域生成部６９は、近似曲線生成部６８が生成した第１曲線Ｂ_Ｕと第２曲線Ｂ_Ｌとの間で幅が規定され、文書画像を透過する帯状領域を生成する。

まず、ステップｓ９−１では、帯状領域生成部６９は、図１６（ａ）に示すように、第１接線線分Ｓ_１の端点Ｓ_Ｕ１と、第２接線線分Ｓ_２の端点Ｓ_Ｌ１とを結ぶ直線Ｌ_５を生成する。次に、ステップｓ９−２では、帯状領域生成部６９は、第１接線線分Ｓ_１の端点Ｓ_Ｕ２と、第２接線線分Ｓ_２の端点Ｓ_Ｌ２とを結ぶ直線Ｌ_６を生成する。

そして、ステップｓ９−３では、帯状領域生成部６９は、図１６（ｂ）に示すように、第１曲線Ｂ_Ｕと、第２曲線Ｂ_Ｌと、直線Ｌ_５と、直線Ｌ_６とで囲まれた領域を、帯状領域Ｏ_Ｌとして生成し、生成した帯状領域Ｏ_Ｌ内を文書画像を透過するような色、透明度で表示パネル３に表示させる。この帯状領域Ｏ_Ｌは、文書画像を透過するような色、透明度で塗り潰された領域である。

以上のように、本実施形態の表示装置１では、近似曲線生成部６８が生成する第１曲線Ｂ_Ｕおよび第２曲線Ｂ_Ｌは、タッチパネル２に手書き入力された入力線分Ｌ_１と重なった文字列を構成する文字のうち、第１端部文字Ｃ_１および第２端部文字Ｃ_ｎを含む任意の複数の文字に接して、文字配列方向に沿って延びる曲線となる。そして、帯状領域生成部６９は、上記のような第１曲線Ｂ_Ｕと第２曲線Ｂ_Ｌとの間で幅が規定される帯状領域Ｏ_Ｌを生成し、生成した帯状領域Ｏ_Ｌ内を文書画像を透過するような色、透明度で表示パネル３に表示させる。これによって、表示パネル３に表示された文書画像において、曲線状に配列された文字列に対しても、蛍光ペンで上書きしたように修飾編集することができる。

また本発明のさらに他の実施の形態として、コンピュータを前述した表示装置１として機能させるために、コンピュータに実行させるための表示プログラム（実行形式プログラム、中間コードプログラムおよびソースプログラムの少なくともいずれか１つ）、およびこの表示プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することも可能である。

なお、表示プログラムを記録する記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、たとえばＣＤ−ＲＯＭ（Compact Disc−Read Only Memory）のようなものそのものがプログラムメディアであってもよいし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。

いずれの場合においても、格納されている表示プログラムはマイクロプロセッサがアクセスして実行させる構成であってもよいし、あるいは、いずれの場合も表示プログラムを読み出し、読み出された表示プログラムは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、その表示プログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。

上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープなどのテープ系、フロッピー（登録商標）ディスクやハードディスクなどの磁気ディスクやＣＤ−ＲＯＭ／ＭＯ（Magneto Optical disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）などの光ディスクのディスク系、ＩＣ（Integrated Circuit）カード（メモリカードを含む）／光カードなどのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭなどによる半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。

また、インターネットを含む通信ネットワークを接続可能なシステム構成を持つことで、通信ネットワークから表示プログラムをダウンロードするように流動的に表示プログラムを担持する媒体であってもよい。なお、このように通信ネットワークから表示プログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであってもよい。なお、本発明は、上記表示プログラムが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

１ 表示装置
２ タッチパネル
３ 表示パネル
６０ 文書画像データ取得部
６１ 座標データ取得部
６２ 軌跡表示指示部
６３ 入力線分認識部
６４ 修飾編集範囲設定部
６５ 文字認識部
６６ 文字抽出部
６７ 文字接線生成部
６８ 近似曲線生成部
６９ 帯状領域生成部

Claims (5)

1. 文書画像を表す画像データを取得する文書画像データ取得部と、
   前記文書画像データ取得部が取得した文書画像を表す画像データに基づいて、文書画像を表示する表示部と、
   前記表示部の表面上に積層されて、前記表示部と一体的に形成され、手書き入力によって指示された点の位置を表す座標データを出力する入力部と、
   前記入力部から出力される手書き入力の軌跡に対応する座標データに基づいて、前記表示部に表示された文書画像と重なるように手書き入力された入力線分を認識し、入力線分の両端点の座標データを取得する入力線分認識部と、
   前記入力線分の両端点の座標データに基づいて、前記入力線分と重なった文書画像から文字領域を抽出し、抽出した文字領域に含まれる文字列を認識し、１文字ごとの文字の軌跡を表す座標データを取得する文字認識部と、
   前記文字認識部が取得した１文字ごとの座標データに基づいて、前記文字認識部が認識した文字列を構成する文字のうち、前記入力線分の両端点のそれぞれに最も近接する２つの文字である第１端部文字および第２端部文字を含む任意の文字を抽出し、抽出した各文字の外接矩形を設定し、その外接矩形の座標データを取得する文字抽出部と、
   前記文字抽出部が抽出した各文字の外接矩形における前記文字列の文字配列方向に延びる２辺のそれぞれを含む、各文字に対する２つの接線線分である第１接線線分および第２接線線分を、文字ごとに生成する文字接線生成部と、
   前記文字接線生成部が生成した文字ごとのそれぞれの第１接線線分上の任意の点を通るように曲線近似された第１曲線と、文字ごとのそれぞれの第２接線線分上の任意の点を通るように曲線近似された第２曲線とを生成する近似曲線生成部と、
   前記近似曲線生成部が生成した前記第１曲線と前記第２曲線との間で規定される幅を有する帯状領域を生成し、生成した帯状領域内を前記文書画像を透過するような色で前記表示部に表示させる帯状領域生成部と、を備えることを特徴とする表示装置。
2. 前記文書画像データ取得部は、前記入力部に対する手書き入力の軌跡に対応する座標データに基づいて、文書画像を表す画像データを取得することを特徴とする請求項１に記載の表示装置。
3. 前記近似曲線生成部は、前記文字接線生成部が生成した文字ごとのそれぞれの第１接線線分の両端点を通る近似曲線を前記第１曲線として生成し、文字ごとのそれぞれの第２接線線分の両端点を通る近似曲線を前記第２曲線として生成することを特徴とする請求項１または２に記載の表示装置。
4. 前記帯状領域生成部は、前記第１端部文字に対応する前記第１接線線分と前記第２接線線分との外方側端点を通る直線、前記第２端部文字に対応する前記第１接線線分と前記第２接線線分との外方側端点を通る直線、前記第１曲線、および前記第２曲線で囲まれた領域を、帯状領域として生成することを特徴とする請求項１〜３のいずれか１つに記載の表示装置。
5. 入力部および表示部を備えるコンピュータを、請求項１〜４のいずれか１つに記載の表示装置として機能させることを特徴とする表示プログラム。

Images