JP6318794B2 - 情報処理装置及び情報処理プログラム - Google Patents

Description

本発明は、画面表示された文字を選択可能な情報処理装置及び情報処理プログラムに関する。

図１、図２は、それぞれ、タッチパネルを備えた携帯端末の表示画面内の文字選択の方法の一例を示す図である。図１、図２では、ユーザによって選択された領域は、他の領域の背景色と異なっており、強調表示されている。

図１に示される例では、タッチパネル上のユーザの指の軌跡全体を包含する矩形がユーザによって選択された領域として判定され、該領域に含まれる文字が選択されたと判定される。例えば、ユーザが図１中の矢印で示される軌跡でタッチパネル上をタッチした場合には、該軌跡全体を包含するように、文字Ａ、Ｂ、Ｃ、Ｄ、Ｅを含む領域が選択対象領域として強調表示される。選択対象領域は、ユーザの選択操作によって選択されたと判定される領域である。選択対象領域は、「選択領域」の一例である。

図２に示される例は、一般的なタッチパネルのＦＥＰ（Front‐End Processor）による文字選択処理である。ＦＥＰによる文字選択処理では、例えば、タッチパネルに所定時間触れる（ロングタップ）ことによって、該接触位置を基準として同じ行内の所定の範囲が選択される。選択された範囲の始点及び終点に表示されるポインタを移動させることによって、ユーザは文字の選択をすることができる。

例えば、ユーザが図２中に矢印で示される軌跡で終点のポインタを移動させた場合には、行単位で連続した文字が選択され、図２に示されるように、文字Ａ、Ｄを含む行、文字Ｂを含む行、文字Ｅ、Ｃを含む行が選択対象領域として強調表示される。

特開平６−１３１１１１号公報

しかしながら、従来のタッチパネル操作による文字選択処理では、以下のような問題があった。例えば、図１、図２に示される例において、ユーザが文字Ａ、Ｂ、Ｃの選択を所望し、図１、図２中の矢印のようにタッチ軌跡が文字Ａ、Ｂ、Ｃ上を通る場合には、図１、図２のいずれの場合にも、所望されない文字Ｄ、Ｅも選択される。

また、図１、図２に示される例の文字選択処理において、文字Ａ、Ｂ、Ｃのそれぞれを一文字ずつ選択し、文字選択終了の動作を繰り返すことによって、文字Ｄ、Ｅを含まずに文字Ａ、Ｂ、Ｃを選択することができる。しかしながら、ユーザに手間を取らせることとなる。

本発明の一態様は、文字領域の選択を容易にする情報処理装置及び情報処理プログラムを提供することを目的とする。

本発明の態様の一つは、
プロセッサと、タッチパネルと、ディスプレイと、を備える情報処理装置であって、
前記プロセッサが、
前記タッチパネルを通じて、タッチ座標の入力を受け、
前記ディスプレイに表示中の複数行の文字を含む画面内の所定文字数単位の複数の文字領域の中から、前記タッチ座標を入力順に結んだ複数行に亘るタッチ軌跡に重なる文字領域を選択領域と判定し、
前記選択領域について所定の処理を実行する、
情報処理装置である。

本発明の他の態様の一つは、情報処理装置が上記処理を実行する情報処理方法である。また、本発明の他の態様は、コンピュータを上述した情報処理装置として機能させる情報処理プログラム、及び当該プログラムを記録したコンピュータ読み取り可能な記録媒体を含むことができる。コンピュータ等が読み取り可能な記録媒体には、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって非一時的に蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。

開示の情報処理装置及び情報処理プログラムによれば、文字領域の選択を容易にすることができる。

タッチパネルを備えた携帯端末の表示画面内の文字選択の方法の一例を示す図である。 タッチパネルを備えた携帯端末の表示画面内の文字選択の方法の一例を示す図である。 第１実施形態におけるタッチパネル操作による文字選択処理の一例を示す図である。 携帯端末のハードウェア構成の一例を示す図である。 携帯端末の機能構成の一例を示す図である。 携帯端末の表示画面例の一つである。 選択漏れ文字の救済処理１の一例を示す図である。 選択漏れ文字の救済処理２の一例を示す図である。 判定部の選択対象領域の判定処理のフローチャートの一例である。 判定部の選択対象領域の判定処理のフローチャートの一例である。 判定部の選択対象領域の判定処理のフローチャートの一例である。

以下、図面に基づいて、本発明の実施の形態を説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。

＜第１実施形態＞
図３は、第１実施形態に係るタッチパネル操作による文字選択処理の一例を示す図である。第１実施形態では、携帯端末１は、例えば、タッチパネルを通じて入力されるタッチ軌跡全体を包含する矩形について文字認識処理を行い、該矩形内の各文字について、１文字単位で各文字を含有する文字矩形を取得する。携帯端末１は、タッチ軌跡と重なる文字矩形を選択対象領域として検出する。

例えば、図３に点線で示されるタッチ軌跡が入力された場合には、携帯端末１は、該タッチ軌跡全体を包含する矩形４０を検出し、矩形４０について文字認識処理を行う。文字認識処理の結果、文字Ａ、Ｂ、Ｃ、Ｄ、Ｅのそれぞれの文字矩形４１、４２、４３、４４
、４５が検出される。携帯端末１は、これらの文字矩形のうち、タッチ軌跡と重なっている文字Ａ、Ｂ、Ｃの文字矩形４１、４２、４３を選択対象領域として検出する。

タッチ軌跡と重ならない文字Ｄ、Ｅの文字矩形４４、４５は選択対象領域に含まれないため、ユーザは、容易に文字Ａ、Ｂ、Ｃを選択することができる。また、第１実施形態に係る携帯端末１は、ユーザによって選択された文字領域を、ユーザの所望の通りに検出することができる。なお、タッチ軌跡全体を包含する矩形４０や文字矩形４１〜４５はディスプレイには表示されない。

第１実施形態において、携帯端末１の表示画面における座標系では、図中横方向をＸ軸、縦方向をＹ軸とする。また、図に向かって表示画面左上の頂点を原点Ｏと定める。原点Ｏから図に向かって右方向が＋Ｘ方向、左方向が−Ｘ方向である。原点Ｏから図中下方向が＋Ｙ方向、上方向が−Ｙ方向である。なお、携帯端末１の表示画面における座標系の定義は、これに限られない。

図４は、携帯端末１のハードウェア構成の一例を示す図である。携帯端末１は、例えば、スマートフォン、タブレット端末、携帯ゲーム機、音楽プレイヤ等のタッチパネルを備えるコンピュータである。携帯端末１は、ＣＰＵ（Central Processing Unit）１０１、
記憶部１０２、タッチパネル１０３、ディスプレイ１０４、無線部１０５、オーディオ入出力部１０６、スピーカー１０７、マイクロフォン１０８、アンテナ１１０を備える。携帯端末１は、「情報処理装置」の一例である。

記憶部１０２は、ＲＡＭ（Random Access Memory）１０２Ａ、不揮発性メモリ１０２Ｂを含む。ＲＡＭ １０２Ａは、例えば、ＤＲＡＭ等の揮発性メモリであって、ＣＰＵ １０１に作業領域を提供する。不揮発性メモリ１０２Ｂは、例えば、フラッシュメモリであり、ＯＳ（Operating System）や各種プログラム、及びプログラムの実行に用いられるデータ等を格納する。

不揮発性メモリ１０２Ｂには、文字認識エンジン、矩形検出プログラム、文字選択判定プログラムが格納されている。文字認識エンジンは、例えば、ＯＣＲ（光学式文字認識）に対応する文字を認識するためのミドルウェアである。矩形検出プログラムは、タッチ軌跡を包含する矩形を検出するためのプログラムである。文字選択判定プログラムは、タッチ軌跡と重なる文字矩形を選択対象領域として検出するためのプログラムであり、第１実施形態では、ミドルウェアである。文字選択判定プログラムは、「情報処理プログラム」の一例である。

ＣＰＵ １０１は、不揮発性メモリ１０２Ｂに格納されるプログラムをＲＡＭ １０２Ａの作業領域に展開し、展開された命令を実行することによって、各ハードウェア構成要素を制御する。

タッチパネル１０３は、位置入力装置の１つであって、ディスプレイ１０４の表面に配置されており、ディスプレイ１０４の画面に対応する指のタッチ位置の座標を入力する。タッチパネル１０３上のタッチ位置の座標を、以降、タッチ座標と称する。タッチパネル１０３は、第１実施形態では、静電容量方式とする。ただし、これに限られない。例えば、タッチパネル１０３は、抵抗膜方式，表面弾性波方式，赤外線方式，電磁誘導方式等であってもよい。タッチパネル１０３は、例えば、１０ｍｓの周期でタッチ座標のサンプリングを行う。また、タッチパネル１０３は、タッチ座標として、例えば、接触面積の中心点の座標や、接触面積の中心点の座標に補正を加えた座標を取得する。

ディスプレイ１０４は、例えば、液晶ディスプレイ（Liquid Crystal Display，ＬＣＤ
）である。ディスプレイ１０４は、ＣＰＵ １０１から入力される信号に従って、画面データを表示する。

無線部１０５は、アンテナ１１０と接続しており、アンテナ１１０を通じて受信した無線信号を電気信号に変換してＣＰＵ １０１に出力したり、ＣＰＵ １０１から入力される電気信号を無線信号に変換してアンテナ１１０を通じて送信したりする。無線部１０５は、例えば、第３世代移動通信システム，第２世代移動通信システム，ＬＴＥ（Long Term Evolution）のうちのいずれか１つ又は複数に対応する電子回路である。

オーディオ入出力部１０６は、音声出力装置としてのスピーカー１０７と、音声入力装置としてのマイクロフォン１０８と、に接続する。オーディオ入出力部１０６は、マイクロフォン１０８から入力された音声信号を電気信号に変換してＣＰＵ １０１に出力したり、ＣＰＵ １０１から入力された電気信号を音声信号に変換してスピーカー１０７に出力したりする。

なお、携帯端末１のハードウェア構成は、図４に示されるものに限定されず、適宜、追加、置換、削除等の変更が可能である。例えば、携帯端末１は、図４に示される構成に加えて、赤外線通信部やＩＣカード通信部等を備えてもよい。

図５は、携帯端末１の機能構成の一例を示す図である。携帯端末１は、機能構成として、入力処理部１１、矩形検出部１２、判定部１３、表示処理部１４、文字認識部１５を含む。入力処理部１１、判定部１３、表示処理部１４は、ＣＰＵ １０１が不揮発性メモリ１０２Ｂに格納される文字選択判定プログラムを実行することによって実現される機能構成である。ただし、これに限られず、これらの機能構成は、例えば、ＦＰＧＡ等のハードウェアで実現されてもよい。矩形検出部１２は、不揮発性メモリ１０２Ｂに格納される矩形検出プログラムをＣＰＵ １０１が実行することによって実現される機能構成である。文字認識部１５は、不揮発性メモリ１０２Ｂに格納される文字認識エンジンに相当する。

入力処理部１１は、タッチパネル１０３から入力される、タッチパネル１０３上のタッチ座標を受け付け、矩形検出部１２、判定部１３に通知する。タッチパネル１０３は、例えば、所定の周期でセンサをスキャンし、容量変化を検知した場合に、容量変化の座標を取得して、タッチ座標として、入力処理部１１に出力する。すなわち、入力処理部１１には、タッチパネル１０３から、タッチパネル１０３へのタッチが検知される間、所定の周
期でタッチ座標が入力される。所定の周期は、例えば、１０ｍｓである。

矩形検出部１２は、入力処理部１１からタッチ座標の入力を受け、入力順でタッチ座標を直線で結んでタッチ軌跡を取得し、タッチ軌跡を包含する矩形を検出する。以降、タッチ軌跡全体を包含する矩形を、軌跡包含矩形と称する。矩形検出部１２は、軌跡包含矩形として、例えば、タッチ軌跡全体と、タッチ軌跡に重なる文字全体と、を含む矩形を検出する。矩形検出部１２は、軌跡包含矩形の情報を、判定部１３に出力する。軌跡包含矩形の情報は、例えば、軌跡包含矩形の４つの頂点のうち、Ｘ、Ｙ座標がともに最小値となる頂点の座標、Ｘ、Ｙ座標がともに最大値となる頂点の座標、軌跡包含矩形のサイズを含む。

判定部１３は、タッチパネル１０３を通じて入力されるタッチ軌跡によって選択された文字矩形を判定する。より具体的には、以下の通りである。判定部１３は、入力処理部１１からタッチパネル１０３上のタッチ座標を受信すると、入力順でタッチ座標間を直線で結び、タッチ軌跡を取得する。次に、判定部１３は、矩形検出部１２から軌跡包含矩形を取得し、ディスプレイ１０４に表示中の画像の軌跡包含矩形に相当する部分画像の文字認識処理を文字認識部１５に依頼する。軌跡包含矩形内の各文字の文字矩形の情報が文字認
識部１５より取得されると、判定部１３は、タッチ軌跡と重なる文字矩形を検出し、該文字矩形を選択対象領域として検出し、選択対象領域の情報を表示処理部１４に出力する。選択対象領域の情報は、例えば、選択対象領域に含まれる各文字矩形の頂点の中で、Ｘ、Ｙ座標がともに最小値となる頂点の座標、Ｘ、Ｙ座標がともに最大値となる頂点の座標、及びサイズを含む。判定部１３の処理の詳細は後述される。

表示処理部１４は、判定部１３から選択対象領域の情報が入力されると、例えば、選択対象領域の背景色を他の背景色とは異なる色にしたり、選択対象領域内の文字色を変更したりして、選択対象領域を強調表示した画面を生成し、該画面をディスプレイ１０４に出力する。

文字認識部１５は、判定部１３からの依頼に応じて、軌跡包含矩形に相当する部分画像について文字認識処理を行う。文字認識部１５は、文字認識処理の結果として、軌跡包含矩形に相当する部分画像に含まれる文字と、各文字の文字矩形とを取得する。文字認識部１５は、例えば、軌跡包含矩形に含まれる文字、各文字について文字矩形のＸ、Ｙ座標がともに最小値となる頂点の座標、Ｘ、Ｙ座標がともに最大値となる頂点の座標、及びサイズを判定部１３に出力する。

なお、文字認識部１５によって取得される文字矩形は、例えば、文字を描画する点の中で、最小のＸ座標及び最小のＹ座標、最大のＸ座標及び最小のＹ座標、最小のＸ座標及び最大のＹ座標、最大のＸ座標及び最大のＹ座標の組み合わせで得られる４点を頂点とする矩形である。そのため、同じフォント、同じフォントサイズであっても、文字矩形のサイズは文字によって異なる。なお、文字認識部１５によって検出される文字矩形は、１文字単位に限られず、２文字以上で一行内に含まれる文字数未満の所定文字数単位で形成されてもよい。第１実施形態では、文字矩形は１文字単位に形成されるものとする。文字矩形は、「文字領域」の一例である。

図６は、携帯端末１の表示画面例の一つである。第１実施形態では、文字選択判定プログラムはミドルウェアであり特定のアプリケーションに依存することなく起動される。第１実施形態では、文字の選択方法を選択するための文字選択メニューアイコン５０が、携帯端末１の表示画面下部に常時表示されている。文字選択メニューアイコン５０にユーザがタッチすると、サブウィンドウＳＷ１が表示される。

サブウィンドウＳＷ１には、アイコン５１とアイコン５２とが含まれる。アイコン５１は、文字選択判定プログラムを起動させるためのアイコンである。アイコン５２は、例えば、ＦＥＰによる文字選択処理を起動させるためのアイコンである。ユーザがアイコン５１にタッチすると文字選択判定プログラムが起動する。ユーザがアイコン５２にタッチすると、例えば、図２で示される例のようなＦＥＰによる文字選択処理が行われる。なお、アイコン５２は、図１で示される例のような、矩形に含まれる文字が選択される文字選択処理を起動させるためのアイコンであってもよい。

図６では、ユーザのタッチ軌跡は点線で示される。図６に示されるタッチ軌跡の場合には、タッチ軌跡全体と、タッチ軌跡に重なる文字全体とが含まれる矩形３０が、軌跡包含矩形として検出される。

文字認識部１５は、判定部１３から軌跡包含矩形の情報が入力されると、軌跡包含矩形に対して文字認識処理を行う。図６に示される例では、文字Ａ、Ｂ、Ｃ、Ｄ、Ｅの文字矩形の情報が判定部１３に出力される。また、図６に示される例では、判定部１３は、タッチ軌跡と重なっている文字Ａ、Ｂ、Ｃの文字矩形を選択対象領域として検出する。図６に示される例では、選択対象領域として検出される文字Ａ、Ｂ、Ｃの文字矩形は背景色が他
の領域と異なる色で表示されている。

図７は、選択漏れ文字の救済処理１の一例を示す図である。例えば、拗音（「ゃ」、「ゅ」、「ょ」等）、促音（「っ」等）、句点、読点のように文字矩形のサイズが小さい文字領域は、タッチ軌跡と重ならずに選択対象領域としての検出から漏れることがある。選択漏れ文字の救済処理１は、タッチ軌跡と重なる文字矩形に挟まれる文字矩形も選択対象領域として検出するための処理である。

図７では、タッチ軌跡は点線で示される。文字Ａ、Ｂの文字矩形はタッチ軌跡と重なっている。文字Ａ、Ｂに挟まれている文字Ｃは、文字矩形のサイズが小さいために、タッチ軌跡とは重なっていない。しかしながら、文字Ｃはタッチ軌跡と重なる文字Ａ、Ｂに挟まれていることから、ユーザの所望する文字の一つであることが推測されるため、選択漏れ文字の救済処理１では、文字Ｃの文字矩形も選択対象領域として検出される。

判定部１３は、タッチ軌跡と重なる文字矩形のうち、以下の＜条件１＞を満たす２つの文字矩形の間に挟まれた文字矩形が存在する場合には、該２つの文字矩形に挟まれる文字矩形も選択対象領域として検出する。＜条件１＞は、例えば、＋Ｘ方向に位置する文字Ｂの文字矩形の中心点のＹ座標が、−Ｘ方向に位置する文字Ａの文字矩形の−Ｙ方向側の辺のＹ座標より大きく、且つ、文字Ａの文字矩形の＋Ｙ方向側の辺のＹ座標より小さい、ことである。なお、上記＜条件１＞は、横書きの場合であり、縦書きの場合には、上記所定の条件において、ＸとＹとが入れ替わる。

判定部１３は、＜条件１＞を満たす２つの文字矩形の包含する矩形を作成する。＜条件１＞を満たす２つの文字矩形を包含する矩形は、以降、選択文字包含矩形と称され、符号ＳＱ１で示される。横書きの場合の選択文字包含矩形は、図７の文字Ａ、Ｂを例とすると、例えば、以下の４つの点（Ｘ，Ｙ）を頂点とする矩形である。
・（文字Ａの文字矩形の−Ｘ方向側の辺のＸ座標，文字Ａ、Ｂの文字矩形のうちの最小のＹ座標）
・（文字Ａの文字矩形の−Ｘ方向側の辺のＸ座標，文字Ａ、Ｂの文字矩形のうちの最大のＹ座標）
・（文字Ｂの文字矩形の＋Ｘ方向側の辺のＸ座標，文字Ａ、Ｂの文字矩形のうちの最小のＹ座標）
・（文字Ｂの文字矩形の＋Ｘ方向側の辺のＸ座標，文字Ａ、Ｂの文字矩形のうちの最大のＹ座標）
なお、縦書きの場合には、上記４点において、ＸとＹとが入れ替わる。

図８は、選択漏れ文字の救済処理２の一例を示す図である。選択漏れ文字の救済処理２では、読点や句点等のサイズの小さい文字矩形であって、タッチ軌跡の端点に位置する可能性の高い文字矩形を選択対象領域として検出するための処理である。選択漏れ文字の救済処理２では、タッチ軌跡とは重なっていなくても、タッチ軌跡の端点から、該端点に直近の選択文字包含矩形の一辺まで、の該直近の選択文字包含矩形と同じ行内の範囲に含まれる文字矩形も選択対象領域として検出される。

図８では、タッチ軌跡は点線で示される。文字Ａ、Ｂの文字矩形はタッチ軌跡と重なっている。文字Ａの−Ｘ方向に位置する文字Ｃ、文字Ｂの＋Ｘ方向に位置する文字Ｄは、文字矩形のサイズが小さいために、タッチ軌跡とは重なっていない。しかしながら、文字Ｃ、Ｄは、タッチ軌跡の端点から、該端点に直近の文字Ａ、Ｂを含む選択文字包含矩形の一辺まで、の該直近の選択文字包含矩形と同じ行内の範囲に含まれることから、文字Ｃ、Ｄの文字矩形も選択対象領域として検出される。

タッチ軌跡の端点から、該端点に直近の選択文字包含矩形の一辺まで、の該直近の選択文字包含矩形と同じ行内の範囲とは、具体的には、以下の通りである。まず、一つ目は、選択文字包含矩形ＳＱ１の−Ｘ方向側の２つの頂点、タッチ軌跡の−Ｘ方向側の端点のＸ座標と選択文字包含矩形ＳＱ１の頂点のうち最小のＹ座標、タッチ軌跡の−Ｘ方向側の端点のＸ座標と選択文字包含矩形ＳＱ１の頂点のうち最大のＹ座標、の４つの点を頂点とする矩形である。図８に示される例において、タッチ軌跡の−Ｘ方向側の端点はタッチ軌跡の始点であり、タッチ軌跡の始点側の該矩形は、以降、始点救済矩形と称される。また、始点救済矩形は、符号ＳＱ２で示される。

もう一つは、タッチ軌跡の両端からの所定の範囲の一つとして、選択文字包含矩形ＳＱ１の＋Ｘ方向側の２つの頂点、タッチ軌跡の＋Ｘ方向側の端点のＸ座標と選択文字包含矩形ＳＱ１の頂点のうち最小のＹ座標、タッチ軌跡の＋Ｘ方向側の端点のＸ座標と選択文字包含矩形ＳＱ１の頂点のうち最大のＹ座標、の４つの点を頂点とする矩形である。図８に示される例において、タッチ軌跡の＋Ｘ方向側の端点はタッチ軌跡の終点であり、タッチ軌跡の終点側の該矩形は、以降、終点救済矩形と称される。また、終点救済矩形は、符号ＳＱ３で示される。

判定部１３は、始点救済矩形及び終点救済矩形を求め、タッチ軌跡には重ならないものの始点救済矩形、終点救済矩形と重なる文字矩形を選択対象領域に追加する。

＜処理の流れ＞
図９Ａ、図９Ｂ、図９Ｃは、判定部１３の選択対象領域の判定処理のフローチャートの一例である。図９Ａに示される処理は、例えば、ユーザがアイコン５１にタッチして、文字選択判定プログラムが起動されると開始される。

ＯＰ１では、判定部１３は、入力処理部１１からタッチ座標の入力を受け、タッチ軌跡を取得する。次に処理がＯＰ２に進む。

ＯＰ２では、判定部１３は、矩形検出部１２から軌跡包含矩形を取得し、ディスプレイ１０４の表示画像の軌跡包含矩形に相当する部分画像と、軌跡包含矩形の情報と、を文字認識部１５に渡して、軌跡包含矩形に相当する部分画像の文字認識処理を依頼する。文字認識部１５に渡される軌跡包含矩形の情報は、例えば、軌跡包含矩形の頂点のうち、ＸＹ座標がともに最小となる頂点、ＸＹ座標がともに最大になる頂点の座標である。次に処理がＯＰ３に進む。

ＯＰ３では、判定部１３は、文字認識部１５から文字認識処理の結果として、軌跡包含矩形に含まれている文字と、文字矩形情報とを受け取る。文字矩形情報は、例えば、各文字矩形のＸＹ座標がともに最小となる頂点、ＸＹ座標がともに最大になる頂点の座標と、文字矩形のサイズである。次に処理がＯＰ４に進む。

ＯＰ４では、判定部１３は、タッチ軌跡と文字矩形情報とを照合する。次に処理がＯＰ５に進む。

ＯＰ５では、判定部１３は、タッチ軌跡に含まれる線分と辺が交差する文字矩形があるか否かを判定する。タッチ軌跡に含まれる線分とは、連続して入力された２つのタッチ座標を結ぶ線分である。タッチ軌跡に含まれる線分と文字矩形の線分とが交差するか否は、タッチ座標と文字矩形情報に含まれる文字矩形の２つの頂点の座標とから判定可能である。タッチ軌跡に含まれる線分と辺が交差する文字矩形がある場合には（ＯＰ５：ＹＥＳ）、処理がＯＰ６に進む。タッチ軌跡に含まれる線分と辺が交差する文字矩形がない場合には（ＯＰ５：ＮＯ）、処理がＯＰ７に進む。

ＯＰ６では、判定部１３は、タッチ軌跡に含まれる線分と辺が交差する文字矩形の文字を選択対象に追加する。次に処理がＯＰ７に進む。

ＯＰ７では、判定部１３は、タッチ軌跡上のタッチ座標を包含する文字矩形があるか否かを判定する。この判定は、例えば、タッチ座標のＸ座標、Ｙ座標のそれぞれが、文字矩形情報に含まれる文字矩形の最小のＸ座標から最大のＸ座標、最小のＹ座標から最大のＹ座標の範囲内にあるか否かを判定することによって行われる。タッチ軌跡上のタッチ座標を包含する文字矩形がある場合には（ＯＰ７：ＹＥＳ）、処理がＯＰ８に進む。タッチ軌跡上のタッチ座標を包含する文字矩形がない場合には（ＯＰ７：ＮＯ）、処理が図９ＢのＯＰ１１に進む。

ＯＰ８では、判定部１３は、タッチ軌跡上のタッチ座標を包含する文字矩形の文字を選択対象に追加する。これによって、文字矩形とは交差しないが、文字矩形内に包含されるタッチ軌跡を包含する文字矩形を選択対象領域とすることができる。次に処理が図９ＢのＯＰ１１に進む。

図９Ｂに示される処理は、選択漏れ文字の救済処理１に相当する処理である。図９Ｂに示される処理は、図９Ａに示される処理によって抽出された選択対象文字のうち、タッチ軌跡上で隣接する２つの文字の全組み合わせに対して行われる。

ＯＰ１１では、判定部１３は、タッチ軌跡上で隣接する２つの選択対象文字の組み合わせを選択する。選択された２文字を、便宜上、文字Ａ、Ｂとする。次に処理がＯＰ１２に進む。

ＯＰ１２では、判定部１３は、選択した文字Ａ、Ｂの２つの文字矩形が上述の＜条件１＞を満たすか否かを判定する。選択した文字Ａ、Ｂの２つの文字矩形が＜条件１＞を満たす場合には（ＯＰ１２：ＹＥＳ）、処理がＯＰ１３に進む。選択した文字Ａ、Ｂの２つの文字矩形が＜条件１＞を満たさない場合には（ＯＰ１２：ＮＯ）、処理がＯＰ１１に戻り、次の２つの選択対象文字の組み合わせについて処理が行われるか、又は、図９ＣのＯＰ２１に処理が進む。

ＯＰ１３では、判定部１３は、文字Ａ、Ｂの文字矩形を包含する選択文字包含矩形を作成する。次に処理がＯＰ１４に進む。

ＯＰ１４では、判定部１３は、選択文字包含矩形と軌跡包含矩形内の選択対象に選ばれていない文字とを照合する。選択対象に選ばれていない文字を、以降、選択漏れ文字と称する。次に処理がＯＰ１５に進む。

ＯＰ１５では、判定部１３は、選択文字包含矩形に文字矩形の中心座標が含まれる選択漏れ文字があるか否かを判定する。文字矩形の中心座標は、文字認識部１５から取得される文字矩形のＸ、Ｙ座標が最小となる頂点の座標とＸ、Ｙ座標が最大となる頂点の座標とから算出される。選択文字包含矩形に文字矩形の中心座標が含まれる選択漏れ文字がある場合には（ＯＰ１５：ＹＥＳ）、処理がＯＰ１６に進む。選択文字包含矩形に文字矩形の中心座標が含まれる選択漏れ文字がない場合には（ＯＰ１５：ＮＯ）、処理がＯＰ１１に戻り、次の２つの選択対象文字の組み合わせについて処理が行われるか、または、図９ＣのＯＰ２１に処理が進む。

ＯＰ１６では、判定部１３は、選択文字包含矩形に文字矩形の中心座標が含まれる選択漏れ文字を選択対象に追加する。次に、処理がＯＰ１１に戻り、次の２つの選択対象文字
の組み合わせについて処理が行われるか、または、タッチ軌跡上の２つの選択対象文字の全組み合わせについてＯＰ１１〜ＯＰ１６に処理が実行された場合には、図９ＣのＯＰ２１に処理が進む。

図９Ｃに示される処理は、選択漏れ文字の救済処理２に相当する処理である。ＯＰ２１では、判定部１３は、始点救済矩形を作成する。次に、処理がＯＰ２２に進む。なお、タッチ座標の始点がいずれかの文字矩形に含まれている場合には、判定部１３は始点救済矩形を作成せず、処理がＯＰ２５に進む。

ＯＰ２２では、判定部１３は、始点救済矩形と選択漏れ文字とを照合する。次に処理がＯＰ２３に進む。

ＯＰ２３では、判定部１３は、文字矩形が始点救済矩形と重なる選択漏れ文字があるか否かを判定する。文字矩形が始点救済矩形と重なる選択漏れ文字がある場合には（ＯＰ２３：ＹＥＳ）、処理がＯＰ２４に進む。文字矩形が始点救済矩形と重なる選択漏れ文字がない場合には（ＯＰ２３：ＮＯ）、処理がＯＰ２５に進む。

ＯＰ２４では、判定部１３は、文字矩形が始点救済矩形と重なる選択漏れ文字を選択対象に追加する。次に処理がＯＰ２５に進む。

ＯＰ２５では、判定部１３は、終点救済矩形を作成する。次に処理がＯＰ２６に進む。なお、タッチ座標の終点がいずれかの文字矩形に含まれている場合には、判定部１３は終点救済矩形を作成せず、図９Ｃに示される処理が終了する。

ＯＰ２６では、判定部１３は、終点救済矩形と選択漏れ文字とを照合する。次に処理がＯＰ２７に進む。

ＯＰ２７では、判定部１３は、文字矩形が終点救済矩形と重なる選択漏れ文字があるか否かを判定する。文字矩形が終点救済矩形と重なる選択漏れ文字がある場合には（ＯＰ２７：ＹＥＳ）、処理がＯＰ２８に進む。文字矩形が終点救済矩形と重なる選択漏れ文字がない場合には（ＯＰ２７：ＮＯ）、図９Ｃに示される処理が終了する。

ＯＰ２８では、判定部１３は、文字矩形が終点救済矩形と重なる選択漏れ文字を選択対象に追加する。その後、図９Ｃに示される処理が終了する。図９Ｃに示される処理が終了すると、判定部１３は、選択対象文字の文字矩形を選択対象領域として表示処理部１４に出力し、表示処理部１４によって選択対象領域の表示が強調表示に変更される。

＜第１実施形態の作用効果＞
第１実施形態では、携帯端末１は、タッチ軌跡と重なる文字矩形を選択対象領域として検出する。これによって、ユーザは、余計な文字を含むことなく所望の文字を選択することができるので、タッチパネルを通じて文字の選択を容易にすることができる。

また、第１実施形態では、携帯端末１は、選択漏れ文字の救済処理１、２を行うことによって、文字矩形のサイズが小さくてタッチ軌跡に重ならないものの、ユーザの選択対象に含まれると推測される文字を選択対象とすることができる。

＜その他＞
第１実施形態において、軌跡包含矩形、文字矩形に基づいて選択対象領域が検出されたが、タッチ軌跡全体を含む範囲や所定の文字数単位を含む範囲の形は、矩形に限定されない。例えば、これらの範囲の形は楕円形であってもよい。

なお、第１実施形態では、タッチパネルを用いた文字選択処理について説明されたが、第１実施形態で説明された技術の適用は、タッチパネルを備える情報処理装置に限られない。例えば、第１実施形態で説明された技術は、マウス等のポインティングデバイスを用いた文字選択処理にも適用可能であり、ポインティングデバイスのポインタの軌跡と重なる文字矩形を選択対象領域として検出することによって実現可能である。

上述の実施形態は、さらに以下の付記を開示する。
（付記１）
プロセッサと、タッチパネルと、ディスプレイと、を備える情報処理装置であって、
前記プロセッサが、
前記タッチパネルを通じて、タッチ座標の入力を受け、
前記ディスプレイに表示中の複数行の文字を含む画面内の所定文字数単位の複数の文字領域の中から、前記タッチ座標を入力順に結んだ複数行に亘るタッチ軌跡に重なる文字領域を選択領域と判定し、
前記選択領域について所定の処理を実行する、
情報処理装置。
（付記２）
前記プロセッサは、
前記所定文字数単位の複数の文字領域を、文字認識エンジンによる解析によって取得する、
付記１に記載の情報処理装置。
（付記３）
前記プロセッサは、
前記タッチ軌跡を包含する前記ディスプレイに表示されている画面の一部の画像について、前記文字認識エンジンによって解析し、前記所定文字数単位の複数の文字領域を取得する、
付記２に記載の情報処理装置。
（付記４）
前記プロセッサは、
前記タッチ軌跡に重なっておらず、前記タッチ軌跡に重なる他の少なくとも２つの文字領域に挟まれる文字領域を前記選択領域に追加する、
付記１から３のいずれか一つに記載の情報処理装置。
（付記５）
前記プロセッサは、
前記タッチ軌跡と重なっていない文字領域で、前記タッチ軌跡の端点から該端点に直近の前記タッチ軌跡に重なる第１の文字領域までの前記第１の文字領域と同じ行の範囲と重なる文字領域を前記選択領域に追加する、
付記１から４のいずれか一つに記載の情報処理装置。
（付記６）
前記タッチ軌跡と直交する方向の範囲が前記タッチ軌跡の第１の端点に直近で前記タッチ軌跡に重なる第１の文字領域の前記タッチ軌跡と交差する辺の範囲であって、前記タッチ軌跡の方向の範囲が前記第１の端点から前記第１の文字領域の前記第１の端点側の辺までの範囲である矩形と重なり、前記タッチ軌跡に重なっていない文字領域を前記選択領域に追加する、
付記１から４のいずれか一つに記載の情報処理装置。
（付記７）
プロセッサと、タッチパネルと、ディスプレイと、を備える情報処理装置の、
前記プロセッサが、
前記タッチパネルを通じて、タッチ座標の入力を受け、
前記ディスプレイに表示中の複数行の文字を含む画面内の所定文字数単位の複数の文字領域の中から、前記タッチ座標を入力順に結んだ複数行に亘るタッチ軌跡に重なる文字領域を選択領域と判定し、
前記選択領域について所定の処理を実行する、
情報処理方法。
（付記８）
プロセッサと、タッチパネルと、ディスプレイと、を備える情報処理装置の、
前記プロセッサに、
前記タッチパネルを通じて、タッチ座標の入力を受けさせ、
前記ディスプレイに表示中の複数行の文字を含む画面内の所定文字数単位の複数の文字領域の中から、前記タッチ座標を入力順に結んだ複数行に亘るタッチ軌跡に重なる文字領域を選択領域と判定させ、
前記選択領域について所定の処理を実行させる、
情報処理プログラム。

１ 携帯端末
１１ 入力処理部
１２ 矩形検出部
１３ 判定部
１４ 表示処理部
１５ 文字認識部
１０１ ＣＰＵ
１０２ 記憶部
１０３ タッチパネル
１０４ ディスプレイ

Claims (6)

1. プロセッサと、タッチパネルと、ディスプレイと、を備える情報処理装置であって、
   前記プロセッサが、
   前記タッチパネルを通じて、タッチ座標の入力を受け、
   前記ディスプレイに表示中の、連なって配列された複数の文字によって形成される行を複数含む画面内の所定文字数単位の複数の文字領域の中から、前記タッチ座標を入力順に結んだ複数行に亘るタッチ軌跡に重なる文字領域を選択領域と判定し、
   前記選択領域について所定の処理を実行する、
   情報処理装置。
2. 前記プロセッサは、
   前記所定文字数単位の複数の文字領域を、文字認識エンジンによる解析によって取得する、
   請求項１に記載の情報処理装置。
3. 前記プロセッサは、
   前記タッチ軌跡を包含する前記ディスプレイに表示されている画面の一部の画像について、前記文字認識エンジンによって解析し、前記所定文字数単位の複数の文字領域を取得する、
   請求項２に記載の情報処理装置。
4. 前記プロセッサは、
   前記タッチ軌跡に重なっておらず、前記タッチ軌跡に重なる他の少なくとも２つの文字領域に挟まれる文字領域を前記選択領域に追加する、
   請求項１から３のいずれか一項に記載の情報処理装置。
5. プロセッサと、タッチパネルと、ディスプレイと、を備える情報処理装置であって、
   前記プロセッサが、
   前記タッチパネルを通じて、タッチ座標の入力を受け、
   前記ディスプレイに表示中の複数行の文字を含む画面内の所定文字数単位の複数の文字
   領域の中から、前記タッチ座標を入力順に結んだ複数行に亘るタッチ軌跡に重なる文字領域を選択領域と判定し、
   前記タッチ軌跡と重なっていない文字領域で、前記タッチ軌跡の端点から該端点に直近の前記タッチ軌跡に重なる第１の文字領域までの前記第１の文字領域と同じ行の範囲と重なる文字領域を前記選択領域に追加し、
   前記選択領域について所定の処理を実行する、
   情報処理装置。
6. プロセッサと、タッチパネルと、ディスプレイと、を備える情報処理装置の、
   前記プロセッサに、
   前記タッチパネルを通じて、タッチ座標の入力を受けさせ、
   前記ディスプレイに表示中の、連なって配列された複数の文字によって形成される行を複数含む画面内の所定文字数単位の複数の文字領域の中から、前記タッチ座標を入力順に結んだ複数行に亘るタッチ軌跡に重なる文字領域を選択領域と判定させ、
   前記選択領域について所定の処理を実行させる、
   情報処理プログラム。

Images