[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5008248B2 - Display processing apparatus, display processing method, display processing program, and recording medium - Google Patents

Display processing apparatus, display processing method, display processing program, and recording medium Download PDF

Info

Publication number
JP5008248B2
JP5008248B2 JP2003182828A JP2003182828A JP5008248B2 JP 5008248 B2 JP5008248 B2 JP 5008248B2 JP 2003182828 A JP2003182828 A JP 2003182828A JP 2003182828 A JP2003182828 A JP 2003182828A JP 5008248 B2 JP5008248 B2 JP 5008248B2
Authority
JP
Japan
Prior art keywords
search
display
recognition
display processing
recognition candidates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003182828A
Other languages
Japanese (ja)
Other versions
JP2005018442A (en
JP2005018442A5 (en
Inventor
洋一郎 八幡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2003182828A priority Critical patent/JP5008248B2/en
Publication of JP2005018442A publication Critical patent/JP2005018442A/en
Publication of JP2005018442A5 publication Critical patent/JP2005018442A5/ja
Application granted granted Critical
Publication of JP5008248B2 publication Critical patent/JP5008248B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Character Discrimination (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、表示処理装置、表示処理方法、表示処理プログラム、および記録媒体に関し、特に、認識処理を通して得られた検索キーによる検索結果を、所定の表示レイアウトで表示されるように、表示処理するための、表示処理装置、表示処理方法、表示処理プログラム、および記録媒体に関する。
【0002】
【従来の技術】
近年、音声データや手書き文字データを認識してテキスト形式のデータを得る、音声認識や手書き文字認識の技術が、パソコン(PC)、カーナビゲーションシステム、携帯情報端末(PDA)などで利用されている。
【0003】
このような音声認識や手書き文字認識の技術における認識結果表示方法の従来例としては、例えば、特開平7−104675号公報(特許文献1参照)に開示されているように、弱い知識による拘束条件と、強い知識による拘束条件との2つの知識辞書を用いて音声を認識し、両者から得られた複数の認識候補を表示することにより、発話者の記憶違いなどによる微小の言い間違いに対して柔軟性を増すとともに、類似した認識候補の湧き出しを減少することが知られている。
【0004】
また、例えば、シャープ技報通巻57号1993年発行p.5〜p.8(非特許文献1参照)においては、オンライン手書き認識システムの実用化について示されている。
【0005】
一方、PC上のウェブブラウザ用コンテンツサービスなどに見られるような、検索エンジンがある。例えば、PC上のウェブブラウザ用コンテンツサービスに見られる検索エンジンの例においては、キーボードを用いて検索キーとなるテキストデータ(文字列など)を入力して、検索ボタンをクリックすることにより、図15に示すような検索結果のリストを提供する。
【0006】
さらに、音声データや手書き文字データとして入力された検索キーを、音声認識処理や手書き文字認識処理により認識してテキストデータを獲得した後、認識結果として得られた一つの検索キー(一つの単語という意味ではなく、一つの認識結果)を用いて検索し、一つまたは複数の検索結果を得るという組み合わせが考えられる。
【0007】
【特許文献1】
特開平7−104675号公報(請求項1、段落0011)
【非特許文献1】
シャープ技報通巻57号1993年発行p.5〜p.8
【0008】
【発明が解決しようとする課題】
しかしながら、上記の特許文献1に開示された認識結果表示方法を用いた場合においては、入力音声データの認識結果を確実に1位候補として導出できるものではなく、発話者が認識候補からの選択などにより結果を確定する必要がある。
【0009】
また、上記の非特許文献1に示されたオンライン手書き認識システムにおいては、入力手書き文字データの認識結果を確実に1位候補として導出できるものではなく、入力者が認識候補からの選択などにより結果を確定する必要がある。
【0010】
また、上記のPC上のウェブブラウザ用コンテンツサービスに見られる検索エンジンの例においては、一般に、検索キーそのものが音響的に、または画像(文字画像)的に曖昧性を含んでいることを前提とはしていない。
【0011】
また、上記の音声認識や手書き文字認識と検索エンジンの組み合わせにおいては、検索エンジンによる検索結果を得る前に、音声データや手書き文字データ入力による検索キーの曖昧性を取り除く必要がある。また、曖昧性を取り除くことなく1位候補を検索キーとして自動的に確定した上で検索した場合、1位候補が正しい検索キーでなければ所望の検索結果を得るために再入力が必要となる。
【0012】
本発明は、上記の実情を鑑みて考え出されたものであり、その目的は、認識処理性能に起因する曖昧性(不確かさ)を含み得る検索キーを用いて検索対象データから検索を行う場合に、ユーザが検索キーの確定処理を行うことなく検索結果を得ることを可能とし、かつ検索キーを誤認識しても再入力することなく正しい検索キーによる検索結果を得ることを可能とする、表示処理装置、表示処理方法、表示処理プログラム、および記録媒体を提供することである。
【0013】
【課題を解決するための手段】
上記課題を解決するため、本発明は、認識処理を通して得られた検索キーによる検索結果を、所定の表示レイアウトで表示されるように、表示処理する表示処理装置であって、入力された検索キーを認識処理し、検索キーとして類似度の大きいものから順に複数の認識候補を選出する認識手段と、データベースにアクセスする手段と、前記認識手段によって選出された複数の認識候補を検索キーとして用いて、前記データベースから検索キーに対応するデータを検索する検索手段と、前記認識手段によって選出された複数の認識候補と、前記検索手段によって検索された複数の検索結果とを、認識候補とその認識候補に対応する複数の検索結果とを関連づけて記憶する第1記憶手段と、前記第1記憶手段に記憶されている認識候補と検索結果とを用いて、複数の認識候補と、複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果と、を同時に表示し得るような表示レイアウトを作成する表示レイアウト作成手段と、を備え、前記表示レイアウト作成手段は、前記複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果として、最も類似度の大きい認識候補に関連する複数の検索結果を用いて、1回目に表示する表示レイアウトを作成することを特徴とする。
【0014】
上記の如く、入力された検索キーを認識処理して複数の認識候補を選出し、各認識候補を検索キーとして検索し、複数の認識候補と複数の検索結果とを同時に表示し得るような表示レイアウトで表示することにより、入力された検索キーが認識処理性能に起因する曖昧性(不確かさ)を含んでいても、ユーザが検索キーの確定処理を行うことなく検索結果を得ることが可能となり、かつ検索キーを誤認識しても再入力することなく正しい検索キーによる検索結果を得ることが可能となる。
【0015】
なお、検索キーの入力に際しては、マイクやタブレットの検索キー入力手段を表示処理装置に設けて、この表示処理装置に備えられた検索キー入力手段によって入力するように構成してもよく、また、マイクやタブレットがワイヤレスで構成され、このマイク等からの送信によって表示処理装置に入力するような構成であってもよい。
【0016】
また、表示レイアウト作成手段によってレイアウトされた内容を表示するに際しては、モニタ等の表示手段を表示処理装置に設けて、この表示処理装置に備えられた表示手段によって表示するように構成してもよく、また、モニタ等がワイヤレスで構成され、表示処理装置から表示レイアウトデータをモニタ等に送信することによって、モニタ等に表示するような構成であってもよい。
【0017】
また、検索対象データを検索する際には、ネットワークを介した検索処理であってもよく、また、表示処理装置に備えられた記憶手段(第2記憶手段)の検索処理であってもよい。
【0018】
本発明は、認識候補の表示形態は、認識候補を検索キーとした場合に得られる検索結果を反映して変形されている場合もある。例えば、検索結果量に基づく認識候補の奥行き調整、検索結果の相関度合いに基づく文字サイズ、または文字太さ、または文字色の調整などである。
【0019】
本発明は、ユーザの指示を受け付けて、ユーザの指示情報を前記表示レイアウト作成手段に受け渡すユーザ指示手段を備える場合もある。なお、入力される検索キーは音声入力であり、認識手段は音声認識手段であってもよく、入力される検索キーは手書き文字入力であり、前記認識手段は手書き文字認識手段であってもよい。また、検索キーはテキストデータであり、前記検索手段が検索する対象となるデータはテキストデータであってもよい。
【0020】
本発明は、複数の認識候補を表示する際に、複数の認識候補のうちのいずれか一つの認識候補を、他の認識候補と異なる形態で表示する場合もある。表示形態の相違は、具体的には、栞付きシートの前後関係を模したもの、文字色、及び、文字の周囲の色の少なくともいずれか一つを異ならせて表示することによる。これにより、一つの認識候補と他の認識候補とを、視覚的に認識可能となる。
【0021】
本発明は、レイアウトされる複数の検索結果は、前記一つの認識候補に関連する複数の検索結果である場合もある。これにより、検索キーを確定することなく検索結果が得られる。なお、複数の検索結果を表示する際に、複数の検索結果のうちのいずれか一つの検索結果を、他の検索結果と異なる形態で表示してもよい。表示形態の相違としては、具体的には、文字色、及び、文字の周囲の色の少なくともいずれか一つを異ならせて表示することによる。
【0022】
本発明は、ユーザ指示部は、複数の認識候補のいずれか一つを選択指示する構成であってもよく、複数の検索結果のいずれか一つを選択指示する構成であってもよく、複数の検索結果のいずれか一つの選択を決定指示する構成であってもよい。具体的には、ユーザ指示部は、異なる4方向のいずれか一つの方向を指示することにより、ユーザ指示の入力を行うことが可能な構造とされている場合がある。異なる4方向は、十字方向をなす4方向であり、十字方向をなす4方向の指示構造は、同一軸上で相反する方向を向き合う2組の方向指示構造に関して、1組は認識候補の選択指示を行い、もう1組は検索結果の選択指示を行うように構成されている場合もある。このような十字方向の指示構造を用いることにより、画面上のポインタなどによる指示が困難な機器においても、容易に所望の検索結果を得ることが可能となる。
【0023】
本発明は、複数の認識候補を表示する際に、類似度の大きさに基づいて、各認識候補の表示形態を調整する場合もある。これにより、各認識候補の確からしさを視覚的に表現することが可能となり、誤認識の際においても容易に修正することを可能とする。具体的には、文字の周囲の囲み、栞を模したタブまたはボタンなどの面積の大小、栞を模したタブまたはボタンなどの奥行き方向の深さ、栞を模したタブまたはボタンなどの奥行き方向の深さを模した表現、及び、文字の大きさの少なくともいずれか一つを調整することによる。
【0024】
また、検索結果の数に基づいて、認識候補の表示形態を調整してもよい。これにより、認識候補の正確さに関わらず、検索結果情報数の大小に基づいて検索結果を表示することを可能とする。具体的には、検索結果の数が大きいほど、文字の周囲の囲みを大きく表示すること、栞を模したタブまたはボタンなどの奥行き方向の数を大きく表示すること、及び、栞を模したタブまたはボタンなどの奥行き方向の数が大きい状態を模した表現で表示することの少なくともいずれか一つを調整することによる。
【0025】
また、検索の相関の度合いに基づいて、認識候補の表示形態を調整してもよい。具体的には、相関が大きいほど文字を大きく表現すること、及び、相関が大きいほど文字を太く表現することの少なくともいずれか一つを調整することによる。
【0026】
また、本発明は、上記表示処理装置において用いられる表示処理方法であったり、表示処理方法を実現する表示処理プログラムであったり、この表示処理プログラムを記録した記録媒体であったりする。
【0027】
【発明の実施の形態】
以下、本発明を図示の実施の形態により詳細に説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係る表示処理装置のブロック図である。図1において、101は、検索キーの入力を受け付けて後段に受け渡す検索キー入力部である。ここで、検索キーとは、検索のキーとなるキー情報を意味する。
【0028】
検索キー入力部101は、入力として音声データを受け付ける場合はマイクで構成され、A/D(アナログ/デジタル)変換処理を施して得られるデジタル音声データ、またはアナログ音声データを後段に受け渡す。また、検索キー入力部101は、入力として手書き文字データを受け付ける場合はタブレットなどの感圧装置で構成され、ユーザのペン操作などによる手書き文字をデジタル画像データとして後段に受け渡す。ここで、検索キー入力部101を構成するマイクまたは感圧装置は、その形状、配置、材質などを限定するものではなく、音声データまたは手書き文字データを、デジタル(またはアナログ)音声データまたはデジタル画像データとして受け付けるものであればよい。例えば、感圧装置を光学式の装置などに置き換えてもよい。
【0029】
なお、本発明に係る表示処理装置は、必ずしも検索キー入力部101を備えている必要はなく、検索キー入力部としてのマイクやタブレットがワイヤレスで構成されて表処理装置とは別個に設け、このマイク等からの送信によって表示処理装置に入力するような構成であってもよい。
【0030】
102は、検索キー入力101で入力された検索キーを認識する認識部である。認識部102は、専用のLSI(大規模集積回路)素子などで構成される。入力された検索キーが音声データである場合には、音声認識処理を行い、複数のテキストデータ(認識候補データ、以下、認識候補と略称する。)を選出する。また、入力された検索キーが手書き文字データである場合には、手書き文字認識処理を行い、複数のテキストデータ(認識候補)を選出する。なお、認識候補を複数挙げる場合には、認識処理の際の類似度(スコア)が大きいものから順番に認識候補とすればよい。また、最上位の認識候補とは、類似度(スコア)が最も大きいものである。ここで、類似度(スコア)とは、例えば、入力された音声データの特徴と、予め準備した単語辞書中の単語に関連付けられた特徴(またはHMM(隠れマルコフモデル)などの音響モデル)との照合における類似の度合いにより、表現することができる。
【0031】
また、単語音声認識処理については、特開平7−104675号公報、または「IT Text 音声認識システム」(鹿野他編著、オーム社)p.1〜p.50に詳しい。
【0032】
認識部102は、連続音声認識システムを導入してもよく、例えば開始終了ボタンの操作などに挟まれた一連の(一単語または複数単語からなる)入力音声データを認識してテキストデータを得られるものであれば、その詳細な構成を限定するものではない。また、手書き文字認識処理については、シャープ技報通巻57号1993年発行p.5〜p.8に詳しい。なお、認識部102は、所定の枠の中に一文字ずつ入力する方式を用いてもよく、また所定の枠の中に複数の文字を入力する方式を用いてもよく、例えば開始終了ボタンの操作などに挟まれた一連の入力手書き文字データを認識してテキストデータを得られるものであれば、その詳細な構成を限定するものではない。
【0033】
ここで、上記の検索キー入力部101、及び上記の認識部102は、音声入力及び音声認識のみの機能により構成されてもよく、また手書き文字入力及び手書き文字認識のみの機能により構成されてもよく、また音声と手書き文字の両者に対応する機能により構成されていてもよい。
【0034】
103は、認識部102で認識されたテキストデータの検索キーを用いて、検索対象データから検索キーに対応するデータを検索する検索部である。検索部103は、専用のLSI素子などで構成される。検索対象データは少なくともテキストデータを含むデータによって構成される。この検索対象データはネットワークを介してアクセス可能なデータベースに保存されており、データベースにアクセスする手段により検索可能となっている。なお、表示処理装置に、検索対象データを保存する、例えば予め半導体メモリ、磁気メモリ、または記憶装置などによって実現される第2記憶手段(図示せず)を設け、この第2記憶手段をアクセスして検索処理するような構成であってもよい。
【0035】
検索キーを用いて検索対象データから検索を行う検索エンジンについては、その詳細な構成を限定するものではなく、例えば、検索キーテキストと同一のテキストデータを含む検索対象データ中のデータを抽出し、抽出したデータのタイトルまたは冒頭テキストを、予めユーザが指定する所定の数Nを最大数として、検索による合致度合いが高いほど高い順位になるような検索結果(最大N個)を得る。
【0036】
なお、認識部102で得られた認識候補と、検索部103で検索されたその認識候補に対応する複数の検索結果とは、例えばテーブル状に関連づけられて半導体メモリなどによって実現される第1記憶手段(図示せず)に記憶される。
【0037】
104は、認識部102で得られた複数の認識候補からなる検索キーと、検索部103で得られた複数の検索結果とを同時に表示するようにレイアウトする表示レイアウト作成部であり、本発明の一つの特徴となる部分である。表示レイアウト作成部104は、専用のLSI素子などで構成され、ユーザ指示部106の指示などに基づき表示レイアウトを作成する。表示レイアウトの例については後述する。
【0038】
105は、表示レイアウト作成部104で作成した表示レイアウトに従い、表示を行う表示部である。表示部105は、液晶ディスプレイや有機EL(エレクトロ・ルミネッセンス)ディスプレイなどによって構成されるが、その詳細な構成を限定するものではない。
【0039】
なお、本発明に係る表示処理装置は、必ずしも表示部105を備えている必要はなく、表示部としてのディスプレイがワイヤレスで構成されて表処理装置とは別個に設け、表示処理装置から表示レイアウトデータをディスプレイに送信することによって、モニタ等に表示するような構成であってもよい。
【0040】
106は、ユーザの指示を受け付けて、表示レイアウト作成部104との間でユーザ指示情報と表示レイアウト情報の受け渡しを行うユーザ指示部である。ユーザ指示部106は、例えば図8に示すようなタッチペン式の携帯情報端末(PDA)の場合、タッチ入力可能な表示部72で構成される。この際、タッチ入力には、例えば専用のタッチペン73などを用いる。
【0041】
図2は実施の形態1に係る表示処理装置が実行する処理全体のフローチャートである。以下、図2に従って、表示処理動作について詳細に説明する。
ステップS101(以下、「ステップ」を省略し単に「S101」と記述する。)では、検索キー入力部101から、音声または手書き文字の検索キーを読み込む。
【0042】
S102では、認識部102により、S101で入力した音声または手書き文字の検索キーを認識(音声認識または手書き文字認識)し、検索キーのテキストデータ候補(類似度の大きい順に複数の認識候補)を得る。なお、認識候補の個数は、検索キーの内容に応じて、後述する予めシステム内で設定された(若しくはユーザ指示により変更された)所定の候補数M以上または未満の場合がある。
【0043】
S103では、検索部103により、S102で得た検索キーの認識候補第1位(類似度の大きさが1位の候補)を現在の検索キーとして設定する。
【0044】
S104では、検索部103により、S103で設定した検索キーを用いて、データベースにアクセスする手段によりアクセスされる検索対象データから検索し、複数の検索結果(検索キーとの関連が大きい順に複数の検索結果、最大N個)を得る。ここで、所定の検索結果最大個数Nは、予めシステム内で設定してもよく、またユーザ指示部106により動的に設定変更できるように設計してもよい。なお、検索対象データを保存する第2記憶手段(図示せず)を設ける構成にあっては、第2記憶手段へのアクセスによって検索処理を行ってもよい。
【0045】
S105では、検索部103が、現在の検索キーと、当該検索キーを用いて検索した複数の検索結果とを、半導体メモリなどの第1記憶手段(図示せず)に保存する。
【0046】
S106では、検索部103が、S102で得た複数の認識候補のうち現在の検索キーとして設定した認識候補の次の検索キー認識候補が存在するかどうか判定する。S106において次の候補が存在する場合はS107に進み、存在しない場合はS109にスキップする。
【0047】
S107では、検索部103が、S102で得た認識候補から現在の検索キーの次候補を、新たな現在の検索キーとして設定する。
S108では、検索部103が、S107で設定した現在の検索キーが所定の候補数内(M個以内)であるかどうか判定する。S108において、所定の候補数内である場合はS104に戻り再び検索を行う。S108において、所定の候補数を超える場合はS109に進む。ここで、所定の候補数Mは、予めシステム内で設定してもよく、またユーザ指示部106により動的に設定変更できるように設計してもよい。
【0048】
S109では、表示レイアウト作成部104により、表示レイアウトを作成する。S109の処理内容の詳細については後述する。
【0049】
S110では、表示部105により、S109で作成した表示レイアウトに従って表示する。
【0050】
S111では、ユーザ指示部106からのユーザ指示の有無が判断され、ユーザ指示内容が終了指示の場合は表示処理を終了し、ユーザ指示内容が選択変更または確定指示の場合はS109に戻って再び表示レイアウトを作成し、上記のいずれの指示でもない場合はユーザ指示の待ち状態となる。
【0051】
以下に、上記の処理を具体的に説明する。
(1)検索キーの認識候補数が所定候補数M以下の場合
処理は、S101→S102→S103を辿り、その後、S104→S105→S106→S107→S108→S104の閉ループ処理を認識候補数だけ巡り、全ての認識候補の検索キーによる検索が行われる。その後、S106において次の検索キー候補が存在しないことから、S106→S109→S110と辿って、複数の認識結果と複数の検索結果とが所定のレイアウトで表示される。
(2)検索キーの認識候補数が所定候補数Mを超える場合
処理は、S101→S102→S103を辿り、その後、S104→S105→S106→S107→S108→S104の閉ループ処理を所定候補数Mだけ巡り、第1候補の検索キーから第M候補の検索キーに至るM個の検索キーの検索が行われる。その後、S108において現在の検索キー(第M+1候補の検索キーに相当)が所定候補数Mを超えていることから、S108→S109→S110と辿って、複数の認識結果と複数の検索結果とが所定のレイアウトで表示される。
【0052】
図3は実施の形態1に係る表示処理装置が実行する表示レイアウト作成処理のフローチャートである。以下、図3に従って、表示レイアウト作成処理動作について詳細に説明する。なお、以下の処理動作は表示レイアウト作成部104により行う。
【0053】
S201では、図2のS109に入るとまず、表示レイアウトの作成が1回目かどうかを判定する。ここで、1回目とは、検索キー入力部101で入力された検索キーに対応する検索結果表示が1回目という意味である。1回目である場合はS202に進み、1回目でない場合はS203に進む。
【0054】
S202では、S105で保存した認識候補として得られた複数の検索キーの情報(テキスト表記など)を設定する。具体的には、例えば図4に示す実施の形態1に係る表示処理装置の表示レイアウト例のタブ11、12、13のような形式で認識候補を最大M個まで表示するようにレイアウトする。認識候補がM個未満であれば認識候補の数まで表示するようにレイアウトする。また、このとき最大M個の認識候補の中から、類似度が一番大きい認識候補(1位候補)を選択した状態として設定する。例えば図4の場合、タブ11が現在選択されている認識候補(認識候補1)に対応している。S202の処理が終了すると、S204に進む。
【0055】
S203では、認識候補の選択変更の有無を判定する。認識候補の選択変更がある場合はS204に進み、ない場合はS205に進む。
S204では、現在設定されている検索キー認識候補に対応するS105で保存した検索結果の情報(検索データへのリンクなど)を、例えばリスト形式で表示するようにレイアウトする。具体的には、例えば図4の場合、リストデータ14、15、16が検索結果の情報である場合の表示レイアウトの例である。また、このとき認識候補を示すタブ11、12、13についても選択状態を現在設定されている検索キーに合わせて変更する。具体的には、例えば「認識候補2」の検索キーが選択された場合、図5に示すようにタブ22が選択された状態として表示レイアウトを作成する。S204の処理が終了すると、表示レイアウト作成部の処理を終了し、図2のS110に進む。
【0056】
S205では、ユーザが検索結果を確定したどうかを判定する。検索結果を確定した場合はS206に進み、確定していない場合は表示レイアウト作成処理を終了し、図2のS110に進む。
【0057】
S206では、検索リストに示されたリンクのリンク先データや詳細情報などを表示するといった検索結果確定に基づく処理を行う。ここで、検索結果確定時の処理方法については、特に限定するものではなく、インターネットホームページの検索であればホームページ表示の処理、画像データの検索であれば確定した検索結果によって決定付けられる画像データを表示するなどすればよい。S206の処理が終了すると、表示レイアウト作成部の処理を終了し、図2のS110に進む。
【0058】
以下に、上記の処理を具体的に説明する。
(1)検索結果表示が1回目の場合
処理は、S201→S202→S204→S110を辿り、例えば図4に示す表示レイアウトで表示される。
(2)ユーザから認識候補の選択変更指示があった場合
この場合は検索結果表示が少なくとも2回目以降となるので、処理は、S201→S203→S204→S110を辿り、選択変更指示された認識候補に対応する検索結果情報に設定変更され、例えば認識候補2が選択された場合を想定すると、図5に示す表示レイアウトで表示される。
(3)ユーザから検索結果確定指示があった場合
この場合も検索結果表示が少なくとも2回目以降となるので、処理は、S201→S203→S205→S206→S110を辿り、検索結果確定に基づく処理に応じた表示が行われる。
【0059】
次いで、レイウウトの具体的態様について説明する。図4または図5において、栞付きシートの前後関係を模した形式で、現在選択されている認識候補を前側に、その他の認識候補を後側に配置した状態を模した形式で表現しているが、選択とその他との相違を表現できれば、その表現形式は他に置き換えてもよい。例えば、認識候補を表現する文字色を異なるもの(例えば、選択は赤、その他は黒)としてもよく、また、例えば、認識候補を表現する文字の周囲の色を異なるもの(例えば、選択は青、その他は白)としてもよい。さらに、これらを組み合わせた形式で表現してもよい。
【0060】
また、図4または図5において、栞付きシートの栞の形式で、認識候補を表現しているが、S102で認識処理(例えば音声認識または手書き文字認識など)をした際に、認識の類似度(スコアなど)を算出し、S105で上記類似度を保存し、S202で認識候補の表示をレイアウトする際に、類似度が大きいほどタブの面積を大きくしてもよい。また、類似度が大きいほど、タブの奥行き方向の厚みを大きくしてもよい。また、類似度が大きいほど、認識候補の表示に際し文字の大きさを大きくしてもよい。さらに、これらを組み合わせた形式で表現してもよい。このように類似度の大きさに応じて認識候補の表示形態を調整することにより、各認識候補の確からしさを視覚的に表現することが可能となる。
【0061】
具体的には、栞状のタブ形式の場合、第1番目の認識候補の類似度と第M番目の認識候補の類似度との差を求め、上記求めた差を分母として、第1番目の認識候補の類似度と第2番目の認識候補の類似度との差、第2番目の認識候補の類似度と第3番目の認識候補の類似度との差、以下同様に差を求め、それぞれを分子とした場合の割合を、第1番目の認識候補に割り当てる幅の割合、第2番目の認識候補に割り当てる幅の割合、以下同様にして幅の割合を決定し、タブを並べて表示する方向の最大幅を各割合に応じて割り当てて表現すればよい。また、奥行き方向の最大厚み(深さ)を予め決定しておき、上記の各幅の割合を、奥行き方向の深さ位置に置き換えて表現してもよい。また、文字の最大面積と最小面積を予め決定しておき、両者の面積の差を求め、上記の各幅の割合を最大文字面積から最小文字面積への縮小割合として置き換えて表現してもよい。
【0062】
また、図6に示した実施の形態1に係る表示処理装置の表示レイアウト例のように、S104で得られる検索結果の数に応じて、タブの奥行き方向の数を決定して表現することもできる。奥行き方向の数を調整することにより、各認識候補を検索キーとしたときに得られる検索結果数を視覚的に表現することが可能となる。図6は検索キーとして「きょうと」と発話した場合の例であり、認識部102において音声認識処理を行った場合の例である。
【0063】
具体的には、例えば、検索結果を最大5個まで表示するようにしておき(リストデータ1〜リストデータ5)、各認識候補を検索キーとしたときに得られる検索結果数から1を引いた後に5で除した際の除数に1を足した数が、タブの奥行き方向の数となる。例えば、第2番目の認識候補(京都)を検索キーとしたときに得られる検索結果数が13個の場合、3がタブの奥行き方向の数となり、図6のタブ6、タブ7、タブ8が奥行き方向の表現例である。
【0064】
また、検索の相関の度合いに応じて認識候補の表示形態を調整するようにしてもよい。具体的には、例えば、図6に示すように、検索における相関の度合いに応じて、相関が大きいほど文字を大きく、また文字を太く表現する。さらに、これらを組み合わせた形式で表現してもよい。ここで、検索における相関の度合いとしては、例えば、検索対象となる各データにおける検索キーの一致個数を用いればよい。また例えば、検索キーが複数の単語から構成される場合、各検索キー単語に関する一致個数を、同一の検索キーが検索対象データ全体に含まれる個数で除することにより正規化して、各検索キー単語について正規化された一致個数を加算した値を用いればよい。
【0065】
このように、検索結果数や検索における相関の度合いを認識候補の表示形式に反映することによって、ユーザが所望の検索結果を選択する作業を支援することが可能となる。
【0066】
(適用例1)
図7は実施の形態1に係る表示処理装置をパーソナルコンピュータ(PC)に適用した例である。図7において、61はPC本体であり、認識部102、検索部103、及び表示レイアウト作成部104等を含む。62はPCの表示部(表示部105に相当)であり、液晶ディスプレイやCRTディスプレイなどで構成される。63はPCのユーザ指示部(ユーザ指示部106に相当)であり、例えばPCと共に動作させるマウスなどで構成される。
【0067】
図7に示すようにPCに適用した場合、例えば図4〜図6に示した表示レイアウト例が画面に表示されている際のユーザ指示は、マウスカーソルを選択や確定したい位置に合わせてクリックすることにより行われる。
【0068】
(適用例2)
図8は実施の形態1に係る表示処理装置を携帯情報端末(PDA)に適用した例である。図8において、71はPDA本体であり、認識部102、検索部103、及び表示レイアウト作成部104等を含む。72はPDAの表示部(表示部105に相当)であり、液晶ディスプレイなどで構成される。73はPDAのユーザ指示部(ユーザ指示部106に相当)であり、例えばPDAに付属するプラスティック製のペンなどで構成される。
【0069】
図8に示すようにPDAに適用した場合、例えば図4〜図6に示した表示レイアウト例が画面に表示されている際のユーザ指示は、選択や確定したい位置をペンタッチすることにより行われる。
【0070】
(実施の形態2)
図9は実施の形態2に係る表示処理装置が実行する表示レイアウト作成処理のフローチャートである。以下、図9に従って、表示レイアウト作成処理動作について詳細に説明する。なお、本実施の形態2における表示処理装置の構成は、図1で示される実施の形態1の構成と同様であり、また、本実施の形態2における全体の処理動作についても図2に示す実施の形態1の処理動作と同様である。実施の形態1と異なる点は、S109の表示レイアウト作成処理の処理内容である。従って、実施の形態1と同様の箇所については、説明を省略する。なお、以下の処理動作は表示レイアウト作成部104により行う。
【0071】
S301では、図2のS109に入るとまず、表示レイアウトの作成が1回目かどうかを判定する。ここで、1回目とは、検索キー入力部101で入力された検索キーに対応する検索結果表示が1回目という意味である。1回目である場合はS302に進み、1回目でない場合はS303に進む。
【0072】
S302では、S105で保存した認識候補として得られた複数の検索キーの情報(テキスト表記など)を設定する。具体的には、例えば図10に示す実施の形態2に係る表示処理装置の表示レイアウト例のタブ31、32、33のような形式で認識候補を最大M個まで表示するようにレイアウトする。認識候補がM個未満であれば認識候補の数まで表示するようにレイアウトする。また、このとき最大M個の認識候補の中から、類似度が一番大きい認識候補(1位候補)を選択した状態として設定する。例えば図10の場合、タブ31が現在選択されている認識候補(認識候補1)に対応している。S302の処理が終了すると、S304に進む。
【0073】
S303では、認識候補の選択変更の有無を判定する。認識候補の選択変更がある場合はS304に進み、ない場合はS305に進む。
S304では、現在設定されている検索キー認識候補に対応するS105で保存した検索結果の情報(検索データへのリンクなど)を、例えばリスト形式で表示するようにレイアウトする。具体的には、例えば図10の場合、リストデータ34、35、36が検索結果の情報表示レイアウトの例である。また、このとき認識候補を示すタブ31、32、33についても選択状態を現在設定されている検索キーに合わせて変更する。具体的には、例えば、「認識候補2」の検索キーが選択された場合、図11に示すようにタブ42が選択された状態として表示レイアウトを作成する。S304の処理が終了すると、S306に進む。
【0074】
S305では、検索結果の選択変更の有無を判定する。検索結果の選択変更がある場合はS306に進み、ない場合はS307に進む。
S306では、選択された検索結果をハイライトするように表示レイアウトを修正する。ここで、レイアウト作成が1回目の場合は、システムまたはユーザが予め設定した検索結果(例えば最も検索キーとの関連が大きい「検索結果11」)をハイライト処理する。具体的には、例えば図10の表示レイアウト例の場合は、検索結果34がハイライト状態で、検索結果35および36がハイライトされていない状態である。また、図11の表示レイアウト例の場合は、検索結果44がハイライト状態で、検索結果45および46がハイライトされていない状態である。また、図12の表示レイアウト例の場合は、検索結果55がハイライト状態である。そして、S306の処理が終了すると、表示レイアウト作成部の処理を終了し、図2のS110に進む。
【0075】
S307では、ユーザが検索結果を確定したどうかを判定する。検索結果を確定した場合はS308に進み、確定していない場合は表示レイアウト作成処理を終了し、図2のS110に進む。
【0076】
S308では、検索リストに示されたリンクのリンク先データや詳細情報などを表示するといった検索結果確定に基づく処理を行う。ここで、検索結果確定時の処理方法については、特に限定するものではなく、インターネットホームページの検索であればホームページ表示の処理、画像データの検索であれば確定した検索結果によって決定付けられる画像データを表示するなどすればよい。S308の処理が終了すると、表示レイアウト作成部の処理を終了し、図2のS110に進む。
【0077】
以下に、上記の処理を具体的に説明する。
(1)検索結果表示が1回目の場合
処理は、S301→S302→S304→S306→S110を辿り、例えば図10に示す表示レイアウトで表示される。
(2)ユーザから認識候補の選択変更指示があった場合
この場合は検索結果表示が少なくとも2回目以降となるので、処理は、S301→S303→S304→S306→S110を辿り、選択変更指示された認識候補に対応する検索結果情報に設定変更され、例えば認識候補2が選択された場合を想定すると、図11に示す表示レイアウトで表示される。
(3)ユーザから検索結果の選択変更指示があった場合
この場合も検索結果表示が少なくとも2回目以降となるので、処理は、S301→S303→S305→S306→S110を辿り、選択変更指示された検索結果に対してハイライトが設定変更され、例えば「検索結果22」が選択された場合を想定すると、図12に示す表示レイアウトで表示される。
(4)ユーザから検索結果確定指示があった場合
この場合も検索結果表示が少なくとも2回目以降となるので、処理は、S301→S303→S305→S307→S308→S110を辿り、検索結果確定に基づく処理に応じた表示が行われる。
【0078】
次いで、レイウウトの具体的態様について説明する。図10〜図12において、文字の周囲の色で、現在選択されている認識候補を網点で模した灰色に、その他の認識候補を白色で表現しているが、選択とその他との相違を表現できれば、その表現形式は他に置き換えてもよい。例えば、認識候補を表現する文字色を異なるもの(例えば、選択は赤、その他は黒)としてもよい。さらに、これらを組み合わせた形式で表現してもよい。
【0079】
また、図10〜図12において、栞付きシートの栞の形式で、認識候補を表現しているが、S102で認識処理(例えば音声認識または手書き文字認識など)をした際に、認識の類似度(スコアなど)を算出し、S105で上記類似度を保存し、S302で認識候補の表示をレイアウトする際に、類似度が大きいほどタブの面積を大きくしてもよい。また、類似度が大きいほど、タブの奥行き方向の厚みを大きくしてもよい。また、類似度が大きいほど、認識候補の表示に際し文字の大きさを大きくしてもよい。さらに、これらを組み合わせた形式で表現してもよい。このように類似度の大きさに応じて認識候補の表示形態を調整することにより、各認識候補の確からしさを視覚的に表現することが可能となる。
【0080】
具体的には、栞状のタブ形式の場合、第1番目の認識候補の類似度と第M番目の認識候補の類似度との差を求め、上記求めた差を分母として、第1番目の認識候補の類似度と第2番目の認識候補の類似度との差、第2番目の認識候補の類似度と第3番目の認識候補の類似度との差、以下同様に差を求め、それぞれを分子とした場合の割合を、第1番目の認識候補に割り当てる幅の割合、第2番目の認識候補に割り当てる幅の割合、以下同様にして幅の割合を決定し、タブを並べて表示する方向の最大幅を各割合に応じて割り当てて表現すればよい。また、奥行き方向の最大厚み(深さ)を予め決定しておき、上記の各幅の割合を、奥行き方向の深さ位置に置き換えて表現してもよい。また、文字の最大面積と最小面積を予め決定しておき、両者の面積の差を求め、上記の各幅の割合を最大文字面積から最小文字面積への縮小割合として置き換えて表現してもよい。
【0081】
また、図6に示した実施の形態1に係る表示処理装置の表示レイアウト例と同様に、S104で得られる検索結果の数に応じて、タブの奥行き方向を調整することもできる。この際、十字キーとの関連を考慮して、奥行き方向のタブの数としてではなく、タブそのものを立体的に表現してその奥行きを深くすることで表現できる。奥行きを調整することにより、各認識候補を検索キーとしたときに得られる検索結果数を視覚的に表現することが可能となる。
【0082】
また、図6と同様に、認識候補の表示形式を、検索の相関の度合いに応じて、相関が大きいほど文字を大きく、また文字を太く表現してもよい。さらに、これらを組み合わせた形式で表現してもよい。また、検索における相関の度合いとしては、上記実施の形態1と同様に、検索対象となる各データにおける検索キーの一致個数を用いればよい。また例えば、検索キーが複数の単語から構成される場合、各検索キー単語に関する一致個数を、同一の検索キーが検索対象データ全体に含まれる個数で除することにより正規化して、各検索キー単語について正規化された一致個数を加算した値を用いればよい。
このように、検索結果数や検索における相関の度合いを認識候補の表示形式に反映することによって、ユーザが所望の検索結果を選択する作業を支援することが可能となる。
【0083】
(適用例1)
図13は実施の形態2に係る表示処理装置を携帯情報端末(PDA)に適用した例である。図13において、81はPDA本体であり、認識部102、検索部103、表示レイアウト作成部104を含む。82はPDAの表示部(表示部105に相当)であり、液晶ディスプレイなどで構成される。83〜87はPDAのユーザ指示部(ユーザ指示部106に相当)であり、例えばPDA本体81に付随する十字ボタン83〜86や決定ボタン87などで構成される。
【0084】
図13に示すようにPDAで実現した場合、例えば図10〜図12に示した表示レイアウト例が画面に表示されている際のユーザ指示は、例えば、十字ボタン83および85による左右方向の操作により認識候補選択変更を行い、また十字ボタン84および86による上下方向の操作により検索結果選択変更を行い、また決定ボタン87により検索結果確定を行う。このような十字方向の指示構造を用いることにより、画面上のポインタなどによる指示が困難な機器においても、十字ボタンと決定ボタンのみで容易に所望の検索結果を得ることを可能とする。
【0085】
(適用例2)
図14は実施の形態2に係る表示処理装置を携帯電話に適用した例である。図14において、91は携帯電話本体であり、認識部102、検索部103、表示レイアウト作成部104を含む。92は携帯電話の表示部(表示部105に相当)であり、液晶ディスプレイなどで構成される。93〜97は携帯電話のユーザ指示部(ユーザ指示部106に相当)であり、例えば携帯電話本体91に付随する十字ボタン93〜96や決定ボタン97などで構成される。
【0086】
図14に示すように携帯電話で実現した場合、例えば図10〜図12に示した表示レイアウト例が画面に表示されている際のユーザ指示は、例えば、十字ボタン93および95による左右方向の操作により認識候補選択変更を行い、また十字ボタン94および96による上下方向の操作により検索結果選択変更を行い、また決定ボタン97により検索結果確定を行う。
【0087】
(その他の事項)
上記実施の形態1、2では表示処理装置及びその表示処理装置において用いられる表示処理方法について説明したけれども、本発明の技術思想は、これら表示処理装置及び表示処理方法に限らず、表示処理方法を実現する表示処理プログラムや、表示処理プログラムを記録した記録媒体にも適用することができる。
【0088】
【発明の効果】
以上説明した本発明によると、入力された検索キーを認識処理し、検索キーとして類似度の大きいものから順に複数の認識候補を選出し、複数の認識候補を検索キーとして用いて、各検索キーそれぞれについて検索し、複数の認識候補と複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果とを同時に表示し得るような表示レイアウトを作成してその内容を表示することにより、認識処理性能に起因する曖昧性(不確かさ)を含み得る検索キーを用いて検索対象データから検索を行う場合に、ユーザが検索キーの確定処理を行うことなく検索結果を得ることが可能となり、かつ検索キーを誤認識しても再入力することなく正しい検索キーによる検索結果を得ることが可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態1に係る表示処理装置のブロック図である。
【図2】本発明の実施の形態1に係る表示処理装置が実行する処理の全体を示すフローチャートである。
【図3】本発明の実施の形態1に係る表示処理装置が実行する表示レイアウト作成処理のフローチャートである。
【図4】本発明の実施の形態1に係る表示処理装置の表示レイアウトの一例を示す図である。
【図5】本発明の実施の形態1に係る表示処理装置の表示レイアウトの他の一例を示す図である。
【図6】本発明の実施の形態1に係る表示処理装置の表示レイアウトのさらに他の一例を示す図である。
【図7】本発明の実施の形態1に係る表示処理装置をパーソナルコンピュータ(PC)に適用した例である。
【図8】本発明の実施の形態1に係る表示処理装置を携帯情報端末(PDA)に適用した例である。
【図9】本発明の実施の形態2に係る表示処理装置が実行する表示レイアウト作成処理のフローチャートである。
【図10】本発明の実施の形態2に係る表示処理装置の表示レイアウトの一例を示す図である。
【図11】本発明の実施の形態2に係る表示処理装置の表示レイアウトの他の一例を示す図である。
【図12】本発明の実施の形態2に係る表示処理装置の表示レイアウトのさらに他の一例を示す図である。
【図13】本発明の実施の形態2に係る表示処理装置を携帯情報端末(PDA)に適用した例である。
【図14】本発明の実施の形態2に係る表示処理装置を携帯電話に適用した例である。
【図15】従来の検索結果のリストの一例を示す図である。
【符号の説明】
101 検索キー入力部、
102 認識部、
103 検索部、
104 表示レイアウト作成部、
105 表示部、
106 ユーザ指示部。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a display processing apparatus, a display processing method, a display processing program, and a recording medium, and in particular, performs display processing so that a search result obtained by a search key obtained through recognition processing is displayed in a predetermined display layout. The present invention relates to a display processing device, a display processing method, a display processing program, and a recording medium.
[0002]
[Prior art]
In recent years, speech recognition and handwritten character recognition technologies that recognize voice data and handwritten character data to obtain text format data are used in personal computers (PCs), car navigation systems, personal digital assistants (PDAs), and the like. .
[0003]
As a conventional example of a recognition result display method in such speech recognition and handwritten character recognition techniques, for example, as disclosed in Japanese Patent Laid-Open No. 7-104675 (see Patent Document 1), constraint conditions due to weak knowledge And voice recognition using two knowledge dictionaries with constraints based on strong knowledge, and by displaying a plurality of recognition candidates obtained from both, it is possible to deal with minute mistakes due to different memory of the speaker, etc. It is known to increase flexibility and reduce the appearance of similar recognition candidates.
[0004]
Also, for example, Sharp Technical Bulletin 57, published in 1993, p. 5-p. 8 (see Non-Patent Document 1) describes the practical application of an online handwriting recognition system.
[0005]
On the other hand, there are search engines such as those found in web browser content services on PCs. For example, in an example of a search engine found in a web browser content service on a PC, text data (such as a character string) serving as a search key is input using a keyboard and a search button is clicked, thereby FIG. Provides a list of search results as shown in.
[0006]
Furthermore, the search key input as speech data or handwritten character data is recognized by speech recognition processing or handwritten character recognition processing to acquire text data, and then one search key (referred to as one word) obtained as a recognition result. A combination of searching using one recognition result instead of meaning and obtaining one or a plurality of search results is conceivable.
[0007]
[Patent Document 1]
JP 7-104675 A (Claim 1, paragraph 0011)
[Non-Patent Document 1]
Sharp Technical Bulletin 57, 1993, p. 5-p. 8
[0008]
[Problems to be solved by the invention]
However, when the recognition result display method disclosed in Patent Literature 1 is used, the recognition result of the input speech data cannot be reliably derived as the first candidate, and the speaker can select from the recognition candidates. It is necessary to confirm the result.
[0009]
Further, in the online handwriting recognition system shown in Non-Patent Document 1, the recognition result of the input handwritten character data cannot be reliably derived as the first candidate, and the result of the input person by selecting from the recognition candidates, etc. Need to be confirmed.
[0010]
In addition, in the example of the search engine found in the above-mentioned web browser content service on the PC, it is generally assumed that the search key itself includes ambiguity acoustically or image (character image). I have not done it.
[0011]
Further, in the combination of the above speech recognition, handwritten character recognition and search engine, it is necessary to remove the ambiguity of the search key by inputting voice data or handwritten character data before obtaining a search result by the search engine. In addition, when a search is performed after the first candidate is automatically determined as a search key without removing ambiguity, re-input is required to obtain a desired search result unless the first candidate is a correct search key. .
[0012]
The present invention has been devised in view of the above circumstances, and its purpose is to perform a search from search target data using a search key that may include ambiguity (uncertainty) due to recognition processing performance. In addition, it is possible for the user to obtain a search result without performing a search key determination process, and to obtain a search result with a correct search key without re-input even if the search key is erroneously recognized. A display processing device, a display processing method, a display processing program, and a recording medium are provided.
[0013]
[Means for Solving the Problems]
In order to solve the above-described problem, the present invention provides a display processing device that performs a display process so that a search result obtained by a search key obtained through a recognition process is displayed in a predetermined display layout. Recognition means for selecting a plurality of recognition candidates in descending order of similarity as search keys, means for accessing a database, and using a plurality of recognition candidates selected by the recognition means as search keys A search means for searching data corresponding to a search key from the database; a plurality of recognition candidates selected by the recognition means; and a plurality of search results searched by the search means; a recognition candidate and its recognition candidate A first storage means for storing a plurality of search results corresponding to the above, and recognition candidates and search results stored in the first storage means A display layout creating means for creating a display layout capable of simultaneously displaying a plurality of recognition candidates and a plurality of search results related to any one of the plurality of recognition candidates; With The display layout creating means uses a plurality of search results related to a recognition candidate having the highest similarity as a plurality of search results related to any one of the plurality of recognition candidates. Create a display layout to display the second time It is characterized by that.
[0014]
As described above, the input search key is recognized and a plurality of recognition candidates are selected, each recognition candidate is searched as a search key, and a plurality of recognition candidates and a plurality of search results can be displayed simultaneously. By displaying in the layout, even if the input search key contains ambiguity (uncertainty) due to the recognition processing performance, the user can obtain the search result without performing the search key determination process. In addition, even if the search key is erroneously recognized, a search result using the correct search key can be obtained without re-input.
[0015]
When inputting the search key, a search key input unit such as a microphone or a tablet may be provided in the display processing device, and may be configured to be input by the search key input unit provided in the display processing device. The microphone or the tablet may be configured wirelessly and may be configured to input to the display processing device by transmission from the microphone or the like.
[0016]
Further, when displaying the contents laid out by the display layout creating means, a display means such as a monitor may be provided in the display processing device and displayed by the display means provided in the display processing device. In addition, the monitor or the like may be configured wirelessly, and display layout data may be transmitted from the display processing apparatus to the monitor or the like to be displayed on the monitor or the like.
[0017]
Further, when searching for the search target data, it may be a search process via a network, or may be a search process of a storage means (second storage means) provided in the display processing apparatus.
[0018]
In the present invention, the recognition candidate display form may be modified to reflect a search result obtained when the recognition candidate is used as a search key. For example, depth adjustment of recognition candidates based on the amount of search results, adjustment of character size, character thickness, or character color based on the degree of correlation of search results.
[0019]
The present invention may include a user instruction unit that receives a user instruction and transfers the user instruction information to the display layout generation unit. The input search key may be voice input, the recognition means may be voice recognition means, the input search key may be handwritten character input, and the recognition means may be handwritten character recognition means. . The search key may be text data, and the data to be searched by the search means may be text data.
[0020]
In the present invention, when displaying a plurality of recognition candidates, any one of the plurality of recognition candidates may be displayed in a form different from other recognition candidates. Specifically, the difference in the display form is due to the fact that at least one of the character color and the color surrounding the character is displayed in a different manner, imitating the front-rear relationship of the sheet with a tack. This makes it possible to visually recognize one recognition candidate and another recognition candidate.
[0021]
According to the present invention, the plurality of search results to be laid out may be a plurality of search results related to the one recognition candidate. Thereby, a search result can be obtained without determining a search key. When displaying a plurality of search results, any one of the plurality of search results may be displayed in a different form from the other search results. Specifically, the difference in display form is that at least one of the character color and the surrounding color of the character is displayed differently.
[0022]
In the present invention, the user instruction unit may be configured to instruct and select any one of a plurality of recognition candidates, and may be configured to instruct and select any one of a plurality of search results. The configuration may be such that any one of the search results is selected and instructed. Specifically, the user instruction unit may be configured to be able to input a user instruction by instructing any one of four different directions. The four different directions are the four directions that form the cross direction, and the four-direction indicating structure that forms the cross direction is related to two sets of direction indicating structures that face each other on the same axis, and one set is a selection instruction for recognition candidates. The other set may be configured to instruct selection of search results. By using such an instruction structure in the cross direction, it is possible to easily obtain a desired search result even in a device that is difficult to specify with a pointer on the screen.
[0023]
In the present invention, when displaying a plurality of recognition candidates, the display form of each recognition candidate may be adjusted based on the degree of similarity. This makes it possible to visually express the likelihood of each recognition candidate, and it is possible to easily correct even in the case of erroneous recognition. Specifically, the surrounding area of a character, the size of a tab or button imitating a heel, the depth in the depth direction of a tab or button simulating a moth, the depth direction of a tab or button simulating a moth, etc. By adjusting at least one of the expression imitating the depth of the character and the size of the character.
[0024]
Further, the display mode of recognition candidates may be adjusted based on the number of search results. This makes it possible to display the search results based on the size of the search result information regardless of the accuracy of the recognition candidates. Specifically, the larger the number of search results, the larger the surrounding area of the character, the greater the number in the depth direction of a tab or button that imitates 栞, and the tab that imitates 栞Or, by adjusting at least one of the display such as a button representing a state where the number of buttons in the depth direction is large.
[0025]
Further, the display mode of recognition candidates may be adjusted based on the degree of correlation of search. Specifically, by adjusting at least one of expressing the character larger as the correlation is larger and expressing the character thicker as the correlation is larger.
[0026]
Further, the present invention may be a display processing method used in the display processing device, a display processing program for realizing the display processing method, or a recording medium on which the display processing program is recorded.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the illustrated embodiments.
(Embodiment 1)
FIG. 1 is a block diagram of a display processing apparatus according to Embodiment 1 of the present invention. In FIG. 1, reference numeral 101 denotes a search key input unit that accepts input of a search key and passes it to the subsequent stage. Here, the search key means key information serving as a search key.
[0028]
The search key input unit 101 is configured with a microphone when receiving audio data as input, and delivers digital audio data or analog audio data obtained by performing A / D (analog / digital) conversion processing to a subsequent stage. The search key input unit 101 is configured by a pressure-sensitive device such as a tablet when handwritten character data is received as input, and passes handwritten characters by a user's pen operation or the like as digital image data to the subsequent stage. Here, the microphone or pressure-sensitive device constituting the search key input unit 101 is not limited in shape, arrangement, material, etc., and voice data or handwritten character data is converted into digital (or analog) voice data or digital image. Anything may be accepted as data. For example, the pressure sensitive device may be replaced with an optical device.
[0029]
Note that the display processing device according to the present invention does not necessarily include the search key input unit 101, and the microphone and tablet as the search key input unit are configured wirelessly and provided separately from the table processing device. It may be configured to input to the display processing device by transmission from a microphone or the like.
[0030]
102 is a search key input Part A recognition unit that recognizes the search key input in 101. The recognition unit 102 is configured by a dedicated LSI (Large Scale Integrated circuit) element or the like. If the input search key is speech data, speech recognition processing is performed to select a plurality of text data (recognition candidate data, hereinafter abbreviated as recognition candidates). If the input search key is handwritten character data, handwritten character recognition processing is performed to select a plurality of text data (recognition candidates). When a plurality of recognition candidates are listed, the recognition candidates may be selected in descending order of similarity (score) in the recognition process. The highest recognition candidate has the highest similarity (score). Here, the similarity (score) is, for example, a feature of input speech data and a feature associated with a word in a word dictionary prepared in advance (or an acoustic model such as HMM (Hidden Markov Model)). It can be expressed by the degree of similarity in matching.
[0031]
For word speech recognition processing, see Japanese Patent Application Laid-Open No. 7-104675 or “IT Text Speech Recognition System” (edited by Shikano et al., Ohm) p. 1-p. Familiar with 50.
[0032]
The recognition unit 102 may introduce a continuous speech recognition system. For example, text data can be obtained by recognizing a series of input speech data (consisting of one word or a plurality of words) sandwiched between operation of a start / end button or the like. If it is a thing, the detailed structure will not be limited. As for handwritten character recognition processing, Sharp Technical Bulletin 57, published in 1993, p. 5-p. Detailed to 8. Note that the recognition unit 102 may use a method of inputting characters one by one in a predetermined frame, or may use a method of inputting a plurality of characters in a predetermined frame. As long as the text data can be obtained by recognizing a series of input handwritten character data sandwiched between them, the detailed configuration is not limited.
[0033]
Here, the search key input unit 101 and the recognition unit 102 may be configured with only voice input and voice recognition functions, or may be configured with only handwritten character input and handwritten character recognition functions. Moreover, it may be configured by functions corresponding to both voice and handwritten characters.
[0034]
Reference numeral 103 denotes a search unit that searches for data corresponding to the search key from the search target data using the search key of the text data recognized by the recognition unit 102. The search unit 103 is configured with a dedicated LSI element or the like. The search target data is composed of data including at least text data. This search target data is stored in a database accessible via a network, and can be searched by means for accessing the database. The display processing device is provided with second storage means (not shown) that stores search target data, for example, realized in advance by a semiconductor memory, a magnetic memory, or a storage device, and accesses the second storage means. The search processing may be performed.
[0035]
The search engine that searches from the search target data using the search key does not limit the detailed configuration, for example, extracts data in the search target data including the same text data as the search key text, A search result (maximum N) of the titles or beginning texts of the extracted data is obtained with a predetermined number N specified in advance by the user as the maximum number, and the higher the degree of matching by the search, the higher the ranking.
[0036]
Note that the recognition candidates obtained by the recognition unit 102 and the plurality of search results corresponding to the recognition candidates searched by the search unit 103 are associated with each other in a table shape and realized by a semiconductor memory or the like, for example. Stored in a means (not shown).
[0037]
A display layout creation unit 104 lays out a search key including a plurality of recognition candidates obtained by the recognition unit 102 and a plurality of search results obtained by the search unit 103 at the same time. This is a feature. The display layout creation unit 104 is configured by a dedicated LSI element or the like, and creates a display layout based on an instruction from the user instruction unit 106. An example of the display layout will be described later.
[0038]
Reference numeral 105 denotes a display unit that performs display according to the display layout created by the display layout creation unit 104. The display unit 105 includes a liquid crystal display, an organic EL (electroluminescence) display, or the like, but does not limit the detailed configuration.
[0039]
Note that the display processing device according to the present invention does not necessarily include the display unit 105, and the display as the display unit is configured wirelessly and provided separately from the table processing device. May be displayed on a monitor or the like by transmitting to the display.
[0040]
A user instruction unit 106 receives a user instruction and transfers user instruction information and display layout information to and from the display layout creation unit 104. For example, in the case of a touch pen type personal digital assistant (PDA) as shown in FIG. 8, the user instruction unit 106 includes a display unit 72 capable of touch input. At this time, for example, a dedicated touch pen 73 is used for touch input.
[0041]
FIG. 2 is a flowchart of the entire processing executed by the display processing apparatus according to the first embodiment. Hereinafter, the display processing operation will be described in detail with reference to FIG.
In step S101 (hereinafter, “step” is omitted and simply described as “S101”), a search key for speech or handwritten characters is read from the search key input unit 101.
[0042]
In S102, the recognition unit 102 recognizes the speech or handwritten character search key input in S101 (voice recognition or handwritten character recognition), and obtains text data candidates (a plurality of recognition candidates in descending order of similarity). . Note that the number of recognition candidates may be greater than or less than a predetermined number of candidates M set in advance in the system (or changed by a user instruction), which will be described later, depending on the content of the search key.
[0043]
In S103, the search unit 103 causes the search key recognition candidate obtained in S102 to be ranked first (similarity). size Is set as the current search key.
[0044]
In S104, the search unit 103 uses the search key set in S103 to search from the search target data accessed by the means for accessing the database. A plurality of search results (a plurality of searches in descending order of the relationship with the search key are performed). As a result, a maximum of N) is obtained. Here, the predetermined maximum number N of search results may be set in the system in advance, or may be designed so that the setting can be dynamically changed by the user instruction unit 106. Note that in a configuration in which a second storage unit (not shown) for storing search target data is provided, the search process may be performed by accessing the second storage unit.
[0045]
In S105, the search unit 103 stores the current search key and a plurality of search results searched using the search key in a first storage unit (not shown) such as a semiconductor memory.
[0046]
In S106, the search unit 103 determines whether there is a search key recognition candidate next to the recognition candidate set as the current search key among the plurality of recognition candidates obtained in S102. If the next candidate exists in S106, the process proceeds to S107, and if not, the process skips to S109.
[0047]
In S107, the search unit 103 sets the next candidate for the current search key from the recognition candidates obtained in S102 as a new current search key.
In S108, the search unit 103 determines whether the current search key set in S107 is within a predetermined number of candidates (within M). In S108, when it is within the predetermined number of candidates, the process returns to S104 and searches again. If the predetermined number of candidates is exceeded in S108, the process proceeds to S109. Here, the predetermined number of candidates M may be set in the system in advance, or may be designed so that the setting can be dynamically changed by the user instruction unit 106.
[0048]
In S109, the display layout creation unit 104 creates a display layout. Details of the processing content of S109 will be described later.
[0049]
In S110, the display unit 105 displays the image according to the display layout created in S109.
[0050]
In S111, the presence / absence of a user instruction from the user instruction unit 106 is determined. If the user instruction content is an end instruction, the display process is terminated. If the user instruction content is a selection change or confirmation instruction, the process returns to S109 and is displayed again. If a layout is created and none of the above instructions are given, the system waits for a user instruction.
[0051]
The above processing will be specifically described below.
(1) When the number of search key recognition candidates is equal to or less than the predetermined number of candidates M
The process follows S101 → S102 → S103, and thereafter, the closed loop process of S104 → S105 → S106 → S107 → S108 → S104 is performed for the number of recognition candidates, and all the recognition candidates are searched using the search key. After that, since there is no next search key candidate in S106, a plurality of recognition results and a plurality of search results are displayed in a predetermined layout by following S106 → S109 → S110.
(2) When the number of search key recognition candidates exceeds the predetermined number of candidates M
The process follows S101 → S102 → S103, and then goes through a closed loop process of S104 → S105 → S106 → S107 → S108 → S104 by a predetermined number of candidates M, from the first candidate search key to the Mth candidate search key. A search for M search keys is performed. Thereafter, in S108, the current search key (corresponding to the search key of the (M + 1) th candidate) exceeds the predetermined number of candidates M, so that a plurality of recognition results and a plurality of search results are obtained by following S108 → S109 → S110. Displayed in a predetermined layout.
[0052]
FIG. 3 is a flowchart of the display layout creation process executed by the display processing apparatus according to the first embodiment. The display layout creation processing operation will be described in detail below with reference to FIG. The following processing operation is performed by the display layout creation unit 104.
[0053]
In S201, when S109 in FIG. 2 is entered, it is first determined whether or not the display layout has been created for the first time. Here, the first time means that the search result display corresponding to the search key input by the search key input unit 101 is the first time. If it is the first time, the process proceeds to S202. If it is not the first time, the process proceeds to S203.
[0054]
In S202, information (such as text notation) of a plurality of search keys obtained as recognition candidates stored in S105 is set. Specifically, for example, layout is performed so that a maximum of M recognition candidates are displayed in a format such as tabs 11, 12, and 13 in the display layout example of the display processing apparatus according to the first embodiment illustrated in FIG. If the number of recognition candidates is less than M, the layout is made to display up to the number of recognition candidates. At this time, the recognition candidate having the highest similarity (first candidate) is selected from the maximum M recognition candidates. For example, in the case of FIG. 4, the tab 11 corresponds to the currently selected recognition candidate (recognition candidate 1). When the process of S202 ends, the process proceeds to S204.
[0055]
In S203, it is determined whether or not the selection of recognition candidates has been changed. If there is a selection change of the recognition candidate, the process proceeds to S204, and if not, the process proceeds to S205.
In S204, the search result information (link to search data, etc.) saved in S105 corresponding to the currently set search key recognition candidate is laid out so as to be displayed in a list format, for example. Specifically, for example, in the case of FIG. 4, it is an example of a display layout in the case where the list data 14, 15, 16 is information of a search result. At this time, the selection state of the tabs 11, 12, and 13 indicating the recognition candidates is also changed in accordance with the currently set search key. Specifically, for example, when the search key “recognition candidate 2” is selected, the display layout is created with the tab 22 selected as shown in FIG. When the process of S204 ends, the process of the display layout creation unit ends, and the process proceeds to S110 of FIG.
[0056]
In S205, it is determined whether the user has confirmed the search result. If the search result is confirmed, the process proceeds to S206. If not confirmed, the display layout creating process is terminated, and the process proceeds to S110 in FIG.
[0057]
In S206, a process based on confirmation of the search result such as displaying the link destination data or detailed information of the link shown in the search list is performed. Here, the processing method at the time of confirming the search result is not particularly limited. If the search is an Internet home page, the home page display process is performed. If the image data is searched, the image data determined by the determined search result is determined. It can be displayed. When the process of S206 ends, the process of the display layout creation unit ends, and the process proceeds to S110 of FIG.
[0058]
The above processing will be specifically described below.
(1) When the search result is displayed for the first time
The process follows S201 → S202 → S204 → S110, and is displayed in the display layout shown in FIG. 4, for example.
(2) When there is an instruction to change the selection of recognition candidates from the user
In this case, since the search result is displayed at least the second time or later, the process follows S201 → S203 → S204 → S110, and the setting is changed to the search result information corresponding to the recognition candidate instructed to change the selection. Assuming that is selected, a display layout shown in FIG. 5 is displayed.
(3) When there is a search result confirmation instruction from the user
Also in this case, the search result is displayed at least for the second time and thereafter, and the process follows S201 → S203 → S205 → S206 → S110, and display according to the process based on the search result confirmation is performed.
[0059]
Next, a specific embodiment of layout will be described. In FIG. 4 or FIG. 5, it is expressed in a format simulating the front-rear relationship of the tacked sheet, in a format simulating the state where the currently selected recognition candidates are arranged on the front side and other recognition candidates are arranged on the rear side. However, if the difference between the selection and the others can be expressed, the expression form may be replaced with another. For example, the character color representing the recognition candidate may be different (for example, selection is red, others are black), and for example, the color surrounding the character representing the recognition candidate is different (for example, selection is blue) Others may be white). Furthermore, you may express in the format which combined these.
[0060]
Also, in FIG. 4 or FIG. 5, recognition candidates are expressed in the form of a wrinkle on a sheet with a wrinkle. However, when recognition processing (for example, voice recognition or handwritten character recognition) is performed in S102, the degree of recognition similarity (Score etc.) is calculated, the above similarity is stored in S105, and when the recognition candidate display is laid out in S202, the tab area may be increased as the similarity is increased. Moreover, you may enlarge the thickness of the depth direction of a tab, so that similarity is large. In addition, the larger the similarity, the larger the character size when displaying the recognition candidates. Furthermore, you may express in the format which combined these. In this way, by adjusting the display mode of recognition candidates according to the degree of similarity, it is possible to visually express the probability of each recognition candidate.
[0061]
Specifically, in the case of the bowl-shaped tab format, the difference between the similarity of the first recognition candidate and the similarity of the Mth recognition candidate is obtained, and the first difference is determined using the obtained difference as a denominator. Find the difference between the similarity of the recognition candidate and the similarity of the second recognition candidate, the difference between the similarity of the second recognition candidate and the similarity of the third recognition candidate, and so on. The ratio of the width to be assigned to the first recognition candidate, the ratio of the width to be assigned to the second recognition candidate, the width ratio is determined in the same manner, and the tabs are displayed side by side. Can be expressed by assigning the maximum width according to each ratio. Further, the maximum thickness (depth) in the depth direction may be determined in advance, and the ratio of each width described above may be replaced with the depth position in the depth direction. Further, the maximum area and the minimum area of characters may be determined in advance, the difference between the two areas may be obtained, and the ratio of each width may be expressed as a reduction ratio from the maximum character area to the minimum character area. .
[0062]
Further, as in the display layout example of the display processing apparatus according to the first embodiment shown in FIG. 6, the number of tabs in the depth direction may be determined and expressed according to the number of search results obtained in S104. it can. By adjusting the number in the depth direction, the number of search results obtained when each recognition candidate is used as a search key can be visually expressed. FIG. 6 shows an example when “Kyoto” is uttered as a search key, and shows an example when speech recognition processing is performed in the recognition unit 102.
[0063]
Specifically, for example, up to five search results are displayed (list data 1 to list data 5), and 1 is subtracted from the number of search results obtained when each recognition candidate is used as a search key. The number in the depth direction of the tab is the number obtained by adding 1 to the divisor when dividing by 5 later. For example, when the number of search results obtained when the second recognition candidate (Kyoto) is used as a search key is 13, 3 is the number of tabs in the depth direction, and tab 6, tab 7, and tab 8 in FIG. Is an example of expression in the depth direction.
[0064]
Further, the display mode of recognition candidates may be adjusted according to the degree of correlation of search. Specifically, for example, as shown in FIG. 6, the larger the correlation, the larger the character and the thicker the character, depending on the degree of correlation in the search. Furthermore, you may express in the format which combined these. Here, as the degree of correlation in the search, for example, the number of matching search keys in each data to be searched may be used. Also, for example, when the search key is composed of a plurality of words, each search key word is normalized by dividing the number of matches for each search key word by the number that the same search key is included in the entire search target data. A value obtained by adding the normalized number of coincidence with respect to may be used.
[0065]
As described above, by reflecting the number of search results and the degree of correlation in the search in the display format of the recognition candidates, it is possible to assist the user in selecting a desired search result.
[0066]
(Application example 1)
FIG. 7 shows an example in which the display processing apparatus according to Embodiment 1 is applied to a personal computer (PC). In FIG. 7, reference numeral 61 denotes a PC main body, which includes a recognition unit 102, a search unit 103, a display layout creation unit 104, and the like. Reference numeral 62 denotes a PC display unit (corresponding to the display unit 105), which includes a liquid crystal display, a CRT display, or the like. Reference numeral 63 denotes a PC user instruction unit (corresponding to the user instruction unit 106), which includes, for example, a mouse that operates together with the PC.
[0067]
When applied to a PC as shown in FIG. 7, for example, a user instruction when the display layout examples shown in FIGS. 4 to 6 are displayed on the screen is clicked according to a position where the mouse cursor is to be selected or confirmed. Is done.
[0068]
(Application example 2)
FIG. 8 shows an example in which the display processing apparatus according to Embodiment 1 is applied to a personal digital assistant (PDA). In FIG. 8, reference numeral 71 denotes a PDA main body, which includes a recognition unit 102, a search unit 103, a display layout creation unit 104, and the like. Reference numeral 72 denotes a PDA display unit (corresponding to the display unit 105), which includes a liquid crystal display or the like. Reference numeral 73 denotes a PDA user instruction section (corresponding to the user instruction section 106), which is composed of, for example, a plastic pen attached to the PDA.
[0069]
When applied to a PDA as shown in FIG. 8, for example, a user instruction when the display layout examples shown in FIGS. 4 to 6 are displayed on the screen is made by pen-touching a position to be selected or confirmed.
[0070]
(Embodiment 2)
FIG. 9 is a flowchart of display layout creation processing executed by the display processing apparatus according to the second embodiment. Hereinafter, the display layout creation processing operation will be described in detail with reference to FIG. The configuration of the display processing apparatus in the second embodiment is the same as that of the first embodiment shown in FIG. 1, and the entire processing operation in the second embodiment is also shown in FIG. This is the same as the processing operation of the first embodiment. The difference from the first embodiment is the processing content of the display layout creation processing in S109. Therefore, the description of the same parts as those in Embodiment 1 is omitted. The following processing operation is performed by the display layout creation unit 104.
[0071]
In S301, when S109 in FIG. 2 is entered, it is first determined whether or not the display layout has been created for the first time. Here, the first time means that the search result display corresponding to the search key input by the search key input unit 101 is the first time. If it is the first time, the process proceeds to S302. If it is not the first time, the process proceeds to S303.
[0072]
In S302, information (such as text notation) of a plurality of search keys obtained as recognition candidates stored in S105 is set. Specifically, for example, layout is performed so that a maximum of M recognition candidates are displayed in a format such as tabs 31, 32, and 33 in the display layout example of the display processing apparatus according to the second embodiment illustrated in FIG. If the number of recognition candidates is less than M, the layout is made to display up to the number of recognition candidates. At this time, the recognition candidate having the highest similarity (first candidate) is selected from the maximum M recognition candidates. For example, in the case of FIG. 10, the tab 31 corresponds to the currently selected recognition candidate (recognition candidate 1). When the process of S302 ends, the process proceeds to S304.
[0073]
In S303, it is determined whether or not the selection of recognition candidates has been changed. If there is a recognition candidate selection change, the process proceeds to S304, and if not, the process proceeds to S305.
In S304, the search result information stored in S105 corresponding to the currently set search key recognition candidate (eg, a link to search data) is laid out so as to be displayed in a list format, for example. Specifically, in the case of FIG. 10, for example, list data 34, 35, and 36 are examples of information display layouts of search results. At this time, the selection states of the tabs 31, 32, and 33 indicating the recognition candidates are changed according to the currently set search key. Specifically, for example, when the search key “recognition candidate 2” is selected, the display layout is created with the tab 42 selected as shown in FIG. When the process of S304 ends, the process proceeds to S306.
[0074]
In S305, it is determined whether or not the search result selection has been changed. If there is a selection change of the search result, the process proceeds to S306, and if not, the process proceeds to S307.
In S306, the display layout is modified so as to highlight the selected search result. Here, when the layout is created for the first time, a search result preset by the system or the user (for example, “search result 11” having the largest relationship with the search key) is highlighted. Specifically, for example, in the case of the display layout example of FIG. 10, the search result 34 is in a highlighted state, and the search results 35 and 36 are not highlighted. In the case of the display layout example of FIG. 11, the search result 44 is in a highlighted state, and the search results 45 and 46 are not highlighted. In the case of the display layout example of FIG. 12, the search result 55 is in a highlighted state. Then, when the process of S306 ends, the process of the display layout creation unit ends, and the process proceeds to S110 of FIG.
[0075]
In step S307, it is determined whether the user has confirmed the search result. If the search result is confirmed, the process proceeds to S308. If not confirmed, the display layout creation process is terminated, and the process proceeds to S110 in FIG.
[0076]
In S308, a process based on the search result confirmation such as displaying the link destination data or detailed information of the link shown in the search list is performed. Here, the processing method at the time of confirming the search result is not particularly limited. If the search is an Internet home page, the home page display process is performed. If the image data is searched, the image data determined by the determined search result is determined. It can be displayed. When the process of S308 ends, the process of the display layout creation unit ends, and the process proceeds to S110 of FIG.
[0077]
The above processing will be specifically described below.
(1) When the search result is displayed for the first time
The process follows S301 → S302 → S304 → S306 → S110, and is displayed in the display layout shown in FIG. 10, for example.
(2) When there is an instruction to change the selection of recognition candidates from the user
In this case, since the search result is displayed at least the second time or later, the process follows S301 → S303 → S304 → S306 → S110, and the setting is changed to the search result information corresponding to the recognition candidate instructed to change the selection. Assuming that candidate 2 is selected, the display layout shown in FIG. 11 is displayed.
(3) When there is an instruction to change the selection of search results from the user
In this case as well, since the search result display is at least the second time or later, the process follows S301 → S303 → S305 → S306 → S110, and the highlight is changed for the search result instructed to change the selection. Assuming that the result 22 ”is selected, the display layout shown in FIG. 12 is displayed.
(4) When there is a search result confirmation instruction from the user
Also in this case, since the search result is displayed at least the second time or later, the process follows S301 → S303 → S305 → S307 → S308 → S110, and display according to the process based on the search result confirmation is performed.
[0078]
Next, a specific embodiment of layout will be described. 10 to 12, the currently selected recognition candidate is expressed in gray and the other recognition candidates are expressed in white in the color around the character, but the difference between the selection and the other is shown. As long as it can be expressed, the expression format may be replaced. For example, the character color representing the recognition candidate may be different (for example, selection is red and others are black). Furthermore, you may express in the format which combined these.
[0079]
10 to 12, recognition candidates are expressed in the form of a wrinkle on a sheet with a wrinkle. However, when recognition processing (for example, voice recognition or handwritten character recognition) is performed in S102, the degree of recognition similarity. (Score, etc.) is calculated, the above similarity is stored in S105, and when the recognition candidate display is laid out in S302, the tab area may be increased as the similarity is increased. Moreover, you may enlarge the thickness of the depth direction of a tab, so that similarity is large. In addition, the larger the similarity, the larger the character size when displaying the recognition candidates. Furthermore, you may express in the format which combined these. In this way, by adjusting the display mode of recognition candidates according to the degree of similarity, it is possible to visually express the probability of each recognition candidate.
[0080]
Specifically, in the case of the bowl-shaped tab format, the difference between the similarity of the first recognition candidate and the similarity of the Mth recognition candidate is obtained, and the first difference is determined using the obtained difference as a denominator. Find the difference between the similarity of the recognition candidate and the similarity of the second recognition candidate, the difference between the similarity of the second recognition candidate and the similarity of the third recognition candidate, and so on. The ratio of the width to be assigned to the first recognition candidate, the ratio of the width to be assigned to the second recognition candidate, the width ratio is determined in the same manner, and the tabs are displayed side by side. Can be expressed by assigning the maximum width according to each ratio. Further, the maximum thickness (depth) in the depth direction may be determined in advance, and the ratio of each width described above may be replaced with the depth position in the depth direction. Further, the maximum area and the minimum area of characters may be determined in advance, the difference between the two areas may be obtained, and the ratio of each width may be expressed as a reduction ratio from the maximum character area to the minimum character area. .
[0081]
Further, similarly to the display layout example of the display processing apparatus according to Embodiment 1 shown in FIG. 6, the depth direction of the tab can be adjusted according to the number of search results obtained in S104. At this time, in consideration of the relationship with the cross key, it can be expressed not by the number of tabs in the depth direction but by increasing the depth by expressing the tabs in three dimensions. By adjusting the depth, the number of search results obtained when each recognition candidate is used as a search key can be visually expressed.
[0082]
Similarly to FIG. 6, the display format of the recognition candidates may be expressed with a larger character and a thicker character as the correlation is larger according to the degree of correlation of the search. Furthermore, you may express in the format which combined these. As the degree of correlation in the search, the number of search key matches in each data to be searched may be used as in the first embodiment. Also, for example, when the search key is composed of a plurality of words, each search key word is normalized by dividing the number of matches for each search key word by the number that the same search key is included in the entire search target data. A value obtained by adding the normalized number of coincidence with respect to may be used.
As described above, by reflecting the number of search results and the degree of correlation in the search in the display format of the recognition candidates, it is possible to assist the user in selecting a desired search result.
[0083]
(Application example 1)
FIG. 13 shows an example in which the display processing apparatus according to Embodiment 2 is applied to a personal digital assistant (PDA). In FIG. 13, reference numeral 81 denotes a PDA main body, which includes a recognition unit 102, a search unit 103, and a display layout creation unit 104. Reference numeral 82 denotes a PDA display unit (corresponding to the display unit 105), which includes a liquid crystal display or the like. Reference numerals 83 to 87 denote PDA user instruction sections (corresponding to the user instruction section 106), which include, for example, cross buttons 83 to 86 attached to the PDA main body 81 and a determination button 87.
[0084]
When implemented by a PDA as shown in FIG. 13, for example, user instructions when the display layout examples shown in FIGS. 10 to 12 are displayed on the screen are, for example, by left and right operations using the cross buttons 83 and 85. The recognition candidate selection is changed, the search result selection is changed by the vertical operation with the cross buttons 84 and 86, and the search result is confirmed with the decision button 87. By using such an instruction structure in the cross direction, it is possible to easily obtain a desired search result using only the cross button and the determination button even in a device that is difficult to specify with a pointer on the screen.
[0085]
(Application example 2)
FIG. 14 shows an example in which the display processing apparatus according to Embodiment 2 is applied to a mobile phone. In FIG. 14, reference numeral 91 denotes a mobile phone body, which includes a recognition unit 102, a search unit 103, and a display layout creation unit 104. Reference numeral 92 denotes a display unit (corresponding to the display unit 105) of the mobile phone, which is composed of a liquid crystal display or the like. Reference numerals 93 to 97 denote user instruction units (corresponding to the user instruction unit 106) of the mobile phone, and include, for example, cross buttons 93 to 96 attached to the mobile phone main body 91, a determination button 97, and the like.
[0086]
When realized by a mobile phone as shown in FIG. 14, for example, the user instruction when the display layout examples shown in FIGS. 10 to 12 are displayed on the screen is, for example, left / right operation using the cross buttons 93 and 95. The selection of the recognition candidate is changed, the search result selection is changed by the vertical operation with the cross buttons 94 and 96, and the search result is confirmed with the decision button 97.
[0087]
(Other matters)
In the first and second embodiments, the display processing device and the display processing method used in the display processing device have been described. However, the technical idea of the present invention is not limited to the display processing device and the display processing method. The present invention can also be applied to a display processing program to be realized and a recording medium on which the display processing program is recorded.
[0088]
【Effect of the invention】
According to the present invention described above, an input search key is recognized, a plurality of recognition candidates are selected in descending order of similarity as search keys, and each search key is used using the plurality of recognition candidates as search keys. Search for each, create a display layout that can display a plurality of recognition candidates and a plurality of search results related to any one of the plurality of recognition candidates at the same time, and display the contents Allows users to obtain search results without performing search key decision processing when searching from search target data using search keys that may contain ambiguity (uncertainty) due to recognition processing performance In addition, even if the search key is erroneously recognized, it is possible to obtain a search result using the correct search key without re-input.
[Brief description of the drawings]
FIG. 1 is a block diagram of a display processing apparatus according to Embodiment 1 of the present invention.
FIG. 2 is a flowchart showing an overall process executed by the display processing apparatus according to the first embodiment of the present invention;
FIG. 3 is a flowchart of a display layout creation process executed by the display processing apparatus according to the first embodiment of the present invention.
FIG. 4 is a diagram showing an example of a display layout of the display processing apparatus according to the first embodiment of the present invention.
FIG. 5 is a diagram showing another example of the display layout of the display processing apparatus according to Embodiment 1 of the present invention.
FIG. 6 is a diagram showing still another example of the display layout of the display processing apparatus according to Embodiment 1 of the present invention.
7 shows an example in which the display processing apparatus according to Embodiment 1 of the present invention is applied to a personal computer (PC). FIG.
FIG. 8 is an example in which the display processing apparatus according to Embodiment 1 of the present invention is applied to a personal digital assistant (PDA).
FIG. 9 is a flowchart of display layout creation processing executed by the display processing apparatus according to Embodiment 2 of the present invention;
FIG. 10 is a diagram showing an example of a display layout of a display processing apparatus according to Embodiment 2 of the present invention.
FIG. 11 is a diagram showing another example of the display layout of the display processing apparatus according to the second embodiment of the present invention.
FIG. 12 is a diagram showing still another example of the display layout of the display processing apparatus according to Embodiment 2 of the present invention.
FIG. 13 is an example in which the display processing apparatus according to Embodiment 2 of the present invention is applied to a personal digital assistant (PDA).
FIG. 14 is an example in which the display processing apparatus according to Embodiment 2 of the present invention is applied to a mobile phone.
FIG. 15 is a diagram showing an example of a list of conventional search results.
[Explanation of symbols]
101 Search key input part,
102 recognition unit,
103 Search part,
104 display layout creation section,
105 display section,
106 User instruction unit.

Claims (29)

認識処理を通して得られた検索キーによる検索結果を、所定の表示レイアウトで表示されるように、表示処理する表示処理装置であって、
入力された検索キーを認識処理し、検索キーとして類似度の大きいものから順に複数の認識候補を選出する認識手段と、
データベースにアクセスする手段と、
前記認識手段によって選出された複数の認識候補を検索キーとして用いて、前記データベースから検索キーに対応するデータを検索する検索手段と、
前記認識手段によって選出された複数の認識候補と、前記検索手段によって検索された複数の検索結果とを、認識候補とその認識候補に対応する複数の検索結果とを関連づけて記憶する第1記憶手段と、
前記第1記憶手段に記憶されている認識候補と検索結果とを用いて、複数の認識候補と、複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果と、を同時に表示し得るような表示レイアウトを作成する表示レイアウト作成手段と、
を備え
前記表示レイアウト作成手段は、前記複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果として、最も類似度の大きい認識候補に関連する複数の検索結果を用いて、1回目に表示する表示レイアウトを作成することを特徴とする表示処理装置。
A display processing device that performs display processing so that a search result obtained by a search key obtained through recognition processing is displayed in a predetermined display layout,
A recognition means for recognizing the input search key and selecting a plurality of recognition candidates in descending order of similarity as the search key;
A means of accessing the database;
Search means for searching data corresponding to the search key from the database using a plurality of recognition candidates selected by the recognition means as search keys;
First storage means for storing a plurality of recognition candidates selected by the recognition means and a plurality of search results searched by the search means in association with the recognition candidates and a plurality of search results corresponding to the recognition candidates. When,
A plurality of recognition candidates and a plurality of search results related to any one of the plurality of recognition candidates are simultaneously used using the recognition candidates and the search results stored in the first storage unit. Display layout creation means for creating a display layout that can be displayed;
Equipped with a,
The display layout creating means uses a plurality of search results related to a recognition candidate having the highest similarity as a plurality of search results related to any one of the plurality of recognition candidates. A display processing device for creating a display layout to be displayed on the screen .
検索キーの入力を受け付ける検索キー入力手段を備えた、請求項1に記載の表示処理装置。  The display processing apparatus according to claim 1, further comprising search key input means for receiving an input of a search key. 前記表示レイアウト作成手段によってレイアウトされた内容を表示する表示手段を備えた、請求項1に記載の表示処理装置。  The display processing apparatus according to claim 1, further comprising display means for displaying contents laid out by the display layout creation means. 検索対象データが予め記憶されている第2記憶手段を備えた、請求項1に記載の表示処理装置。  The display processing apparatus according to claim 1, further comprising second storage means in which search target data is stored in advance. 前記認識候補の表示形態は、認識候補を検索キーとした場合に得られる検索結果を反映して変形されている、請求項1に記載の表示処理装置。  The display processing apparatus according to claim 1, wherein the display form of the recognition candidate is modified to reflect a search result obtained when the recognition candidate is used as a search key. ユーザの指示を受け付けて、ユーザの指示情報を前記表示レイアウト作成手段に受け渡すユーザ指示手段を備え、
前記表示レイアウト作成手段は、前記ユーザ指示手段からの指示に応じた表示レイアウトを作成する、請求項1から請求項5のいずれかに記載の表示処理装置。
User instruction means for accepting user instructions and delivering user instruction information to the display layout creating means,
The display processing apparatus according to claim 1, wherein the display layout creating unit creates a display layout according to an instruction from the user instruction unit.
前記入力された検索キーは音声入力であり、前記認識手段は音声認識手段である、請求項1から請求項6のいずれかに記載の表示処理装置。  The display processing apparatus according to claim 1, wherein the input search key is a voice input, and the recognition unit is a voice recognition unit. 前記入力された検索キーは手書き文字入力であり、前記認識手段は手書き文字認識手段である、請求項1から請求項6のいずれかに記載の表示処理装置。  The display processing apparatus according to claim 1, wherein the input search key is a handwritten character input, and the recognition unit is a handwritten character recognition unit. 前記検索キーはテキストデータであり、前記検索手段が検索する対象となるデータはテキストデータである、請求項1から請求項8のいずれかに記載の表示処理装置。  The display processing apparatus according to claim 1, wherein the search key is text data, and the data to be searched by the search means is text data. 前記表示レイアウト作成手段は、前記複数の認識候補を表示する際に、複数の認識候補のうちのいずれか一つの認識候補を、他の認識候補と異なる形態で表示するような表示レイアウトを作成する、請求項1から請求項9のいずれかに記載の表示処理装置。  The display layout creation means creates a display layout that displays any one of the plurality of recognition candidates in a different form from the other recognition candidates when displaying the plurality of recognition candidates. 10. A display processing device according to any one of claims 1 to 9. 前記一つの認識候補の表示形態と、他の認識候補の表示形態との相違は、栞付きシートの前後関係を模したもの、文字色、及び、文字の周囲の色の少なくともいずれか一つを異ならせて表示することによる、請求項10に記載の表示処理装置。  The difference between the display form of the one recognition candidate and the display form of the other recognition candidates is that at least one of a color imitating the front-rear relationship of the tacked sheet, a character color, and a color around the character. The display processing device according to claim 10, wherein the display processing device is displayed differently. 前記表示レイアウト作成手段によってレイアウトされる前記複数の検索結果は、前記一つの認識候補に関連する複数の検索結果である、請求項10に記載の表示処理装置。  The display processing apparatus according to claim 10, wherein the plurality of search results laid out by the display layout creating unit are a plurality of search results related to the one recognition candidate. 前記表示レイアウト作成手段は、前記複数の検索結果を表示する際に、複数の検索結果のうちのいずれか一つの検索結果を、他の検索結果と異なる形態で表示する、請求項1から請求項9のいずれかに記載の表示処理装置。  The display layout creation means displays any one of the plurality of search results in a form different from other search results when displaying the plurality of search results. 10. The display processing device according to any one of 9. 前記一つの検索結果の表示形態と、他の検索結果の表示形態との相違は、文字色、及び、文字の周囲の色の少なくともいずれか一つを異ならせて表示することによる、請求項13に記載の表示処理装置。  14. The difference between the display form of one search result and the display form of another search result is that at least one of a character color and a color around the character is displayed differently. The display processing device according to 1. 前記ユーザ指示部からのユーザ指示情報は、前記複数の認識候補のいずれか一つを選択する指示情報である、請求項6に記載の表示処理装置。  The display processing apparatus according to claim 6, wherein the user instruction information from the user instruction unit is instruction information for selecting any one of the plurality of recognition candidates. 前記ユーザ指示部からのユーザ指示情報は、前記複数の検索結果のいずれか一つを選択する指示情報である、請求項6に記載の表示処理装置。  The display processing apparatus according to claim 6, wherein the user instruction information from the user instruction unit is instruction information for selecting any one of the plurality of search results. 前記ユーザ指示部からのユーザ指示情報は、前記複数の検索結果のいずれか一つの選択を決定する指示情報である、請求項6に記載の表示処理装置。  The display processing apparatus according to claim 6, wherein the user instruction information from the user instruction unit is instruction information for determining selection of any one of the plurality of search results. 前記ユーザ指示部は、異なる4方向のいずれか一つの方向を指示することにより、ユーザ指示の入力を行うことが可能な構造とされている、請求項15または請求項16に記載の表示処理装置。  The display processing device according to claim 15 or 16, wherein the user instruction unit has a structure capable of inputting a user instruction by instructing any one of four different directions. . 前記異なる4方向は、十字方向をなす4方向である、請求項18に記載の表示処理装置。  The display processing apparatus according to claim 18, wherein the four different directions are four directions forming a cross direction. 前記十字方向をなす4方向の指示構造は、同一軸上で相反する方向を向き合う2組の方向指示構造に関して、1組は認識候補の選択指示を行い、もう1組は検索結果の選択指示を行うように構成されている、請求項18に記載の表示処理装置。  The four-direction indicating structure forming the cross direction is related to two sets of direction indicating structures facing each other on the same axis. The display processing device according to claim 18, configured to perform. 前記表示レイアウト作成手段は、前記複数の認識候補を表示する際に、前記類似度の大きさに基づいて、各認識候補の表示形態を調整する、請求項1から請求項9のいずれかに記載の表示処理装置。  The display layout creation means adjusts a display form of each recognition candidate based on the magnitude of the similarity when displaying the plurality of recognition candidates. Display processing device. 前記認識候補の表示形態は、文字の周囲の囲み、栞を模したタブまたはボタンなどの面積の大小、栞を模したタブまたはボタンなどの奥行き方向の深さ、栞を模したタブまたはボタンなどの奥行き方向の深さを模した表現、及び、文字の大きさの少なくともいずれか一つを調整することによる、請求項21に記載の表示処理装置。  The display forms of the recognition candidates include surroundings of characters, the size of an area such as a tab or button imitating a heel, a depth in a depth direction such as a tab or button simulating a moth, a tab or button simulating a moth The display processing apparatus according to claim 21, wherein at least one of an expression simulating a depth in the depth direction and a character size is adjusted. 前記表示レイアウト作成手段は、前記複数の認識候補を表示する際に、前記検索手段における検索結果の数に基づいて、認識候補の表示形態を調整する、請求項1から請求項9のいずれかに記載の表示処理装置。  The display layout creation means adjusts the display form of recognition candidates based on the number of search results in the search means when displaying the plurality of recognition candidates. The display processing apparatus as described. 前記認識候補の表示形態は、各認識候補を検索キーとした場合に得られる前記検索部における各々の検索結果の数が大きいほど、文字の周囲の囲みを大きく表示すること、栞を模したタブまたはボタンなどの奥行き方向の数を大きく表示すること、及び、栞を模したタブまたはボタンなどの奥行き方向の数が大きい状態を模した表現で表示することの少なくともいずれか一つを調整することによる、請求項23に記載の表示処理装置。  The recognition candidate display mode is a tab that imitates a font, displaying a larger box around the character as the number of each search result in the search unit obtained when each recognition candidate is a search key is larger Or adjusting at least one of displaying a large number of buttons in the depth direction and displaying a representation of the state of a large number of depth directions such as tabs or buttons imitating a bag. The display processing device according to claim 23. 前記表示レイアウト作成手段は、前記複数の認識候補を表示する際に、前記検索手段の検索の相関の度合いに基づいて、認識候補の表示形態を調整する、請求項1から請求項9のいずれかに記載の表示処理装置。  The display layout creation means adjusts the display form of the recognition candidates based on the degree of correlation of the search by the search means when displaying the plurality of recognition candidates. The display processing device according to 1. 前記認識候補の表示形態は、相関が大きいほど文字を大きく表現すること、及び、相関が大きいほど文字を太く表現することの少なくともいずれか一つを調整することによる、請求項25に記載の表示処理装置。  The display according to claim 25, wherein the display mode of the recognition candidates is adjusted by at least one of expressing a character larger as the correlation is larger and expressing a character thicker as the correlation is larger. Processing equipment. 認識処理を通して得られた検索キーによる検索結果を、所定の表示レイアウトで表示されるように、表示処理する表示処理方法であって、
検索キーの入力を受け付ける検索キー入力ステップと、
検索キー入力ステップから受け渡された検索キーを認識処理し、検索キーとして類似度の大きいものから順に複数の認識候補を選出する認識ステップと、
前記認識ステップで選出された複数の認識候補を検索キーとして用いて、検索対象データから検索キーに対応するデータを検索する検索ステップと、
選出された複数の認識候補と、前記検索された複数の検索結果とを、認識候補とその認識候補に対応する複数の検索結果とを関連づけて記憶する記憶ステップと、
前記記憶ステップにおいて記憶された認識候補と検索結果とを用いて、複数の認識候補と、複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果と、を同時に表示し得るような表示レイアウトを作成する表示レイアウト作成ステップと、
前記表示レイアウト作成ステップによって作成されたレイアウト内容を表示する表示ステップと、
を備え
前記表示ステップにおいて1回目に表示するレイアウト内容は、前記複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果として、最も類似度の大きい認識候補に関連する複数の検索結果を用いるものであることを特徴とする表示処理方法。
A display processing method for performing display processing so that a search result obtained by a search key obtained through recognition processing is displayed in a predetermined display layout,
A search key input step for accepting a search key input;
A recognition step of recognizing the search key delivered from the search key input step and selecting a plurality of recognition candidates in descending order of similarity as the search key;
A search step of searching for data corresponding to the search key from the search target data using a plurality of recognition candidates selected in the recognition step as a search key;
Storing a plurality of selected recognition candidates and the plurality of searched search results in association with the recognition candidates and a plurality of search results corresponding to the recognition candidates;
Using the recognition candidates and search results stored in the storage step, a plurality of recognition candidates and a plurality of search results related to any one of the plurality of recognition candidates can be displayed simultaneously. A display layout creation step for creating such a display layout,
A display step for displaying the layout content created by the display layout creation step;
Equipped with a,
The layout content displayed for the first time in the display step is a plurality of search results related to a recognition candidate having the highest similarity as a plurality of search results related to any one of the plurality of recognition candidates. display processing method characterized in that using.
認識処理を通して得られた検索キーによる検索結果を、所定の表示レイアウトで表示されるように、表示処理する表示処理プログラムであって、
コンピュータに、
検索キーの入力を受け付ける検索キー入力ステップと、
検索キー入力ステップから受け渡された検索キーを認識処理し、検索キーとして類似度の大きいものから順に複数の認識候補を選出する認識ステップと、
前記認識ステップで選出された複数の認識候補を検索キーとして用いて、検索対象データから検索キーに対応するデータを検索する検索ステップと、
選出された複数の認識候補と、前記検索された複数の検索結果とを、認識候補とその認識候補に対応する複数の検索結果とを関連づけて記憶する記憶ステップと、
前記記憶ステップにおいて記憶された認識候補と検索結果とを用いて、複数の認識候補と、複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果と、を同時に表示し得るような表示レイアウトを作成する表示レイアウト作成ステップと、
前記表示レイアウト作成ステップによって作成されたレイアウト内容を表示する表示ステップと、
を実行させ
前記表示ステップにおいて1回目に表示するレイアウト内容は、前記複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果として、最も類似度の大きい認識候補に関連する複数の検索結果を用いるものであることを特徴とする表示処理プログラム。
A display processing program for performing display processing so that a search result obtained by a search key obtained through recognition processing is displayed in a predetermined display layout,
On the computer,
A search key input step for accepting a search key input;
A recognition step of recognizing the search key delivered from the search key input step and selecting a plurality of recognition candidates in descending order of similarity as the search key;
A search step of searching for data corresponding to the search key from the search target data using a plurality of recognition candidates selected in the recognition step as a search key;
Storing a plurality of selected recognition candidates and the plurality of searched search results in association with the recognition candidates and a plurality of search results corresponding to the recognition candidates;
Using the recognition candidates and search results stored in the storage step, a plurality of recognition candidates and a plurality of search results related to any one of the plurality of recognition candidates can be displayed simultaneously. A display layout creation step for creating such a display layout,
A display step for displaying the layout content created by the display layout creation step;
Was executed,
The layout content displayed for the first time in the display step is a plurality of search results related to a recognition candidate having the highest similarity as a plurality of search results related to any one of the plurality of recognition candidates. A display processing program characterized by using the above .
コンピュータによる読み取りが可能な記録媒体であって、請求項28に記載の表示処理プログラムを記録した記録媒体。  29. A recording medium readable by a computer, on which the display processing program according to claim 28 is recorded.
JP2003182828A 2003-06-26 2003-06-26 Display processing apparatus, display processing method, display processing program, and recording medium Expired - Fee Related JP5008248B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003182828A JP5008248B2 (en) 2003-06-26 2003-06-26 Display processing apparatus, display processing method, display processing program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003182828A JP5008248B2 (en) 2003-06-26 2003-06-26 Display processing apparatus, display processing method, display processing program, and recording medium

Publications (3)

Publication Number Publication Date
JP2005018442A JP2005018442A (en) 2005-01-20
JP2005018442A5 JP2005018442A5 (en) 2006-07-13
JP5008248B2 true JP5008248B2 (en) 2012-08-22

Family

ID=34183109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003182828A Expired - Fee Related JP5008248B2 (en) 2003-06-26 2003-06-26 Display processing apparatus, display processing method, display processing program, and recording medium

Country Status (1)

Country Link
JP (1) JP5008248B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112009001779B4 (en) 2008-07-30 2019-08-08 Mitsubishi Electric Corp. Voice recognition device
JP5051080B2 (en) 2008-09-25 2012-10-17 富士通株式会社 Information display device, information display method, and program
JP5542559B2 (en) * 2010-07-16 2014-07-09 三菱電機株式会社 Voice search interface device and voice input search method
KR101252813B1 (en) * 2011-09-19 2013-04-09 (주)다음소프트 Tab searching apparatus and method flexible for user input
CN102945671A (en) * 2012-10-31 2013-02-27 四川长虹电器股份有限公司 Voice recognition method
CN113326279A (en) * 2021-05-27 2021-08-31 阿波罗智联(北京)科技有限公司 Voice search method and device, electronic equipment and computer readable medium

Also Published As

Publication number Publication date
JP2005018442A (en) 2005-01-20

Similar Documents

Publication Publication Date Title
US10395654B2 (en) Text normalization based on a data-driven learning network
US10067938B2 (en) Multilingual word prediction
US10592601B2 (en) Multilingual word prediction
JP3962763B2 (en) Dialogue support device
JP4829901B2 (en) Method and apparatus for confirming manually entered indeterminate text input using speech input
KR100318573B1 (en) Character input apparatus and storage medium in which character input program is stored
TWI437449B (en) Multi-mode input method and input method editor system
US6510412B1 (en) Method and apparatus for information processing, and medium for provision of information
US20180349472A1 (en) Methods and systems for providing query suggestions
KR100891358B1 (en) System and its method for inputting character by predicting character sequence of user's next input
US20150073801A1 (en) Apparatus and method for selecting a control object by voice recognition
KR20130001261A (en) Multimodal text input system, such as for use with touch screens on mobile phones
JP2003513389A (en) Language input user interface
JP2008123553A (en) Information apparatus
TW200538969A (en) Handwriting and voice input with automatic correction
JP2010198241A (en) Chinese input device and program
JP2006053906A (en) Efficient multi-modal method for providing input to computing device
JP5008248B2 (en) Display processing apparatus, display processing method, display processing program, and recording medium
WO2009128838A1 (en) Disambiguation of icons and other media in text-based applications
JP4200874B2 (en) KANSEI information estimation method and character animation creation method, program using these methods, storage medium, sensitivity information estimation device, and character animation creation device
US8711100B2 (en) Sign language keyboard and sign language searching apparatus using the same
US8335680B2 (en) Electronic apparatus with dictionary function background
JP2004295578A (en) Translation device
Abbott et al. Identifying an aurally distinct phrase set for text entry techniques
US20140081622A1 (en) Information display control apparatus, information display control method, information display control system, and recording medium on which information display control program is recorded

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060530

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090414

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091014

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091029

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20091120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120529

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150608

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees