JP5008248B2 - Display processing apparatus, display processing method, display processing program, and recording medium - Google Patents
Display processing apparatus, display processing method, display processing program, and recording medium Download PDFInfo
- Publication number
- JP5008248B2 JP5008248B2 JP2003182828A JP2003182828A JP5008248B2 JP 5008248 B2 JP5008248 B2 JP 5008248B2 JP 2003182828 A JP2003182828 A JP 2003182828A JP 2003182828 A JP2003182828 A JP 2003182828A JP 5008248 B2 JP5008248 B2 JP 5008248B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- display
- recognition
- display processing
- recognition candidates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Discrimination (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、表示処理装置、表示処理方法、表示処理プログラム、および記録媒体に関し、特に、認識処理を通して得られた検索キーによる検索結果を、所定の表示レイアウトで表示されるように、表示処理するための、表示処理装置、表示処理方法、表示処理プログラム、および記録媒体に関する。
【0002】
【従来の技術】
近年、音声データや手書き文字データを認識してテキスト形式のデータを得る、音声認識や手書き文字認識の技術が、パソコン(PC)、カーナビゲーションシステム、携帯情報端末(PDA)などで利用されている。
【0003】
このような音声認識や手書き文字認識の技術における認識結果表示方法の従来例としては、例えば、特開平7−104675号公報(特許文献1参照)に開示されているように、弱い知識による拘束条件と、強い知識による拘束条件との2つの知識辞書を用いて音声を認識し、両者から得られた複数の認識候補を表示することにより、発話者の記憶違いなどによる微小の言い間違いに対して柔軟性を増すとともに、類似した認識候補の湧き出しを減少することが知られている。
【0004】
また、例えば、シャープ技報通巻57号1993年発行p.5〜p.8(非特許文献1参照)においては、オンライン手書き認識システムの実用化について示されている。
【0005】
一方、PC上のウェブブラウザ用コンテンツサービスなどに見られるような、検索エンジンがある。例えば、PC上のウェブブラウザ用コンテンツサービスに見られる検索エンジンの例においては、キーボードを用いて検索キーとなるテキストデータ(文字列など)を入力して、検索ボタンをクリックすることにより、図15に示すような検索結果のリストを提供する。
【0006】
さらに、音声データや手書き文字データとして入力された検索キーを、音声認識処理や手書き文字認識処理により認識してテキストデータを獲得した後、認識結果として得られた一つの検索キー(一つの単語という意味ではなく、一つの認識結果)を用いて検索し、一つまたは複数の検索結果を得るという組み合わせが考えられる。
【0007】
【特許文献1】
特開平7−104675号公報(請求項1、段落0011)
【非特許文献1】
シャープ技報通巻57号1993年発行p.5〜p.8
【0008】
【発明が解決しようとする課題】
しかしながら、上記の特許文献1に開示された認識結果表示方法を用いた場合においては、入力音声データの認識結果を確実に1位候補として導出できるものではなく、発話者が認識候補からの選択などにより結果を確定する必要がある。
【0009】
また、上記の非特許文献1に示されたオンライン手書き認識システムにおいては、入力手書き文字データの認識結果を確実に1位候補として導出できるものではなく、入力者が認識候補からの選択などにより結果を確定する必要がある。
【0010】
また、上記のPC上のウェブブラウザ用コンテンツサービスに見られる検索エンジンの例においては、一般に、検索キーそのものが音響的に、または画像(文字画像)的に曖昧性を含んでいることを前提とはしていない。
【0011】
また、上記の音声認識や手書き文字認識と検索エンジンの組み合わせにおいては、検索エンジンによる検索結果を得る前に、音声データや手書き文字データ入力による検索キーの曖昧性を取り除く必要がある。また、曖昧性を取り除くことなく1位候補を検索キーとして自動的に確定した上で検索した場合、1位候補が正しい検索キーでなければ所望の検索結果を得るために再入力が必要となる。
【0012】
本発明は、上記の実情を鑑みて考え出されたものであり、その目的は、認識処理性能に起因する曖昧性(不確かさ)を含み得る検索キーを用いて検索対象データから検索を行う場合に、ユーザが検索キーの確定処理を行うことなく検索結果を得ることを可能とし、かつ検索キーを誤認識しても再入力することなく正しい検索キーによる検索結果を得ることを可能とする、表示処理装置、表示処理方法、表示処理プログラム、および記録媒体を提供することである。
【0013】
【課題を解決するための手段】
上記課題を解決するため、本発明は、認識処理を通して得られた検索キーによる検索結果を、所定の表示レイアウトで表示されるように、表示処理する表示処理装置であって、入力された検索キーを認識処理し、検索キーとして類似度の大きいものから順に複数の認識候補を選出する認識手段と、データベースにアクセスする手段と、前記認識手段によって選出された複数の認識候補を検索キーとして用いて、前記データベースから検索キーに対応するデータを検索する検索手段と、前記認識手段によって選出された複数の認識候補と、前記検索手段によって検索された複数の検索結果とを、認識候補とその認識候補に対応する複数の検索結果とを関連づけて記憶する第1記憶手段と、前記第1記憶手段に記憶されている認識候補と検索結果とを用いて、複数の認識候補と、複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果と、を同時に表示し得るような表示レイアウトを作成する表示レイアウト作成手段と、を備え、前記表示レイアウト作成手段は、前記複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果として、最も類似度の大きい認識候補に関連する複数の検索結果を用いて、1回目に表示する表示レイアウトを作成することを特徴とする。
【0014】
上記の如く、入力された検索キーを認識処理して複数の認識候補を選出し、各認識候補を検索キーとして検索し、複数の認識候補と複数の検索結果とを同時に表示し得るような表示レイアウトで表示することにより、入力された検索キーが認識処理性能に起因する曖昧性(不確かさ)を含んでいても、ユーザが検索キーの確定処理を行うことなく検索結果を得ることが可能となり、かつ検索キーを誤認識しても再入力することなく正しい検索キーによる検索結果を得ることが可能となる。
【0015】
なお、検索キーの入力に際しては、マイクやタブレットの検索キー入力手段を表示処理装置に設けて、この表示処理装置に備えられた検索キー入力手段によって入力するように構成してもよく、また、マイクやタブレットがワイヤレスで構成され、このマイク等からの送信によって表示処理装置に入力するような構成であってもよい。
【0016】
また、表示レイアウト作成手段によってレイアウトされた内容を表示するに際しては、モニタ等の表示手段を表示処理装置に設けて、この表示処理装置に備えられた表示手段によって表示するように構成してもよく、また、モニタ等がワイヤレスで構成され、表示処理装置から表示レイアウトデータをモニタ等に送信することによって、モニタ等に表示するような構成であってもよい。
【0017】
また、検索対象データを検索する際には、ネットワークを介した検索処理であってもよく、また、表示処理装置に備えられた記憶手段(第2記憶手段)の検索処理であってもよい。
【0018】
本発明は、認識候補の表示形態は、認識候補を検索キーとした場合に得られる検索結果を反映して変形されている場合もある。例えば、検索結果量に基づく認識候補の奥行き調整、検索結果の相関度合いに基づく文字サイズ、または文字太さ、または文字色の調整などである。
【0019】
本発明は、ユーザの指示を受け付けて、ユーザの指示情報を前記表示レイアウト作成手段に受け渡すユーザ指示手段を備える場合もある。なお、入力される検索キーは音声入力であり、認識手段は音声認識手段であってもよく、入力される検索キーは手書き文字入力であり、前記認識手段は手書き文字認識手段であってもよい。また、検索キーはテキストデータであり、前記検索手段が検索する対象となるデータはテキストデータであってもよい。
【0020】
本発明は、複数の認識候補を表示する際に、複数の認識候補のうちのいずれか一つの認識候補を、他の認識候補と異なる形態で表示する場合もある。表示形態の相違は、具体的には、栞付きシートの前後関係を模したもの、文字色、及び、文字の周囲の色の少なくともいずれか一つを異ならせて表示することによる。これにより、一つの認識候補と他の認識候補とを、視覚的に認識可能となる。
【0021】
本発明は、レイアウトされる複数の検索結果は、前記一つの認識候補に関連する複数の検索結果である場合もある。これにより、検索キーを確定することなく検索結果が得られる。なお、複数の検索結果を表示する際に、複数の検索結果のうちのいずれか一つの検索結果を、他の検索結果と異なる形態で表示してもよい。表示形態の相違としては、具体的には、文字色、及び、文字の周囲の色の少なくともいずれか一つを異ならせて表示することによる。
【0022】
本発明は、ユーザ指示部は、複数の認識候補のいずれか一つを選択指示する構成であってもよく、複数の検索結果のいずれか一つを選択指示する構成であってもよく、複数の検索結果のいずれか一つの選択を決定指示する構成であってもよい。具体的には、ユーザ指示部は、異なる4方向のいずれか一つの方向を指示することにより、ユーザ指示の入力を行うことが可能な構造とされている場合がある。異なる4方向は、十字方向をなす4方向であり、十字方向をなす4方向の指示構造は、同一軸上で相反する方向を向き合う2組の方向指示構造に関して、1組は認識候補の選択指示を行い、もう1組は検索結果の選択指示を行うように構成されている場合もある。このような十字方向の指示構造を用いることにより、画面上のポインタなどによる指示が困難な機器においても、容易に所望の検索結果を得ることが可能となる。
【0023】
本発明は、複数の認識候補を表示する際に、類似度の大きさに基づいて、各認識候補の表示形態を調整する場合もある。これにより、各認識候補の確からしさを視覚的に表現することが可能となり、誤認識の際においても容易に修正することを可能とする。具体的には、文字の周囲の囲み、栞を模したタブまたはボタンなどの面積の大小、栞を模したタブまたはボタンなどの奥行き方向の深さ、栞を模したタブまたはボタンなどの奥行き方向の深さを模した表現、及び、文字の大きさの少なくともいずれか一つを調整することによる。
【0024】
また、検索結果の数に基づいて、認識候補の表示形態を調整してもよい。これにより、認識候補の正確さに関わらず、検索結果情報数の大小に基づいて検索結果を表示することを可能とする。具体的には、検索結果の数が大きいほど、文字の周囲の囲みを大きく表示すること、栞を模したタブまたはボタンなどの奥行き方向の数を大きく表示すること、及び、栞を模したタブまたはボタンなどの奥行き方向の数が大きい状態を模した表現で表示することの少なくともいずれか一つを調整することによる。
【0025】
また、検索の相関の度合いに基づいて、認識候補の表示形態を調整してもよい。具体的には、相関が大きいほど文字を大きく表現すること、及び、相関が大きいほど文字を太く表現することの少なくともいずれか一つを調整することによる。
【0026】
また、本発明は、上記表示処理装置において用いられる表示処理方法であったり、表示処理方法を実現する表示処理プログラムであったり、この表示処理プログラムを記録した記録媒体であったりする。
【0027】
【発明の実施の形態】
以下、本発明を図示の実施の形態により詳細に説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係る表示処理装置のブロック図である。図1において、101は、検索キーの入力を受け付けて後段に受け渡す検索キー入力部である。ここで、検索キーとは、検索のキーとなるキー情報を意味する。
【0028】
検索キー入力部101は、入力として音声データを受け付ける場合はマイクで構成され、A/D(アナログ/デジタル)変換処理を施して得られるデジタル音声データ、またはアナログ音声データを後段に受け渡す。また、検索キー入力部101は、入力として手書き文字データを受け付ける場合はタブレットなどの感圧装置で構成され、ユーザのペン操作などによる手書き文字をデジタル画像データとして後段に受け渡す。ここで、検索キー入力部101を構成するマイクまたは感圧装置は、その形状、配置、材質などを限定するものではなく、音声データまたは手書き文字データを、デジタル(またはアナログ)音声データまたはデジタル画像データとして受け付けるものであればよい。例えば、感圧装置を光学式の装置などに置き換えてもよい。
【0029】
なお、本発明に係る表示処理装置は、必ずしも検索キー入力部101を備えている必要はなく、検索キー入力部としてのマイクやタブレットがワイヤレスで構成されて表処理装置とは別個に設け、このマイク等からの送信によって表示処理装置に入力するような構成であってもよい。
【0030】
102は、検索キー入力部101で入力された検索キーを認識する認識部である。認識部102は、専用のLSI(大規模集積回路)素子などで構成される。入力された検索キーが音声データである場合には、音声認識処理を行い、複数のテキストデータ(認識候補データ、以下、認識候補と略称する。)を選出する。また、入力された検索キーが手書き文字データである場合には、手書き文字認識処理を行い、複数のテキストデータ(認識候補)を選出する。なお、認識候補を複数挙げる場合には、認識処理の際の類似度(スコア)が大きいものから順番に認識候補とすればよい。また、最上位の認識候補とは、類似度(スコア)が最も大きいものである。ここで、類似度(スコア)とは、例えば、入力された音声データの特徴と、予め準備した単語辞書中の単語に関連付けられた特徴(またはHMM(隠れマルコフモデル)などの音響モデル)との照合における類似の度合いにより、表現することができる。
【0031】
また、単語音声認識処理については、特開平7−104675号公報、または「IT Text 音声認識システム」(鹿野他編著、オーム社)p.1〜p.50に詳しい。
【0032】
認識部102は、連続音声認識システムを導入してもよく、例えば開始終了ボタンの操作などに挟まれた一連の(一単語または複数単語からなる)入力音声データを認識してテキストデータを得られるものであれば、その詳細な構成を限定するものではない。また、手書き文字認識処理については、シャープ技報通巻57号1993年発行p.5〜p.8に詳しい。なお、認識部102は、所定の枠の中に一文字ずつ入力する方式を用いてもよく、また所定の枠の中に複数の文字を入力する方式を用いてもよく、例えば開始終了ボタンの操作などに挟まれた一連の入力手書き文字データを認識してテキストデータを得られるものであれば、その詳細な構成を限定するものではない。
【0033】
ここで、上記の検索キー入力部101、及び上記の認識部102は、音声入力及び音声認識のみの機能により構成されてもよく、また手書き文字入力及び手書き文字認識のみの機能により構成されてもよく、また音声と手書き文字の両者に対応する機能により構成されていてもよい。
【0034】
103は、認識部102で認識されたテキストデータの検索キーを用いて、検索対象データから検索キーに対応するデータを検索する検索部である。検索部103は、専用のLSI素子などで構成される。検索対象データは少なくともテキストデータを含むデータによって構成される。この検索対象データはネットワークを介してアクセス可能なデータベースに保存されており、データベースにアクセスする手段により検索可能となっている。なお、表示処理装置に、検索対象データを保存する、例えば予め半導体メモリ、磁気メモリ、または記憶装置などによって実現される第2記憶手段(図示せず)を設け、この第2記憶手段をアクセスして検索処理するような構成であってもよい。
【0035】
検索キーを用いて検索対象データから検索を行う検索エンジンについては、その詳細な構成を限定するものではなく、例えば、検索キーテキストと同一のテキストデータを含む検索対象データ中のデータを抽出し、抽出したデータのタイトルまたは冒頭テキストを、予めユーザが指定する所定の数Nを最大数として、検索による合致度合いが高いほど高い順位になるような検索結果(最大N個)を得る。
【0036】
なお、認識部102で得られた認識候補と、検索部103で検索されたその認識候補に対応する複数の検索結果とは、例えばテーブル状に関連づけられて半導体メモリなどによって実現される第1記憶手段(図示せず)に記憶される。
【0037】
104は、認識部102で得られた複数の認識候補からなる検索キーと、検索部103で得られた複数の検索結果とを同時に表示するようにレイアウトする表示レイアウト作成部であり、本発明の一つの特徴となる部分である。表示レイアウト作成部104は、専用のLSI素子などで構成され、ユーザ指示部106の指示などに基づき表示レイアウトを作成する。表示レイアウトの例については後述する。
【0038】
105は、表示レイアウト作成部104で作成した表示レイアウトに従い、表示を行う表示部である。表示部105は、液晶ディスプレイや有機EL(エレクトロ・ルミネッセンス)ディスプレイなどによって構成されるが、その詳細な構成を限定するものではない。
【0039】
なお、本発明に係る表示処理装置は、必ずしも表示部105を備えている必要はなく、表示部としてのディスプレイがワイヤレスで構成されて表処理装置とは別個に設け、表示処理装置から表示レイアウトデータをディスプレイに送信することによって、モニタ等に表示するような構成であってもよい。
【0040】
106は、ユーザの指示を受け付けて、表示レイアウト作成部104との間でユーザ指示情報と表示レイアウト情報の受け渡しを行うユーザ指示部である。ユーザ指示部106は、例えば図8に示すようなタッチペン式の携帯情報端末(PDA)の場合、タッチ入力可能な表示部72で構成される。この際、タッチ入力には、例えば専用のタッチペン73などを用いる。
【0041】
図2は実施の形態1に係る表示処理装置が実行する処理全体のフローチャートである。以下、図2に従って、表示処理動作について詳細に説明する。
ステップS101(以下、「ステップ」を省略し単に「S101」と記述する。)では、検索キー入力部101から、音声または手書き文字の検索キーを読み込む。
【0042】
S102では、認識部102により、S101で入力した音声または手書き文字の検索キーを認識(音声認識または手書き文字認識)し、検索キーのテキストデータ候補(類似度の大きい順に複数の認識候補)を得る。なお、認識候補の個数は、検索キーの内容に応じて、後述する予めシステム内で設定された(若しくはユーザ指示により変更された)所定の候補数M以上または未満の場合がある。
【0043】
S103では、検索部103により、S102で得た検索キーの認識候補第1位(類似度の大きさが1位の候補)を現在の検索キーとして設定する。
【0044】
S104では、検索部103により、S103で設定した検索キーを用いて、データベースにアクセスする手段によりアクセスされる検索対象データから検索し、複数の検索結果(検索キーとの関連が大きい順に複数の検索結果、最大N個)を得る。ここで、所定の検索結果最大個数Nは、予めシステム内で設定してもよく、またユーザ指示部106により動的に設定変更できるように設計してもよい。なお、検索対象データを保存する第2記憶手段(図示せず)を設ける構成にあっては、第2記憶手段へのアクセスによって検索処理を行ってもよい。
【0045】
S105では、検索部103が、現在の検索キーと、当該検索キーを用いて検索した複数の検索結果とを、半導体メモリなどの第1記憶手段(図示せず)に保存する。
【0046】
S106では、検索部103が、S102で得た複数の認識候補のうち現在の検索キーとして設定した認識候補の次の検索キー認識候補が存在するかどうか判定する。S106において次の候補が存在する場合はS107に進み、存在しない場合はS109にスキップする。
【0047】
S107では、検索部103が、S102で得た認識候補から現在の検索キーの次候補を、新たな現在の検索キーとして設定する。
S108では、検索部103が、S107で設定した現在の検索キーが所定の候補数内(M個以内)であるかどうか判定する。S108において、所定の候補数内である場合はS104に戻り再び検索を行う。S108において、所定の候補数を超える場合はS109に進む。ここで、所定の候補数Mは、予めシステム内で設定してもよく、またユーザ指示部106により動的に設定変更できるように設計してもよい。
【0048】
S109では、表示レイアウト作成部104により、表示レイアウトを作成する。S109の処理内容の詳細については後述する。
【0049】
S110では、表示部105により、S109で作成した表示レイアウトに従って表示する。
【0050】
S111では、ユーザ指示部106からのユーザ指示の有無が判断され、ユーザ指示内容が終了指示の場合は表示処理を終了し、ユーザ指示内容が選択変更または確定指示の場合はS109に戻って再び表示レイアウトを作成し、上記のいずれの指示でもない場合はユーザ指示の待ち状態となる。
【0051】
以下に、上記の処理を具体的に説明する。
(1)検索キーの認識候補数が所定候補数M以下の場合
処理は、S101→S102→S103を辿り、その後、S104→S105→S106→S107→S108→S104の閉ループ処理を認識候補数だけ巡り、全ての認識候補の検索キーによる検索が行われる。その後、S106において次の検索キー候補が存在しないことから、S106→S109→S110と辿って、複数の認識結果と複数の検索結果とが所定のレイアウトで表示される。
(2)検索キーの認識候補数が所定候補数Mを超える場合
処理は、S101→S102→S103を辿り、その後、S104→S105→S106→S107→S108→S104の閉ループ処理を所定候補数Mだけ巡り、第1候補の検索キーから第M候補の検索キーに至るM個の検索キーの検索が行われる。その後、S108において現在の検索キー(第M+1候補の検索キーに相当)が所定候補数Mを超えていることから、S108→S109→S110と辿って、複数の認識結果と複数の検索結果とが所定のレイアウトで表示される。
【0052】
図3は実施の形態1に係る表示処理装置が実行する表示レイアウト作成処理のフローチャートである。以下、図3に従って、表示レイアウト作成処理動作について詳細に説明する。なお、以下の処理動作は表示レイアウト作成部104により行う。
【0053】
S201では、図2のS109に入るとまず、表示レイアウトの作成が1回目かどうかを判定する。ここで、1回目とは、検索キー入力部101で入力された検索キーに対応する検索結果表示が1回目という意味である。1回目である場合はS202に進み、1回目でない場合はS203に進む。
【0054】
S202では、S105で保存した認識候補として得られた複数の検索キーの情報(テキスト表記など)を設定する。具体的には、例えば図4に示す実施の形態1に係る表示処理装置の表示レイアウト例のタブ11、12、13のような形式で認識候補を最大M個まで表示するようにレイアウトする。認識候補がM個未満であれば認識候補の数まで表示するようにレイアウトする。また、このとき最大M個の認識候補の中から、類似度が一番大きい認識候補(1位候補)を選択した状態として設定する。例えば図4の場合、タブ11が現在選択されている認識候補(認識候補1)に対応している。S202の処理が終了すると、S204に進む。
【0055】
S203では、認識候補の選択変更の有無を判定する。認識候補の選択変更がある場合はS204に進み、ない場合はS205に進む。
S204では、現在設定されている検索キー認識候補に対応するS105で保存した検索結果の情報(検索データへのリンクなど)を、例えばリスト形式で表示するようにレイアウトする。具体的には、例えば図4の場合、リストデータ14、15、16が検索結果の情報である場合の表示レイアウトの例である。また、このとき認識候補を示すタブ11、12、13についても選択状態を現在設定されている検索キーに合わせて変更する。具体的には、例えば「認識候補2」の検索キーが選択された場合、図5に示すようにタブ22が選択された状態として表示レイアウトを作成する。S204の処理が終了すると、表示レイアウト作成部の処理を終了し、図2のS110に進む。
【0056】
S205では、ユーザが検索結果を確定したどうかを判定する。検索結果を確定した場合はS206に進み、確定していない場合は表示レイアウト作成処理を終了し、図2のS110に進む。
【0057】
S206では、検索リストに示されたリンクのリンク先データや詳細情報などを表示するといった検索結果確定に基づく処理を行う。ここで、検索結果確定時の処理方法については、特に限定するものではなく、インターネットホームページの検索であればホームページ表示の処理、画像データの検索であれば確定した検索結果によって決定付けられる画像データを表示するなどすればよい。S206の処理が終了すると、表示レイアウト作成部の処理を終了し、図2のS110に進む。
【0058】
以下に、上記の処理を具体的に説明する。
(1)検索結果表示が1回目の場合
処理は、S201→S202→S204→S110を辿り、例えば図4に示す表示レイアウトで表示される。
(2)ユーザから認識候補の選択変更指示があった場合
この場合は検索結果表示が少なくとも2回目以降となるので、処理は、S201→S203→S204→S110を辿り、選択変更指示された認識候補に対応する検索結果情報に設定変更され、例えば認識候補2が選択された場合を想定すると、図5に示す表示レイアウトで表示される。
(3)ユーザから検索結果確定指示があった場合
この場合も検索結果表示が少なくとも2回目以降となるので、処理は、S201→S203→S205→S206→S110を辿り、検索結果確定に基づく処理に応じた表示が行われる。
【0059】
次いで、レイウウトの具体的態様について説明する。図4または図5において、栞付きシートの前後関係を模した形式で、現在選択されている認識候補を前側に、その他の認識候補を後側に配置した状態を模した形式で表現しているが、選択とその他との相違を表現できれば、その表現形式は他に置き換えてもよい。例えば、認識候補を表現する文字色を異なるもの(例えば、選択は赤、その他は黒)としてもよく、また、例えば、認識候補を表現する文字の周囲の色を異なるもの(例えば、選択は青、その他は白)としてもよい。さらに、これらを組み合わせた形式で表現してもよい。
【0060】
また、図4または図5において、栞付きシートの栞の形式で、認識候補を表現しているが、S102で認識処理(例えば音声認識または手書き文字認識など)をした際に、認識の類似度(スコアなど)を算出し、S105で上記類似度を保存し、S202で認識候補の表示をレイアウトする際に、類似度が大きいほどタブの面積を大きくしてもよい。また、類似度が大きいほど、タブの奥行き方向の厚みを大きくしてもよい。また、類似度が大きいほど、認識候補の表示に際し文字の大きさを大きくしてもよい。さらに、これらを組み合わせた形式で表現してもよい。このように類似度の大きさに応じて認識候補の表示形態を調整することにより、各認識候補の確からしさを視覚的に表現することが可能となる。
【0061】
具体的には、栞状のタブ形式の場合、第1番目の認識候補の類似度と第M番目の認識候補の類似度との差を求め、上記求めた差を分母として、第1番目の認識候補の類似度と第2番目の認識候補の類似度との差、第2番目の認識候補の類似度と第3番目の認識候補の類似度との差、以下同様に差を求め、それぞれを分子とした場合の割合を、第1番目の認識候補に割り当てる幅の割合、第2番目の認識候補に割り当てる幅の割合、以下同様にして幅の割合を決定し、タブを並べて表示する方向の最大幅を各割合に応じて割り当てて表現すればよい。また、奥行き方向の最大厚み(深さ)を予め決定しておき、上記の各幅の割合を、奥行き方向の深さ位置に置き換えて表現してもよい。また、文字の最大面積と最小面積を予め決定しておき、両者の面積の差を求め、上記の各幅の割合を最大文字面積から最小文字面積への縮小割合として置き換えて表現してもよい。
【0062】
また、図6に示した実施の形態1に係る表示処理装置の表示レイアウト例のように、S104で得られる検索結果の数に応じて、タブの奥行き方向の数を決定して表現することもできる。奥行き方向の数を調整することにより、各認識候補を検索キーとしたときに得られる検索結果数を視覚的に表現することが可能となる。図6は検索キーとして「きょうと」と発話した場合の例であり、認識部102において音声認識処理を行った場合の例である。
【0063】
具体的には、例えば、検索結果を最大5個まで表示するようにしておき(リストデータ1〜リストデータ5)、各認識候補を検索キーとしたときに得られる検索結果数から1を引いた後に5で除した際の除数に1を足した数が、タブの奥行き方向の数となる。例えば、第2番目の認識候補(京都)を検索キーとしたときに得られる検索結果数が13個の場合、3がタブの奥行き方向の数となり、図6のタブ6、タブ7、タブ8が奥行き方向の表現例である。
【0064】
また、検索の相関の度合いに応じて認識候補の表示形態を調整するようにしてもよい。具体的には、例えば、図6に示すように、検索における相関の度合いに応じて、相関が大きいほど文字を大きく、また文字を太く表現する。さらに、これらを組み合わせた形式で表現してもよい。ここで、検索における相関の度合いとしては、例えば、検索対象となる各データにおける検索キーの一致個数を用いればよい。また例えば、検索キーが複数の単語から構成される場合、各検索キー単語に関する一致個数を、同一の検索キーが検索対象データ全体に含まれる個数で除することにより正規化して、各検索キー単語について正規化された一致個数を加算した値を用いればよい。
【0065】
このように、検索結果数や検索における相関の度合いを認識候補の表示形式に反映することによって、ユーザが所望の検索結果を選択する作業を支援することが可能となる。
【0066】
(適用例1)
図7は実施の形態1に係る表示処理装置をパーソナルコンピュータ(PC)に適用した例である。図7において、61はPC本体であり、認識部102、検索部103、及び表示レイアウト作成部104等を含む。62はPCの表示部(表示部105に相当)であり、液晶ディスプレイやCRTディスプレイなどで構成される。63はPCのユーザ指示部(ユーザ指示部106に相当)であり、例えばPCと共に動作させるマウスなどで構成される。
【0067】
図7に示すようにPCに適用した場合、例えば図4〜図6に示した表示レイアウト例が画面に表示されている際のユーザ指示は、マウスカーソルを選択や確定したい位置に合わせてクリックすることにより行われる。
【0068】
(適用例2)
図8は実施の形態1に係る表示処理装置を携帯情報端末(PDA)に適用した例である。図8において、71はPDA本体であり、認識部102、検索部103、及び表示レイアウト作成部104等を含む。72はPDAの表示部(表示部105に相当)であり、液晶ディスプレイなどで構成される。73はPDAのユーザ指示部(ユーザ指示部106に相当)であり、例えばPDAに付属するプラスティック製のペンなどで構成される。
【0069】
図8に示すようにPDAに適用した場合、例えば図4〜図6に示した表示レイアウト例が画面に表示されている際のユーザ指示は、選択や確定したい位置をペンタッチすることにより行われる。
【0070】
(実施の形態2)
図9は実施の形態2に係る表示処理装置が実行する表示レイアウト作成処理のフローチャートである。以下、図9に従って、表示レイアウト作成処理動作について詳細に説明する。なお、本実施の形態2における表示処理装置の構成は、図1で示される実施の形態1の構成と同様であり、また、本実施の形態2における全体の処理動作についても図2に示す実施の形態1の処理動作と同様である。実施の形態1と異なる点は、S109の表示レイアウト作成処理の処理内容である。従って、実施の形態1と同様の箇所については、説明を省略する。なお、以下の処理動作は表示レイアウト作成部104により行う。
【0071】
S301では、図2のS109に入るとまず、表示レイアウトの作成が1回目かどうかを判定する。ここで、1回目とは、検索キー入力部101で入力された検索キーに対応する検索結果表示が1回目という意味である。1回目である場合はS302に進み、1回目でない場合はS303に進む。
【0072】
S302では、S105で保存した認識候補として得られた複数の検索キーの情報(テキスト表記など)を設定する。具体的には、例えば図10に示す実施の形態2に係る表示処理装置の表示レイアウト例のタブ31、32、33のような形式で認識候補を最大M個まで表示するようにレイアウトする。認識候補がM個未満であれば認識候補の数まで表示するようにレイアウトする。また、このとき最大M個の認識候補の中から、類似度が一番大きい認識候補(1位候補)を選択した状態として設定する。例えば図10の場合、タブ31が現在選択されている認識候補(認識候補1)に対応している。S302の処理が終了すると、S304に進む。
【0073】
S303では、認識候補の選択変更の有無を判定する。認識候補の選択変更がある場合はS304に進み、ない場合はS305に進む。
S304では、現在設定されている検索キー認識候補に対応するS105で保存した検索結果の情報(検索データへのリンクなど)を、例えばリスト形式で表示するようにレイアウトする。具体的には、例えば図10の場合、リストデータ34、35、36が検索結果の情報表示レイアウトの例である。また、このとき認識候補を示すタブ31、32、33についても選択状態を現在設定されている検索キーに合わせて変更する。具体的には、例えば、「認識候補2」の検索キーが選択された場合、図11に示すようにタブ42が選択された状態として表示レイアウトを作成する。S304の処理が終了すると、S306に進む。
【0074】
S305では、検索結果の選択変更の有無を判定する。検索結果の選択変更がある場合はS306に進み、ない場合はS307に進む。
S306では、選択された検索結果をハイライトするように表示レイアウトを修正する。ここで、レイアウト作成が1回目の場合は、システムまたはユーザが予め設定した検索結果(例えば最も検索キーとの関連が大きい「検索結果11」)をハイライト処理する。具体的には、例えば図10の表示レイアウト例の場合は、検索結果34がハイライト状態で、検索結果35および36がハイライトされていない状態である。また、図11の表示レイアウト例の場合は、検索結果44がハイライト状態で、検索結果45および46がハイライトされていない状態である。また、図12の表示レイアウト例の場合は、検索結果55がハイライト状態である。そして、S306の処理が終了すると、表示レイアウト作成部の処理を終了し、図2のS110に進む。
【0075】
S307では、ユーザが検索結果を確定したどうかを判定する。検索結果を確定した場合はS308に進み、確定していない場合は表示レイアウト作成処理を終了し、図2のS110に進む。
【0076】
S308では、検索リストに示されたリンクのリンク先データや詳細情報などを表示するといった検索結果確定に基づく処理を行う。ここで、検索結果確定時の処理方法については、特に限定するものではなく、インターネットホームページの検索であればホームページ表示の処理、画像データの検索であれば確定した検索結果によって決定付けられる画像データを表示するなどすればよい。S308の処理が終了すると、表示レイアウト作成部の処理を終了し、図2のS110に進む。
【0077】
以下に、上記の処理を具体的に説明する。
(1)検索結果表示が1回目の場合
処理は、S301→S302→S304→S306→S110を辿り、例えば図10に示す表示レイアウトで表示される。
(2)ユーザから認識候補の選択変更指示があった場合
この場合は検索結果表示が少なくとも2回目以降となるので、処理は、S301→S303→S304→S306→S110を辿り、選択変更指示された認識候補に対応する検索結果情報に設定変更され、例えば認識候補2が選択された場合を想定すると、図11に示す表示レイアウトで表示される。
(3)ユーザから検索結果の選択変更指示があった場合
この場合も検索結果表示が少なくとも2回目以降となるので、処理は、S301→S303→S305→S306→S110を辿り、選択変更指示された検索結果に対してハイライトが設定変更され、例えば「検索結果22」が選択された場合を想定すると、図12に示す表示レイアウトで表示される。
(4)ユーザから検索結果確定指示があった場合
この場合も検索結果表示が少なくとも2回目以降となるので、処理は、S301→S303→S305→S307→S308→S110を辿り、検索結果確定に基づく処理に応じた表示が行われる。
【0078】
次いで、レイウウトの具体的態様について説明する。図10〜図12において、文字の周囲の色で、現在選択されている認識候補を網点で模した灰色に、その他の認識候補を白色で表現しているが、選択とその他との相違を表現できれば、その表現形式は他に置き換えてもよい。例えば、認識候補を表現する文字色を異なるもの(例えば、選択は赤、その他は黒)としてもよい。さらに、これらを組み合わせた形式で表現してもよい。
【0079】
また、図10〜図12において、栞付きシートの栞の形式で、認識候補を表現しているが、S102で認識処理(例えば音声認識または手書き文字認識など)をした際に、認識の類似度(スコアなど)を算出し、S105で上記類似度を保存し、S302で認識候補の表示をレイアウトする際に、類似度が大きいほどタブの面積を大きくしてもよい。また、類似度が大きいほど、タブの奥行き方向の厚みを大きくしてもよい。また、類似度が大きいほど、認識候補の表示に際し文字の大きさを大きくしてもよい。さらに、これらを組み合わせた形式で表現してもよい。このように類似度の大きさに応じて認識候補の表示形態を調整することにより、各認識候補の確からしさを視覚的に表現することが可能となる。
【0080】
具体的には、栞状のタブ形式の場合、第1番目の認識候補の類似度と第M番目の認識候補の類似度との差を求め、上記求めた差を分母として、第1番目の認識候補の類似度と第2番目の認識候補の類似度との差、第2番目の認識候補の類似度と第3番目の認識候補の類似度との差、以下同様に差を求め、それぞれを分子とした場合の割合を、第1番目の認識候補に割り当てる幅の割合、第2番目の認識候補に割り当てる幅の割合、以下同様にして幅の割合を決定し、タブを並べて表示する方向の最大幅を各割合に応じて割り当てて表現すればよい。また、奥行き方向の最大厚み(深さ)を予め決定しておき、上記の各幅の割合を、奥行き方向の深さ位置に置き換えて表現してもよい。また、文字の最大面積と最小面積を予め決定しておき、両者の面積の差を求め、上記の各幅の割合を最大文字面積から最小文字面積への縮小割合として置き換えて表現してもよい。
【0081】
また、図6に示した実施の形態1に係る表示処理装置の表示レイアウト例と同様に、S104で得られる検索結果の数に応じて、タブの奥行き方向を調整することもできる。この際、十字キーとの関連を考慮して、奥行き方向のタブの数としてではなく、タブそのものを立体的に表現してその奥行きを深くすることで表現できる。奥行きを調整することにより、各認識候補を検索キーとしたときに得られる検索結果数を視覚的に表現することが可能となる。
【0082】
また、図6と同様に、認識候補の表示形式を、検索の相関の度合いに応じて、相関が大きいほど文字を大きく、また文字を太く表現してもよい。さらに、これらを組み合わせた形式で表現してもよい。また、検索における相関の度合いとしては、上記実施の形態1と同様に、検索対象となる各データにおける検索キーの一致個数を用いればよい。また例えば、検索キーが複数の単語から構成される場合、各検索キー単語に関する一致個数を、同一の検索キーが検索対象データ全体に含まれる個数で除することにより正規化して、各検索キー単語について正規化された一致個数を加算した値を用いればよい。
このように、検索結果数や検索における相関の度合いを認識候補の表示形式に反映することによって、ユーザが所望の検索結果を選択する作業を支援することが可能となる。
【0083】
(適用例1)
図13は実施の形態2に係る表示処理装置を携帯情報端末(PDA)に適用した例である。図13において、81はPDA本体であり、認識部102、検索部103、表示レイアウト作成部104を含む。82はPDAの表示部(表示部105に相当)であり、液晶ディスプレイなどで構成される。83〜87はPDAのユーザ指示部(ユーザ指示部106に相当)であり、例えばPDA本体81に付随する十字ボタン83〜86や決定ボタン87などで構成される。
【0084】
図13に示すようにPDAで実現した場合、例えば図10〜図12に示した表示レイアウト例が画面に表示されている際のユーザ指示は、例えば、十字ボタン83および85による左右方向の操作により認識候補選択変更を行い、また十字ボタン84および86による上下方向の操作により検索結果選択変更を行い、また決定ボタン87により検索結果確定を行う。このような十字方向の指示構造を用いることにより、画面上のポインタなどによる指示が困難な機器においても、十字ボタンと決定ボタンのみで容易に所望の検索結果を得ることを可能とする。
【0085】
(適用例2)
図14は実施の形態2に係る表示処理装置を携帯電話に適用した例である。図14において、91は携帯電話本体であり、認識部102、検索部103、表示レイアウト作成部104を含む。92は携帯電話の表示部(表示部105に相当)であり、液晶ディスプレイなどで構成される。93〜97は携帯電話のユーザ指示部(ユーザ指示部106に相当)であり、例えば携帯電話本体91に付随する十字ボタン93〜96や決定ボタン97などで構成される。
【0086】
図14に示すように携帯電話で実現した場合、例えば図10〜図12に示した表示レイアウト例が画面に表示されている際のユーザ指示は、例えば、十字ボタン93および95による左右方向の操作により認識候補選択変更を行い、また十字ボタン94および96による上下方向の操作により検索結果選択変更を行い、また決定ボタン97により検索結果確定を行う。
【0087】
(その他の事項)
上記実施の形態1、2では表示処理装置及びその表示処理装置において用いられる表示処理方法について説明したけれども、本発明の技術思想は、これら表示処理装置及び表示処理方法に限らず、表示処理方法を実現する表示処理プログラムや、表示処理プログラムを記録した記録媒体にも適用することができる。
【0088】
【発明の効果】
以上説明した本発明によると、入力された検索キーを認識処理し、検索キーとして類似度の大きいものから順に複数の認識候補を選出し、複数の認識候補を検索キーとして用いて、各検索キーそれぞれについて検索し、複数の認識候補と複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果とを同時に表示し得るような表示レイアウトを作成してその内容を表示することにより、認識処理性能に起因する曖昧性(不確かさ)を含み得る検索キーを用いて検索対象データから検索を行う場合に、ユーザが検索キーの確定処理を行うことなく検索結果を得ることが可能となり、かつ検索キーを誤認識しても再入力することなく正しい検索キーによる検索結果を得ることが可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態1に係る表示処理装置のブロック図である。
【図2】本発明の実施の形態1に係る表示処理装置が実行する処理の全体を示すフローチャートである。
【図3】本発明の実施の形態1に係る表示処理装置が実行する表示レイアウト作成処理のフローチャートである。
【図4】本発明の実施の形態1に係る表示処理装置の表示レイアウトの一例を示す図である。
【図5】本発明の実施の形態1に係る表示処理装置の表示レイアウトの他の一例を示す図である。
【図6】本発明の実施の形態1に係る表示処理装置の表示レイアウトのさらに他の一例を示す図である。
【図7】本発明の実施の形態1に係る表示処理装置をパーソナルコンピュータ(PC)に適用した例である。
【図8】本発明の実施の形態1に係る表示処理装置を携帯情報端末(PDA)に適用した例である。
【図9】本発明の実施の形態2に係る表示処理装置が実行する表示レイアウト作成処理のフローチャートである。
【図10】本発明の実施の形態2に係る表示処理装置の表示レイアウトの一例を示す図である。
【図11】本発明の実施の形態2に係る表示処理装置の表示レイアウトの他の一例を示す図である。
【図12】本発明の実施の形態2に係る表示処理装置の表示レイアウトのさらに他の一例を示す図である。
【図13】本発明の実施の形態2に係る表示処理装置を携帯情報端末(PDA)に適用した例である。
【図14】本発明の実施の形態2に係る表示処理装置を携帯電話に適用した例である。
【図15】従来の検索結果のリストの一例を示す図である。
【符号の説明】
101 検索キー入力部、
102 認識部、
103 検索部、
104 表示レイアウト作成部、
105 表示部、
106 ユーザ指示部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a display processing apparatus, a display processing method, a display processing program, and a recording medium, and in particular, performs display processing so that a search result obtained by a search key obtained through recognition processing is displayed in a predetermined display layout. The present invention relates to a display processing device, a display processing method, a display processing program, and a recording medium.
[0002]
[Prior art]
In recent years, speech recognition and handwritten character recognition technologies that recognize voice data and handwritten character data to obtain text format data are used in personal computers (PCs), car navigation systems, personal digital assistants (PDAs), and the like. .
[0003]
As a conventional example of a recognition result display method in such speech recognition and handwritten character recognition techniques, for example, as disclosed in Japanese Patent Laid-Open No. 7-104675 (see Patent Document 1), constraint conditions due to weak knowledge And voice recognition using two knowledge dictionaries with constraints based on strong knowledge, and by displaying a plurality of recognition candidates obtained from both, it is possible to deal with minute mistakes due to different memory of the speaker, etc. It is known to increase flexibility and reduce the appearance of similar recognition candidates.
[0004]
Also, for example, Sharp Technical Bulletin 57, published in 1993, p. 5-p. 8 (see Non-Patent Document 1) describes the practical application of an online handwriting recognition system.
[0005]
On the other hand, there are search engines such as those found in web browser content services on PCs. For example, in an example of a search engine found in a web browser content service on a PC, text data (such as a character string) serving as a search key is input using a keyboard and a search button is clicked, thereby FIG. Provides a list of search results as shown in.
[0006]
Furthermore, the search key input as speech data or handwritten character data is recognized by speech recognition processing or handwritten character recognition processing to acquire text data, and then one search key (referred to as one word) obtained as a recognition result. A combination of searching using one recognition result instead of meaning and obtaining one or a plurality of search results is conceivable.
[0007]
[Patent Document 1]
JP 7-104675 A (
[Non-Patent Document 1]
Sharp Technical Bulletin 57, 1993, p. 5-p. 8
[0008]
[Problems to be solved by the invention]
However, when the recognition result display method disclosed in
[0009]
Further, in the online handwriting recognition system shown in Non-Patent
[0010]
In addition, in the example of the search engine found in the above-mentioned web browser content service on the PC, it is generally assumed that the search key itself includes ambiguity acoustically or image (character image). I have not done it.
[0011]
Further, in the combination of the above speech recognition, handwritten character recognition and search engine, it is necessary to remove the ambiguity of the search key by inputting voice data or handwritten character data before obtaining a search result by the search engine. In addition, when a search is performed after the first candidate is automatically determined as a search key without removing ambiguity, re-input is required to obtain a desired search result unless the first candidate is a correct search key. .
[0012]
The present invention has been devised in view of the above circumstances, and its purpose is to perform a search from search target data using a search key that may include ambiguity (uncertainty) due to recognition processing performance. In addition, it is possible for the user to obtain a search result without performing a search key determination process, and to obtain a search result with a correct search key without re-input even if the search key is erroneously recognized. A display processing device, a display processing method, a display processing program, and a recording medium are provided.
[0013]
[Means for Solving the Problems]
In order to solve the above-described problem, the present invention provides a display processing device that performs a display process so that a search result obtained by a search key obtained through a recognition process is displayed in a predetermined display layout. Recognition means for selecting a plurality of recognition candidates in descending order of similarity as search keys, means for accessing a database, and using a plurality of recognition candidates selected by the recognition means as search keys A search means for searching data corresponding to a search key from the database; a plurality of recognition candidates selected by the recognition means; and a plurality of search results searched by the search means; a recognition candidate and its recognition candidate A first storage means for storing a plurality of search results corresponding to the above, and recognition candidates and search results stored in the first storage means A display layout creating means for creating a display layout capable of simultaneously displaying a plurality of recognition candidates and a plurality of search results related to any one of the plurality of recognition candidates; With The display layout creating means uses a plurality of search results related to a recognition candidate having the highest similarity as a plurality of search results related to any one of the plurality of recognition candidates. Create a display layout to display the second time It is characterized by that.
[0014]
As described above, the input search key is recognized and a plurality of recognition candidates are selected, each recognition candidate is searched as a search key, and a plurality of recognition candidates and a plurality of search results can be displayed simultaneously. By displaying in the layout, even if the input search key contains ambiguity (uncertainty) due to the recognition processing performance, the user can obtain the search result without performing the search key determination process. In addition, even if the search key is erroneously recognized, a search result using the correct search key can be obtained without re-input.
[0015]
When inputting the search key, a search key input unit such as a microphone or a tablet may be provided in the display processing device, and may be configured to be input by the search key input unit provided in the display processing device. The microphone or the tablet may be configured wirelessly and may be configured to input to the display processing device by transmission from the microphone or the like.
[0016]
Further, when displaying the contents laid out by the display layout creating means, a display means such as a monitor may be provided in the display processing device and displayed by the display means provided in the display processing device. In addition, the monitor or the like may be configured wirelessly, and display layout data may be transmitted from the display processing apparatus to the monitor or the like to be displayed on the monitor or the like.
[0017]
Further, when searching for the search target data, it may be a search process via a network, or may be a search process of a storage means (second storage means) provided in the display processing apparatus.
[0018]
In the present invention, the recognition candidate display form may be modified to reflect a search result obtained when the recognition candidate is used as a search key. For example, depth adjustment of recognition candidates based on the amount of search results, adjustment of character size, character thickness, or character color based on the degree of correlation of search results.
[0019]
The present invention may include a user instruction unit that receives a user instruction and transfers the user instruction information to the display layout generation unit. The input search key may be voice input, the recognition means may be voice recognition means, the input search key may be handwritten character input, and the recognition means may be handwritten character recognition means. . The search key may be text data, and the data to be searched by the search means may be text data.
[0020]
In the present invention, when displaying a plurality of recognition candidates, any one of the plurality of recognition candidates may be displayed in a form different from other recognition candidates. Specifically, the difference in the display form is due to the fact that at least one of the character color and the color surrounding the character is displayed in a different manner, imitating the front-rear relationship of the sheet with a tack. This makes it possible to visually recognize one recognition candidate and another recognition candidate.
[0021]
According to the present invention, the plurality of search results to be laid out may be a plurality of search results related to the one recognition candidate. Thereby, a search result can be obtained without determining a search key. When displaying a plurality of search results, any one of the plurality of search results may be displayed in a different form from the other search results. Specifically, the difference in display form is that at least one of the character color and the surrounding color of the character is displayed differently.
[0022]
In the present invention, the user instruction unit may be configured to instruct and select any one of a plurality of recognition candidates, and may be configured to instruct and select any one of a plurality of search results. The configuration may be such that any one of the search results is selected and instructed. Specifically, the user instruction unit may be configured to be able to input a user instruction by instructing any one of four different directions. The four different directions are the four directions that form the cross direction, and the four-direction indicating structure that forms the cross direction is related to two sets of direction indicating structures that face each other on the same axis, and one set is a selection instruction for recognition candidates. The other set may be configured to instruct selection of search results. By using such an instruction structure in the cross direction, it is possible to easily obtain a desired search result even in a device that is difficult to specify with a pointer on the screen.
[0023]
In the present invention, when displaying a plurality of recognition candidates, the display form of each recognition candidate may be adjusted based on the degree of similarity. This makes it possible to visually express the likelihood of each recognition candidate, and it is possible to easily correct even in the case of erroneous recognition. Specifically, the surrounding area of a character, the size of a tab or button imitating a heel, the depth in the depth direction of a tab or button simulating a moth, the depth direction of a tab or button simulating a moth, etc. By adjusting at least one of the expression imitating the depth of the character and the size of the character.
[0024]
Further, the display mode of recognition candidates may be adjusted based on the number of search results. This makes it possible to display the search results based on the size of the search result information regardless of the accuracy of the recognition candidates. Specifically, the larger the number of search results, the larger the surrounding area of the character, the greater the number in the depth direction of a tab or button that imitates 栞, and the tab that imitates 栞Or, by adjusting at least one of the display such as a button representing a state where the number of buttons in the depth direction is large.
[0025]
Further, the display mode of recognition candidates may be adjusted based on the degree of correlation of search. Specifically, by adjusting at least one of expressing the character larger as the correlation is larger and expressing the character thicker as the correlation is larger.
[0026]
Further, the present invention may be a display processing method used in the display processing device, a display processing program for realizing the display processing method, or a recording medium on which the display processing program is recorded.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the illustrated embodiments.
(Embodiment 1)
FIG. 1 is a block diagram of a display processing apparatus according to
[0028]
The search key input unit 101 is configured with a microphone when receiving audio data as input, and delivers digital audio data or analog audio data obtained by performing A / D (analog / digital) conversion processing to a subsequent stage. The search key input unit 101 is configured by a pressure-sensitive device such as a tablet when handwritten character data is received as input, and passes handwritten characters by a user's pen operation or the like as digital image data to the subsequent stage. Here, the microphone or pressure-sensitive device constituting the search key input unit 101 is not limited in shape, arrangement, material, etc., and voice data or handwritten character data is converted into digital (or analog) voice data or digital image. Anything may be accepted as data. For example, the pressure sensitive device may be replaced with an optical device.
[0029]
Note that the display processing device according to the present invention does not necessarily include the search key input unit 101, and the microphone and tablet as the search key input unit are configured wirelessly and provided separately from the table processing device. It may be configured to input to the display processing device by transmission from a microphone or the like.
[0030]
102 is a search key input Part A recognition unit that recognizes the search key input in 101. The
[0031]
For word speech recognition processing, see Japanese Patent Application Laid-Open No. 7-104675 or “IT Text Speech Recognition System” (edited by Shikano et al., Ohm) p. 1-p. Familiar with 50.
[0032]
The
[0033]
Here, the search key input unit 101 and the
[0034]
Reference numeral 103 denotes a search unit that searches for data corresponding to the search key from the search target data using the search key of the text data recognized by the
[0035]
The search engine that searches from the search target data using the search key does not limit the detailed configuration, for example, extracts data in the search target data including the same text data as the search key text, A search result (maximum N) of the titles or beginning texts of the extracted data is obtained with a predetermined number N specified in advance by the user as the maximum number, and the higher the degree of matching by the search, the higher the ranking.
[0036]
Note that the recognition candidates obtained by the
[0037]
A display layout creation unit 104 lays out a search key including a plurality of recognition candidates obtained by the
[0038]
Reference numeral 105 denotes a display unit that performs display according to the display layout created by the display layout creation unit 104. The display unit 105 includes a liquid crystal display, an organic EL (electroluminescence) display, or the like, but does not limit the detailed configuration.
[0039]
Note that the display processing device according to the present invention does not necessarily include the display unit 105, and the display as the display unit is configured wirelessly and provided separately from the table processing device. May be displayed on a monitor or the like by transmitting to the display.
[0040]
A
[0041]
FIG. 2 is a flowchart of the entire processing executed by the display processing apparatus according to the first embodiment. Hereinafter, the display processing operation will be described in detail with reference to FIG.
In step S101 (hereinafter, “step” is omitted and simply described as “S101”), a search key for speech or handwritten characters is read from the search key input unit 101.
[0042]
In S102, the
[0043]
In S103, the search unit 103 causes the search key recognition candidate obtained in S102 to be ranked first (similarity). size Is set as the current search key.
[0044]
In S104, the search unit 103 uses the search key set in S103 to search from the search target data accessed by the means for accessing the database. A plurality of search results (a plurality of searches in descending order of the relationship with the search key are performed). As a result, a maximum of N) is obtained. Here, the predetermined maximum number N of search results may be set in the system in advance, or may be designed so that the setting can be dynamically changed by the
[0045]
In S105, the search unit 103 stores the current search key and a plurality of search results searched using the search key in a first storage unit (not shown) such as a semiconductor memory.
[0046]
In S106, the search unit 103 determines whether there is a search key recognition candidate next to the recognition candidate set as the current search key among the plurality of recognition candidates obtained in S102. If the next candidate exists in S106, the process proceeds to S107, and if not, the process skips to S109.
[0047]
In S107, the search unit 103 sets the next candidate for the current search key from the recognition candidates obtained in S102 as a new current search key.
In S108, the search unit 103 determines whether the current search key set in S107 is within a predetermined number of candidates (within M). In S108, when it is within the predetermined number of candidates, the process returns to S104 and searches again. If the predetermined number of candidates is exceeded in S108, the process proceeds to S109. Here, the predetermined number of candidates M may be set in the system in advance, or may be designed so that the setting can be dynamically changed by the
[0048]
In S109, the display layout creation unit 104 creates a display layout. Details of the processing content of S109 will be described later.
[0049]
In S110, the display unit 105 displays the image according to the display layout created in S109.
[0050]
In S111, the presence / absence of a user instruction from the
[0051]
The above processing will be specifically described below.
(1) When the number of search key recognition candidates is equal to or less than the predetermined number of candidates M
The process follows S101 → S102 → S103, and thereafter, the closed loop process of S104 → S105 → S106 → S107 → S108 → S104 is performed for the number of recognition candidates, and all the recognition candidates are searched using the search key. After that, since there is no next search key candidate in S106, a plurality of recognition results and a plurality of search results are displayed in a predetermined layout by following S106 → S109 → S110.
(2) When the number of search key recognition candidates exceeds the predetermined number of candidates M
The process follows S101 → S102 → S103, and then goes through a closed loop process of S104 → S105 → S106 → S107 → S108 → S104 by a predetermined number of candidates M, from the first candidate search key to the Mth candidate search key. A search for M search keys is performed. Thereafter, in S108, the current search key (corresponding to the search key of the (M + 1) th candidate) exceeds the predetermined number of candidates M, so that a plurality of recognition results and a plurality of search results are obtained by following S108 → S109 → S110. Displayed in a predetermined layout.
[0052]
FIG. 3 is a flowchart of the display layout creation process executed by the display processing apparatus according to the first embodiment. The display layout creation processing operation will be described in detail below with reference to FIG. The following processing operation is performed by the display layout creation unit 104.
[0053]
In S201, when S109 in FIG. 2 is entered, it is first determined whether or not the display layout has been created for the first time. Here, the first time means that the search result display corresponding to the search key input by the search key input unit 101 is the first time. If it is the first time, the process proceeds to S202. If it is not the first time, the process proceeds to S203.
[0054]
In S202, information (such as text notation) of a plurality of search keys obtained as recognition candidates stored in S105 is set. Specifically, for example, layout is performed so that a maximum of M recognition candidates are displayed in a format such as tabs 11, 12, and 13 in the display layout example of the display processing apparatus according to the first embodiment illustrated in FIG. If the number of recognition candidates is less than M, the layout is made to display up to the number of recognition candidates. At this time, the recognition candidate having the highest similarity (first candidate) is selected from the maximum M recognition candidates. For example, in the case of FIG. 4, the tab 11 corresponds to the currently selected recognition candidate (recognition candidate 1). When the process of S202 ends, the process proceeds to S204.
[0055]
In S203, it is determined whether or not the selection of recognition candidates has been changed. If there is a selection change of the recognition candidate, the process proceeds to S204, and if not, the process proceeds to S205.
In S204, the search result information (link to search data, etc.) saved in S105 corresponding to the currently set search key recognition candidate is laid out so as to be displayed in a list format, for example. Specifically, for example, in the case of FIG. 4, it is an example of a display layout in the case where the list data 14, 15, 16 is information of a search result. At this time, the selection state of the tabs 11, 12, and 13 indicating the recognition candidates is also changed in accordance with the currently set search key. Specifically, for example, when the search key “
[0056]
In S205, it is determined whether the user has confirmed the search result. If the search result is confirmed, the process proceeds to S206. If not confirmed, the display layout creating process is terminated, and the process proceeds to S110 in FIG.
[0057]
In S206, a process based on confirmation of the search result such as displaying the link destination data or detailed information of the link shown in the search list is performed. Here, the processing method at the time of confirming the search result is not particularly limited. If the search is an Internet home page, the home page display process is performed. If the image data is searched, the image data determined by the determined search result is determined. It can be displayed. When the process of S206 ends, the process of the display layout creation unit ends, and the process proceeds to S110 of FIG.
[0058]
The above processing will be specifically described below.
(1) When the search result is displayed for the first time
The process follows S201 → S202 → S204 → S110, and is displayed in the display layout shown in FIG. 4, for example.
(2) When there is an instruction to change the selection of recognition candidates from the user
In this case, since the search result is displayed at least the second time or later, the process follows S201 → S203 → S204 → S110, and the setting is changed to the search result information corresponding to the recognition candidate instructed to change the selection. Assuming that is selected, a display layout shown in FIG. 5 is displayed.
(3) When there is a search result confirmation instruction from the user
Also in this case, the search result is displayed at least for the second time and thereafter, and the process follows S201 → S203 → S205 → S206 → S110, and display according to the process based on the search result confirmation is performed.
[0059]
Next, a specific embodiment of layout will be described. In FIG. 4 or FIG. 5, it is expressed in a format simulating the front-rear relationship of the tacked sheet, in a format simulating the state where the currently selected recognition candidates are arranged on the front side and other recognition candidates are arranged on the rear side. However, if the difference between the selection and the others can be expressed, the expression form may be replaced with another. For example, the character color representing the recognition candidate may be different (for example, selection is red, others are black), and for example, the color surrounding the character representing the recognition candidate is different (for example, selection is blue) Others may be white). Furthermore, you may express in the format which combined these.
[0060]
Also, in FIG. 4 or FIG. 5, recognition candidates are expressed in the form of a wrinkle on a sheet with a wrinkle. However, when recognition processing (for example, voice recognition or handwritten character recognition) is performed in S102, the degree of recognition similarity (Score etc.) is calculated, the above similarity is stored in S105, and when the recognition candidate display is laid out in S202, the tab area may be increased as the similarity is increased. Moreover, you may enlarge the thickness of the depth direction of a tab, so that similarity is large. In addition, the larger the similarity, the larger the character size when displaying the recognition candidates. Furthermore, you may express in the format which combined these. In this way, by adjusting the display mode of recognition candidates according to the degree of similarity, it is possible to visually express the probability of each recognition candidate.
[0061]
Specifically, in the case of the bowl-shaped tab format, the difference between the similarity of the first recognition candidate and the similarity of the Mth recognition candidate is obtained, and the first difference is determined using the obtained difference as a denominator. Find the difference between the similarity of the recognition candidate and the similarity of the second recognition candidate, the difference between the similarity of the second recognition candidate and the similarity of the third recognition candidate, and so on. The ratio of the width to be assigned to the first recognition candidate, the ratio of the width to be assigned to the second recognition candidate, the width ratio is determined in the same manner, and the tabs are displayed side by side. Can be expressed by assigning the maximum width according to each ratio. Further, the maximum thickness (depth) in the depth direction may be determined in advance, and the ratio of each width described above may be replaced with the depth position in the depth direction. Further, the maximum area and the minimum area of characters may be determined in advance, the difference between the two areas may be obtained, and the ratio of each width may be expressed as a reduction ratio from the maximum character area to the minimum character area. .
[0062]
Further, as in the display layout example of the display processing apparatus according to the first embodiment shown in FIG. 6, the number of tabs in the depth direction may be determined and expressed according to the number of search results obtained in S104. it can. By adjusting the number in the depth direction, the number of search results obtained when each recognition candidate is used as a search key can be visually expressed. FIG. 6 shows an example when “Kyoto” is uttered as a search key, and shows an example when speech recognition processing is performed in the
[0063]
Specifically, for example, up to five search results are displayed (
[0064]
Further, the display mode of recognition candidates may be adjusted according to the degree of correlation of search. Specifically, for example, as shown in FIG. 6, the larger the correlation, the larger the character and the thicker the character, depending on the degree of correlation in the search. Furthermore, you may express in the format which combined these. Here, as the degree of correlation in the search, for example, the number of matching search keys in each data to be searched may be used. Also, for example, when the search key is composed of a plurality of words, each search key word is normalized by dividing the number of matches for each search key word by the number that the same search key is included in the entire search target data. A value obtained by adding the normalized number of coincidence with respect to may be used.
[0065]
As described above, by reflecting the number of search results and the degree of correlation in the search in the display format of the recognition candidates, it is possible to assist the user in selecting a desired search result.
[0066]
(Application example 1)
FIG. 7 shows an example in which the display processing apparatus according to
[0067]
When applied to a PC as shown in FIG. 7, for example, a user instruction when the display layout examples shown in FIGS. 4 to 6 are displayed on the screen is clicked according to a position where the mouse cursor is to be selected or confirmed. Is done.
[0068]
(Application example 2)
FIG. 8 shows an example in which the display processing apparatus according to
[0069]
When applied to a PDA as shown in FIG. 8, for example, a user instruction when the display layout examples shown in FIGS. 4 to 6 are displayed on the screen is made by pen-touching a position to be selected or confirmed.
[0070]
(Embodiment 2)
FIG. 9 is a flowchart of display layout creation processing executed by the display processing apparatus according to the second embodiment. Hereinafter, the display layout creation processing operation will be described in detail with reference to FIG. The configuration of the display processing apparatus in the second embodiment is the same as that of the first embodiment shown in FIG. 1, and the entire processing operation in the second embodiment is also shown in FIG. This is the same as the processing operation of the first embodiment. The difference from the first embodiment is the processing content of the display layout creation processing in S109. Therefore, the description of the same parts as those in
[0071]
In S301, when S109 in FIG. 2 is entered, it is first determined whether or not the display layout has been created for the first time. Here, the first time means that the search result display corresponding to the search key input by the search key input unit 101 is the first time. If it is the first time, the process proceeds to S302. If it is not the first time, the process proceeds to S303.
[0072]
In S302, information (such as text notation) of a plurality of search keys obtained as recognition candidates stored in S105 is set. Specifically, for example, layout is performed so that a maximum of M recognition candidates are displayed in a format such as
[0073]
In S303, it is determined whether or not the selection of recognition candidates has been changed. If there is a recognition candidate selection change, the process proceeds to S304, and if not, the process proceeds to S305.
In S304, the search result information stored in S105 corresponding to the currently set search key recognition candidate (eg, a link to search data) is laid out so as to be displayed in a list format, for example. Specifically, in the case of FIG. 10, for example,
[0074]
In S305, it is determined whether or not the search result selection has been changed. If there is a selection change of the search result, the process proceeds to S306, and if not, the process proceeds to S307.
In S306, the display layout is modified so as to highlight the selected search result. Here, when the layout is created for the first time, a search result preset by the system or the user (for example, “search result 11” having the largest relationship with the search key) is highlighted. Specifically, for example, in the case of the display layout example of FIG. 10, the
[0075]
In step S307, it is determined whether the user has confirmed the search result. If the search result is confirmed, the process proceeds to S308. If not confirmed, the display layout creation process is terminated, and the process proceeds to S110 in FIG.
[0076]
In S308, a process based on the search result confirmation such as displaying the link destination data or detailed information of the link shown in the search list is performed. Here, the processing method at the time of confirming the search result is not particularly limited. If the search is an Internet home page, the home page display process is performed. If the image data is searched, the image data determined by the determined search result is determined. It can be displayed. When the process of S308 ends, the process of the display layout creation unit ends, and the process proceeds to S110 of FIG.
[0077]
The above processing will be specifically described below.
(1) When the search result is displayed for the first time
The process follows S301 → S302 → S304 → S306 → S110, and is displayed in the display layout shown in FIG. 10, for example.
(2) When there is an instruction to change the selection of recognition candidates from the user
In this case, since the search result is displayed at least the second time or later, the process follows S301 → S303 → S304 → S306 → S110, and the setting is changed to the search result information corresponding to the recognition candidate instructed to change the selection. Assuming that
(3) When there is an instruction to change the selection of search results from the user
In this case as well, since the search result display is at least the second time or later, the process follows S301 → S303 → S305 → S306 → S110, and the highlight is changed for the search result instructed to change the selection. Assuming that the
(4) When there is a search result confirmation instruction from the user
Also in this case, since the search result is displayed at least the second time or later, the process follows S301 → S303 → S305 → S307 → S308 → S110, and display according to the process based on the search result confirmation is performed.
[0078]
Next, a specific embodiment of layout will be described. 10 to 12, the currently selected recognition candidate is expressed in gray and the other recognition candidates are expressed in white in the color around the character, but the difference between the selection and the other is shown. As long as it can be expressed, the expression format may be replaced. For example, the character color representing the recognition candidate may be different (for example, selection is red and others are black). Furthermore, you may express in the format which combined these.
[0079]
10 to 12, recognition candidates are expressed in the form of a wrinkle on a sheet with a wrinkle. However, when recognition processing (for example, voice recognition or handwritten character recognition) is performed in S102, the degree of recognition similarity. (Score, etc.) is calculated, the above similarity is stored in S105, and when the recognition candidate display is laid out in S302, the tab area may be increased as the similarity is increased. Moreover, you may enlarge the thickness of the depth direction of a tab, so that similarity is large. In addition, the larger the similarity, the larger the character size when displaying the recognition candidates. Furthermore, you may express in the format which combined these. In this way, by adjusting the display mode of recognition candidates according to the degree of similarity, it is possible to visually express the probability of each recognition candidate.
[0080]
Specifically, in the case of the bowl-shaped tab format, the difference between the similarity of the first recognition candidate and the similarity of the Mth recognition candidate is obtained, and the first difference is determined using the obtained difference as a denominator. Find the difference between the similarity of the recognition candidate and the similarity of the second recognition candidate, the difference between the similarity of the second recognition candidate and the similarity of the third recognition candidate, and so on. The ratio of the width to be assigned to the first recognition candidate, the ratio of the width to be assigned to the second recognition candidate, the width ratio is determined in the same manner, and the tabs are displayed side by side. Can be expressed by assigning the maximum width according to each ratio. Further, the maximum thickness (depth) in the depth direction may be determined in advance, and the ratio of each width described above may be replaced with the depth position in the depth direction. Further, the maximum area and the minimum area of characters may be determined in advance, the difference between the two areas may be obtained, and the ratio of each width may be expressed as a reduction ratio from the maximum character area to the minimum character area. .
[0081]
Further, similarly to the display layout example of the display processing apparatus according to
[0082]
Similarly to FIG. 6, the display format of the recognition candidates may be expressed with a larger character and a thicker character as the correlation is larger according to the degree of correlation of the search. Furthermore, you may express in the format which combined these. As the degree of correlation in the search, the number of search key matches in each data to be searched may be used as in the first embodiment. Also, for example, when the search key is composed of a plurality of words, each search key word is normalized by dividing the number of matches for each search key word by the number that the same search key is included in the entire search target data. A value obtained by adding the normalized number of coincidence with respect to may be used.
As described above, by reflecting the number of search results and the degree of correlation in the search in the display format of the recognition candidates, it is possible to assist the user in selecting a desired search result.
[0083]
(Application example 1)
FIG. 13 shows an example in which the display processing apparatus according to
[0084]
When implemented by a PDA as shown in FIG. 13, for example, user instructions when the display layout examples shown in FIGS. 10 to 12 are displayed on the screen are, for example, by left and right operations using the cross buttons 83 and 85. The recognition candidate selection is changed, the search result selection is changed by the vertical operation with the
[0085]
(Application example 2)
FIG. 14 shows an example in which the display processing apparatus according to
[0086]
When realized by a mobile phone as shown in FIG. 14, for example, the user instruction when the display layout examples shown in FIGS. 10 to 12 are displayed on the screen is, for example, left / right operation using the
[0087]
(Other matters)
In the first and second embodiments, the display processing device and the display processing method used in the display processing device have been described. However, the technical idea of the present invention is not limited to the display processing device and the display processing method. The present invention can also be applied to a display processing program to be realized and a recording medium on which the display processing program is recorded.
[0088]
【Effect of the invention】
According to the present invention described above, an input search key is recognized, a plurality of recognition candidates are selected in descending order of similarity as search keys, and each search key is used using the plurality of recognition candidates as search keys. Search for each, create a display layout that can display a plurality of recognition candidates and a plurality of search results related to any one of the plurality of recognition candidates at the same time, and display the contents Allows users to obtain search results without performing search key decision processing when searching from search target data using search keys that may contain ambiguity (uncertainty) due to recognition processing performance In addition, even if the search key is erroneously recognized, it is possible to obtain a search result using the correct search key without re-input.
[Brief description of the drawings]
FIG. 1 is a block diagram of a display processing apparatus according to
FIG. 2 is a flowchart showing an overall process executed by the display processing apparatus according to the first embodiment of the present invention;
FIG. 3 is a flowchart of a display layout creation process executed by the display processing apparatus according to the first embodiment of the present invention.
FIG. 4 is a diagram showing an example of a display layout of the display processing apparatus according to the first embodiment of the present invention.
FIG. 5 is a diagram showing another example of the display layout of the display processing apparatus according to
FIG. 6 is a diagram showing still another example of the display layout of the display processing apparatus according to
7 shows an example in which the display processing apparatus according to
FIG. 8 is an example in which the display processing apparatus according to
FIG. 9 is a flowchart of display layout creation processing executed by the display processing apparatus according to
FIG. 10 is a diagram showing an example of a display layout of a display processing apparatus according to
FIG. 11 is a diagram showing another example of the display layout of the display processing apparatus according to the second embodiment of the present invention.
FIG. 12 is a diagram showing still another example of the display layout of the display processing apparatus according to
FIG. 13 is an example in which the display processing apparatus according to
FIG. 14 is an example in which the display processing apparatus according to
FIG. 15 is a diagram showing an example of a list of conventional search results.
[Explanation of symbols]
101 Search key input part,
102 recognition unit,
103 Search part,
104 display layout creation section,
105 display section,
106 User instruction unit.
Claims (29)
入力された検索キーを認識処理し、検索キーとして類似度の大きいものから順に複数の認識候補を選出する認識手段と、
データベースにアクセスする手段と、
前記認識手段によって選出された複数の認識候補を検索キーとして用いて、前記データベースから検索キーに対応するデータを検索する検索手段と、
前記認識手段によって選出された複数の認識候補と、前記検索手段によって検索された複数の検索結果とを、認識候補とその認識候補に対応する複数の検索結果とを関連づけて記憶する第1記憶手段と、
前記第1記憶手段に記憶されている認識候補と検索結果とを用いて、複数の認識候補と、複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果と、を同時に表示し得るような表示レイアウトを作成する表示レイアウト作成手段と、
を備え、
前記表示レイアウト作成手段は、前記複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果として、最も類似度の大きい認識候補に関連する複数の検索結果を用いて、1回目に表示する表示レイアウトを作成することを特徴とする表示処理装置。A display processing device that performs display processing so that a search result obtained by a search key obtained through recognition processing is displayed in a predetermined display layout,
A recognition means for recognizing the input search key and selecting a plurality of recognition candidates in descending order of similarity as the search key;
A means of accessing the database;
Search means for searching data corresponding to the search key from the database using a plurality of recognition candidates selected by the recognition means as search keys;
First storage means for storing a plurality of recognition candidates selected by the recognition means and a plurality of search results searched by the search means in association with the recognition candidates and a plurality of search results corresponding to the recognition candidates. When,
A plurality of recognition candidates and a plurality of search results related to any one of the plurality of recognition candidates are simultaneously used using the recognition candidates and the search results stored in the first storage unit. Display layout creation means for creating a display layout that can be displayed;
Equipped with a,
The display layout creating means uses a plurality of search results related to a recognition candidate having the highest similarity as a plurality of search results related to any one of the plurality of recognition candidates. A display processing device for creating a display layout to be displayed on the screen .
前記表示レイアウト作成手段は、前記ユーザ指示手段からの指示に応じた表示レイアウトを作成する、請求項1から請求項5のいずれかに記載の表示処理装置。User instruction means for accepting user instructions and delivering user instruction information to the display layout creating means,
The display processing apparatus according to claim 1, wherein the display layout creating unit creates a display layout according to an instruction from the user instruction unit.
検索キーの入力を受け付ける検索キー入力ステップと、
検索キー入力ステップから受け渡された検索キーを認識処理し、検索キーとして類似度の大きいものから順に複数の認識候補を選出する認識ステップと、
前記認識ステップで選出された複数の認識候補を検索キーとして用いて、検索対象データから検索キーに対応するデータを検索する検索ステップと、
選出された複数の認識候補と、前記検索された複数の検索結果とを、認識候補とその認識候補に対応する複数の検索結果とを関連づけて記憶する記憶ステップと、
前記記憶ステップにおいて記憶された認識候補と検索結果とを用いて、複数の認識候補と、複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果と、を同時に表示し得るような表示レイアウトを作成する表示レイアウト作成ステップと、
前記表示レイアウト作成ステップによって作成されたレイアウト内容を表示する表示ステップと、
を備え、
前記表示ステップにおいて1回目に表示するレイアウト内容は、前記複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果として、最も類似度の大きい認識候補に関連する複数の検索結果を用いるものであることを特徴とする表示処理方法。A display processing method for performing display processing so that a search result obtained by a search key obtained through recognition processing is displayed in a predetermined display layout,
A search key input step for accepting a search key input;
A recognition step of recognizing the search key delivered from the search key input step and selecting a plurality of recognition candidates in descending order of similarity as the search key;
A search step of searching for data corresponding to the search key from the search target data using a plurality of recognition candidates selected in the recognition step as a search key;
Storing a plurality of selected recognition candidates and the plurality of searched search results in association with the recognition candidates and a plurality of search results corresponding to the recognition candidates;
Using the recognition candidates and search results stored in the storage step, a plurality of recognition candidates and a plurality of search results related to any one of the plurality of recognition candidates can be displayed simultaneously. A display layout creation step for creating such a display layout,
A display step for displaying the layout content created by the display layout creation step;
Equipped with a,
The layout content displayed for the first time in the display step is a plurality of search results related to a recognition candidate having the highest similarity as a plurality of search results related to any one of the plurality of recognition candidates. display processing method characterized in that using.
コンピュータに、
検索キーの入力を受け付ける検索キー入力ステップと、
検索キー入力ステップから受け渡された検索キーを認識処理し、検索キーとして類似度の大きいものから順に複数の認識候補を選出する認識ステップと、
前記認識ステップで選出された複数の認識候補を検索キーとして用いて、検索対象データから検索キーに対応するデータを検索する検索ステップと、
選出された複数の認識候補と、前記検索された複数の検索結果とを、認識候補とその認識候補に対応する複数の検索結果とを関連づけて記憶する記憶ステップと、
前記記憶ステップにおいて記憶された認識候補と検索結果とを用いて、複数の認識候補と、複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果と、を同時に表示し得るような表示レイアウトを作成する表示レイアウト作成ステップと、
前記表示レイアウト作成ステップによって作成されたレイアウト内容を表示する表示ステップと、
を実行させ、
前記表示ステップにおいて1回目に表示するレイアウト内容は、前記複数の認識候補のうちのいずれか一つの認識候補に関連する複数の検索結果として、最も類似度の大きい認識候補に関連する複数の検索結果を用いるものであることを特徴とする表示処理プログラム。A display processing program for performing display processing so that a search result obtained by a search key obtained through recognition processing is displayed in a predetermined display layout,
On the computer,
A search key input step for accepting a search key input;
A recognition step of recognizing the search key delivered from the search key input step and selecting a plurality of recognition candidates in descending order of similarity as the search key;
A search step of searching for data corresponding to the search key from the search target data using a plurality of recognition candidates selected in the recognition step as a search key;
Storing a plurality of selected recognition candidates and the plurality of searched search results in association with the recognition candidates and a plurality of search results corresponding to the recognition candidates;
Using the recognition candidates and search results stored in the storage step, a plurality of recognition candidates and a plurality of search results related to any one of the plurality of recognition candidates can be displayed simultaneously. A display layout creation step for creating such a display layout,
A display step for displaying the layout content created by the display layout creation step;
Was executed,
The layout content displayed for the first time in the display step is a plurality of search results related to a recognition candidate having the highest similarity as a plurality of search results related to any one of the plurality of recognition candidates. A display processing program characterized by using the above .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003182828A JP5008248B2 (en) | 2003-06-26 | 2003-06-26 | Display processing apparatus, display processing method, display processing program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003182828A JP5008248B2 (en) | 2003-06-26 | 2003-06-26 | Display processing apparatus, display processing method, display processing program, and recording medium |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2005018442A JP2005018442A (en) | 2005-01-20 |
JP2005018442A5 JP2005018442A5 (en) | 2006-07-13 |
JP5008248B2 true JP5008248B2 (en) | 2012-08-22 |
Family
ID=34183109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003182828A Expired - Fee Related JP5008248B2 (en) | 2003-06-26 | 2003-06-26 | Display processing apparatus, display processing method, display processing program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5008248B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112009001779B4 (en) | 2008-07-30 | 2019-08-08 | Mitsubishi Electric Corp. | Voice recognition device |
JP5051080B2 (en) | 2008-09-25 | 2012-10-17 | 富士通株式会社 | Information display device, information display method, and program |
JP5542559B2 (en) * | 2010-07-16 | 2014-07-09 | 三菱電機株式会社 | Voice search interface device and voice input search method |
KR101252813B1 (en) * | 2011-09-19 | 2013-04-09 | (주)다음소프트 | Tab searching apparatus and method flexible for user input |
CN102945671A (en) * | 2012-10-31 | 2013-02-27 | 四川长虹电器股份有限公司 | Voice recognition method |
CN113326279A (en) * | 2021-05-27 | 2021-08-31 | 阿波罗智联(北京)科技有限公司 | Voice search method and device, electronic equipment and computer readable medium |
-
2003
- 2003-06-26 JP JP2003182828A patent/JP5008248B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005018442A (en) | 2005-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10395654B2 (en) | Text normalization based on a data-driven learning network | |
US10067938B2 (en) | Multilingual word prediction | |
US10592601B2 (en) | Multilingual word prediction | |
JP3962763B2 (en) | Dialogue support device | |
JP4829901B2 (en) | Method and apparatus for confirming manually entered indeterminate text input using speech input | |
KR100318573B1 (en) | Character input apparatus and storage medium in which character input program is stored | |
TWI437449B (en) | Multi-mode input method and input method editor system | |
US6510412B1 (en) | Method and apparatus for information processing, and medium for provision of information | |
US20180349472A1 (en) | Methods and systems for providing query suggestions | |
KR100891358B1 (en) | System and its method for inputting character by predicting character sequence of user's next input | |
US20150073801A1 (en) | Apparatus and method for selecting a control object by voice recognition | |
KR20130001261A (en) | Multimodal text input system, such as for use with touch screens on mobile phones | |
JP2003513389A (en) | Language input user interface | |
JP2008123553A (en) | Information apparatus | |
TW200538969A (en) | Handwriting and voice input with automatic correction | |
JP2010198241A (en) | Chinese input device and program | |
JP2006053906A (en) | Efficient multi-modal method for providing input to computing device | |
JP5008248B2 (en) | Display processing apparatus, display processing method, display processing program, and recording medium | |
WO2009128838A1 (en) | Disambiguation of icons and other media in text-based applications | |
JP4200874B2 (en) | KANSEI information estimation method and character animation creation method, program using these methods, storage medium, sensitivity information estimation device, and character animation creation device | |
US8711100B2 (en) | Sign language keyboard and sign language searching apparatus using the same | |
US8335680B2 (en) | Electronic apparatus with dictionary function background | |
JP2004295578A (en) | Translation device | |
Abbott et al. | Identifying an aurally distinct phrase set for text entry techniques | |
US20140081622A1 (en) | Information display control apparatus, information display control method, information display control system, and recording medium on which information display control program is recorded |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060530 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060530 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090414 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091014 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20091029 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20091120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120330 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120529 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150608 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |