JP2005210497A - Personal digital assistant - Google Patents
Personal digital assistant Download PDFInfo
- Publication number
- JP2005210497A JP2005210497A JP2004015933A JP2004015933A JP2005210497A JP 2005210497 A JP2005210497 A JP 2005210497A JP 2004015933 A JP2004015933 A JP 2004015933A JP 2004015933 A JP2004015933 A JP 2004015933A JP 2005210497 A JP2005210497 A JP 2005210497A
- Authority
- JP
- Japan
- Prior art keywords
- call
- voice
- text
- speech
- storage means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
この発明は、携帯電話などの携帯情報端末に関し、特に通話中の通話音声と、通話音声を音声認識することによって得られる通話テキストとを通話情報に関連付けて保存する機能を備えた携帯情報端末に関するものである。さらに、通話テキストを作成することによって、通話情報を表示する通話履歴から通話内容を把握することが容易に可能となり、さらに蓄積された通話音声の中から所望の通話音声の選択が容易に可能となるものである。 The present invention relates to a portable information terminal such as a cellular phone, and more particularly to a portable information terminal having a function of storing a call voice during a call and a call text obtained by voice recognition of the call voice in association with the call information. Is. Furthermore, by creating a call text, it is possible to easily understand the call contents from the call history displaying the call information, and it is also possible to easily select a desired call voice from the accumulated call voice. It will be.
従来、この種の通話音声録音機能付きの携帯情報端末においては、通話音声を通話情報に対応付けて保存し、上記通話情報を表示する通話履歴表示画面より通話音声に対応付けられている通話履歴が選択されると、対応する通話音声が再生される操作手段と機能とを装備するようにしている(たとえば、特許文献1参照)。
また、従来音声をテキスト化する装置としては、マイクから入力された音声をテキストデータに変換する音声認識技術を利用した音声入力ワードプロセッサが製品化されている。この様な音声入力ワードプロセッサを利用して文書データを作成する処理では、マイクから入力されたアナログ音声データから音素を抽出し、単語辞書を参照することによって抽出された音素の並びを単語に変換するようにしている。
Conventionally, in this type of portable information terminal with a call voice recording function, call voice is stored in association with call information, and the call history associated with the call voice is displayed from the call history display screen for displaying the call information. Is selected, an operation means and a function for reproducing the corresponding call voice are provided (for example, see Patent Document 1).
In addition, as a conventional device for converting speech into text, a speech input word processor using speech recognition technology that converts speech input from a microphone into text data has been commercialized. In the process of creating document data using such a speech input word processor, phonemes are extracted from analog speech data input from a microphone, and the sequence of phonemes extracted by referring to a word dictionary is converted into words. I am doing so.
従来の多くの携帯情報端末の通話情報は、通話相手の情報(電話番号)、通話開始時刻、通話時間などであるため、通話情報を表示する通話履歴表示画面よりその通話内容を容易に把握することは困難である。また上記の特許文献1で記述されているアイデアが示すように、通話情報に対して通話音声が対応付けられていたとしても、通話音声を再生して通話内容を把握するためには、音声を再生するのに実時間かかってしまうという問題点があり、音声を再生するのが困難な状況では使用することが出来ないという問題点があった。また、蓄積された通話音声の中から所望の通話音声を検索するときに、通話内容を検索条件に設定して検索を行えないという問題点があった。
Since the call information of many conventional portable information terminals is information on the other party (phone number), call start time, call time, etc., the call contents can be easily grasped from the call history display screen displaying the call information. It is difficult. Further, as indicated by the idea described in the above-mentioned
この発明は、上記のような課題を解消するためになされたもので、通話情報に対して通話中に録音された通話音声と、さらに上記通話音声に対して音声認識を行った結果得られるテキストを通話テキストとして対応付けることにより、通話情報を表示する通話履歴表示画面から過去の通話内容の把握を容易にすることが可能となる携帯情報端末を得ることを目的とする。 The present invention has been made in order to solve the above-described problems. The call voice recorded during a call with respect to call information and the text obtained as a result of performing voice recognition on the call voice. It is an object of the present invention to obtain a portable information terminal that can easily grasp the contents of a past call from a call history display screen that displays call information by associating with the call text.
また、蓄積された通話音声の中から所望の通話音声を検索する際は、通話音声に対応付けられている通話テキストに対してキーワード検索を行う。通常、数多く録音された音声群の中から所望の音声を探し出す作業は非常に時間がかかるものであるが、上記の如く通話テキストに対してキーワード検索を行うことにより、すばやく所望の通話音声を探し出すことが可能となる携帯情報端末を得ることを目的とする。 Also, when searching for a desired call voice from the stored call voice, a keyword search is performed on the call text associated with the call voice. Usually, it takes a very long time to find a desired voice from a group of recorded voices. However, a keyword search is performed on the call text as described above to quickly find a desired voice. An object of the present invention is to obtain a portable information terminal.
この発明に係る携帯情報端末においては、上記の目的を達成するために、通話に伴う通話情報と通話音声を出力し、読み込まれた通話音声を音声認識しテキスト化して出力または読み込まれた通話音声を再生する通信制御/処理手段と、この通信制御/処理手段から出力される通話音声を蓄積する通話音声蓄積手段と、前記通話音声蓄積手段から読み出され前記通信制御/処理手段で音声認識されテキスト化された通話テキストを蓄積する通話テキスト蓄積手段と、前記通信制御/処理手段から出力される通話情報を蓄積する通話履歴蓄積手段と、前記通話音声蓄積手段に蓄積された通話音声と前記通話テキスト蓄積手段に蓄積された通話テキストおよび前記通話履歴蓄積手段に蓄積された通話情報を通話ごとに対応付ける対応付け手段と、前記対応付け手段の対応結果を表示する表示手段とを備える。 In the portable information terminal according to the present invention, in order to achieve the above object, the call information and call voice accompanying the call are output, and the read call voice is recognized and converted into text and output or read. Communication control / processing means for playing back, call voice storage means for storing call voice output from the communication control / processing means, read out from the call voice storage means, and voice-recognized by the communication control / processing means Call text storage means for storing the converted call text, call history storage means for storing call information output from the communication control / processing means, call voice stored in the call voice storage means, and the call Association means for associating the call text stored in the text storage means and the call information stored in the call history storage means for each call; And display means for displaying the corresponding results of the serial correlation means.
この発明は、入力音声を録音すると共に音声認識を行い、その結果からテキスト化を行い通話情報と対応付けて蓄積するため、過去の通話履歴から通話の内容を容易に把握することができる効果がある。 Since the present invention records the input voice and performs voice recognition, converts the result into text and stores it in correspondence with the call information, so that the contents of the call can be easily grasped from the past call history. is there.
実施の形態1.
図1は、この発明の通話音声録音機能、音声認識機能を搭載する携帯情報端末の実施の形態1を示すブロック図である。
図1においては、通信制御/処理手段1はダイヤル手段2に入力される番号相手への電話回線3を介しての接続制御とマイク4からの入力音声を電話回線3への発信と、電話回線3からの通話相手の音声をスピーカー5へ出力する。また、指示信号に基づいて発信側音声と通話相手の音声(両方をあわせて通話音声という)の音声認識処理と認識結果の音声テキスト化処理を行う。通話音声蓄積手段6は、録音ボタン7と停止ボタン8の操作による指定信号により通話ごとの通話音声を録音する。通話テキスト蓄積手段9は通話音声蓄積手段に録音された通話音声を通信制御/処理手段1でテキスト化した結果を蓄積する。また、通信制御/処理手段1は、通話ごとに通話相手の電話番号、時間などの通話情報を通話履歴蓄積手段10に蓄積する。そして、対応付け手段11は通話音声蓄積手段6と通話テキスト蓄積手段9に蓄積された通話テキストとが通話履歴蓄積手段10に蓄積されている通話情報をもとに対応付けを行う。表示手段12には通話履歴表示ボタン13により保存された通話情報と保存された通話情報と保存された通話音声とを対応付けて表示する。操作手段14は表示手段に表示された内容の選択を行い通話音声の再生、通話テキストの表示などの操作を行うものである。
FIG. 1 is a block
In FIG. 1, the communication control /
次に動作について、図1を参照して概要を説明する。通信制御/処理手段1は、ダイヤル手段2から入力された電話番号先への通話の確立や、相手からの着信処理を行い通話の確立を行う。話者の音声はマイク4から通信制御/処理手段1で電話回線3へ送信され、また電話回線3からの通信相手の音声は通信制御/処理手段1からスピーカー5に送られ音声として出力される。このようにして通話が確立した状態(以下、通話中という)で録音ボタン7を押下すると、通信制御/処理手段1は通話中の音声の取り込みを開始し、その音声を通話音声として通話音声蓄積手段6に蓄積し、停止ボタン8を押下すると、通話音声蓄積手段6への蓄積を停止する。また、通信制御/処理手段1は、通話相手の電話番号、通話開始時刻などの通話情報に通話履歴IDを付与し通話履歴蓄積手段10に蓄積する。録音中に停止ボタン8が押下されるとまず、通信制御/処理手段1は通話音声蓄積手段6からいまの通話中に録音した通話音声を読み出しそれに対して音声認識・テキスト化を実行し、テキスト化したテキストを通話テキスト蓄積手段9に蓄積する。次に、上記通話情報と録音した通話音声とテキスト化された通話テキストとを対応付けるために、通話音声蓄積手段6から通話音声の蓄積場所を示すポインターと、通話テキスト蓄積手段9から通話テキストの蓄積場所を示すポインターと、通話履歴蓄積手段10から通話履歴IDと通話情報の蓄積場所を示すポインターとを得て、対応付け手段11の対応付けメモリ領域中の対応テーブルに記録する。表示手段12は、通話履歴蓄積手段10から通話履歴表示画面を表示し、対応付け手段11を参照して各通話情報に対応して録音した通話音声が存在するものはその通話情報ごとに通話音声を表すアイコンを表示し、対応付け手段11を参照して各通話情報に対応して保存した通話テキストが存在するものはその通話情報ごとに通話テキストを表すアイコンを表示する。ここでは、通話音声を示すアイコンとして「VOICE」を、通話テキストを示すアイコンとして「TEXT」として説明する。
Next, the operation will be outlined with reference to FIG. The communication control /
一方、上記通話履歴表示画面に表示された通話テキストを表すアイコン「TEXT」が選択されると、操作手段14がそれを検知し、通話履歴蓄積手段10を参照して、選択された通話履歴の通話履歴IDと選択された通話テキストからそれに対応した通話テキストへのポインターを得て、通信制御/処理手段1に通知する。通信制御/処理手段1は、そのポインター情報を基に通話テキスト蓄積手段9の対応する通話テキストの表示を行う。
On the other hand, when the icon “TEXT” representing the call text displayed on the call history display screen is selected, the operation means 14 detects it and refers to the call history storage means 10 to display the selected call history. A pointer to the call text corresponding to the call history ID and the selected call text is obtained and notified to the communication control / processing means 1. The communication control /
図2は、通話開始から通話履歴表示画面の表示までの処理を説明するフローチャートである。図1、図2を参照して説明する
通話開始と同時に通信制御/処理手段1は、あらかじめ通話設定で自動録音モード設定が該通話においての条件を満たしているかどうか調べ(ステップST1)、条件を満たしてなければ通常の通話状態(ステップST13)となり、条件を満たしていれば、通話中の音声を録音し通話音声蓄積手段6に格納し(ステップST4)、録音状態(ステップST14)となる。録音状態でかつ通話状態が継続中(ステップST5)で、かつ停止ボタン8が押下されない限り(ステップST6)録音状態は継続し録音し続ける。音声録音中に停止ボタン8が押下されたら音声録音を停止し、音声認識を行って通話テキストを作成し、通話テキスト蓄積手段9に格納して(ステップST7)通常の通話状態となる。通常の通話状態継続中に録音ボタン7が押下されたら(ステップST3)、通話中の音声を録音し通話音声蓄積手段6に格納し録音状態となる。通話状態終了時、同時に録音状態でもあれば音声録音を停止し、音声認識を行って通話テキストを作成し、通話テキスト蓄積手段9に格納する(ステップST8)。次に、通信制御/処理手段1は、通話履歴蓄積手段10に、通話相手の電話番号、通話開始時刻などの通話情報を通知し通話履歴として蓄積する(ステップST9)。
FIG. 2 is a flowchart for explaining processing from the start of a call to the display of a call history display screen. 1 and 2, the communication control /
次に、対応付け手段11は通話音声蓄積手段6から通話音声の蓄積場所を示すポインター情報と、通話テキスト蓄積手段9から通話テキストと通話テキストの蓄積場所を示すポインターと、通話履歴蓄積手段10から通話履歴IDと通話情報の蓄積場所を示すポインターとを得て対応付け手段の対応付けメモリ領域内の対応テーブルに記録する(ステップST10)。
通話履歴表示ボタン13が押下された場合(ステップST11)、上記対応テーブルと通話履歴蓄積手段10とを参照し、対応テーブルに記入されている通話履歴IDと一致する通話履歴IDを持つ通話情報が通話履歴蓄積手段10に存在すれば、それは録音した通話音声と通話テキストを意味するので、表示手段12は、録音した通話音声を表すアイコン「VOICE」とテキスト化された通話テキストを表すアイコン「TEXT」を表示し、表示手段12より通話履歴表示画面を表示する(ステップST12)。
Next, the associating
When the call
また、図3は、通話履歴表示画面に表示された通話テキストの表示処理を説明するフローチャートである。図1、図3を参照して説明する。まず、操作手段14は通話履歴表示画面に表示されている通話情報を参照して特定の通話テキストのアイコンが選択されると(ステップST15)、上記特定の通話テキストの表示トリガーを検知し、通話履歴蓄積手段10を参照し、上記通話テキストがどの通話中に記録されたかを知るために、通話履歴IDを得て、それを対応付け手段11に通知する(ステップST16)。次に対応付け手段11は、対応テーブルの通話履歴を参照し(ステップST17)、選択された通話テキストの通話履歴IDに対応付けられている通話テキストのうち選択されたものを探し出し、それに対応するポインター情報を得て(ステップST18)、通信制御/処理手段1に通知する。次に通信制御/処理手段1は、上記ポインター情報の通知を受けて、通話テキスト蓄積手段9より上記特定の通話テキストをアクセスし(ステップST19)、上記通話テキストを表示する(ステップST20)。
FIG. 3 is a flowchart for explaining the call text display process displayed on the call history display screen. This will be described with reference to FIGS. First, when the specific call text icon is selected with reference to the call information displayed on the call history display screen (step ST15), the operation means 14 detects the specific call text display trigger, and calls Referring to the history storage means 10, in order to know in which call the call text was recorded, a call history ID is obtained and notified to the association means 11 (step ST16). Next, the associating
ここで、上述の通話音声蓄積手段6、通話テキスト蓄積手段9と通話履歴蓄積手段10のメモリ構成について図4を参照し説明する。図において、(a)は通話音声蓄積手段6の通話音声蓄積メモリ領域17を示し、この通話音声蓄積メモリ領域17には通話音声#1〜#4で示される通話音声データ23が蓄積されている。これらの通話音声データ23の通話音声#1〜#4にはそれぞれがメモリ領域17のどこに蓄積されているかの蓄積場所を指し示すポインターP1〜P4で示されている。図4(b)は、通話テキスト蓄積手段9のメモリ領域18を示し、このメモリ領域18には通話音声蓄積メモリ領域17に蓄積されている通話音声データ23が読み出されて通信制御/処理手段1で音声認識されテキスト化された通話テキスト#1〜#4が蓄積されている。これらにはメモリ領域のどこに格納されているかを示すポインターP5〜P8で指し示されている。図4(c)は、通話履歴蓄積手段10のメモリ領域19を示し、通話履歴ID26、通話相手の番号27、通話開始時刻28と通話時間29などの通話情報が格納されている。通話履歴ID26は通話ごとに自動的に番号付与される。また、通話中に録音ボタン7が押下された通話の履歴にはメモリ領域19のどこに蓄積されているかを示すポインターP9〜P11で指し示される。図4(c)でポインターのない通話履歴は通話中に録音ボタン7が押下されなかった通話の履歴である。
Here, the memory configurations of the above-described call voice storage means 6, call text storage means 9 and call history storage means 10 will be described with reference to FIG. In the figure, (a) shows a call voice
つぎに、対応付け手段11において、通話音声蓄積手段6、通話テキスト蓄積手段9と通話履歴蓄積手段10のそれぞれのメモリ領域17,18,19に記憶された情報からどのように対応付けを行うか詳細に説明する。
図5は対応付け手段のメモリ領域を示す図で、(a)は通話履歴から通話音声と通話テキストとの対応付けメモリ領域20、また(b)は通話テキストから通話履歴との対応付けメモリ領域21を示している。
ここでは、具体的に時刻21:23に通話を開始し、その通話中に録音した通話音声がある場合を例とり、対応付け手段のメモリ領域中の対応テーブルの作成と、上記対応テーブルを用いて通話履歴表示画面の表示について説明する。既に3つのデータがあり新たに1つのデータ(時刻21:23の通話)が追加される場合を考える。すなわち、通話音声蓄積手段6のメモリ領域17には、録音した通話音声が既に3つ(通話音声#1〜通話音声#3)格納されており、それぞれポインターP1、ポインターP2、ポインターP3で指し示されている。通話テキスト蓄積手段9のメモリ領域18には、テキスト化された通話テキストが既に3つ(通話テキスト#1〜通話テキスト#3)格納されており、それぞれポインターP5、ポインターP6、ポインターP7で指し示されている。いま新たな通話が始まると、その通話情報として通話履歴蓄積手段10の通話履歴蓄積メモリ領域20に通話履歴ID00000559が付与されて通話相手の番号090−5555−5555と開始時刻が記録される。
Next, in the associating
5A and 5B are diagrams showing a memory area of the association means. FIG. 5A is a
Here, a case where a call is started at time 21:23 and there is a call voice recorded during the call is taken as an example, and a correspondence table is created in the memory area of the association means, and the above correspondence table is used. The display of the call history display screen will be described. Consider a case where there are already three data and one new data (call at time 21:23) is added. That is, three recorded call voices (call
このとき、対応付けメモリ20の通話履歴IDの欄30には00000559が記録される。通話中に録音ボタン7が押下されると通話音声は通話音声蓄積手段6のメモリ領域17に記録され、ポインターP4で指し示される。停止ボタン8が押下されて録音が停止されると、通話音声蓄積メモリ領域17の通話音声#4が読み出されて通信制御/処理手段1で音声認識された結果がテキスト化され通話テキスト#4として通話テキスト蓄積メモリ18に記録され、ポインターP8で指し示される。このポインターP8は、対応付けメモリ領域20の通話テキストへのポインター欄に記録される。また、通話テキストから通話履歴への対応付けメモリ21には、通話テキスト欄33に通話テキスト蓄積メモリ領域18の通話テキスト#4が記録されると共に通話履歴へのポインター欄34にはこの通話が行われた通話履歴ID0000559を指し示すポインターP11が格納される。
以上のように、通話音声蓄積手段6の通話音声蓄積メモリ領域17と通話テキスト蓄積手段9の通話テキスト蓄積メモリ領域18および通話履歴蓄積手段10の通話履歴蓄積メモリ領域19から対応付け手段11において対応付けメモリ20,21を作成する。
At this time, 00000559 is recorded in the call
As described above, the caller voice
通話終了後、表示手段12は通話履歴IDが00000559の通話情報を通話履歴蓄積手段10の通話履歴蓄積メモリ領域19から得て、通話履歴表示画面22に表示する。更に、対応付け手段11における上記対応テーブルを参照して、この通話中に録音した通話音声およびテキスト化された通話テキストが存在することが分かるので、表示手段12によって、アイコン「VOICE」35、およびアイコン「TEXT」36を上記の通話履歴表示画面22に表示する。
After the call is finished, the display means 12 obtains the call information with the
次に、いま、使用者が通話履歴表示画面22を参照して電話番号090−5555−5555の通話相手と時刻21:23に開始した通話中に録音した通話音声の再生と通話テキストの表示をする場合について説明する。通話履歴表示画面上の、特定の録音した通話音声を表すアイコン「VOICE」35を選択すると、それを検知した操作手段14は、通話履歴蓄積手段10を参照し、選択された通話音声の通話履歴ID30(00000559)を得て、対応付け手段11に通知する。通知を受けた対応付け手段11は、対応テーブルを参照し、通知された通話履歴ID(00000559)に対応する通話音声のポインターP4を得て、通信制御/処理手段1に通知する。通信制御/処理手段1は、通話音声のポインターP4によって指し示される通話音声#4の蓄積場所をアクセスし、通話音声#4を読み出し通信制御/処理手段1で通話音声の再生を行いスピーカー5から出力する。通話履歴表示画面22上の、特定の録音した通話テキストを表すアイコン「TEXT」36を選択すると、それを検知した操作手段14は、通話履歴蓄積手段10を参照し、選択された通話音声の通話履歴ID30(00000559)を得て、対応付け手段11に通知する。通知を受けた対応付け手段11は、対応テーブルを参照し、通知された通話履歴ID(00000559)に対応する通話テキストのポインターP8を得て、通信制御/処理手段1に通知する。通信制御/処理手段1は、通話テキストのポインターP8によって指し示される通話テキスト#4の蓄積場所をアクセスし、通話テキストの表示を行う。
Next, the user refers to the call
上述した通話音声蓄積手段6には、通話音声をより多くの件数保存するために、通話音声は通信制御/処理手段1にて通話時に使用される音声圧縮手段などを用いてデータサイズを小さくしてから保存される。そして、通話音声の録音中に通話音声蓄積手段6の残り保存容量を越えるような保存が行われる場合は、まず通信制御/処理手段1によって通話音声の録音が停止され、続いて停止されるまで録音されていた通話音声は通信制御/処理手段1によって音声認識とテキスト化が実行され、作成された通話テキストは通話テキスト蓄積手段9に蓄積され、最後に該通話音声は消去される。 In the call voice storage means 6 described above, in order to store a larger number of call voices, the call voice is reduced in data size by using a voice compression means or the like used at the time of the call in the communication control / processing means 1. Saved after. When recording is performed so as to exceed the remaining storage capacity of the call voice storage means 6 during the recording of the call voice, the call control recording is first stopped by the communication control / processing means 1 and then stopped. The recorded call voice is voice-recognized and converted into text by the communication control / processing means 1, the created call text is stored in the call text storage means 9, and finally the call voice is deleted.
また、通話音声蓄積手段6により多くの通話件数保存するために、予め使用者によって通信制御/処理手段1に設定された最大録音時間を超えて通話音声の録音が行われた場合は、通信制御/手段1によって自動的に通話音声の録音が停止されるようにしてもよい。またさらに、予め使用者によって通信制御/処理手段1に設定された最大データサイズを超えて通話音声の録音が行われた場合は、通信制御/処理手段1によって自動的に通話音声の録音を停止させるようにしてもよい。
Further, in order to save a large number of calls by the call voice storage means 6, if the call voice is recorded exceeding the maximum recording time set in the communication control / processing means 1 by the user in advance, the communication control is performed. / The voice recording may be automatically stopped by the
以上説明したように、この発明によれば通話情報に対して通話中に録音された通話音声と、さらに上記通話音声に対して音声認識を行った結果得られるテキストを通話テキストとして対応付けることにより、通話情報を表示する通話履歴表示画面から過去の通話内容をテキストで表示できるので、通話の内容の把握を容易にすることが可能となる。 As described above, according to the present invention, by correlating the call voice recorded during the call with respect to the call information and the text obtained as a result of performing voice recognition on the call voice as the call text, Since the past call contents can be displayed as text from the call history display screen displaying the call information, it becomes possible to easily understand the contents of the call.
実施の形態2.
図7は、本発明の通話音声録音機能、音声認識機能搭載の携帯情報端末の実施の形態2を示すブロック図である。
図7において、実施の形態1を示す図1に検索起動ボタン15と検索開始ボタン16が追加されている。そして図7では、検索表示の機能を説明するため電話回線3、マイク4、録音ボタン7、停止ボタン8および通話履歴表示ボタン13は省略してある。また、入力手段2aはダイヤル手段2の数字に割り当てられたテキストを使用するものとした。
FIG. 7 is a block
In FIG. 7, a
次に動作について、図7を参照して概要を説明する。通話履歴表示画面表示中に検索起動ボタン15を押下すると、通信制御/処理手段1は表示手段12にキーワード入力画面を表示する。入力手段2aよりキーワードを入力し検索開始ボタン16を押下すると通信制御/処理手段1は通話テキスト蓄積手段9に蓄積されている通話テキストを検索対象として検索を実行する。検索処理終了後、該当のキーワードを含む通話テキストが検出された場合は、通信制御/処理手段1は上記の該当通話テキストに対応付け手段11を適用し、対応付けられている通話情報を、通話履歴蓄積手段10を参照して表示手段12に表示する。通信制御/処理手段1は対応付け手段11を適用し、上記通話テキストに対応付けられている通話音声がある場合は、通話音声を表すアイコンを表示手段12より表示する。
一方、上記検索結果画面より、通話音声を表すアイコンが選択されると、操作手段14がそれを検知し、通話履歴蓄積手段10を参照して、選択された通話情報の通話履歴IDを得て、それを対応付け手段11に通知する。対応付け手段11は、その通話履歴IDと選択された通話音声アイコンに対応する通話音声へのポインターを得て、通信制御/処理手段1に通知する。通信制御/処理手段1は、そのポインター情報を基に通話音声蓄積手段6の対応する通話音声の再生を行う。
Next, the operation will be outlined with reference to FIG. When the
On the other hand, when an icon representing a call voice is selected from the search result screen, the operation means 14 detects it and obtains a call history ID of the selected call information by referring to the call history storage means 10. This is notified to the association means 11. The
図8は、通話テキストに対してキーワード検索を行い、検索結果の表示を行う処理を説明するフローチャートである。図7、図8を参照して説明する。
通話履歴表示画面などの表示中に検索起動ボタン15を押下すると、通信制御/処理手段1は表示手段12にキーワード入力画面を表示する(ステップST21)。入力手段2aよりキーワードを入力し検索開始ボタン16を押下する(ステップST22)と、通信制御/処理手段1は通話テキスト蓄積手段9に蓄積されている通話テキストを検索対象として検索を実行する(ステップST23)。検索処理終了後、該当のキーワードを含む通話テキストが検出されなかった場合はそのまま処理終了し、検出された場合は(ステップST24)、通信制御/処理手段1は上記の該当通話テキストに対応付け手段11を適用し、対応付けられている通話情報を通話履歴蓄積手段10より参照し表示手段12に表示する(ステップST25)。通信制御/処理手段1は対応付け手段11を適用し、上記通話テキストに対応付けられている通話音声がある場合は、通話音声を表すアイコンを表示手段12より表示する。
FIG. 8 is a flowchart for explaining a process for performing a keyword search on a call text and displaying a search result. This will be described with reference to FIGS.
When the
図9は、通話テキストに対してキーワード検索を行った結果の検索結果画面から通話音声の再生処理を説明するフローチャートである。図7、図9を参照して説明する。
まず、操作手段14は検索結果画面に表示されている検索情報を参照して特定の通話音声のアイコンが選択されると(ステップST27)、上記特定の通話音声の再生トリガーを検知し、通話履歴蓄積手段10を参照し、上記通話音声がどの通話中に記録されたかを知るために、通話履歴IDを得て、それを対応付け手段11に通知する(ステップST28)。次に対応付け手段11は、対応テーブルの通話履歴IDを探し出し(ステップST29)、関連付けられている通話音声のうち選択されたものを決定しそれに対応するポインター情報を得て(ステップST30)、通信制御/処理手段1に通知する。次に通信制御/処理手段1は、上記ポインター情報の通知を受けて、通話音声蓄積手段6より上記特定の通話音声をアクセスし(ステップST31)、上記通話音声を再生する(ステップST32)。
通話テキスト蓄積手段9に対してキーワード検索を行うと、キーワード入力画面より入力された単語を含む全通話テキストが検索結果として得られる。上記検索結果の表示方法は、キーワードをより多くの個数含むものから順に表示される。
FIG. 9 is a flowchart for explaining call voice reproduction processing from a search result screen as a result of performing a keyword search on the call text. This will be described with reference to FIGS.
First, when a specific call voice icon is selected with reference to the search information displayed on the search result screen (step ST27), the operation means 14 detects a reproduction trigger for the specific call voice and calls history. Referring to the storage means 10, in order to know in which call the call voice was recorded, the call history ID is obtained and notified to the association means 11 (step ST28). Next, the
When a keyword search is performed on the call text storage means 9, all call texts including words input from the keyword input screen are obtained as search results. The search result display method is displayed in order from the one containing a larger number of keywords.
以上のように、通話音声を録音すると共に、録音した音声を音声認識しテキスト化して保存するので、通常、数多く録音された音声群の中から所望の音声を探し出す作業は非常に時間がかかるものであるが、この発明で示されている通りテキスト化された通話テキストに対してキーワード検索を行うことにより、すばやく所望の通話音声を探し出すことが可能となり、過去の通話内容の把握が容易に確認できる。 As described above, while recording the voice of the call, the recorded voice is recognized and saved as text, so it usually takes a very long time to find the desired voice from among the many recorded voice groups. However, it is possible to quickly find a desired call voice by performing a keyword search on the call text that has been converted into text as shown in the present invention, and it is easy to confirm the contents of past calls. it can.
実施の形態3.
図1は本発明の通話音声録音機能、音声認識機能搭載携帯情報端末の実施の形態3を示すブロック図である。
次に動作について、図1を参照して概要を説明する。通話中に録音ボタン7を押下すると、通信制御/処理手段1はマイク4より入力された音声と電話回線3より入力された音声の取り込みを開始し、その音声を通話音声として通話音声蓄積手段6に蓄積し、停止ボタン8を押下すると、通話音声蓄積手段6への蓄積を停止する。その際、マイク4より入力された通話音声と電話回線3より入力された通話相手の音声は別々の領域にて蓄積される。通信制御/処理手段1は、通話相手の電話番号、通話開始時刻などの通話情報を通話履歴蓄積手段10に蓄積する。録音中に停止ボタン8が押下されると、まず、通信制御/処理手段1は通話音声蓄積手段6から該通話音声を読み出しそれに対して音声認識とテキスト化を実行し通話テキスト蓄積手段9に蓄積する。その際、マイク4より入力された通話音声をテキスト化したものと、電話回線3より入力された通話相手の音声をテキスト化したものは別々の領域にて蓄積される。次に、上記通話情報と録音した通話音声とテキスト化された通話テキストとを対応付けるために、通話音声蓄積手段6から通話音声の蓄積場所を示すポインターと、通話テキスト蓄積手段9から通話テキストと通話テキストの蓄積場所を示すポインターと、通話履歴蓄積手段10から通話履歴IDと通話情報の蓄積場所を示すポインターとを得て、対応付け手段11の対応付けメモリ領域中の対応テーブルに記録する。表示手段12は、通話履歴蓄積手段10から通話履歴表示画面を表示し、対応付け手段11を参照して各通話情報に対応して録音した通話音声が存在するものはその通話情報ごとに通話音声を表すアイコンを表示し、対応付け手段11を参照して各通話情報に対応して保存した通話テキストが存在するものはその通話情報ごとに通話テキストを表すアイコンを表示する。
Embodiment 3 FIG.
FIG. 1 is a block diagram showing Embodiment 3 of a portable information terminal equipped with a call voice recording function and a voice recognition function according to the present invention.
Next, the operation will be outlined with reference to FIG. When the
次に表示方法について、図10を参照して概要を説明する。通話テキストの表示画面37の例である。自分が話した自分欄40と相手が話した相手欄41とが視覚的に区別されて表示されることを特徴とする。通話テキスト表示画面37の自分欄40は通話履歴蓄積手段10により該通話履歴において自分が話した通話テキスト38より生成される。通話テキスト表示画面37の相手欄41は通話履歴蓄積手段10より該通話履歴において相手が話した通話テキスト39より生成される。通話テキスト表示画面37において自分欄40と相手欄41とを視覚的に区別する手段として、名前の表示、色の区別などが用いられる。
図10において通話テキスト表示画面37は、自分が話した通話テキスト38と相手が話した通話テキスト39とが日付42を参照して時系列的に古いものから新しいものへとマージされて表示される。
Next, the outline of the display method will be described with reference to FIG. It is an example of the
In FIG. 10, the call
以上説明したように、この発明では通話者(自分)と通話相手の通話音声を別々に蓄積し、それぞれを音声認識しテキスト化して通話者の通話テキストと通話相手の通話テキストを別々に蓄積し、通話者と通話相手の通話テキストを通話情報履歴の時刻と関連付けているので、通話の順序やどちらが話したかなどを分けることが可能となり、過去の通話の内容の把握が容易に確認できる。 As described above, in the present invention, the caller's (self) and the other party's call voices are stored separately, each of which is recognized and converted into text, and the caller's call text and the other party's call text are stored separately. Since the call texts of the caller and the call partner are associated with the time of the call information history, it is possible to separate the order of calls and who talked, and the contents of past calls can be easily confirmed.
1 通信制御/処理手段、2 ダイヤル手段、2a 入力手段、3 電話回線、4 マイク、5 スピーカー、6 通話音声蓄積手段、7 録音ボタン、8 停止ボタン、9 通話テキスト蓄積手段、10 通話履歴蓄積手段、11 対応付け手段、12 表示手段、13 通話履歴表示ボタン、14 操作手段、15 検索起動ボタン、16 検索開始ボタン、17 通話音声蓄積メモリ領域、18 通話テキスト蓄積メモリ領域、19 通話履歴蓄積メモリ領域、20,21 対応付けメモリ領域、22 通話履歴表示画面、37 テキストの表示画面。
1 Communication control / processing means, 2 dial means, 2a input means, 3 telephone line, 4 microphone, 5 speaker, 6 call voice storage means, 7 record button, 8 stop button, 9 call text storage means, 10 call history storage means 11 Correlation means 12 Display means 13 Call
Claims (3)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004015933A JP2005210497A (en) | 2004-01-23 | 2004-01-23 | Personal digital assistant |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004015933A JP2005210497A (en) | 2004-01-23 | 2004-01-23 | Personal digital assistant |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005210497A true JP2005210497A (en) | 2005-08-04 |
Family
ID=34901252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004015933A Pending JP2005210497A (en) | 2004-01-23 | 2004-01-23 | Personal digital assistant |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005210497A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008252742A (en) * | 2007-03-30 | 2008-10-16 | Nec Corp | Telephone apparatus, operating method of same, and operation program for same |
JP2011253389A (en) * | 2010-06-02 | 2011-12-15 | Fujitsu Ltd | Terminal and reply information creation program for pseudo conversation |
JP2013020411A (en) * | 2011-07-11 | 2013-01-31 | Sony Corp | Information processing apparatus, information processing method and program |
JP2015056871A (en) * | 2013-09-13 | 2015-03-23 | 京セラ株式会社 | Apparatus having call function, control method of apparatus having call function, and program |
KR101643081B1 (en) * | 2015-01-30 | 2016-07-26 | 주식회사 엘지유플러스 | Method of managing contents and system thereof |
JP2017216672A (en) * | 2016-05-25 | 2017-12-07 | 株式会社Nttドコモ | Phone call device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09252372A (en) * | 1996-03-15 | 1997-09-22 | Mitsubishi Electric Corp | Portable information terminal provided with voice memo function |
JPH11136352A (en) * | 1997-10-30 | 1999-05-21 | Fujitsu Ltd | Automatic answering telephone set, voice processing method for automatic answering telephone set, and record medium recorded with automatic answering control program |
JP2002142045A (en) * | 2000-11-02 | 2002-05-17 | Matsushita Electric Ind Co Ltd | Communication unit |
-
2004
- 2004-01-23 JP JP2004015933A patent/JP2005210497A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09252372A (en) * | 1996-03-15 | 1997-09-22 | Mitsubishi Electric Corp | Portable information terminal provided with voice memo function |
JPH11136352A (en) * | 1997-10-30 | 1999-05-21 | Fujitsu Ltd | Automatic answering telephone set, voice processing method for automatic answering telephone set, and record medium recorded with automatic answering control program |
JP2002142045A (en) * | 2000-11-02 | 2002-05-17 | Matsushita Electric Ind Co Ltd | Communication unit |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008252742A (en) * | 2007-03-30 | 2008-10-16 | Nec Corp | Telephone apparatus, operating method of same, and operation program for same |
JP2011253389A (en) * | 2010-06-02 | 2011-12-15 | Fujitsu Ltd | Terminal and reply information creation program for pseudo conversation |
JP2013020411A (en) * | 2011-07-11 | 2013-01-31 | Sony Corp | Information processing apparatus, information processing method and program |
JP2015056871A (en) * | 2013-09-13 | 2015-03-23 | 京セラ株式会社 | Apparatus having call function, control method of apparatus having call function, and program |
KR101643081B1 (en) * | 2015-01-30 | 2016-07-26 | 주식회사 엘지유플러스 | Method of managing contents and system thereof |
JP2017216672A (en) * | 2016-05-25 | 2017-12-07 | 株式会社Nttドコモ | Phone call device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2927891B2 (en) | Voice dialing device | |
US5651055A (en) | Digital secretary | |
JP3873131B2 (en) | Editing system and method used for posting telephone messages | |
US7738637B2 (en) | Interactive voice message retrieval | |
US20030157968A1 (en) | Personalized agent for portable devices and cellular phone | |
US20040186712A1 (en) | Apparatus and method for providing voice recognition for multiple speakers | |
JP2003515816A (en) | Method and apparatus for voice controlled foreign language translation device | |
EP0851404A2 (en) | System and method for enhanced intelligibility of voice messages | |
GB2364850A (en) | Automatic voice message processing | |
US5752230A (en) | Method and apparatus for identifying names with a speech recognition program | |
TW200540649A (en) | Method and apparatus for automatic telephone menu navigation | |
US6563911B2 (en) | Speech enabled, automatic telephone dialer using names, including seamless interface with computer-based address book programs | |
JPH10187198A (en) | Hands free speech memo system and method | |
US6671354B2 (en) | Speech enabled, automatic telephone dialer using names, including seamless interface with computer-based address book programs, for telephones without private branch exchanges | |
JP2002099530A (en) | Minutes production device, method and storage medium using it | |
JP2005210497A (en) | Personal digital assistant | |
TW200824408A (en) | Methods and systems for information retrieval during communication, and machine readable medium thereof | |
JP4787048B2 (en) | Mobile phone | |
JP2000013476A (en) | Telephone device | |
JPH02178698A (en) | Voice recognition device and telephone set using same | |
WO1997037344A1 (en) | Terminal having speech output function, and character information providing system using the terminal | |
JP2003319087A (en) | Communication apparatus | |
KR100396328B1 (en) | Saving device and method through the dialing | |
JP2815971B2 (en) | Voice recognition data storage system | |
JP2000138742A (en) | Terminal device having telephone functions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061121 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071016 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080507 |