[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2005210497A - Personal digital assistant - Google Patents

Personal digital assistant Download PDF

Info

Publication number
JP2005210497A
JP2005210497A JP2004015933A JP2004015933A JP2005210497A JP 2005210497 A JP2005210497 A JP 2005210497A JP 2004015933 A JP2004015933 A JP 2004015933A JP 2004015933 A JP2004015933 A JP 2004015933A JP 2005210497 A JP2005210497 A JP 2005210497A
Authority
JP
Japan
Prior art keywords
call
voice
text
speech
storage means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004015933A
Other languages
Japanese (ja)
Inventor
Hirotomo Sasaki
啓友 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2004015933A priority Critical patent/JP2005210497A/en
Publication of JP2005210497A publication Critical patent/JP2005210497A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a personal digital assistant which changes a past speech content to a text from stored speech history, and displays it, and can easily grasp the past speech content. <P>SOLUTION: If a recording button 7 is depressed during a speech; a communication control/processing means 1 starts taking in of the speech voice, and stores it in a speech voice storage means 6. If a stop button 8 is depressed; the storing stops, and the speech information is stored in a speech history storage means 10. If the stop button is depressed during recording; the speech control/processing means 1 reads out the speech voice from the speech voice storage means 6, performs vice recognition/making a text, and stores it in the speech text storage means 9. A corresponding means 11 corresponds the speech information, the speech voice, and the speech text; and records them. A display means 12 displays a speech history screen from the speech history storage means 10, and displays the icon of the speech voice and an icon of the speech text in reference to the corresponding means 11. Voice reproduction or a text indication is made by selection of the icons. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

この発明は、携帯電話などの携帯情報端末に関し、特に通話中の通話音声と、通話音声を音声認識することによって得られる通話テキストとを通話情報に関連付けて保存する機能を備えた携帯情報端末に関するものである。さらに、通話テキストを作成することによって、通話情報を表示する通話履歴から通話内容を把握することが容易に可能となり、さらに蓄積された通話音声の中から所望の通話音声の選択が容易に可能となるものである。   The present invention relates to a portable information terminal such as a cellular phone, and more particularly to a portable information terminal having a function of storing a call voice during a call and a call text obtained by voice recognition of the call voice in association with the call information. Is. Furthermore, by creating a call text, it is possible to easily understand the call contents from the call history displaying the call information, and it is also possible to easily select a desired call voice from the accumulated call voice. It will be.

従来、この種の通話音声録音機能付きの携帯情報端末においては、通話音声を通話情報に対応付けて保存し、上記通話情報を表示する通話履歴表示画面より通話音声に対応付けられている通話履歴が選択されると、対応する通話音声が再生される操作手段と機能とを装備するようにしている(たとえば、特許文献1参照)。
また、従来音声をテキスト化する装置としては、マイクから入力された音声をテキストデータに変換する音声認識技術を利用した音声入力ワードプロセッサが製品化されている。この様な音声入力ワードプロセッサを利用して文書データを作成する処理では、マイクから入力されたアナログ音声データから音素を抽出し、単語辞書を参照することによって抽出された音素の並びを単語に変換するようにしている。
Conventionally, in this type of portable information terminal with a call voice recording function, call voice is stored in association with call information, and the call history associated with the call voice is displayed from the call history display screen for displaying the call information. Is selected, an operation means and a function for reproducing the corresponding call voice are provided (for example, see Patent Document 1).
In addition, as a conventional device for converting speech into text, a speech input word processor using speech recognition technology that converts speech input from a microphone into text data has been commercialized. In the process of creating document data using such a speech input word processor, phonemes are extracted from analog speech data input from a microphone, and the sequence of phonemes extracted by referring to a word dictionary is converted into words. I am doing so.

特許第3397036号公報Japanese Patent No. 3397036

従来の多くの携帯情報端末の通話情報は、通話相手の情報(電話番号)、通話開始時刻、通話時間などであるため、通話情報を表示する通話履歴表示画面よりその通話内容を容易に把握することは困難である。また上記の特許文献1で記述されているアイデアが示すように、通話情報に対して通話音声が対応付けられていたとしても、通話音声を再生して通話内容を把握するためには、音声を再生するのに実時間かかってしまうという問題点があり、音声を再生するのが困難な状況では使用することが出来ないという問題点があった。また、蓄積された通話音声の中から所望の通話音声を検索するときに、通話内容を検索条件に設定して検索を行えないという問題点があった。   Since the call information of many conventional portable information terminals is information on the other party (phone number), call start time, call time, etc., the call contents can be easily grasped from the call history display screen displaying the call information. It is difficult. Further, as indicated by the idea described in the above-mentioned Patent Document 1, even if the call voice is associated with the call information, in order to reproduce the call voice and grasp the contents of the call, the voice is used. There is a problem that it takes real time to reproduce, and there is a problem that it cannot be used in a situation where it is difficult to reproduce sound. Also, when searching for a desired call voice from the stored call voice, there is a problem that the search cannot be performed by setting the call content as a search condition.

この発明は、上記のような課題を解消するためになされたもので、通話情報に対して通話中に録音された通話音声と、さらに上記通話音声に対して音声認識を行った結果得られるテキストを通話テキストとして対応付けることにより、通話情報を表示する通話履歴表示画面から過去の通話内容の把握を容易にすることが可能となる携帯情報端末を得ることを目的とする。   The present invention has been made in order to solve the above-described problems. The call voice recorded during a call with respect to call information and the text obtained as a result of performing voice recognition on the call voice. It is an object of the present invention to obtain a portable information terminal that can easily grasp the contents of a past call from a call history display screen that displays call information by associating with the call text.

また、蓄積された通話音声の中から所望の通話音声を検索する際は、通話音声に対応付けられている通話テキストに対してキーワード検索を行う。通常、数多く録音された音声群の中から所望の音声を探し出す作業は非常に時間がかかるものであるが、上記の如く通話テキストに対してキーワード検索を行うことにより、すばやく所望の通話音声を探し出すことが可能となる携帯情報端末を得ることを目的とする。   Also, when searching for a desired call voice from the stored call voice, a keyword search is performed on the call text associated with the call voice. Usually, it takes a very long time to find a desired voice from a group of recorded voices. However, a keyword search is performed on the call text as described above to quickly find a desired voice. An object of the present invention is to obtain a portable information terminal.

この発明に係る携帯情報端末においては、上記の目的を達成するために、通話に伴う通話情報と通話音声を出力し、読み込まれた通話音声を音声認識しテキスト化して出力または読み込まれた通話音声を再生する通信制御/処理手段と、この通信制御/処理手段から出力される通話音声を蓄積する通話音声蓄積手段と、前記通話音声蓄積手段から読み出され前記通信制御/処理手段で音声認識されテキスト化された通話テキストを蓄積する通話テキスト蓄積手段と、前記通信制御/処理手段から出力される通話情報を蓄積する通話履歴蓄積手段と、前記通話音声蓄積手段に蓄積された通話音声と前記通話テキスト蓄積手段に蓄積された通話テキストおよび前記通話履歴蓄積手段に蓄積された通話情報を通話ごとに対応付ける対応付け手段と、前記対応付け手段の対応結果を表示する表示手段とを備える。   In the portable information terminal according to the present invention, in order to achieve the above object, the call information and call voice accompanying the call are output, and the read call voice is recognized and converted into text and output or read. Communication control / processing means for playing back, call voice storage means for storing call voice output from the communication control / processing means, read out from the call voice storage means, and voice-recognized by the communication control / processing means Call text storage means for storing the converted call text, call history storage means for storing call information output from the communication control / processing means, call voice stored in the call voice storage means, and the call Association means for associating the call text stored in the text storage means and the call information stored in the call history storage means for each call; And display means for displaying the corresponding results of the serial correlation means.

この発明は、入力音声を録音すると共に音声認識を行い、その結果からテキスト化を行い通話情報と対応付けて蓄積するため、過去の通話履歴から通話の内容を容易に把握することができる効果がある。   Since the present invention records the input voice and performs voice recognition, converts the result into text and stores it in correspondence with the call information, so that the contents of the call can be easily grasped from the past call history. is there.

実施の形態1.
図1は、この発明の通話音声録音機能、音声認識機能を搭載する携帯情報端末の実施の形態1を示すブロック図である。
図1においては、通信制御/処理手段1はダイヤル手段2に入力される番号相手への電話回線3を介しての接続制御とマイク4からの入力音声を電話回線3への発信と、電話回線3からの通話相手の音声をスピーカー5へ出力する。また、指示信号に基づいて発信側音声と通話相手の音声(両方をあわせて通話音声という)の音声認識処理と認識結果の音声テキスト化処理を行う。通話音声蓄積手段6は、録音ボタン7と停止ボタン8の操作による指定信号により通話ごとの通話音声を録音する。通話テキスト蓄積手段9は通話音声蓄積手段に録音された通話音声を通信制御/処理手段1でテキスト化した結果を蓄積する。また、通信制御/処理手段1は、通話ごとに通話相手の電話番号、時間などの通話情報を通話履歴蓄積手段10に蓄積する。そして、対応付け手段11は通話音声蓄積手段6と通話テキスト蓄積手段9に蓄積された通話テキストとが通話履歴蓄積手段10に蓄積されている通話情報をもとに対応付けを行う。表示手段12には通話履歴表示ボタン13により保存された通話情報と保存された通話情報と保存された通話音声とを対応付けて表示する。操作手段14は表示手段に表示された内容の選択を行い通話音声の再生、通話テキストの表示などの操作を行うものである。
Embodiment 1 FIG.
FIG. 1 is a block diagram showing Embodiment 1 of a portable information terminal equipped with a call voice recording function and a voice recognition function of the present invention.
In FIG. 1, the communication control / processing unit 1 controls connection to a number partner input to the dial unit 2 via the telephone line 3, sends the input voice from the microphone 4 to the telephone line 3, and the telephone line. The voice of the other party from 3 is output to the speaker 5. Further, based on the instruction signal, the voice recognition processing of the calling side voice and the voice of the other party (both are referred to as calling voice) and the voice text processing of the recognition result are performed. The call voice storage means 6 records the call voice for each call by a designation signal by operating the recording button 7 and the stop button 8. The call text storage means 9 stores the result of converting the call voice recorded in the call voice storage means into text by the communication control / processing means 1. The communication control / processing unit 1 stores call information such as the telephone number and time of the other party in the call history storage unit 10 for each call. Then, the association unit 11 associates the call voice storage unit 6 and the call text stored in the call text storage unit 9 based on the call information stored in the call history storage unit 10. The display means 12 displays the call information saved by the call history display button 13, the saved call information, and the saved call voice in association with each other. The operation means 14 selects the contents displayed on the display means and performs operations such as reproduction of call voice and display of call text.

次に動作について、図1を参照して概要を説明する。通信制御/処理手段1は、ダイヤル手段2から入力された電話番号先への通話の確立や、相手からの着信処理を行い通話の確立を行う。話者の音声はマイク4から通信制御/処理手段1で電話回線3へ送信され、また電話回線3からの通信相手の音声は通信制御/処理手段1からスピーカー5に送られ音声として出力される。このようにして通話が確立した状態(以下、通話中という)で録音ボタン7を押下すると、通信制御/処理手段1は通話中の音声の取り込みを開始し、その音声を通話音声として通話音声蓄積手段6に蓄積し、停止ボタン8を押下すると、通話音声蓄積手段6への蓄積を停止する。また、通信制御/処理手段1は、通話相手の電話番号、通話開始時刻などの通話情報に通話履歴IDを付与し通話履歴蓄積手段10に蓄積する。録音中に停止ボタン8が押下されるとまず、通信制御/処理手段1は通話音声蓄積手段6からいまの通話中に録音した通話音声を読み出しそれに対して音声認識・テキスト化を実行し、テキスト化したテキストを通話テキスト蓄積手段9に蓄積する。次に、上記通話情報と録音した通話音声とテキスト化された通話テキストとを対応付けるために、通話音声蓄積手段6から通話音声の蓄積場所を示すポインターと、通話テキスト蓄積手段9から通話テキストの蓄積場所を示すポインターと、通話履歴蓄積手段10から通話履歴IDと通話情報の蓄積場所を示すポインターとを得て、対応付け手段11の対応付けメモリ領域中の対応テーブルに記録する。表示手段12は、通話履歴蓄積手段10から通話履歴表示画面を表示し、対応付け手段11を参照して各通話情報に対応して録音した通話音声が存在するものはその通話情報ごとに通話音声を表すアイコンを表示し、対応付け手段11を参照して各通話情報に対応して保存した通話テキストが存在するものはその通話情報ごとに通話テキストを表すアイコンを表示する。ここでは、通話音声を示すアイコンとして「VOICE」を、通話テキストを示すアイコンとして「TEXT」として説明する。   Next, the operation will be outlined with reference to FIG. The communication control / processing unit 1 establishes a call by establishing a call to the telephone number input from the dial unit 2 or processing an incoming call from the other party. The voice of the speaker is transmitted from the microphone 4 to the telephone line 3 by the communication control / processing means 1, and the voice of the communication partner from the telephone line 3 is sent from the communication control / processing means 1 to the speaker 5 and output as voice. . When the recording button 7 is pressed in a state where the call is established in this way (hereinafter referred to as “calling”), the communication control / processing unit 1 starts to capture the voice during the call and stores the voice as the call voice. When it is stored in the means 6 and the stop button 8 is pressed, the storage in the call voice storage means 6 is stopped. Further, the communication control / processing unit 1 assigns the call history ID to the call information such as the telephone number of the call partner and the call start time and stores the call history ID in the call history storage unit 10. When the stop button 8 is pressed during recording, the communication control / processing means 1 first reads out the call voice recorded during the current call from the call voice storage means 6 and executes voice recognition and text conversion on the call voice. The converted text is stored in the call text storage means 9. Next, in order to associate the call information with the recorded call voice and the textized call text, the call voice storage means 6 stores a pointer indicating the storage location of the call voice, and the call text storage means 9 stores the call text. A pointer indicating the location and a call history ID and a pointer indicating the location where the call information is stored are obtained from the call history storage means 10 and recorded in the correspondence table in the association memory area of the association means 11. The display means 12 displays a call history display screen from the call history storage means 10, and if there is a call voice recorded corresponding to each call information with reference to the associating means 11, the call voice for each call information. If there is a call text stored corresponding to each call information with reference to the association means 11, an icon representing the call text is displayed for each call information. Here, “VOICE” will be described as an icon indicating call voice, and “TEXT” will be described as an icon indicating call text.

一方、上記通話履歴表示画面に表示された通話テキストを表すアイコン「TEXT」が選択されると、操作手段14がそれを検知し、通話履歴蓄積手段10を参照して、選択された通話履歴の通話履歴IDと選択された通話テキストからそれに対応した通話テキストへのポインターを得て、通信制御/処理手段1に通知する。通信制御/処理手段1は、そのポインター情報を基に通話テキスト蓄積手段9の対応する通話テキストの表示を行う。   On the other hand, when the icon “TEXT” representing the call text displayed on the call history display screen is selected, the operation means 14 detects it and refers to the call history storage means 10 to display the selected call history. A pointer to the call text corresponding to the call history ID and the selected call text is obtained and notified to the communication control / processing means 1. The communication control / processing unit 1 displays the corresponding call text in the call text storage unit 9 based on the pointer information.

図2は、通話開始から通話履歴表示画面の表示までの処理を説明するフローチャートである。図1、図2を参照して説明する
通話開始と同時に通信制御/処理手段1は、あらかじめ通話設定で自動録音モード設定が該通話においての条件を満たしているかどうか調べ(ステップST1)、条件を満たしてなければ通常の通話状態(ステップST13)となり、条件を満たしていれば、通話中の音声を録音し通話音声蓄積手段6に格納し(ステップST4)、録音状態(ステップST14)となる。録音状態でかつ通話状態が継続中(ステップST5)で、かつ停止ボタン8が押下されない限り(ステップST6)録音状態は継続し録音し続ける。音声録音中に停止ボタン8が押下されたら音声録音を停止し、音声認識を行って通話テキストを作成し、通話テキスト蓄積手段9に格納して(ステップST7)通常の通話状態となる。通常の通話状態継続中に録音ボタン7が押下されたら(ステップST3)、通話中の音声を録音し通話音声蓄積手段6に格納し録音状態となる。通話状態終了時、同時に録音状態でもあれば音声録音を停止し、音声認識を行って通話テキストを作成し、通話テキスト蓄積手段9に格納する(ステップST8)。次に、通信制御/処理手段1は、通話履歴蓄積手段10に、通話相手の電話番号、通話開始時刻などの通話情報を通知し通話履歴として蓄積する(ステップST9)。
FIG. 2 is a flowchart for explaining processing from the start of a call to the display of a call history display screen. 1 and 2, the communication control / processing unit 1 checks whether or not the automatic recording mode setting satisfies the conditions for the call in advance by setting the call (step ST1). If not satisfied, the normal call state is set (step ST13). If the condition is satisfied, the voice during the call is recorded and stored in the call voice storage means 6 (step ST4), and the recording state is set (step ST14). The recording state continues and recording continues as long as the recording state and the call state are continuing (step ST5) and the stop button 8 is not pressed (step ST6). When the stop button 8 is pressed during voice recording, the voice recording is stopped, voice recognition is performed to create a call text, and the call text is stored in the call text accumulating means 9 (step ST7) so that a normal call state is obtained. When the recording button 7 is pressed while the normal call state is continued (step ST3), the voice during the call is recorded and stored in the call voice storage means 6 to enter the recording state. At the end of the call state, if it is in the recording state at the same time, the voice recording is stopped, voice recognition is performed, a call text is created, and stored in the call text storage means 9 (step ST8). Next, the communication control / processing unit 1 notifies the call history storage unit 10 of the call information such as the telephone number of the call partner and the call start time, and stores it as a call history (step ST9).

次に、対応付け手段11は通話音声蓄積手段6から通話音声の蓄積場所を示すポインター情報と、通話テキスト蓄積手段9から通話テキストと通話テキストの蓄積場所を示すポインターと、通話履歴蓄積手段10から通話履歴IDと通話情報の蓄積場所を示すポインターとを得て対応付け手段の対応付けメモリ領域内の対応テーブルに記録する(ステップST10)。
通話履歴表示ボタン13が押下された場合(ステップST11)、上記対応テーブルと通話履歴蓄積手段10とを参照し、対応テーブルに記入されている通話履歴IDと一致する通話履歴IDを持つ通話情報が通話履歴蓄積手段10に存在すれば、それは録音した通話音声と通話テキストを意味するので、表示手段12は、録音した通話音声を表すアイコン「VOICE」とテキスト化された通話テキストを表すアイコン「TEXT」を表示し、表示手段12より通話履歴表示画面を表示する(ステップST12)。
Next, the associating means 11 includes pointer information indicating the storage location of the call voice from the call voice storage means 6, a pointer indicating the storage location of the call text and the call text from the call text storage means 9, and the call history storage means 10. The call history ID and a pointer indicating the location where the call information is stored are obtained and recorded in the correspondence table in the association memory area of the association means (step ST10).
When the call history display button 13 is pressed (step ST11), referring to the correspondence table and the call history storage means 10, call information having a call history ID that matches the call history ID entered in the correspondence table is displayed. If it exists in the call history storage means 10, it means the recorded call voice and call text, so the display means 12 displays the icon "VOICE" representing the recorded call voice and the icon "TEXT" representing the text call text. Is displayed and a call history display screen is displayed from the display means 12 (step ST12).

また、図3は、通話履歴表示画面に表示された通話テキストの表示処理を説明するフローチャートである。図1、図3を参照して説明する。まず、操作手段14は通話履歴表示画面に表示されている通話情報を参照して特定の通話テキストのアイコンが選択されると(ステップST15)、上記特定の通話テキストの表示トリガーを検知し、通話履歴蓄積手段10を参照し、上記通話テキストがどの通話中に記録されたかを知るために、通話履歴IDを得て、それを対応付け手段11に通知する(ステップST16)。次に対応付け手段11は、対応テーブルの通話履歴を参照し(ステップST17)、選択された通話テキストの通話履歴IDに対応付けられている通話テキストのうち選択されたものを探し出し、それに対応するポインター情報を得て(ステップST18)、通信制御/処理手段1に通知する。次に通信制御/処理手段1は、上記ポインター情報の通知を受けて、通話テキスト蓄積手段9より上記特定の通話テキストをアクセスし(ステップST19)、上記通話テキストを表示する(ステップST20)。   FIG. 3 is a flowchart for explaining the call text display process displayed on the call history display screen. This will be described with reference to FIGS. First, when the specific call text icon is selected with reference to the call information displayed on the call history display screen (step ST15), the operation means 14 detects the specific call text display trigger, and calls Referring to the history storage means 10, in order to know in which call the call text was recorded, a call history ID is obtained and notified to the association means 11 (step ST16). Next, the associating means 11 refers to the call history in the correspondence table (step ST17), finds out the selected call text associated with the call history ID of the selected call text, and responds to it. Pointer information is obtained (step ST18) and notified to the communication control / processing means 1. Next, upon receiving the notification of the pointer information, the communication control / processing unit 1 accesses the specific call text from the call text storage unit 9 (step ST19), and displays the call text (step ST20).

ここで、上述の通話音声蓄積手段6、通話テキスト蓄積手段9と通話履歴蓄積手段10のメモリ構成について図4を参照し説明する。図において、(a)は通話音声蓄積手段6の通話音声蓄積メモリ領域17を示し、この通話音声蓄積メモリ領域17には通話音声#1〜#4で示される通話音声データ23が蓄積されている。これらの通話音声データ23の通話音声#1〜#4にはそれぞれがメモリ領域17のどこに蓄積されているかの蓄積場所を指し示すポインターP1〜P4で示されている。図4(b)は、通話テキスト蓄積手段9のメモリ領域18を示し、このメモリ領域18には通話音声蓄積メモリ領域17に蓄積されている通話音声データ23が読み出されて通信制御/処理手段1で音声認識されテキスト化された通話テキスト#1〜#4が蓄積されている。これらにはメモリ領域のどこに格納されているかを示すポインターP5〜P8で指し示されている。図4(c)は、通話履歴蓄積手段10のメモリ領域19を示し、通話履歴ID26、通話相手の番号27、通話開始時刻28と通話時間29などの通話情報が格納されている。通話履歴ID26は通話ごとに自動的に番号付与される。また、通話中に録音ボタン7が押下された通話の履歴にはメモリ領域19のどこに蓄積されているかを示すポインターP9〜P11で指し示される。図4(c)でポインターのない通話履歴は通話中に録音ボタン7が押下されなかった通話の履歴である。   Here, the memory configurations of the above-described call voice storage means 6, call text storage means 9 and call history storage means 10 will be described with reference to FIG. In the figure, (a) shows a call voice storage memory area 17 of the call voice storage means 6, in which call voice data 23 indicated by call voices # 1 to # 4 is stored. . Call voices # 1 to # 4 of the call voice data 23 are indicated by pointers P1 to P4 indicating the storage locations in the memory area 17 where they are stored. FIG. 4 (b) shows a memory area 18 of the call text storage means 9, in which the call voice data 23 stored in the call voice storage memory area 17 is read out and the communication control / processing means. The call texts # 1 to # 4 that are voice-recognized and converted into text in 1 are stored. These are indicated by pointers P5 to P8 indicating where they are stored in the memory area. FIG. 4C shows the memory area 19 of the call history storage means 10 in which call information such as a call history ID 26, a call partner number 27, a call start time 28, a call time 29, and the like are stored. The call history ID 26 is automatically given a number for each call. Further, the history of the call in which the recording button 7 is pressed during the call is indicated by pointers P9 to P11 indicating where the memory area 19 is stored. In FIG. 4C, the call history without a pointer is a history of calls in which the recording button 7 was not pressed during the call.

つぎに、対応付け手段11において、通話音声蓄積手段6、通話テキスト蓄積手段9と通話履歴蓄積手段10のそれぞれのメモリ領域17,18,19に記憶された情報からどのように対応付けを行うか詳細に説明する。
図5は対応付け手段のメモリ領域を示す図で、(a)は通話履歴から通話音声と通話テキストとの対応付けメモリ領域20、また(b)は通話テキストから通話履歴との対応付けメモリ領域21を示している。
ここでは、具体的に時刻21:23に通話を開始し、その通話中に録音した通話音声がある場合を例とり、対応付け手段のメモリ領域中の対応テーブルの作成と、上記対応テーブルを用いて通話履歴表示画面の表示について説明する。既に3つのデータがあり新たに1つのデータ(時刻21:23の通話)が追加される場合を考える。すなわち、通話音声蓄積手段6のメモリ領域17には、録音した通話音声が既に3つ(通話音声#1〜通話音声#3)格納されており、それぞれポインターP1、ポインターP2、ポインターP3で指し示されている。通話テキスト蓄積手段9のメモリ領域18には、テキスト化された通話テキストが既に3つ(通話テキスト#1〜通話テキスト#3)格納されており、それぞれポインターP5、ポインターP6、ポインターP7で指し示されている。いま新たな通話が始まると、その通話情報として通話履歴蓄積手段10の通話履歴蓄積メモリ領域20に通話履歴ID00000559が付与されて通話相手の番号090−5555−5555と開始時刻が記録される。
Next, in the associating means 11, how the associating is performed from the information stored in the memory areas 17, 18, 19 of the call voice accumulating means 6, the call text accumulating means 9, and the call history accumulating means 10. This will be described in detail.
5A and 5B are diagrams showing a memory area of the association means. FIG. 5A is a memory area 20 for associating a call voice and a call text from a call history, and FIG. 5B is a memory area for a call text and a call history. 21 is shown.
Here, a case where a call is started at time 21:23 and there is a call voice recorded during the call is taken as an example, and a correspondence table is created in the memory area of the association means, and the above correspondence table is used. The display of the call history display screen will be described. Consider a case where there are already three data and one new data (call at time 21:23) is added. That is, three recorded call voices (call voice # 1 to call voice # 3) are already stored in the memory area 17 of the call voice storage means 6, and are indicated by the pointer P1, the pointer P2, and the pointer P3, respectively. Has been. Three texts (call text # 1 to call text # 3) are already stored in the memory area 18 of the call text storage means 9, and are indicated by pointers P5, P6 and P7, respectively. Has been. When a new call is started, a call history ID 00000559 is assigned to the call history storage memory area 20 of the call history storage means 10 as the call information, and the call partner number 090-5555-5555 and the start time are recorded.

このとき、対応付けメモリ20の通話履歴IDの欄30には00000559が記録される。通話中に録音ボタン7が押下されると通話音声は通話音声蓄積手段6のメモリ領域17に記録され、ポインターP4で指し示される。停止ボタン8が押下されて録音が停止されると、通話音声蓄積メモリ領域17の通話音声#4が読み出されて通信制御/処理手段1で音声認識された結果がテキスト化され通話テキスト#4として通話テキスト蓄積メモリ18に記録され、ポインターP8で指し示される。このポインターP8は、対応付けメモリ領域20の通話テキストへのポインター欄に記録される。また、通話テキストから通話履歴への対応付けメモリ21には、通話テキスト欄33に通話テキスト蓄積メモリ領域18の通話テキスト#4が記録されると共に通話履歴へのポインター欄34にはこの通話が行われた通話履歴ID0000559を指し示すポインターP11が格納される。
以上のように、通話音声蓄積手段6の通話音声蓄積メモリ領域17と通話テキスト蓄積手段9の通話テキスト蓄積メモリ領域18および通話履歴蓄積手段10の通話履歴蓄積メモリ領域19から対応付け手段11において対応付けメモリ20,21を作成する。
At this time, 00000559 is recorded in the call history ID column 30 of the association memory 20. When the recording button 7 is pressed during a call, the call voice is recorded in the memory area 17 of the call voice storage means 6 and is indicated by the pointer P4. When the stop button 8 is pressed to stop recording, the call voice # 4 in the call voice storage memory area 17 is read and the result of voice recognition by the communication control / processing means 1 is converted into text and the call text # 4. Is recorded in the call text storage memory 18 and pointed by the pointer P8. This pointer P8 is recorded in the pointer column to the call text in the association memory area 20. In the call text to call history correspondence memory 21, the call text # 4 in the call text storage memory area 18 is recorded in the call text column 33, and this call is performed in the call history pointer column 34. Stored is a pointer P11 indicating the call history ID 000059.
As described above, the caller voice storage memory area 17 of the call voice storage means 6, the call text storage memory area 18 of the call text storage means 9, and the call history storage memory area 19 of the call history storage means 10 correspond in the association means 11. The attached memories 20 and 21 are created.

通話終了後、表示手段12は通話履歴IDが00000559の通話情報を通話履歴蓄積手段10の通話履歴蓄積メモリ領域19から得て、通話履歴表示画面22に表示する。更に、対応付け手段11における上記対応テーブルを参照して、この通話中に録音した通話音声およびテキスト化された通話テキストが存在することが分かるので、表示手段12によって、アイコン「VOICE」35、およびアイコン「TEXT」36を上記の通話履歴表示画面22に表示する。   After the call is finished, the display means 12 obtains the call information with the call history ID 00000559 from the call history storage memory area 19 of the call history storage means 10 and displays it on the call history display screen 22. Further, referring to the correspondence table in the association means 11, it can be seen that there is a call voice recorded during the call and a text call text, so the display means 12 causes the icon “VOICE” 35, and The icon “TEXT” 36 is displayed on the call history display screen 22 described above.

次に、いま、使用者が通話履歴表示画面22を参照して電話番号090−5555−5555の通話相手と時刻21:23に開始した通話中に録音した通話音声の再生と通話テキストの表示をする場合について説明する。通話履歴表示画面上の、特定の録音した通話音声を表すアイコン「VOICE」35を選択すると、それを検知した操作手段14は、通話履歴蓄積手段10を参照し、選択された通話音声の通話履歴ID30(00000559)を得て、対応付け手段11に通知する。通知を受けた対応付け手段11は、対応テーブルを参照し、通知された通話履歴ID(00000559)に対応する通話音声のポインターP4を得て、通信制御/処理手段1に通知する。通信制御/処理手段1は、通話音声のポインターP4によって指し示される通話音声#4の蓄積場所をアクセスし、通話音声#4を読み出し通信制御/処理手段1で通話音声の再生を行いスピーカー5から出力する。通話履歴表示画面22上の、特定の録音した通話テキストを表すアイコン「TEXT」36を選択すると、それを検知した操作手段14は、通話履歴蓄積手段10を参照し、選択された通話音声の通話履歴ID30(00000559)を得て、対応付け手段11に通知する。通知を受けた対応付け手段11は、対応テーブルを参照し、通知された通話履歴ID(00000559)に対応する通話テキストのポインターP8を得て、通信制御/処理手段1に通知する。通信制御/処理手段1は、通話テキストのポインターP8によって指し示される通話テキスト#4の蓄積場所をアクセスし、通話テキストの表示を行う。   Next, the user refers to the call history display screen 22 to play back the call voice recorded during the call started at time 21:23 and display the call text with the other party of the telephone number 090-5555-5555. The case where it does is demonstrated. When an icon “VOICE” 35 representing a specific recorded call voice is selected on the call history display screen, the operation means 14 that has detected the icon refers to the call history storage means 10 and calls history of the selected call voice. ID 30 (00000559) is obtained and notified to the association means 11. The association unit 11 that has received the notification refers to the correspondence table, obtains a call voice pointer P4 corresponding to the notified call history ID (000000559), and notifies the communication control / processing unit 1 of the call. The communication control / processing unit 1 accesses the storage location of the call voice # 4 pointed to by the call voice pointer P4, reads out the call voice # 4, reproduces the call voice by the communication control / processing unit 1, and from the speaker 5 Output. When an icon “TEXT” 36 representing a specific recorded call text on the call history display screen 22 is selected, the operation means 14 that has detected the icon refers to the call history storage means 10 and calls the selected call voice. A history ID 30 (00000559) is obtained and notified to the association means 11. Upon receiving the notification, the association unit 11 refers to the correspondence table, obtains a call text pointer P8 corresponding to the notified call history ID (00000559), and notifies the communication control / processing unit 1 of it. The communication control / processing unit 1 accesses the storage location of the call text # 4 pointed to by the call text pointer P8 and displays the call text.

上述した通話音声蓄積手段6には、通話音声をより多くの件数保存するために、通話音声は通信制御/処理手段1にて通話時に使用される音声圧縮手段などを用いてデータサイズを小さくしてから保存される。そして、通話音声の録音中に通話音声蓄積手段6の残り保存容量を越えるような保存が行われる場合は、まず通信制御/処理手段1によって通話音声の録音が停止され、続いて停止されるまで録音されていた通話音声は通信制御/処理手段1によって音声認識とテキスト化が実行され、作成された通話テキストは通話テキスト蓄積手段9に蓄積され、最後に該通話音声は消去される。   In the call voice storage means 6 described above, in order to store a larger number of call voices, the call voice is reduced in data size by using a voice compression means or the like used at the time of the call in the communication control / processing means 1. Saved after. When recording is performed so as to exceed the remaining storage capacity of the call voice storage means 6 during the recording of the call voice, the call control recording is first stopped by the communication control / processing means 1 and then stopped. The recorded call voice is voice-recognized and converted into text by the communication control / processing means 1, the created call text is stored in the call text storage means 9, and finally the call voice is deleted.

また、通話音声蓄積手段6により多くの通話件数保存するために、予め使用者によって通信制御/処理手段1に設定された最大録音時間を超えて通話音声の録音が行われた場合は、通信制御/手段1によって自動的に通話音声の録音が停止されるようにしてもよい。またさらに、予め使用者によって通信制御/処理手段1に設定された最大データサイズを超えて通話音声の録音が行われた場合は、通信制御/処理手段1によって自動的に通話音声の録音を停止させるようにしてもよい。   Further, in order to save a large number of calls by the call voice storage means 6, if the call voice is recorded exceeding the maximum recording time set in the communication control / processing means 1 by the user in advance, the communication control is performed. / The voice recording may be automatically stopped by the means 1. Still further, when the call voice recording is performed by the user exceeding the maximum data size set in the communication control / processing unit 1 in advance, the communication control / processing unit 1 automatically stops the recording of the call voice. You may make it make it.

以上説明したように、この発明によれば通話情報に対して通話中に録音された通話音声と、さらに上記通話音声に対して音声認識を行った結果得られるテキストを通話テキストとして対応付けることにより、通話情報を表示する通話履歴表示画面から過去の通話内容をテキストで表示できるので、通話の内容の把握を容易にすることが可能となる。   As described above, according to the present invention, by correlating the call voice recorded during the call with respect to the call information and the text obtained as a result of performing voice recognition on the call voice as the call text, Since the past call contents can be displayed as text from the call history display screen displaying the call information, it becomes possible to easily understand the contents of the call.

実施の形態2.
図7は、本発明の通話音声録音機能、音声認識機能搭載の携帯情報端末の実施の形態2を示すブロック図である。
図7において、実施の形態1を示す図1に検索起動ボタン15と検索開始ボタン16が追加されている。そして図7では、検索表示の機能を説明するため電話回線3、マイク4、録音ボタン7、停止ボタン8および通話履歴表示ボタン13は省略してある。また、入力手段2aはダイヤル手段2の数字に割り当てられたテキストを使用するものとした。
Embodiment 2. FIG.
FIG. 7 is a block diagram showing Embodiment 2 of a portable information terminal equipped with a call voice recording function and a voice recognition function of the present invention.
In FIG. 7, a search activation button 15 and a search start button 16 are added to FIG. 1 showing the first embodiment. In FIG. 7, the telephone line 3, the microphone 4, the recording button 7, the stop button 8, and the call history display button 13 are omitted in order to explain the search display function. The input means 2a uses the text assigned to the numbers in the dial means 2.

次に動作について、図7を参照して概要を説明する。通話履歴表示画面表示中に検索起動ボタン15を押下すると、通信制御/処理手段1は表示手段12にキーワード入力画面を表示する。入力手段2aよりキーワードを入力し検索開始ボタン16を押下すると通信制御/処理手段1は通話テキスト蓄積手段9に蓄積されている通話テキストを検索対象として検索を実行する。検索処理終了後、該当のキーワードを含む通話テキストが検出された場合は、通信制御/処理手段1は上記の該当通話テキストに対応付け手段11を適用し、対応付けられている通話情報を、通話履歴蓄積手段10を参照して表示手段12に表示する。通信制御/処理手段1は対応付け手段11を適用し、上記通話テキストに対応付けられている通話音声がある場合は、通話音声を表すアイコンを表示手段12より表示する。
一方、上記検索結果画面より、通話音声を表すアイコンが選択されると、操作手段14がそれを検知し、通話履歴蓄積手段10を参照して、選択された通話情報の通話履歴IDを得て、それを対応付け手段11に通知する。対応付け手段11は、その通話履歴IDと選択された通話音声アイコンに対応する通話音声へのポインターを得て、通信制御/処理手段1に通知する。通信制御/処理手段1は、そのポインター情報を基に通話音声蓄積手段6の対応する通話音声の再生を行う。
Next, the operation will be outlined with reference to FIG. When the search activation button 15 is pressed while the call history display screen is displayed, the communication control / processing unit 1 displays a keyword input screen on the display unit 12. When a keyword is input from the input unit 2a and the search start button 16 is pressed, the communication control / processing unit 1 executes a search using the call text stored in the call text storage unit 9 as a search target. If a call text including the corresponding keyword is detected after the search process is completed, the communication control / processing unit 1 applies the association unit 11 to the corresponding call text, and uses the associated call information as a call. The history storage means 10 is referred to and displayed on the display means 12. The communication control / processing unit 1 applies the association unit 11, and when there is a call voice associated with the call text, the display unit 12 displays an icon representing the call voice.
On the other hand, when an icon representing a call voice is selected from the search result screen, the operation means 14 detects it and obtains a call history ID of the selected call information by referring to the call history storage means 10. This is notified to the association means 11. The association unit 11 obtains a pointer to the call voice corresponding to the call history ID and the selected call voice icon, and notifies the communication control / processing unit 1 of the pointer. The communication control / processing unit 1 reproduces the corresponding call voice of the call voice storage unit 6 based on the pointer information.

図8は、通話テキストに対してキーワード検索を行い、検索結果の表示を行う処理を説明するフローチャートである。図7、図8を参照して説明する。
通話履歴表示画面などの表示中に検索起動ボタン15を押下すると、通信制御/処理手段1は表示手段12にキーワード入力画面を表示する(ステップST21)。入力手段2aよりキーワードを入力し検索開始ボタン16を押下する(ステップST22)と、通信制御/処理手段1は通話テキスト蓄積手段9に蓄積されている通話テキストを検索対象として検索を実行する(ステップST23)。検索処理終了後、該当のキーワードを含む通話テキストが検出されなかった場合はそのまま処理終了し、検出された場合は(ステップST24)、通信制御/処理手段1は上記の該当通話テキストに対応付け手段11を適用し、対応付けられている通話情報を通話履歴蓄積手段10より参照し表示手段12に表示する(ステップST25)。通信制御/処理手段1は対応付け手段11を適用し、上記通話テキストに対応付けられている通話音声がある場合は、通話音声を表すアイコンを表示手段12より表示する。
FIG. 8 is a flowchart for explaining a process for performing a keyword search on a call text and displaying a search result. This will be described with reference to FIGS.
When the search activation button 15 is pressed during display of the call history display screen or the like, the communication control / processing unit 1 displays a keyword input screen on the display unit 12 (step ST21). When a keyword is input from the input means 2a and the search start button 16 is pressed (step ST22), the communication control / processing means 1 executes a search using the call text stored in the call text storage means 9 as a search target (step ST22). ST23). When the call text including the relevant keyword is not detected after the search process is completed, the process ends as it is (step ST24). When the call text is detected (step ST24), the communication control / processing unit 1 associates the call text with the corresponding call text. 11 is applied, and the associated call information is referenced from the call history storage means 10 and displayed on the display means 12 (step ST25). The communication control / processing unit 1 applies the association unit 11, and when there is a call voice associated with the call text, the display unit 12 displays an icon representing the call voice.

図9は、通話テキストに対してキーワード検索を行った結果の検索結果画面から通話音声の再生処理を説明するフローチャートである。図7、図9を参照して説明する。
まず、操作手段14は検索結果画面に表示されている検索情報を参照して特定の通話音声のアイコンが選択されると(ステップST27)、上記特定の通話音声の再生トリガーを検知し、通話履歴蓄積手段10を参照し、上記通話音声がどの通話中に記録されたかを知るために、通話履歴IDを得て、それを対応付け手段11に通知する(ステップST28)。次に対応付け手段11は、対応テーブルの通話履歴IDを探し出し(ステップST29)、関連付けられている通話音声のうち選択されたものを決定しそれに対応するポインター情報を得て(ステップST30)、通信制御/処理手段1に通知する。次に通信制御/処理手段1は、上記ポインター情報の通知を受けて、通話音声蓄積手段6より上記特定の通話音声をアクセスし(ステップST31)、上記通話音声を再生する(ステップST32)。
通話テキスト蓄積手段9に対してキーワード検索を行うと、キーワード入力画面より入力された単語を含む全通話テキストが検索結果として得られる。上記検索結果の表示方法は、キーワードをより多くの個数含むものから順に表示される。
FIG. 9 is a flowchart for explaining call voice reproduction processing from a search result screen as a result of performing a keyword search on the call text. This will be described with reference to FIGS.
First, when a specific call voice icon is selected with reference to the search information displayed on the search result screen (step ST27), the operation means 14 detects a reproduction trigger for the specific call voice and calls history. Referring to the storage means 10, in order to know in which call the call voice was recorded, the call history ID is obtained and notified to the association means 11 (step ST28). Next, the association unit 11 searches for the call history ID in the correspondence table (step ST29), determines the selected one of the associated call voices, obtains pointer information corresponding to the selected call voice (step ST30), and performs communication. Notify the control / processing means 1. Next, the communication control / processing unit 1 receives the notification of the pointer information, accesses the specific call voice from the call voice storage unit 6 (step ST31), and reproduces the call voice (step ST32).
When a keyword search is performed on the call text storage means 9, all call texts including words input from the keyword input screen are obtained as search results. The search result display method is displayed in order from the one containing a larger number of keywords.

以上のように、通話音声を録音すると共に、録音した音声を音声認識しテキスト化して保存するので、通常、数多く録音された音声群の中から所望の音声を探し出す作業は非常に時間がかかるものであるが、この発明で示されている通りテキスト化された通話テキストに対してキーワード検索を行うことにより、すばやく所望の通話音声を探し出すことが可能となり、過去の通話内容の把握が容易に確認できる。   As described above, while recording the voice of the call, the recorded voice is recognized and saved as text, so it usually takes a very long time to find the desired voice from among the many recorded voice groups. However, it is possible to quickly find a desired call voice by performing a keyword search on the call text that has been converted into text as shown in the present invention, and it is easy to confirm the contents of past calls. it can.

実施の形態3.
図1は本発明の通話音声録音機能、音声認識機能搭載携帯情報端末の実施の形態3を示すブロック図である。
次に動作について、図1を参照して概要を説明する。通話中に録音ボタン7を押下すると、通信制御/処理手段1はマイク4より入力された音声と電話回線3より入力された音声の取り込みを開始し、その音声を通話音声として通話音声蓄積手段6に蓄積し、停止ボタン8を押下すると、通話音声蓄積手段6への蓄積を停止する。その際、マイク4より入力された通話音声と電話回線3より入力された通話相手の音声は別々の領域にて蓄積される。通信制御/処理手段1は、通話相手の電話番号、通話開始時刻などの通話情報を通話履歴蓄積手段10に蓄積する。録音中に停止ボタン8が押下されると、まず、通信制御/処理手段1は通話音声蓄積手段6から該通話音声を読み出しそれに対して音声認識とテキスト化を実行し通話テキスト蓄積手段9に蓄積する。その際、マイク4より入力された通話音声をテキスト化したものと、電話回線3より入力された通話相手の音声をテキスト化したものは別々の領域にて蓄積される。次に、上記通話情報と録音した通話音声とテキスト化された通話テキストとを対応付けるために、通話音声蓄積手段6から通話音声の蓄積場所を示すポインターと、通話テキスト蓄積手段9から通話テキストと通話テキストの蓄積場所を示すポインターと、通話履歴蓄積手段10から通話履歴IDと通話情報の蓄積場所を示すポインターとを得て、対応付け手段11の対応付けメモリ領域中の対応テーブルに記録する。表示手段12は、通話履歴蓄積手段10から通話履歴表示画面を表示し、対応付け手段11を参照して各通話情報に対応して録音した通話音声が存在するものはその通話情報ごとに通話音声を表すアイコンを表示し、対応付け手段11を参照して各通話情報に対応して保存した通話テキストが存在するものはその通話情報ごとに通話テキストを表すアイコンを表示する。
Embodiment 3 FIG.
FIG. 1 is a block diagram showing Embodiment 3 of a portable information terminal equipped with a call voice recording function and a voice recognition function according to the present invention.
Next, the operation will be outlined with reference to FIG. When the recording button 7 is pressed during a call, the communication control / processing unit 1 starts to capture the voice input from the microphone 4 and the voice input from the telephone line 3, and uses the voice as the call voice to store the call voice storage means 6 When the stop button 8 is pressed, the accumulation in the call voice accumulation means 6 is stopped. At this time, the call voice input from the microphone 4 and the call partner voice input from the telephone line 3 are stored in different areas. The communication control / processing unit 1 stores call information such as a telephone number of a call partner and a call start time in the call history storage unit 10. When the stop button 8 is pressed during recording, the communication control / processing unit 1 first reads out the call voice from the call voice storage unit 6, performs voice recognition and text conversion on the call voice, and stores it in the call text storage unit 9. To do. At that time, the text of the call voice input from the microphone 4 and the text of the call partner voice input from the telephone line 3 are stored in different areas. Next, in order to associate the call information with the recorded call voice and the texted call text, the call voice storage means 6 provides a pointer indicating the storage location of the call voice, and the call text storage means 9 sets the call text and the call. A pointer indicating the storage location of the text and a call history ID and a pointer indicating the storage location of the call information are obtained from the call history storage means 10 and recorded in the correspondence table in the association memory area of the association means 11. The display means 12 displays a call history display screen from the call history storage means 10, and if there is a call voice recorded corresponding to each call information with reference to the associating means 11, the call voice for each call information. If there is a call text stored corresponding to each call information with reference to the association means 11, an icon representing the call text is displayed for each call information.

次に表示方法について、図10を参照して概要を説明する。通話テキストの表示画面37の例である。自分が話した自分欄40と相手が話した相手欄41とが視覚的に区別されて表示されることを特徴とする。通話テキスト表示画面37の自分欄40は通話履歴蓄積手段10により該通話履歴において自分が話した通話テキスト38より生成される。通話テキスト表示画面37の相手欄41は通話履歴蓄積手段10より該通話履歴において相手が話した通話テキスト39より生成される。通話テキスト表示画面37において自分欄40と相手欄41とを視覚的に区別する手段として、名前の表示、色の区別などが用いられる。
図10において通話テキスト表示画面37は、自分が話した通話テキスト38と相手が話した通話テキスト39とが日付42を参照して時系列的に古いものから新しいものへとマージされて表示される。
Next, the outline of the display method will be described with reference to FIG. It is an example of the display screen 37 of a call text. It is characterized in that the personal column 40 spoken by the user and the partner column 41 spoken by the partner are visually distinguished and displayed. The own column 40 of the call text display screen 37 is generated from the call text 38 spoken by himself / herself in the call history by the call history storage means 10. The other party column 41 of the call text display screen 37 is generated from the call history storage means 10 from the call text 39 spoken by the other party in the call history. As means for visually distinguishing the own field 40 and the partner field 41 on the call text display screen 37, name display, color distinction, and the like are used.
In FIG. 10, the call text display screen 37 is displayed with the call text 38 spoken by the user and the call text 39 spoken by the other party merged from the oldest to the newest with reference to the date 42. .

以上説明したように、この発明では通話者(自分)と通話相手の通話音声を別々に蓄積し、それぞれを音声認識しテキスト化して通話者の通話テキストと通話相手の通話テキストを別々に蓄積し、通話者と通話相手の通話テキストを通話情報履歴の時刻と関連付けているので、通話の順序やどちらが話したかなどを分けることが可能となり、過去の通話の内容の把握が容易に確認できる。   As described above, in the present invention, the caller's (self) and the other party's call voices are stored separately, each of which is recognized and converted into text, and the caller's call text and the other party's call text are stored separately. Since the call texts of the caller and the call partner are associated with the time of the call information history, it is possible to separate the order of calls and who talked, and the contents of past calls can be easily confirmed.

この発明の実施の形態1を示す携帯情報端末のブロック図である。It is a block diagram of the portable information terminal which shows Embodiment 1 of this invention. この発明の通話音声から通話履歴表示画面の表示までの処理を説明するフローチャートである。It is a flowchart explaining the process from the call voice of this invention to the display of a call history display screen. この発明の通話履歴表示画面に表示された通話テキストの表示処理を説明するフローチャートである。It is a flowchart explaining the display process of the call text displayed on the call history display screen of this invention. この発明の通話音声蓄積メモリ領域、通話テキスト蓄積メモリ領域と通話履歴蓄積メモリ領域を示す図である。It is a figure which shows the call voice storage memory area, call text storage memory area, and call history storage memory area of this invention. この発明の対応付けメモリ領域を示す図である。It is a figure which shows the matching memory area | region of this invention. この発明の通話履歴表示画面を示す図である。It is a figure which shows the call history display screen of this invention. この発明の実施の形態2を示す携帯情報端末のブロック図である。It is a block diagram of the portable information terminal which shows Embodiment 2 of this invention. この発明の検索表示処理を説明するフローチャートである。It is a flowchart explaining the search display process of this invention. この発明の検索結果に対する通話音声の再生処理を示すフローチャートである。It is a flowchart which shows the call | voice voice reproduction | regeneration processing with respect to the search result of this invention. この発明の実施の形態3における携帯情報端末の表示画面を説明する図である。It is a figure explaining the display screen of the portable information terminal in Embodiment 3 of this invention.

符号の説明Explanation of symbols

1 通信制御/処理手段、2 ダイヤル手段、2a 入力手段、3 電話回線、4 マイク、5 スピーカー、6 通話音声蓄積手段、7 録音ボタン、8 停止ボタン、9 通話テキスト蓄積手段、10 通話履歴蓄積手段、11 対応付け手段、12 表示手段、13 通話履歴表示ボタン、14 操作手段、15 検索起動ボタン、16 検索開始ボタン、17 通話音声蓄積メモリ領域、18 通話テキスト蓄積メモリ領域、19 通話履歴蓄積メモリ領域、20,21 対応付けメモリ領域、22 通話履歴表示画面、37 テキストの表示画面。   1 Communication control / processing means, 2 dial means, 2a input means, 3 telephone line, 4 microphone, 5 speaker, 6 call voice storage means, 7 record button, 8 stop button, 9 call text storage means, 10 call history storage means 11 Correlation means 12 Display means 13 Call history display button 14 Operation means 15 Search start button 16 Search start button 17 Call voice storage memory area 18 Call text storage memory area 19 Call history storage memory area , 20, 21 Corresponding memory area, 22 Call history display screen, 37 Text display screen.

Claims (3)

通話に伴う通話情報と通話音声を出力し、読み込まれた通話音声を音声認識しテキスト化して出力または読み込まれた通話音声を再生する通信制御/処理手段と、この通信制御/処理手段から出力される通話音声を蓄積する通話音声蓄積手段と、前記通話音声蓄積手段から読み出され前記通信制御/処理手段で音声認識されテキスト化された通話テキストを蓄積する通話テキスト蓄積手段と、前記通信制御/処理手段から出力される通話情報を蓄積する通話履歴蓄積手段と、前記通話音声蓄積手段に蓄積された通話音声と前記通話テキスト蓄積手段に蓄積された通話テキストおよび前記通話履歴蓄積手段に蓄積された通話情報を通話ごとに対応付ける対応付け手段と、前記対応付け手段の対応結果を表示する表示手段とを備える携帯情報端末。   Communication control / processing means for outputting call information and call voice associated with a call, recognizing the read call voice, converting it to text, and reproducing the read call voice, or output from the communication control / processing means Call voice storage means for storing the call voice to be stored; call text storage means for storing the call text read from the call voice storage means and recognized by the communication control / processing means and converted into text; and the communication control / Call history storage means for storing call information output from the processing means, call voice stored in the call voice storage means, call text stored in the call text storage means, and call history storage means A portable information terminal comprising: association means for associating call information for each call; and display means for displaying a correspondence result of the association means 前記通信制御/処理手段は、入力されるキーワードで前記音声テキスト蓄積手段に蓄積されている音声テキストを検索し、該当する音声テキストとその通話情報を対応付けて前記表示手段に表示する請求項1記載の携帯情報端末。   2. The communication control / processing unit searches for a voice text stored in the voice text storage unit with an input keyword, and displays the corresponding voice text and its call information in association with each other on the display unit. The portable information terminal described. 前記通信制御/処理手段は、通話者音声と通話相手の音声を前記音声蓄積手段の異なる領域に蓄積し、それぞれに対応して音声認識と音声テキスト化を行い前記音声テキスト蓄積手段の異なる領域に蓄積し、通話履歴蓄積手段のそれぞれの通話情報と関連付けて表示手段に表示する請求項1記載の携帯情報端末。   The communication control / processing means accumulates the voice of the caller and the voice of the other party in different areas of the voice accumulating means, and performs voice recognition and voice text corresponding to each of them in different areas of the voice text accumulating means. The portable information terminal according to claim 1, wherein the portable information terminal is stored and displayed on the display means in association with each call information of the call history storage means.
JP2004015933A 2004-01-23 2004-01-23 Personal digital assistant Pending JP2005210497A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004015933A JP2005210497A (en) 2004-01-23 2004-01-23 Personal digital assistant

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004015933A JP2005210497A (en) 2004-01-23 2004-01-23 Personal digital assistant

Publications (1)

Publication Number Publication Date
JP2005210497A true JP2005210497A (en) 2005-08-04

Family

ID=34901252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004015933A Pending JP2005210497A (en) 2004-01-23 2004-01-23 Personal digital assistant

Country Status (1)

Country Link
JP (1) JP2005210497A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008252742A (en) * 2007-03-30 2008-10-16 Nec Corp Telephone apparatus, operating method of same, and operation program for same
JP2011253389A (en) * 2010-06-02 2011-12-15 Fujitsu Ltd Terminal and reply information creation program for pseudo conversation
JP2013020411A (en) * 2011-07-11 2013-01-31 Sony Corp Information processing apparatus, information processing method and program
JP2015056871A (en) * 2013-09-13 2015-03-23 京セラ株式会社 Apparatus having call function, control method of apparatus having call function, and program
KR101643081B1 (en) * 2015-01-30 2016-07-26 주식회사 엘지유플러스 Method of managing contents and system thereof
JP2017216672A (en) * 2016-05-25 2017-12-07 株式会社Nttドコモ Phone call device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09252372A (en) * 1996-03-15 1997-09-22 Mitsubishi Electric Corp Portable information terminal provided with voice memo function
JPH11136352A (en) * 1997-10-30 1999-05-21 Fujitsu Ltd Automatic answering telephone set, voice processing method for automatic answering telephone set, and record medium recorded with automatic answering control program
JP2002142045A (en) * 2000-11-02 2002-05-17 Matsushita Electric Ind Co Ltd Communication unit

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09252372A (en) * 1996-03-15 1997-09-22 Mitsubishi Electric Corp Portable information terminal provided with voice memo function
JPH11136352A (en) * 1997-10-30 1999-05-21 Fujitsu Ltd Automatic answering telephone set, voice processing method for automatic answering telephone set, and record medium recorded with automatic answering control program
JP2002142045A (en) * 2000-11-02 2002-05-17 Matsushita Electric Ind Co Ltd Communication unit

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008252742A (en) * 2007-03-30 2008-10-16 Nec Corp Telephone apparatus, operating method of same, and operation program for same
JP2011253389A (en) * 2010-06-02 2011-12-15 Fujitsu Ltd Terminal and reply information creation program for pseudo conversation
JP2013020411A (en) * 2011-07-11 2013-01-31 Sony Corp Information processing apparatus, information processing method and program
JP2015056871A (en) * 2013-09-13 2015-03-23 京セラ株式会社 Apparatus having call function, control method of apparatus having call function, and program
KR101643081B1 (en) * 2015-01-30 2016-07-26 주식회사 엘지유플러스 Method of managing contents and system thereof
JP2017216672A (en) * 2016-05-25 2017-12-07 株式会社Nttドコモ Phone call device

Similar Documents

Publication Publication Date Title
JP2927891B2 (en) Voice dialing device
US5651055A (en) Digital secretary
JP3873131B2 (en) Editing system and method used for posting telephone messages
US7738637B2 (en) Interactive voice message retrieval
US20030157968A1 (en) Personalized agent for portable devices and cellular phone
US20040186712A1 (en) Apparatus and method for providing voice recognition for multiple speakers
JP2003515816A (en) Method and apparatus for voice controlled foreign language translation device
EP0851404A2 (en) System and method for enhanced intelligibility of voice messages
GB2364850A (en) Automatic voice message processing
US5752230A (en) Method and apparatus for identifying names with a speech recognition program
TW200540649A (en) Method and apparatus for automatic telephone menu navigation
US6563911B2 (en) Speech enabled, automatic telephone dialer using names, including seamless interface with computer-based address book programs
JPH10187198A (en) Hands free speech memo system and method
US6671354B2 (en) Speech enabled, automatic telephone dialer using names, including seamless interface with computer-based address book programs, for telephones without private branch exchanges
JP2002099530A (en) Minutes production device, method and storage medium using it
JP2005210497A (en) Personal digital assistant
TW200824408A (en) Methods and systems for information retrieval during communication, and machine readable medium thereof
JP4787048B2 (en) Mobile phone
JP2000013476A (en) Telephone device
JPH02178698A (en) Voice recognition device and telephone set using same
WO1997037344A1 (en) Terminal having speech output function, and character information providing system using the terminal
JP2003319087A (en) Communication apparatus
KR100396328B1 (en) Saving device and method through the dialing
JP2815971B2 (en) Voice recognition data storage system
JP2000138742A (en) Terminal device having telephone functions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061121

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080507