JP5052241B2 - On-vehicle voice processing apparatus, voice processing system, and voice processing method - Google Patents
On-vehicle voice processing apparatus, voice processing system, and voice processing method Download PDFInfo
- Publication number
- JP5052241B2 JP5052241B2 JP2007188207A JP2007188207A JP5052241B2 JP 5052241 B2 JP5052241 B2 JP 5052241B2 JP 2007188207 A JP2007188207 A JP 2007188207A JP 2007188207 A JP2007188207 A JP 2007188207A JP 5052241 B2 JP5052241 B2 JP 5052241B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- sound
- voice
- seat position
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephonic Communication Services (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Description
本発明は、車載用の音声処理装置の音声処理技術に関する。 The present invention relates to an audio processing technique for an on-vehicle audio processing apparatus.
電話回線等を利用して複数の車両間で対話可能なシステムがある。例えば、ハンズフリー電話を利用すれば、車両間で、容易に対話をすることができる。 There is a system that can communicate between a plurality of vehicles using a telephone line or the like. For example, if a hands-free telephone is used, it is possible to easily communicate between vehicles.
しかし、単に従来の電話機能を利用して、他の車両からの音声をスピーカから出力するだけでは、臨場感に欠ける。特に、車両内は、個々のプライベート空間が形成されるため、他の車両からの音声を単に出力しても、相手の存在を実感しにくい。 However, simply using a conventional telephone function and outputting sound from another vehicle from a speaker lacks a sense of reality. In particular, since individual private spaces are formed in the vehicle, it is difficult to realize the existence of the opponent even if the sound from other vehicles is simply output.
本発明の目的は、車両間での通信において、より臨場感のある対話を可能とすることにある。 An object of the present invention is to enable more realistic dialogue in communication between vehicles.
上記課題を解決すべく、本発明では、車両の位置や発話者の座席位置に応じて、受話者の音場における、発話者の音声の仮想音源位置を定める。 In order to solve the above problems, in the present invention, the virtual sound source position of the voice of the speaker in the sound field of the listener is determined according to the position of the vehicle and the seat position of the speaker.
例えば、本発明の第1の態様は、第1の車両に搭載され、第2の車両の車載装置と通信
可能な車載用音声処理装置であって、前記第2の車両の位置を取得する車両位置取得手段
と、前記第2の車両内で取得された音声を取得する音声取得手段と、複数のスピーカから
なるスピーカアレイにより形成される音場において、前記第2の車両内で取得された音声
の仮想音源が、前記第2の車両の位置の方向に形成されるように、前記第2の車両内で取
得された音声を加工し、前記スピーカアレイにより出力する音声出力手段と、前記第2の車両内で取得された音声を、音源ごとに分離する音声分離手段と、前記音声分離手段により分離された音声の中から、予め定められた車両内の座席位置に対応する音源位置の音声を抽出する音声抽出手段と、を備え、前記音声出力手段は、前記音声抽出手段で抽出した音声を前記スピーカアレイに出力する。
For example, the first aspect of the present invention is an in-vehicle audio processing device that is mounted on a first vehicle and can communicate with the in-vehicle device of the second vehicle, and acquires the position of the second vehicle. The sound acquired in the second vehicle in a sound field formed by a position acquisition means, a sound acquisition means for acquiring sound acquired in the second vehicle, and a speaker array comprising a plurality of speakers. virtual sound source, as formed in the direction of the position of the second vehicle, and processing the audio acquired in the second vehicle, and audio output means for outputting by the speaker array, the second The sound separation means for separating the sound acquired in the vehicle for each sound source, and the sound at the sound source position corresponding to a predetermined seat position in the vehicle from the sounds separated by the sound separation means Voice extraction means for extracting; For example, the audio output unit outputs audio extracted by the audio extraction unit in the speaker array.
また、本発明の第2の態様は、第1の車両に搭載され、第2の車両の車載装置と通信可能な車載用音声処理装置であって、前記第2の車両内で取得され、音源位置ごとに分離され、かつ座席位置に対応付けられた音声を取得する音声取得手段と、複数のスピーカからなるスピーカアレイにより形成される音場において、前記座席位置に対応付けられた音声の仮想音源が、その座席位置に対応する前記第1の車両の座席位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する音声出力手段と、を備える。 According to a second aspect of the present invention, there is provided an in-vehicle voice processing device that is mounted on the first vehicle and can communicate with the in-vehicle device of the second vehicle, and is acquired in the second vehicle and is a sound source. In a sound field formed by sound acquisition means for acquiring sound that is separated for each position and that is associated with the seat position, and a speaker array that includes a plurality of speakers, a virtual sound source of the sound that is associated with the seat position Is provided with sound output means for processing sound for each seat position and outputting the sound from the speaker array so as to be formed at the seat position of the first vehicle corresponding to the seat position.
本発明の第3の態様は、第1の車両と第2の車両との間で音声の送受信が可能な音声処理システムであって、前記第1の車両内で取得された音声を、音源ごとに分離する音声分離手段と、前記音声分離手段により得られた音源の位置ごとの音声から、座席位置に対応付けた音声を求める手段と、複数のスピーカからなるスピーカアレイにより形成される音場において、前記座席位置に対応付けた音声の仮想音源が、その座席位置に対応する前記第2の車両の座席位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する音声出力手段とを備える。 According to a third aspect of the present invention, there is provided an audio processing system capable of transmitting and receiving audio between the first vehicle and the second vehicle, wherein the audio acquired in the first vehicle is transmitted for each sound source. In a sound field formed by a speaker array comprising a plurality of speakers, a sound separation means for separating the sound into sound sources, a means for obtaining a sound associated with a seat position from the sound at each sound source position obtained by the sound separation means, The sound for each seat position is processed so that a virtual sound source of the sound associated with the seat position is formed at the seat position of the second vehicle corresponding to the seat position, and output by the speaker array Voice output means.
以下に、本発明の一実施形態について、図面を参照して説明する。 An embodiment of the present invention will be described below with reference to the drawings.
<第1の実施形態>
図1は、本発明の一実施形態が適用された車載用の音声処理装置100の概略構成図である。なお、本実施形態において、車両間での対話は、それぞれの車両に搭載された複数台の音声処理装置100の間で行われる。また、2台とは限らず、3台以上が同時に音声の送受信を行ってもよい。この場合は、会議のように、同時に複数人での対話が可能となる。
<First Embodiment>
FIG. 1 is a schematic configuration diagram of an in-vehicle
本実施形態の音声出力装置100は、ナビゲーション装置と一体となっている。図示するように、音声処理装置100は、演算処理部1と、ディスプレイ2と、記憶装置3と、マイクロフォンアレイ4と、スピーカアレイ5と、着席センサ6と、入力装置7と、車輪速センサ8と、ジャイロセンサ9と、GPS(Global Positioning System)受信装置10と、通信装置15とを備えている。
The
演算処理部1は、様々な処理を行う中心的ユニットである。例えば各種センサ8、9やGPS受信装置10から出力される情報を基にして現在位置を検出する。また、マイクロフォンアレイ4から入力された音声を、通話相手の他の車載装置100に送信したり、通話相手の車載装置100から受信した音声をスピーカアレイ5から出力したりする。また、音声を認識し、認識した語句から、ユーザの入力内容を特定することも行う。
The
ディスプレイ2は、液晶表示装置などで構成され、演算処理部1で生成されたグラフィックス情報を表示するユニットである。
The display 2 is configured by a liquid crystal display device or the like, and is a unit that displays graphics information generated by the
記憶装置3は、CD-ROMやDVD-ROMやHDDやICカードといった記憶媒体で構成されている。この記憶媒体には、地図データ等が記憶されている。
The
マイクロフォンアレイ4は、ユーザが発話した音声を取得する音声入力装置である。マイクロフォンアレイ4は、設定位置の異なる複数のマイクロフォンからなる。これにより、音声取得位置による音声の相違(遅延時間、音量など)を利用した音声分離が可能となり、各音声の音源位置を特定することができる。
The
スピーカアレイ5は、演算処理部1で生成された音声を出力するための音声出力装置である。スピーカアレイ5は、設置位置の異なる複数のスピーカからなり、それぞれのスピーカから、遅延時間や音量を変化させた音声を出力することで、聴取者(受話者)に対して音場の中に仮想音源を定位させることができる。これにより、聴取者に、実際には音源が位置しない位置から音声が出力されているかのような感覚を与えることができる。本実施形態では、これを利用して、対話の臨場感を向上させる。
The
着席センサ6は、感圧センサなどで構成され、車両内の座席に搭乗者が着席しているか否かを検知する。
The
図2は、車両300における、マイクロフォンアレイ4、スピーカアレイ5、及び着席センサ6の配置について説明するための図(天頂からみた図)である。図示するように、マイクロフォンアレイ4は、例えば、ダッシュボード、バックミラー、ピラー等の近傍に設置された、複数(少なくとも2つ、好ましくは3〜4つ)のマイクロフォンからなる。
FIG. 2 is a diagram (a diagram seen from the zenith) for explaining the arrangement of the
スピーカアレイ5は、各座席の搭乗者が各々に向けられた音声を聴取可能なように、座席ごとに設けられている。例えば、スピーカアレイ5は、各座席のヘッドレストに、搭乗者の左右の耳の位置に合わせて配置されている。
The
着席センサ6は、各座席301の座板に配されており、搭乗者の重みにより、着席状態か否かを検出する。
The
図1に戻って説明する。入力装置7は、ユーザからの指示を受け付けるユニットである。入力装置5は、スクロールキー、縮尺変更キーなどのハードスイッチ、ジョイスティック、ディスプレイ上に貼られたタッチパネルなどで構成される。
Returning to FIG. The
センサ8、9およびGPS受信装置10は、現在地(自車位置)を検出するために使用されるものである。
The
通信装置15は、他の車両に搭載された音声処理装置100と通信を行うための装置である。通信装置15は、電話回線を利用するものであってもよいし、インターネットを利用するものであってもよい。また、携帯電話と接続して、通信を行うものであってもよい。
The
図3は、演算処理部1の機能ブロック図である。
FIG. 3 is a functional block diagram of the
図示するように、演算処理部1は、ユーザ操作解析部41と、現在位置算出部42と、ナビゲーション処理部43と、音声取得部44と、音声分離部45と、音場設定部46と、音声加工部47と、音声出力部48と、通信部49とを備えている。
As illustrated, the
ユーザ操作解析部41は、入力装置7に入力されたユーザからの要求を受け、その要求内容を解析して、その要求内容に対応する処理が実行されるように演算処理部1の各部を制御する。
The user
現在位置算出部42は、各センサ8,9及びGPS受信装置10の出力から、現在位置を求める。例えば、地図データを用いて、マップマッチングにより地図上の自車両の位置を求める。
The current
ナビゲーション処理部43は、指定された2地点(現在地、目的地)間を結ぶ推奨経路を探索したり、ディスプレイ2に推奨経路を表示し経路誘導を行ったりする。
The
音声取得部44は、マイクロフォンアレイ4を介して、話者が発した音声を取得する処理を行う。
The
音声分離部45は、マイクロフォンアレイ4で取得した、複数の音源から出力された音声(混合音)を、音源位置ごとの音声に分離する。音声分離部45は、マイクロフォンアレイ4を構成する各マイクロフォンの位置を予め記憶しており、各マイクロフォンの位置を基準として、音源位置を特定する。なお、音声分離の手法については、公知の方法を用いることができるので詳述しない。
The
音場設定部46は、スピーカアレイ5が出力する音声により聴取者に対して実現される、音場の構成(仮想音源の位置、発する音声、音量など)を決定する処理を行う。
The sound
音声加工部47は、音場設定部46で決定された音場がスピーカアレイ5により実現されるように、スピーカアレイ5を構成する各スピーカに出力する音声を加工する処理を行う。音声加工部47は、スピーカアレイ5を構成する各スピーカの位置を予め記憶しており、各スピーカの位置を基準として音場が形成されるように音声を加工する。なお、音場における仮想音源の形成方法については、公知の方法を用いることができるので詳述しない。
The
音声出力部48は、音声加工部47で加工された、各スピーカで出力されるべき音声を、スピーカアレイ5に送信し、音声出力を実行する。
The
通信部49は、通信装置15を介して、他の音声処理装置100との間の情報の送受信を仲介する処理を行う。
The
なお、演算処理部1は、図1に示すように、数値演算及び各デバイスを制御するといった様々な処理を実行するCPU(Central Processing Unit)11と、記憶装置3から読み出した地図データ、演算データなどを格納するRAM(Random Access Memory)12と、プログラムやデータを格納するROM(Read Only Memory)13と、外部との情報の授受を行うインターフェース14とを備えるコンピュータシステムにより達成される。上述の演算処理部1の各機能部は、CPUがメモリにロードしたプログラムを実行することにより達成される。なお、音声処理に関して、専用のDSP(Digital Signal Processor)が行うようにしてもよい。
As shown in FIG. 1, the
[動作の説明]次に、上記構成の複数台の音声処理装置100の間で行われる、発話から受話までの動作について説明する。
[Description of Operation] Next, the operation from the utterance to the reception performed between the plurality of
図4は、かかる処理のフロー図である。 FIG. 4 is a flowchart of such processing.
なお、ここでは、発話者側の音声処理装置100と受話者側の音声処理装置100とに分けて動作を説明する。もちろん、いずれの車両の搭乗者が発話者になるかによって、音声処理装置100は、発話者側になったり、受話者側になったりする。
Here, the operation will be described separately for the
本フローは、複数の音声処理装置100の間で、対話モードとなっている場合に開始される。
This flow is started when the conversation mode is set between the plurality of
まず、発話者側の音声処理装置100の音声取得部44は、マイクロフォンアレイ4を介して、発話者の音声を取得する(S11)。次に、発話者側の音声処理装置100の通信部49は、取得された音声を、現在位置算出部42で算出された現在位置とともに、受話側の音声処理装置100に送信する(S12)。
First, the
これを受けて、受話側の音声処理装置100の通信部49は、発話者側の音声処理装置100から送信された、発話者の音声と、発話者側の車両の現在位置を取得する(S13)。
In response to this, the
次に、受話側の音声処理装置100の音場設定部46は、音場の構成を設定する(S14)。図5は、音場の構成を説明するための図である。音場設定部46は、自車両(受話者側の車両)の現在位置と相手車両(発話者側の車両)の現在位置との関係500に基づいて、音場510の構成を設定する。具体的には、自車両501の位置を音場510の中心511として、発話者側の車両502(または503)の現在位置に相当する位置に、発話者の音声の仮想音源512(または513)を配置し、音場510を構成する。また、発話者の音声の音量については、車両間の距離L1(またはL2)が離れる程、小さくなるように設定する。
Next, the sound
すなわち、図5の例のように、自車両501に対して、右斜め前に発話者側の車両502があるとすると、車両502の搭乗者の音声の仮想音源512は、音場の中心(自身の位置)511に対して、右斜め前に設定される。一方、左斜め後ろに発話者側の車両503があるとすると、車両503の搭乗者の音声の仮想音源513は、音場の中心(自身の位置)511に対して、左斜め後ろに設定される。さらに、発話者の音声の音量は、自車両から遠い車両からの音声ほど小さくなるように設定されるので、図5の例では、右斜め前の車両502からの音声は、左斜め後ろの車両からの音声に比べて小さく設定される。
That is, as in the example of FIG. 5, if there is a
なお、発話者の実際の声の大きさが一定とは限らない。発話者の実際の声の大きさにばらつきがあると、車両間の距離に応じて音量を調整する意味が薄れる。そこで、音場設定部46は、発話者側から受信した音声について、一旦音量を所定の音量に正規化した後、車両間の距離に応じて調整するようにしてもよい。
Note that the actual loudness of the speaker is not always constant. If there is a variation in the loudness of the speaker's actual voice, the meaning of adjusting the sound volume in accordance with the distance between the vehicles is reduced. Therefore, the sound
次に、音声加工部47は、音場設定部46で設定された音場が再現されるように、スピーカアレイ5を構成する各スピーカに出力されるべき音声を、元の音声を加工することにより生成する(S15)。
Next, the
そして、音声出力部48は、音声加工部47で加工された、スピーカアレイ5を構成する各スピーカに出力されるべき音声を、スピーカアレイ5に出力し、音声出力を実現する(S16)。これにより、受話者は、発話者の発話内容を聴取することができる。
Then, the
以上、図4のフローを用いて、発話から受話までの動作について説明した。なお、かかるフローは、いずれかの搭乗者が発話する度に繰り返される。 The operation from utterance to reception has been described above using the flow of FIG. This flow is repeated every time any passenger speaks.
上記した本実施形態によれば、受話者に対して、スピーカアレイ5により形成される音場により、発話者側の車両位置に発話者の音源位置を定位させることができる。したがって、受話者に、あたかもその方向から発話者が発話しているかのような感覚を与えることができ、臨場感のある対話が実現する。
According to the above-described embodiment, the sound source position of the speaker can be localized at the vehicle position on the speaker side by the sound field formed by the
上記実施形態は、さまざまな変形が可能である。 The above embodiment can be variously modified.
例えば、ドライバ同士のみの対話、後部座席の搭乗者同士のみの対話など、特定の座席位置の搭乗者のみの対話に制限することもできる。 For example, it is possible to limit the dialogue to only the passengers at a specific seat position, such as the dialogue between drivers only, the dialogue between passengers in the rear seat, and the like.
図6は、かかる場合の対話動作の処理のフロー図である。図6のフローは、図4で示した処理と基本的に同じである。ただし、マイクロフォンアレイ4で取得される「発話者の音声」に、複数の搭乗者の音声が混合していることを想定して、音声分離により特定の座席の搭乗者の音声のみを抽出するための処理S11’が挿入されている。S11’では、概略すると、発話者側の音声処理装置100の音声分離部45は、S11において取得された音声に対して、音声分離を行って、特定の座席位置の音声のみを抽出する。
FIG. 6 is a flowchart of the interactive operation process in such a case. The flow in FIG. 6 is basically the same as the process shown in FIG. However, in order to extract only the voices of the passengers of a specific seat by voice separation, assuming that the voices of a plurality of passengers are mixed with the “voices of speakers” acquired by the
図7は、かかる処理を説明するための概念図である。 FIG. 7 is a conceptual diagram for explaining such processing.
まず、音声分離部45は、音声分離の手法(すなわち、混合音から音源位置ごとの音声に分離する手法)を用いて、S11で取得された発話者の音声(混合音)700を、音源位置701ごとの音声702に分離する。
First, the
一方、音声分離部45は、座席位置711と車両内の空間領域712との対応表710を保持している。図2を用いて説明すると、車両300の内部空間は、座席位置(ドライバ位置(右前)、助手席位置(左前)、後部右側位置、後部左側位置)に対応して、座席空間A1、A2,A3、A4が定められている。すなわち、車内の三次元座標における位置は、いずれかの座席空間A1〜A4に属する。
On the other hand, the
そこで、音声分離部45は、かかる座席位置711と空間領域712との対応表710を用いて、音源位置701に対応付けられた音声702を、座席位置711に対応付ける。そして、座席位置711に対応つけた音声702を取得する。
Therefore, the
さらに音声分離部45は、予め定められた座席位置(例えば、ドライバ位置)の音声702のみを抽出する。なお、いずれの座席位置の音声を抽出するかは、ユーザにより選択可能にすることができる。
Furthermore, the
そして、通信部49は、S12において、音声分離部45により抽出された音声を、車両の現在位置とともに、受信側の音声処理装置100に送信する。その後の処理は、上記した通りである。
In S12, the
このようにすれば、特定の座席位置の搭乗者の音声のみを、対話に用いることができる。例えば、複数の車両で同一目的地を目指す場合など、ドライバ間の対話が優先的となる場合において、他の搭乗者が発声している場合でも、ドライバの発話内容に関しては、確実に他の車両のドライバに伝えるということができる。 In this way, only the voice of the passenger at the specific seat position can be used for the dialogue. For example, when dialogue between drivers is prioritized, such as when aiming at the same destination with a plurality of vehicles, even if other passengers are speaking, it is certain that other vehicles It can be said to the driver.
なお、音声分離の処理S11’は、受話側の音声処理装置100で行ってもよい。例えば、図4のフローと同様に、発話者側の通信部49は、発話者の音声(混合音)を、受話者側の音声処理装置100に送信する。受話者側の音声処理装置100は、これを受信後、上記のS11’と同様に、音声分離と、座席位置との対応付け、及び特定の座席位置の音声の抽出を行う。そして、抽出した音声のみが、音声出力されるようにする。
Note that the voice separation process S11 'may be performed by the
また、S12において、通信部49は、発話者の音声を送信する際に、その音声に対応付けられた座席位置も送信するようにしてもよい。そして、受話者側の音声処理装置100では、受信した発話者の座席位置を示す情報を、表示装置に表示して、誰が発話者なのか分かるようにしてもよい。また、受話側の音声処理装置100の音声出力部48は、受信した発話者の座席位置に対応する座席位置のスピーカアレイ5にのみから音声出力するようにしてもよい。こうすれば、設定された座席位置の搭乗者のみで対話をすることができ、対話内容が他の座席位置の搭乗者に聴かれることがない。
In S12, when transmitting the voice of the speaker, the
また、発話者の座席位置ごとに、受話側で出力する際の音量を異ならせることもできる。例えば、発話者側の音声出力装置100の通信部49は、複数の座席位置に対応付けられた複数の音声を、座席位置の情報とともに、受話側の音声出力装置100に送信する。受話側の音声出力装置100の音声出力部48は、出力しようとする音声について、対応付けられた座席位置に応じて、音量を異ならせる。例えば、優先順位を設け、ドライバ位置>助手席位置>後部右側位置>後部左側位置の順に、音量を大きくする。こうすれば、重要性が高い内容を話しそうな搭乗者の会話を優先的に受話側の搭乗者に聴取させることができる。
Further, the volume at the time of output on the receiving side can be varied for each seat position of the speaker. For example, the
<第2の実施形態>
第2の実施形態におけるハードウェア構成及び機能部の構成は、上記第1の実施形態と似た構成を備えている。したがって、重複する部分については説明を省略する。
<Second Embodiment>
The hardware configuration and functional unit configuration in the second embodiment are similar to those in the first embodiment. Therefore, the description of the overlapping parts is omitted.
本実施形態では、発話者の座席位置、及び受話者の座席位置に応じて、各受話者に対して提供する音場における音声の仮想音源位置を設定する。例えば、他の車両の助手席に搭乗している発話者の音声が、受話側のドライバにとっては、自車両の助手席側から発せられたように感じさせることが可能となる。 In the present embodiment, the virtual sound source position of the sound in the sound field provided to each listener is set according to the seat position of the speaker and the seat position of the receiver. For example, it is possible for the driver on the receiving side to feel that the voice of the speaker boarding the passenger seat of another vehicle is emitted from the passenger seat side of the own vehicle.
図8は、本実施形態にかかる発話から受話までの処理を示すフロー図である。 FIG. 8 is a flowchart showing processing from utterance to reception according to the present embodiment.
本フローは、複数の音声処理装置100の間で、対話モードとなっている場合に開始される。
This flow is started when the conversation mode is set between the plurality of
まず、発話者側の音声処理装置100の音声取得部44は、マイクロフォンアレイ4を介して、発話者の音声を取得する(S21)。次に、音声分離部45は、S21において取得された音声に対して、音声分離を行って(S22)、さらに、図7で示した方法と同様にして、座席位置ごとの音声を抽出する(S23)。次に、発話者側の音声処理装置100の通信部49は、取得された音声を、現在位置算出部42で算出された現在位置とともに、受話側の音声処理装置100に送信する(S24)。
First, the
これを受けて、受話側の音声処理装置100の通信部49は、発話者側の音声処理装置100から送信された、座席位置に対応付けられた発話者の音声と、発話者側の座席位置とを取得する(S25)。
In response to this, the
次に、受話側の音声処理装置100の音場設定部46は、着席センサ6を介して、自車両内の各座席について着席状態か否かを検出する(S26)。
Next, the sound
さらに、音場設定部46は、音場の構成を設定する(S27)。図9は、音場の構成を説明するための図である。音場設定部46は、各座席のスピーカアレイ5ごとに、異なる音場を設定することになる。また、発話者の発話者側の車両内での座席位置と、受話者の受話者側の車両内の座席位置との位置関係に基づいて、音場の構成を設定する。具体的には、音場設定部46は、S25で受信した座席位置に対応付けられた音声の仮想音源が、その座席位置に対応する受話側の車両の座席位置に形成されるように、音場の構成を設定する。
Further, the sound
例えば、図9(A)に示すように、発話者側の車両において助手席の搭乗者が発話者である音声があるとする。受話者側の車両のドライバ席の音場を設定す場合、音場設定部46は、まず、ドライバ位置を中心とした音場を設定する。そして、図9(B)に示すように、発話者(発話者側の車両の助手席の搭乗者)の音声の仮想音源800を、ドライバ位置からみた助手席位置の方向に設定する。
For example, as shown in FIG. 9A, it is assumed that there is a voice in which the passenger in the passenger seat is the speaker in the speaker-side vehicle. When setting the sound field of the driver's seat of the vehicle on the listener side, the sound
ところで、発話者の座席位置に対応する受話者側の座席位置に、既に搭乗者がいる場合がある。かかる場合に、その座席位置に仮想音源を設定すると、発話者の音声と実際の搭乗者の音声が混じり、受話者に違和感を与える。そこで、音場設定部46は、
(1)S25で取得した座席位置に対応付けられた音声のうち、自車両の未着席状態の座席位置に対応する音声については、その座席位置を音源位置と設定する。
(2)一方、S25で取得した座席位置に対応付けられた音声のうち、自車両の着席状態の座席位置に対応する音声については、他の未着席の座席位置(または、予め定めた位置(例えば、車両中央の天井位置)を音源位置と設定する。
By the way, a passenger may already exist at the seat position on the receiver side corresponding to the seat position of the speaker. In such a case, when a virtual sound source is set at the seat position, the voice of the speaker and the voice of the actual passenger are mixed, giving the listener a sense of incongruity. Therefore, the sound
(1) Among the voices associated with the seat position acquired in S25, for the voice corresponding to the seat position of the unoccupied state of the host vehicle, the seat position is set as the sound source position.
(2) On the other hand, among the voices associated with the seat position acquired in S25, the voice corresponding to the seat position in the seated state of the host vehicle is used for other unseatd seat positions (or predetermined positions ( For example, the ceiling position in the center of the vehicle) is set as the sound source position.
こうして音場が設定されると、音声加工部47は、音場設定部46で設定された音場が再現されるように、各座席のスピーカアレイ5ごとに、スピーカアレイ5を構成する各スピーカに出力されるべき音声を、元の音声を加工することにより生成する(S28)。
When the sound field is set in this way, the
そして、音声出力部48は、音声加工部47で加工された音声を、各スピーカアレイ5に出力し、音声出力を実現する(S29)。これにより、受話者は、発話者の発話内容を聴取することができる。
Then, the
以上、図8のフローを用いて、発話から受話までの動作について説明した。なお、かかるフローは、いずれかの搭乗者が発話する度に繰り返される。 The operation from utterance to reception has been described above using the flow of FIG. This flow is repeated every time any passenger speaks.
上記した第2の実施形態によれば、発話者の音源位置を、発話者と受話者との座席の位置関係に基づいて定める。したがって、受話者に対して、あたかも自車両の対応する座席に発話者が存在するかのような感覚を与えることができ、より臨場感のある対話を実現することができる。 According to the second embodiment described above, the sound source position of the speaker is determined based on the positional relationship between the seats of the speaker and the receiver. Therefore, it is possible to give the listener a feeling as if the speaker is present in the corresponding seat of the own vehicle, and a more realistic dialogue can be realized.
本実施形態は、さまざまな変形が可能である。 The present embodiment can be variously modified.
例えば、上記第1の実施形態の変形例で説明したのと同様に、ドライバ同士のみの対話、後部座席の搭乗者同士のみの対話など、特定の座席位置の搭乗者のみの対話に制限することもできる。 For example, as described in the modification of the first embodiment, the dialogue is limited to only the passengers at a specific seat position, such as the dialogue between the drivers only and the dialogue between the passengers in the rear seat. You can also.
図10は、かかる場合の対話動作の処理のフロー図である。また、図11は、かかる場合の音場の構成を説明するための図である。図10のフローは、図8で示した処理と基本的に同じである。ただし、マイクロフォンアレイ4で取得される「発話者の音声」に、複数の搭乗者の音声が混合していることを想定して、音声分離により特定の座席の搭乗者の音声のみを抽出するための処理S23’が挿入されている。すなわち、発話者側の音声処理装置100の音声分離部45は、S23において取得された座席位置に対応付けられた音声から、特定の座席位置(例えば、ドライバ位置)の音声のみを抽出する。図11の例では、発話者であるドライバの音声のみが、受話者側のスピーカアレイ5に出力されるように設定された様子を示している。さらに、受話側のドライバ位置には、既にドライバが着席しているので、音場設定部46により、発話者の音声の仮想音源801の位置は、予め定められた位置(天井中央)に設定されている。なお、いずれの座席位置の音声を抽出して出力するかは、ユーザにより選択可能にすることができる。
FIG. 10 is a flowchart of the interactive operation process in such a case. Moreover, FIG. 11 is a figure for demonstrating the structure of the sound field in such a case. The flow of FIG. 10 is basically the same as the process shown in FIG. However, in order to extract only the voices of the passengers of a specific seat by voice separation, assuming that the voices of a plurality of passengers are mixed with the “voices of speakers” acquired by the
このようにすれば、特定の座席位置の搭乗者の音声のみを、対話に用いることができる。例えば、複数の車両で同一目的地を目指す場合など、ドライバ間の対話が優先的となる場合において、他の搭乗者が発声している場合でも、ドライバの発話内容に関しては、確実に他の車両のドライバに伝えることができる。 In this way, only the voice of the passenger at the specific seat position can be used for the dialogue. For example, when dialogue between drivers is prioritized, such as when aiming at the same destination with a plurality of vehicles, even if other passengers are speaking, it is certain that other vehicles Can tell the driver.
なお、音声分離に係る処理S22、S23(対話者を制限する場合、さらにS23’)は、受話側の音声処理装置100で行ってもよい。例えば、発話者側の通信部49は、発話者の音声(混合音)を、受話者側の音声処理装置100に送信する。受話者側の音声処理装置100は、これを受信後、S22、S23(対話者を制限する場合、さらにS23’)と同様に、音声分離と、座席位置との対応付け、(対話者を制限する場合、さらに特定の座席位置の音声の抽出)を行う。そして、音場設定部46は、抽出された音声のみを、音場に割り当てる。これにより、音声出力部48は、特定の座席位置の発話者の音声のみを出力することになる。
Note that the processes S22 and S23 related to voice separation (or S23 'in the case of restricting a conversation person) may be performed by the
また、図8及び図10のフローでは、着席状態か否かを判定したが、これに限定されない。ユーザの選択に応じて、着席状態の判定を行わないでもよい。そして、着席状態か否かに関らず、一律に、該当する座席位置に仮想音源の位置を割り当てるようにしてもよい。 Moreover, in the flow of FIG.8 and FIG.10, although it was determined whether it was a seating state, it is not limited to this. The seated state may not be determined according to the user's selection. Then, the position of the virtual sound source may be uniformly assigned to the corresponding seat position regardless of whether or not the user is seated.
また、音場の設定S27において、音場設定部46は、受話者の自身の位置(音場の中心)を中心として、円卓会議を行うように、周囲に、発話者の音声の音源位置を割り当ててもよい。発話者の音声の音源位置をどのように配置するかについては、ユーザから選択を受け付けるようにすることができる。
Also, in the sound field setting S27, the sound
また、3台上の複数台で対話を行う場合、同じ座席位置の搭乗者が同時に発話する場合がある。かかる場合、音場設定部46は、車両ごとに予め優先順位を設けておき、優先順位に応じて発話者の音量を大きく設定してもよい。または、同時に発話した発話者の中の、優先順位が最も高い発話者の音声のみを出力するようにしてもよい。
In addition, when a dialogue is performed with a plurality of three vehicles, passengers at the same seating position may speak at the same time. In such a case, the sound
また、上記第1の実施形態と第2の実施形態は、適宜組み合わせることも可能である。すなわち、受話者側の音声処理装置100の音場設定部46は、発話者の音源位置を、車両同士の位置関係により概略設定し、さらに、車両内の座席位置に応じて、細かく設定することもできる。または、出力しようとする音声に対応付けられた座席位置が、所定の座席位置(例えば、ドライバ位置)である場合、車両間の距離が遠くても、他の座席の発話者の音声に比べて音量を大きく出力するように設定することもできる。
Further, the first embodiment and the second embodiment can be appropriately combined. That is, the sound
100…音声処理装置、
1…演算処理部、2…ディスプレイ、3…記憶装置、4…マイクロフォンアレイ、5…スピーカアレイ、6…着席センサ、7…入力装置、8…車輪速センサ、9…ジャイロ、10…GPS受信装置、15…通信装置、
41…ユーザ操作解析部、42…現在位置算出部、43…ナビゲーション処理部、44…音声取得部、45…音声分離部、46…音場設定部、47…音声加工部、48…音声出力部、49…通信部
100: Audio processing device,
DESCRIPTION OF
DESCRIPTION OF
Claims (10)
前記第2の車両の位置を取得する車両位置取得手段と、
前記第2の車両内で取得された音声を取得する音声取得手段と、
複数のスピーカからなるスピーカアレイにより形成される音場において、前記第2の車両内で取得された音声の仮想音源が、前記第2の車両の位置の方向に形成されるように、前記第2の車両内で取得された音声を加工し、前記スピーカアレイにより出力する音声出力手段と、
前記第2の車両内で取得された音声を、音源ごとに分離する音声分離手段と、
前記音声分離手段により分離された音声の中から、予め定められた車両内の座席位置に対応する音源位置の音声を抽出する音声抽出手段と、を備え、
前記音声出力手段は、前記音声抽出手段で抽出した音声を前記スピーカアレイに出力することを特徴とする車載用音声処理装置。 An in-vehicle audio processing device mounted on a first vehicle and capable of communicating with an in-vehicle device of a second vehicle,
Vehicle position acquisition means for acquiring the position of the second vehicle;
Voice acquisition means for acquiring voice acquired in the second vehicle;
In a sound field formed by a speaker array including a plurality of speakers, the second sound source is generated so that a virtual sound source of sound acquired in the second vehicle is formed in the direction of the position of the second vehicle. Voice output means for processing the voice acquired in the vehicle and outputting by the speaker array;
Voice separating means for separating the sound acquired in the second vehicle for each sound source;
Voice extraction means for extracting voice at a sound source position corresponding to a predetermined seat position in the vehicle from the voice separated by the voice separation means;
The in-vehicle audio processing apparatus , wherein the audio output means outputs the audio extracted by the audio extraction means to the speaker array .
前記音声出力手段は、
前記第1の車両と前記第2の車両との間の距離が離れている程、前記第2の車両内で取得された音声の音量を小さくして出力する
ことを特徴とする車載用音声処理装置。 The in-vehicle voice processing device according to claim 1,
The audio output means is
The in-vehicle audio processing characterized in that as the distance between the first vehicle and the second vehicle increases, the volume of the audio acquired in the second vehicle is reduced and output. apparatus.
前記音声出力手段は、
前記第2の車両内で取得された音声を、予め定めた一定の音量に調整したのち、前記第1の車両と前記第2の車両との距離に応じて、音量を調整する
ことを特徴とする車載用音声処理装置。 The in-vehicle voice processing device according to claim 1,
The audio output means is
The sound acquired in the second vehicle is adjusted to a predetermined constant volume, and then the volume is adjusted according to the distance between the first vehicle and the second vehicle. An in-vehicle audio processing device.
前記第2の車両内で取得され、音源位置ごとに分離され、かつ座席位置に対応付けられた音声を取得する音声取得手段と、
複数のスピーカからなるスピーカアレイにより形成される音場において、前記座席位置に対応付けられた音声の仮想音源が、その座席位置に対応する前記第1の車両の座席位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する音声出力手段と
を備えることを特徴とする車載用音声処理装置。 An in-vehicle audio processing device mounted on a first vehicle and capable of communicating with an in-vehicle device of a second vehicle,
Sound acquisition means for acquiring sound acquired in the second vehicle, separated for each sound source position, and associated with a seat position;
In a sound field formed by a speaker array composed of a plurality of speakers, a virtual sound source of sound associated with the seat position is formed at the seat position of the first vehicle corresponding to the seat position. An in-vehicle audio processing apparatus comprising: audio output means for processing sound for each seat position and outputting the sound by the speaker array.
前記音声取得手段は、
前記第2の車両内で取得された音声を、音源の位置ごとの音声に分離したのち、座席位置に対応付けることにより、前記座席位置に対応付けられた音声を取得する
ことを特徴とする車載用音声処理装置。 The in-vehicle voice processing device according to claim 4 ,
The voice acquisition means includes
For in-vehicle use, wherein the sound acquired in the second vehicle is separated into sound for each position of the sound source, and then the sound associated with the seat position is obtained by associating the sound with the seat position. Audio processing device.
前記第1の車両内の座席について着席状態か否かを判定する着席判定手段を備え、
前記音声出力手段は、
前記着席判定手段により着席状態と判定された座席に対応する前記第2の座席位置に対応付けられた音声については、その仮想音源が、前記第1の車両内の着席状態でない座席位置又は予め定めた位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する
ことを特徴とする車載用音声処理装置。 The in-vehicle voice processing device according to claim 4 ,
Seating determination means for determining whether or not the seat in the first vehicle is in a seated state;
The audio output means is
For the sound associated with the second seat position corresponding to the seat determined to be seated by the seating determination means, the virtual sound source is a seat position in the first vehicle that is not seated or predetermined. A vehicle-mounted audio processing apparatus, wherein the sound for each seat position is processed so as to be formed at a different position and output by the speaker array.
前記第2の車両内で取得され、音源位置ごとに分離され、かつ座席位置に対応付けられた音声を取得する音声取得手段と、
複数のスピーカからなるスピーカアレイにより形成される音場において、前記座席位置に対応付けられた音声の仮想音源が、前記音場の中心位置を囲うような位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する音声出力手段と
を備えることを特徴とする車載用音声処理装置。 An in-vehicle audio processing device mounted on a first vehicle and capable of communicating with an in-vehicle device of a second vehicle,
Sound acquisition means for acquiring sound acquired in the second vehicle, separated for each sound source position, and associated with a seat position;
In a sound field formed by a speaker array composed of a plurality of speakers, the seat position is such that a virtual sound source of sound associated with the seat position is formed at a position surrounding the center position of the sound field. An in-vehicle audio processing apparatus comprising: audio output means for processing each sound and outputting the sound by the speaker array.
前記第1の車両内で取得された音声を、音源ごとに分離する音声分離手段と、
前記音声分離手段により得られた音源の位置ごとの音声から、座席位置に対応付けた音声を求める手段と、
複数のスピーカからなるスピーカアレイにより形成される音場において、前記座席位置に対応付けた音声の仮想音源が、その座席位置に対応する前記第2の車両の座席位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する音声出力手段と
を備えることを特徴とする音声処理システム。 An audio processing system capable of transmitting and receiving audio between the first vehicle and the second vehicle, and an audio separation means for separating audio acquired in the first vehicle for each sound source;
Means for obtaining a sound associated with a seat position from the sound for each position of the sound source obtained by the sound separation means;
In a sound field formed by a speaker array including a plurality of speakers, a virtual sound source of sound associated with the seat position is formed at the seat position of the second vehicle corresponding to the seat position. An audio processing system comprising: audio output means that processes audio for each seat position and outputs the processed audio by the speaker array.
前記第2の車両内で取得され、音源位置ごとに分離され、かつ座席位置に対応付けられた音声を取得する音声取得ステップと、
複数のスピーカからなるスピーカアレイにより形成される音場において、前記座席位置に対応付けられた音声の仮想音源が、その座席位置に対応する前記第2の車両の座席位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する音声出力ステップと
を備えることを特徴とする音声処理方法。 An audio processing method for an in-vehicle audio processing device mounted on a first vehicle and capable of communicating with an in-vehicle device of a second vehicle,
A sound acquisition step of acquiring sound acquired in the second vehicle, separated for each sound source position and associated with a seat position;
In a sound field formed by a speaker array composed of a plurality of speakers, a virtual sound source of sound associated with the seat position is formed at the seat position of the second vehicle corresponding to the seat position. A sound output method comprising: processing sound for each seat position and outputting the sound by the speaker array.
処理方法であって、A processing method,
前記第1の車両内で取得された音声を、音源ごとに分離するステップと、Separating the sound acquired in the first vehicle for each sound source;
前記分離して得られた音源の位置ごとの音声から、座席位置に対応付けた音声を求めるステップと、Obtaining the voice associated with the seat position from the voice for each position of the sound source obtained by the separation;
複数のスピーカからなるスピーカアレイにより形成される音場において、前記座席位置に対応付けた音声の仮想音源が、その座席位置に対応する前記第2の車両の座席位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力するステップとIn a sound field formed by a speaker array including a plurality of speakers, a virtual sound source of sound associated with the seat position is formed at the seat position of the second vehicle corresponding to the seat position. Processing the sound for each seat position and outputting it by the speaker array;
を備えることを特徴とする音声処理方法。An audio processing method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007188207A JP5052241B2 (en) | 2007-07-19 | 2007-07-19 | On-vehicle voice processing apparatus, voice processing system, and voice processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007188207A JP5052241B2 (en) | 2007-07-19 | 2007-07-19 | On-vehicle voice processing apparatus, voice processing system, and voice processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009023486A JP2009023486A (en) | 2009-02-05 |
JP5052241B2 true JP5052241B2 (en) | 2012-10-17 |
Family
ID=40395729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007188207A Expired - Fee Related JP5052241B2 (en) | 2007-07-19 | 2007-07-19 | On-vehicle voice processing apparatus, voice processing system, and voice processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5052241B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104604251A (en) * | 2012-08-30 | 2015-05-06 | 沃尔沃卡车集团 | Presentation of an audible message in a vehicle |
EP3217687A4 (en) * | 2014-11-05 | 2018-04-04 | Hitachi Automotive Systems, Ltd. | Car onboard speech processing device |
JP2017069805A (en) * | 2015-09-30 | 2017-04-06 | ヤマハ株式会社 | On-vehicle acoustic device |
JP7124506B2 (en) * | 2018-07-17 | 2022-08-24 | 日本電信電話株式会社 | Sound collector, method and program |
CN117351754A (en) * | 2022-06-29 | 2024-01-05 | 深圳市中兴微电子技术有限公司 | Road condition prompting method, electronic equipment and computer readable medium |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1165586A (en) * | 1997-08-18 | 1999-03-09 | Honda Motor Co Ltd | Voice input device for vehicle |
JP2002051392A (en) * | 2000-08-01 | 2002-02-15 | Alpine Electronics Inc | In-vehicle conversation assisting device |
JP2002133596A (en) * | 2000-10-27 | 2002-05-10 | Hitachi Ltd | Onboard outside recognition device |
JP2004072354A (en) * | 2002-08-06 | 2004-03-04 | Yokogawa Electric Corp | Audio teleconference system |
JP3855913B2 (en) * | 2002-11-11 | 2006-12-13 | マツダ株式会社 | Navigation system and route guidance information providing method |
JP2005343431A (en) * | 2004-06-07 | 2005-12-15 | Denso Corp | Vehicular information processing system |
JP4451794B2 (en) * | 2005-01-25 | 2010-04-14 | パナソニック株式会社 | Spoken dialogue device |
-
2007
- 2007-07-19 JP JP2007188207A patent/JP5052241B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009023486A (en) | 2009-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110166896B (en) | Voice providing method, voice providing system and server | |
JP5922229B2 (en) | Mobile navigation system | |
US9268522B2 (en) | Devices and methods for conveying audio information in vehicles | |
JP5413321B2 (en) | Communication system, in-vehicle terminal, and portable terminal | |
JP2004506971A (en) | Voice input / output control method | |
JP5052241B2 (en) | On-vehicle voice processing apparatus, voice processing system, and voice processing method | |
CN111007968A (en) | Agent device, agent presentation method, and storage medium | |
CN111261154A (en) | Agent device, agent presentation method, and storage medium | |
US10491998B1 (en) | Vehicle communication systems and methods of operating vehicle communication systems | |
US20050221877A1 (en) | Methods for controlling processing of outputs to a vehicle wireless communication interface | |
JP2020060861A (en) | Agent system, agent method, and program | |
EP3906705A1 (en) | Hybrid in-car speaker and headphone based acoustical augmented reality system | |
JP4478146B2 (en) | Speech recognition system, speech recognition method and program thereof | |
JP7489391B2 (en) | Audio Augmented Reality System for In-Car Headphones | |
JP7340943B2 (en) | Agent device, agent device control method, and program | |
JP2023126870A (en) | Spatial infotainment rendering system for vehicles | |
JP2019159559A (en) | Information providing apparatus | |
JP2020144264A (en) | Agent device, control method of agent device, and program | |
JP7169921B2 (en) | AGENT DEVICE, AGENT SYSTEM, CONTROL METHOD OF AGENT DEVICE, AND PROGRAM | |
JP2020060623A (en) | Agent system, agent method, and program | |
CN111559317A (en) | Agent device, control method for agent device, and storage medium | |
JP2000213951A (en) | Car navigation system | |
JP2019075598A (en) | Sensitivity adjustment device, in-vehicle system, car headrest, and signal processing device | |
JP2021154755A (en) | Translation system | |
JP2021105770A (en) | Conversation assistant apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20100215 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120409 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120710 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120724 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5052241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150803 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |