JP2005182140A - 飲食店の受注装置および受注方法 - Google Patents
飲食店の受注装置および受注方法 Download PDFInfo
- Publication number
- JP2005182140A JP2005182140A JP2003417943A JP2003417943A JP2005182140A JP 2005182140 A JP2005182140 A JP 2005182140A JP 2003417943 A JP2003417943 A JP 2003417943A JP 2003417943 A JP2003417943 A JP 2003417943A JP 2005182140 A JP2005182140 A JP 2005182140A
- Authority
- JP
- Japan
- Prior art keywords
- microphone
- food
- restaurant
- drink
- order
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 235000013305 food Nutrition 0.000 claims abstract description 113
- 238000010411 cooking Methods 0.000 claims description 10
- 235000013361 beverage Nutrition 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 155
- 230000006854 communication Effects 0.000 description 89
- 238000004891 communication Methods 0.000 description 89
- 230000008569 process Effects 0.000 description 66
- 230000005236 sound signal Effects 0.000 description 30
- 238000001514 detection method Methods 0.000 description 25
- 238000005259 measurement Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 230000008901 benefit Effects 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 11
- 230000002452 interceptive effect Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000000452 restraining effect Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 101000893549 Homo sapiens Growth/differentiation factor 15 Proteins 0.000 description 1
- 101000692878 Homo sapiens Regulator of MON1-CCZ1 complex Proteins 0.000 description 1
- 102100026436 Regulator of MON1-CCZ1 complex Human genes 0.000 description 1
- 101100345585 Toxoplasma gondii MIC6 gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【解決手段】受注状況を集中管理するデータ処理部100と、顧客に対する飲食物の提供場所に配設された客用端末200と、飲食店の管理場所に配設された店用端末300と、飲食店の厨房に配設された厨房用表示部400とを有し、客用端末200のマイクロフォン220が、顧客の飲食物の注文に係る音声信号を入力し、データ処理部100がその音声信号に基づいて音声認識処理により注文内容を特定し、受注管理ファイルを更新し、更新された受注管理ファイルに基づいて、客用端末200の客用端末表示部210,店用端末300の店用端末表示部310および厨房用表示部400に受注結果を表示させる。
【選択図】図25
Description
また、顧客にとっては、飲食物が提供されるまでに時間が掛かり、かつ、煩雑であるという問題がある。
たとえば、顧客が来店したことを飲食店の従業員等が認識しなかった場合には、顧客は、ウェートレスが注文を受けに来るまで待たなければならず、注文までに時間が掛かる。また、顧客が来店したことを飲食店の従業員が認識した場合でも、飲食店が混雑している時は、ウェートレスは、来店した顧客を対応できないので、注文までに時間が掛かる。
さらに、顧客が追加注文を希望する場合には、わざわざウェートレスをテーブル等まで呼ばなければならず煩雑であり、注文を躊躇する場合がある。
さらに、従来の受注方法は、人手を介しているため、しばしば顧客が注文した飲食物と実際に提供された飲食物が一致しないという問題が起こる。
以下、まず、第3の実施形態において使用される本発明のマイクロフォン選択手段としての通話装置(双方向通話装置)について詳述する。
図1(A)〜(C)は本発明の通話装置が適用される1例を示す構成図である。
図1(A)に図解したように、遠隔に位置する2つの会議室901、902にそれぞれ通話装置1A、1Bが設置されており、これらの通話装置1A、1Bが電話回線920で接続されている。
図1(B)に図解したように、2つの会議室901、902において、双方向通話装置1A、1Bがそれぞれテーブル911、912の上に置かれている。ただし、図1(B)においては、図解の簡略化のため、会議室901内の双方向通話装置1Aについてのみ図解している。会議室902内の双方向通話装置1Bも同様である。双方向通話装置1A、1Bの外観斜視図を図2に示す。
図1(C)に図解したように、双方向通話装置1A、1Bの周囲にそれぞれ複数(本実施の形態においては6名)の会議参加者A1〜A6が位置している。ただし、図1(C)においては、図解の簡略化のため、会議室901内の双方向通話装置1Aの周囲の会議参加者のみ図解している。他方の会議室902内の双方向通話装置1Bの周囲に位置する会議参加者の配置も同様である。
通常、電話回線920を介しての会話は、一人の話者と一人の話者同士、すなわち、1対1で通話を行うが、本発明の双方向通話装置は1つの電話回線920を用いて複数の会議参加者A1〜A6同士が通話できる。ただし、詳細は後述するが、音声の混雑を回避するため、同時刻(同じ時間帯)の話者は、相互に一人に限定する。
本発明の双方向通話装置は音声(通話)を対象としているから、電話回線920を介して音声を伝送するだけである。換言すれば、テレビ会議システムのような多量の画像データは伝送しない。さらに、本発明の双方向通話装置は会議参加者の通話を圧縮して伝送しているので電話回線920の伝送負担は軽い。
図2〜図4を参照して本発明の1実施の形態としての双方向通話装置の構成について述べる。
図2は本発明の1実施の形態としての双方向通話装置の斜視図である。
図3は図2に図解した双方向通話装置の断面図である。
図4は図1に図解した双方向通話装置のマイクロフォン・電子回路収容部の平面図であり、図3の線X−X−Yにおける平面図である。
図3に図解したように、スピーカ収容部14は、音反射面14aと、底面14bと、上部音出力開口部14cとを有する。音反射面14aと底面14bで包囲された空間である内腔14dに受話再生スピーカ16が収容されている。スピーカ収容部14の上部に音反射板12が位置し、スピーカ収容部14と音反射板12とが連結部材13によって連結されている。
相手会議室の話者が話した音声は、受話再生スピーカ16を介して上部音出力開口部14cから抜け、音反射板12の音反射面12aとスピーカ収容部14の音反射面14aとで規定される空間に沿って軸C−Cを中心として360度の全方位に拡散する。
音反射板12の音反射面12aの断面は図解したように、ゆるやかなラッパ型の弧を描いている。音反射面12aの断面は軸C−Cを中心として360度にわたり(全方位)、図解した断面形状をしている。
同様にスピーカ収容部14の音反射面14aの断面も図解したように、ゆるやかな凸面を描いている。音反射面14aの断面も軸C−Cを中心として360度にわたり(全方位)、図解した断面形状をしている。
受話再生スピーカ16から出力された音Sの拡散状態を矢印で図示した。
プリント基板21には、図4に平面を図解したように、マイクロフォン・電子回路収容部2のマイクロフォンMC1〜MC6、発光ダイオードLED1〜6、マイクロプロセッサ23、コーデック(CODEC)24、第1のディジタルシグナルプロセッサ(DSP1)DSP25、第2のディジタルシグナルプロセッサ(DSP2)DSP26、A/D変換器ブロック27、D/A変換器ブロック28、増幅器ブロック29などの各種電子回路が搭載されており、音反射板12はマイクロフォン・電子回路収容部2を支持する部材としても機能している。
図4に図解したように、プリント基板21の中心軸Cから放射状に等間隔(本実施の形態では60度間隔で)で6本のマイクロフォンMC1〜MC6が位置している。各マイクロフォンは単一指向性を持つマイクロフォンである。その特性については後述する。
各マイクロフォンMC1〜MC6は、共に柔軟性または弾力性のある第1のマイク支持部材22aと第2のマイク支持部材22bとで、揺動自在に支持されており(図解を簡単にするため、マイクロフォンMC1の部分の第1のマイク支持部材22aと第2のマイク支持部材22bとについてのみ図解している)、上述した緩衝材を用いたダンパー18による受話再生スピーカ16からの振動の影響を受けない対策に加えて、柔軟性または弾力性のある第1のマイク支持部材22aと第2のマイク支持部材22bとで受話再生スピーカ16からの振動で振動するプリント基板21の振動を吸収して受話再生スピーカ16の振動の影響を受けないようにして、受話再生スピーカ16の騒音を回避している。
会議参加者A1〜A6は、通常、図1(C)に例示したように、音声応答装置1の周囲360度方向に、60度間隔で配設されているマイクロフォンMC1〜MC6の近傍にほぼ等間隔で位置している。
後述する話者を決定したことを通報する手段として発光ダイオードLED1〜6がマイクロフォンMC1〜MC6の近傍に配置されている。
発光ダイオードLED1〜6は上部カバー11を装着した状態でも、全ての会議参加者A1〜A6から視認可能に設けられている。したがって、上部カバー11は発光ダイオードLED1〜6の発光状態が視認可能なように透明窓が設けられている。もちろん、上部カバー11に発光ダイオードLED1〜6の部分に開口が設けられていてもよいが、マイクロフォン・電子回路収容部2への防塵の観点からは透光窓が好ましい。
本実施の形態においては、DSP25を各種電子回路27〜29とともにフィルタ処理、マイクロフォン選択処理などの処理を行う信号処理手段として用い、DSP26をエコーキャンセラーとして用いている。
マイクロプロセッサ23はマイクロフォン・電子回路収容部2の全体制御処理を行う。 コーデック24は相手方会議室に送信する音声を圧縮符号化する。
DSP25が下記に述べる各種の信号処理、たとえば、フィルタ処理、マイクロフォン選択処理などを行う。
DSP26はエコーキャンセラーとして機能する。
図5においては、A/D変換器ブロック27の1例として、4個のA/D変換器271〜274を例示し、D/A変換器ブロック28の1例として、2個のD/A変換器281〜282を例示し、増幅器ブロック29の1例として、2個の増幅器291〜292を例示している。
その他、マイクロフォン・電子回路収容部2としては電源回路など各種の回路がプリント基板21に搭載されている。
なお、A/D変換器271〜274は可変利得型増幅機能付きのA/D変換器271〜274として構成することもできる。
A/D変換器271〜274で変換したマイクロフォンMC1〜MC6の集音信号はDSP25に入力されて、後述する各種の信号処理が行われる。
DSP25の処理結果の1つとして、マイクロフォンMC1〜MC6のうちの1つを選択した結果が、発光ダイオードLED1〜6に出力される。
DSP26の処理結果が、D/A変換器281〜282でアナログ信号に変換される。D/A変換器281からの出力が、必要に応じて、コーデック24で符号化されて、増幅器291を介して電話回線920(図1(A))のラインアウトに出力され、相手方会議室に設置された音声応答装置1の受話再生スピーカ16を介して音として出力される。
相手方の会議室に設置された双方向通話装置1からの音声が電話回線920(図1(A))のラインインを介して入力され、A/D変換器274においてディジタル信号に変換されて、DSP26に入力されてエコーキャンセル処理に使用される。また、相手方の会議室に設置された双方向通話装置1からの音声は図示しない経路でスピーカ16に印加されて音として出力される。
D/A変換器282からの出力が増幅器292を介してこの双方向通話装置1の受話再生スピーカ16から音として出力される。すなわち、会議参加者A1〜A6は、上述した受話再生スピーカ16から相手会議室の選択された話者の音声に加えて、その会議室のいる発言者が発した音声をも受話再生スピーカ16を介して聞くことが出来る。
図6は各マイクロフォンMC1〜MC6の特性を示すグラフである。
各単一指向特性マイクフォンは発言者からマイクロフォンへの音声の到達角度により図6に図解のように周波数特性、レベル特性が変化する。複数の曲線は、集音信号の周波数が、100Hz、150Hz、200Hz、300Hz、400Hz、500Hz、700Hz、1000Hz、1500Hz、2000Hz、3000Hz、4000Hz、5000Hz、7000Hzの時の指向性を示している。ただし、図解を簡単にするため、図6は代表的に、150Hz、500Hz、1500Hz、3000Hz、7000Hzについての指向性を図解している。
図6の指向性を持つマイクロフォンを用いた場合、マイクロフォンの正面に強い指向性を示す。本実施の形態においては、このような特性を活用して、DSP25においてマイクロフォンの選定処理を行う。
さらに、マイクロフォンの指向性を得る方法として、複数の無指向性マイクロフォンを使用したマイクアレイを用いることができるが、このような方法では、複数の信号の時間軸(位相)の一致のため複雑な処理を要するため、時間がかかり応答性が低いし、装置構成を複雑になる。すなわち、DSPの信号処理系にも複雑な信号処理を必要とする。本発明は図6に例示した指向性のあるマイクロフォンを用いてそのような問題を解決している。
また、マイクアレイ信号を合成して指向性収音マイクロフォンとして利用するためには外形形状が通過周波数特性によって規制され外形形状が大きくなるという不利益がある。本発明はこの問題も解決している。
上述した構成の通話装置は下記の利点を示す。
(1)等角度で放射状かつ等間隔に配設された偶数個のマイクロフォンMC1〜MC6と受話再生スピーカ16との位置関係が一定であり、さらにその距離が非常に近いことで受話再生スピーカ16から出た音が会議室(部屋)環境を経てマイクロフォンMC1〜MC6に戻ってくるレベルより直接戻ってくるレベルが圧倒的に大きく支配的である。そのために、スピーカ16からマイクロフォンMC1〜MC6に音が到達する特性(信号レベル(強度)、周波数特性(f特)、位相)がいつも同じである。つまり、本発明の実施の形態における双方向通話装置1においてはいつも伝達関数が同じという利点がある。
(2)それ故、話者が異なった時に相手方会議室に送出するマイクロフォンの出力を切り替えた時の伝達関数の変化がなく、マイクロフォンを切り替える都度、マイクロフォン系の利得を調整をする必要がないという利点を有する。換言すれば、本双方向通話装置の製造時に一度調整をすると調整をやり直す必要がないという利点がある。
(3)上記と同じ理由で話者が異なった時にマイクロフォンを切り替えても、エコーキャンセラー(DSP26)が一つでよい。DSPは高価であり、種々の部材が搭載されて空きが少ないプリント基板21に複数のDSPを配置する必要がなく、プリント基板21におけるDSPの配置するスペースも少なくてよい。その結果、プリント基板21、ひいては、本発明の通話装置を小型にできる。
(4)上述したように、受話再生スピーカ16とマイクロフォンMC1〜MC6間の伝達関数が一定であるため、たとえば、±3dBもあるマイクロフォン自体の感度差調整を双方向通話装置のマイクロフォンユニット単独で出来るという利点がある。感度差調整の詳細は後述する。
(5)双方向通話装置1が搭載されるテーブルは、通常、円いテーブル(円卓)または多角テーブルを用いるが、双方向通話装置11内の一つの受話再生スピーカ16で均等な品質の音声を軸Cを中心として360度全方位に均等に分散(拡散)するスピーカシステムが可能になった。
(6)受話再生スピーカ16から出た音は円卓のテーブル面を伝達して(バウンダリ効果)会議参加者まで有効に能率良く均等に上質な音が届き、会議室の天井方向に対しては対向側の音と位相がキャンセルされて小さな音になり、会議参加者に対して天井方向からの反射音が少なく、結果として参加者に明瞭な音が配給されるという利点がある。
(7)受話再生スピーカ16から出た音は等角度で放射状かつ等間隔に配設された全てのマイクロフォンMC1〜MC6に同時に同じ音量で届くので発言者の音声なのか受話音声なのかの判断が容易になる。その結果、マイクロフォン選択処理の誤判別が減る。その詳細は後述する。
(8)偶数個、たとえば、6本のマイクロフォンを等角度で放射状かつ等間隔で、対向する1対のマイクロフォンを一直線上に配置したことで方向検出の為のレベル比較が容易に出来る。
(9)ダンパー18、マイクロフォン支持部材22などにより、受話再生スピーカ16の音による振動が、マイクロフォンMC1〜MC6の集音に与える影響を低減することができる。
(10)図3に図解したように、構造的に、受話再生スピーカ16の音が直接、マイクロフォンMC1〜MC6には伝搬しない。したがって、この双方向通話装置1においは受話再生スピーカ16からのノイズの影響が少ない。
図2〜図3を参照して述べた通話装置1は、下部に受話再生スピーカ16を配置させ、上部にマイクロフォンMC1〜MC6(および関連する電子回路)を配置させたが、受話再生スピーカ16とマイクロフォンMC1〜MC6(および関連する電子回路)の位置を、図8に図解したように、上下逆にすることもできる。このような場合でも上述した効果を奏する。
以下、主として第1のディジタルシグナルプロセッサ(DSP)25で行う処理内容について述べる。
図9はDSP25が行う処理の概要を図解した図である。以下、その概要を述べる。
初期動作として、好ましくは、双方向通話装置1が設置される周囲のノイズの測定する。
双方向通話装置1は種々の環境(会議室)で使用されうる。マイクロフォンの選択の正確さを期し、双方向通話装置1の性能を高めるために、本発明においては、初期段階において、双方向通話装置1が設置される周囲環境のノイズを測定し、そのノイズの影響をマイクロフォンで集音した信号から排除することを可能とする。
もちろん、双方向通話装置1を同じ会議室で反復して使用するような場合、事前にノイズ測定が行われており、ノイズ状態が変化しないような場合にこの処理は割愛できる。
なお、ノイズ測定は通常状態においても行うことができる。
ノイズ測定の詳細は後述する。
たとえば、双方向通話装置1を双方向会議に使用する場合、それぞれの会議室における議事運営を取りまとめる議長がいることが有益である。したがって、本発明の1態様としては、双方向通話装置1を使用する初期段階において、双方向通話装置1の操作部15から議長を設定する。議長の設定方法としては、たとえば、操作部15の近傍に位置する第1マイクロフォンMC1を議長用マイクロフォンとする。もちろん、議長用マイクロフォンを任意のものにすることもできる。
なお、双方向通話装置1を反復して使用する議長が同じ場合はこの処理は割愛できる。あるいは、事前に議長が座る位置のマイクロフォンを決めておいてもよい。その場合はその都度、議長の選定動作は不要である。
もちろん、議長の選定は初期状態に限らず、任意のタイミングで行うことができる。
議長選定の詳細は後述する。
初期動作として、好ましくは、受話再生スピーカ16とマイクロフォンMC1〜MC6との音響結合が等しくなるように、マイクロフォンMC1〜MC6の信号を増幅する増幅部の利得または減衰部の減衰値を自動的に調整する。
感度差調整については後述する。
(4)マイクロフォン選択、切り替え処理
1つの会議室において同時に複数の会議参加者が通話すると、音声が入り交じり相手側会議室内の会議参加者A1〜A6にとって聞きにくい。そこで、本発明においては、原則として、ある時間帯には1人ずつ通話させる。そのため、DSP25においてマイクロフォンの選択・切り替え処理を行う。
その結果、選択されたマイクロフォンからの通話のみが、電話回線920を介して相手方会議室の音声応答装置1に伝送されてスピーカから出力される。もちろん、図5を参照して述べたように、選択された話者のマイクロフォンの近傍のLEDが点灯し、さらに、その部屋の双方向通話装置1のスピーカからも選択された話者の音声を聞くことができ、誰が許可された話者かを認識することができる。
この処理により、発言者に対向した単一指向性マイクの信号を選択し、送話信号として相手方にS/Nの良い信号を送ることを目的としている。
(5)選択したマイクロフォンの表示
話者のマイクロフォンが選択され、話すことが許可された会議参加者のマイクロフォンがどれであるかを、会議参加者A1〜A6全員に容易に認識できるように、発光ダイオードLED1〜6の該当するものを点灯させる。
(6)上述したマイクロフォン選択処理の背景技術として、または、マイクロフォン選択処理を正確に遂行するため下記に例示する各種の信号処理を行う。
(a)マイクロフォンの集音信号の帯域分離と、レベル変換処理
(b)発言の開始、終了の判定処理
発言者方向に対向したマイク信号の選択判定開始トリガとして使用するた め。
(c)発言者方向マイクロフォンの検出処理
各マイクロフォンの集音信号を分析し、発言者の使用しているマイクロフ ォンを判定するため。
(d)発言者方向マイクロフォンの切り換えタイミング判定処理、および、検出された発言者に対向したマイク信号の選択切り替え処理
上述した処理結果から選択したマイクロフォンへ切り換えの指示をする。 (e)通常動作時のフロアノイズの測定
この処理は双方向通話装置の電源投入直後の初期処理と通常処理に分かれる。
なお、この処理は下記の例示的な前提条件の下に行う。
双方向通話装置1の電源投入直後のDSP25の初期処理は、フロアノイズと基準信号レベルを測定し、その差を元に話者と本システムとの有効距離の目安と発言開始、終了判定閾値レベルの設定するために行う。
DSP25内の音圧レベル検出部でピークホールドしたレベル値を一定時間間隔、たとえば、10mSecで読み出し、単位時間の値の平均値を算出しフロアノイズとする。そして、DSP25は測定されたフロアノイズレベルを元に発言開始の検出レベル、発言終了の検出レベルの閾値を決定する。
DSP25は、図10に図解した処理に従い、図5に図解した受話信号系のラインイン端子にテストトーンを出力し、受話再生スピーカ16からの音を各マイクロフォンMC1〜MC6で集音し、その信号を発言開始基準レベルとして平均値を求める。
DSP25は、図11に図解した処理に従い、各マイクロフォンMC1〜MC6からの集音信号のレベルをフロアノイズレベルとして一定時間収集し、平均値を求める。
DSP25は、図12に図解した処理に従い、発言開始基準レベルとフロアノイズレベルを比較し、双方向通話装置1の設置されている会議室などの部屋の騒音レベルを推定し、本双方向通話装置1が良好に働く発言者と本双方向通話装置1との有効距離を計算する。
処理3の結果、フロアノイズの方が発言開始基準レベルより大きい(高い)場合、DSP25はそのマイクロフォンの方向に強大なノイズ源が有ると判定し、その方向のマイクロフォンの自動選択を禁止に設定し、それを、たとえば、発光ダイオードLED1〜6または操作部15に表示する。
DSP25は、図13に図解したように、発言開始基準レベルとフロアノイズレベルを比較し、その差から発言開始、終了レベルの閾値を決定する。
DSP25は、双方向通話装置1の初期動作時の上記ノイズ測定の後も、通常動作状態において、図14に示す処理に従って、ノイズ処理を行い、6本のマイクロフォンMC1〜MC6に対しそれぞれ選択された発言者の音量レベル平均値と発言終了検出後のノイズレベルを測定し一定時間単位で、発言開始、終了判定閾値レベルを再設定する。
DSP25は、発言中の単位時間、たとえば、10秒分のレベルデータを複数回、たとえば、10回分平均して発言者レベルとして記録する。
単位時間内に発言終了になった場合、新たな発言開始まで時間計測及び発言レベル測定を中止し、新たな発言検出後、測定処理を再開する。
DSP25は、発言終了検出後から発言開始までの間の単位時間、たとえば、10秒分のノイズレベルデータを複数回、たとえば、10回分平均してフロアノイズレベルとして記録する。
単位時間内に新たな発言があった場合は、DSP25は途中で時間計測及びノイズ測定を中止し、新たな発言終了検出後、測定処理を再開する。
DSP25は、発言レベルとフロアノイズレベルを比較し、その差から発言開始、終了レベルの閾値を決定する。
なおこのほかに応用として、発言者の発言レベルの平均値が求められているのでそのマイクロフォンに対向した発言者固有の発言開始、終了検出閾値レベルを設定することもできる。
図15はマイクロフォンで集音した音信号を前処理として、DSP25で行うフィルタリング処理を示す構成図である。図15は1マイクロフォン(チャネル(1集音信号))分の処理について示す。
各マイクロフォンの集音信号は、たとえば、100Hzのカットオフ周波数を持つアナログ・ローカットフィルタ101で処理され、100Hz以下の周波数が除去されたフィルタ処理された音声信号がA/D変換器102に出力され、A/D変換器102でディジタル信号に変換された集音信号が、それぞれ7.5KHz、4KHz、1.5KHz、600Hz、250Hzのカットオフ周波数を持つ、ディジタル・ハイカットフィルタ103a〜103e(総称して103)で高周波成分が除去される(ハイカット処理)。ディジタル・ハイカットフィルタ103a〜103eの結果はさらに、減算器104a〜104d(総称して104)において隣接するディジタル・ハイカットフィルタ103a〜103eのフィルタ信号ごとの減算が行われる。
本発明の実施の形態において、ディジタル・ハイカットフィルタ103a〜103eおよび減算器104a〜104dは、実際はDSP25において処理している。A/D変換器102はA/D変換器ブロック27の1つとして実現できる。
マイクロフォン選択処理の開始のトリガの1つに発言の開始、終了の判定を行う。そのために使用する信号が、DSP25で行う図17に図解したバンドパス・フィルタ処理およびレベル変換処理によって得られる。図17はマイクロフォンMC1〜MC6で集音した6チャネル(CH)の入力信号処理中の1CHのみを示す。
DSP25内のバンドパス・フィルタ処理およびレベル変換処理部は、各チャネルのマイクロフォンの集音信号を、それぞれ100〜600Hz、200〜250Hz、250〜600Hz、600〜1500Hz、1500〜4000Hz、4000〜7500Hzの帯域通過特性を持つバンドパス・フィルタ201a〜201a(総称してバンドパス・フィルタ・ブロック201)と、元のマイクロフォン集音信号および上記帯域通過集音信号をレベル変換するレベル変換器202a〜202g(総称して、レベル変換ブロック202)を有する。
本実施の形態においては周波数特性がフラットな信号からハイカットフィルタを通した信号を引き算すれば残りはローカットフィルタを通した信号とほぼ同等になることを利用する。
周波数−レベル特性を合わせる為に、1バンド余分に全体帯域通過のバンドパス・フィルタが必要となるが、必要とするバンドパス・フィルタのバンド数+1のフィルタ段数とフィルタ係数により必要とされるバンドパスが得られる。今回必要とされるハンドパス・フィルタの帯域周波数はマイク信号1チャネル(CH)当りで下記6バンドのバンドパス・フィルタとなる。
従来のバンドパス・フィルタの構成と対比する。バンドパス・フィルタの構成は2次IIRフィルタを使用するとして、本発明のように6本のマイク信号にそれぞれ6バンドのバンドパス・フィルタを用意すると、従来方法では、6×6×2=72回路のIIR・フィルタ処理が必要になる。この処理には、最新の優秀なDSPでもかなりのプログラム処理を要し他の処理への影響が出る。
本発明の実施の形態においては、100Hzのローカット・フィルタは入力段のアナログフィルタで処理する。用意する2次IIRハイカット・フィルタのカットオフ周波数は、250Hz,600Hz,1.5KHz,4KHz,7.5KHzの5種類である。このうちのカットオフ周波数7.5KHzのハイカット・フィルタは、実はサンプリング周波数が 16KHzなので必要が無いが、減算処理の過程で、IIRフィルタの位相回りの影響で、バンドパス・フィルタの出力レベルが減少する現象を軽減する為に意図的に被減数の位相を回す。
〔1〕全体帯域通過フィルタ用として、入力信号を7.5KHzのハイカットフィルタを通す。このフィルタ出力信号は入力のアナログのローカット合わせにより [100Hz-7.5KHz] のバンドパス・フィルタ出力となる。
〔1〕バンドパス・フィルタ(BPF5=[4KHz〜7.5KHz])は、フィルタ出力[1]-[2]([100Hz〜7.5KHz] - [100Hz〜4KHz])の処理を実行すると上記信号出力[4KHz〜7.5KHz]となる。
〔2〕バンドパス・フィルタ(BPF4=[1.5KHz〜4KHz])は、フィルタ出力[2]-[3]([100Hz〜4KHz] - [100Hz〜1.5KHz])の処理を実行すると、上記信号出力[1.5KHz〜4KHz]となる。
〔3〕バンドパス・フィルタ(BPF3=[600Hz〜1.5KHz])は、フィルタ出力[3]-[4]([100Hz〜1.5KHz] - [100Hz〜600Hz])の処理を実行すると、上記信号出力[600Hz〜1.5KHz]となる。
〔4〕バンドパス・フィルタ(BPF2=[250Hz〜600Hz])は、フィルタ出力[4]-[5]([100Hz〜600Hz] - [100Hz〜250Hz]) の処理を実行すると上記信号出力[250Hz〜600Hz]となる。 〔5〕バンドパス・フィルタ(BPF1=[100Hz〜250Hz])は上記[5]の信号をそのままで出力信号[5]とする。
〔6〕バンドパス・フィルタ(BPF6=[100Hz〜600Hz])は[4]の信号をそのままで上記(4)の出力信号とする。
DSP25における以上の処理で必要とされるバンドパス・フィルタ出力が得られる。
発言の開始、終了判定は、図17に図示した100Hz〜600Hzのバンドパス・フィルタ201aを通過し、レベル変換部202bで音圧レベル変換されたマイクロフォン集音信号を用いる。
第1のディジタルシグナルプロセッサ(DSP1)25は、音圧レベル検出部から出力される値を元に、図19に図解したように、マイクロフォン集音信号レベルがフロアノイズより上昇し、発言開始レベルの閾値を越した場合発言開始と判定し、その後開始レベルの閾値よりも高いレベルが継続した場合発言中、発言終了の閾値よりレベルが下がった場合をフロアノイズと判定し、発言終了判定時間、たとえば、0.5秒間継続した場合発言終了と判定する。
発言の開始、終了判定は、図17に図解したマイク信号変換処理部202bで音圧レベル変換された100Hz〜600Hzのバンドパス・フィルタを通過した音圧レベルデータ(マイク信号レベル(1))が図19に例示した閾値レベル以上になった時から発言開始と判定する。
DSP25は、頻繁なマイクロフォン切り替えに伴う動作不良を回避するため、発言開始を検出してから、発言終了判定時間、たとえば、0.5秒間は次の発言開始を検出しないようにしている。
DSP25は、相互通話システムにおける発言者方向検出および発言者に対向したマイク信号の自動選択を、いわゆる、「星取表方式」に基づいて行う。
図20は双方向通話装置1の動作形態を図解したグラフである。
図21は双方向通話装置1の通常処理を示すフローチャートである。
以下、図21のフローチャートを参照して双方向通話装置1におけるDSP25を主体として動作を述べる。なお、マイクロフォン・電子回路収容部2の全体制御はマイクロプロセッサ23によって行われるが、DSP25の処理を中心に述べる。
マイクロフォンMC1〜MC6で集音した信号はそれぞれ、図16〜図18、特に、図17を参照して述べた、バンドパス・フィルタ・ブロック201、レベル変換ブロック202において、7種類のレベルデータとして変換されているから、DSP25は各マイクロフォン集音信号についての7種類の信号を常時監視する。
その監視結果に基づいて、DSP25は、発言者方向検出処理1、発言者方向検出処理2、発言開始・終了判定処理のいずれかの処理に移行する。
DSP25は図19を参照して、さらに下記に詳述する方法に従って、発言の開始、終了の判定を行う。DSP25が処理が発言開始を検出した場合、ステップ4の発言者方向の判定処理へ発言開始検出を知らせる。
なお、ステップ2における発言の開始、終了の判定処理が発言レベルが発言終了レベルより小さくなった時、発言終了判定時間(たとえば、0.5秒)のタイマを起動し発言終了判定時間、発言レベルが発言終了レベルより小さい時、発言終了と判定する。
発言終了判定時間以内に発言終了レベルより大きくなったら再び発言終了レベルより小さくなるまで待ちの処理に入る。
DSP25における発言者方向の検出処理は、常時発言者方向をサーチし続けて行う。その後、ステップ4の発言者方向の判定処理へデータを供給する。
DSP25に発言者方向マイクの切り換え処理におけるタイミング判定処理はステップ2の処理とステップ3の処理の結果から、その時の発言者検出方向と今まで選択していた発言者方向が違う場合に、新たな発言者方向のマイク選択をステップ4のマイク信号切り換え処理へ指示する。
ただし、議長のマイクロフォンが操作部15から設定されていて、議長のマイクロフォンと他の会議参加者とが同時的に発言がある場合、議長の発言を優先する。
この時に、選択されたマイク情報を発光ダイオードLED1〜6に表示する。
マイク信号切り換え処理は6本のマイク信号の中からステップ4処理により選択されたマイク信号のみを送話信号として、双方向通話装置1から電話回線920を介して相手側の双方向通話装置に伝送するため、図5に図解した電話回線920のラインアウトへ出力する。
処理1:電源を投入直後に各マイクロフォンそれぞれの所定時間、たとえば、1秒間分のフロアノイズを測定する。
DSP25は、音圧レベル検出部のピークホールドされたレベル値を一定時間間隔、本実施の形態では、たとえば、10mSec間隔で読み出し、所定時間、たとえば、1分間の値の平均値を算出しフロアノイズとする。
DSP25は測定されたフロアノイズレベルを元に発言開始の検出レベル(フロアノイズ +9dB)、発言終了の検出レベルの閾値(フロアノイズ+6dB)を決定する。DSP25は、以後も、音圧レベル検出器のピークホールドされたレベル値を一定時間間隔で読み出す。
発言終了と判定された時は、DSP25は、フロアノイズの測定として働き、発言開始の検出し、発言終了の検出レベルの閾値を更新する。
処理2は処理1ではフロアノイズが大きく自動で閾値レベルを更新されると、発言開始、終了検出がしにくい時の対策として下記を行う。
DSP25は、予測されるフロアノイズレベルを元に発言開始の検出レベル、発言終了の検出レベルの閾値を決定する。
DSP25は、発言開始閾値レベルは発言終了閾値レベルより大きく(たとえば、3dB以上の差)に設定する。
DSP25は、音圧レベル検出器でピークホールドされたレベル値を一定時間間隔で読み出す。
処理1:6個のマイクロフォンに対応した音圧レベル検出器の出力レベルと、発言開始レベルの閾値を比較し発言開始レベルの閾値を越した場合発言開始と判定する。
DSP25は、全てのマイクロフォンに対応した音圧レベル検出器の出力レベルが、発言開始レベルの閾値を越した場合は、受話再生スピーカ16からの信号であると判定し、発言開始とは判定しない。なぜなら、受話再生スピーカ16と全てのマイクロフォンMC1〜MC6との距離は同じであるから、受話再生スピーカ16からの音は全てのマイクロフォンMC1〜MC6にほぼ均等に到達するからである。
この処理の場合、処理1のように全ての絶対値が発言開始レベルの閾値より大きくなることは無いので(受話再生スピーカ16からの音が全てのマイクロフォンに等しく到達するから)、受話再生スピーカ16からの音か話者からの音声かの判定は不要になる。
発言者方向の検出には図6に例示した単一指向性マイクロフォンの特性を利用する。単一指向特性マイクロフォンは発言者からマイクロフォンへの音声の到達角度により図6に例示したように、周波数特性、レベル特性が変化する。その結果を図7(A)〜(D)に例示した。図7(A)〜(D)は、双方向通話装置1から所定距離、たとえば、1.5メートルの距離にスピーカーを置いて各マイクロフォンが集音した音声を一定時間間隔で高速フーリエ変換(FFT)した結果を示す。X軸が周波数を、Y軸が信号レベルを、Z軸が時間を表している。横線は、バンドパス・フィルタのカットオフ周波数を表し、この線にはさまれた周波数帯域のレベルが、図15〜図18を参照して述べたマイク信号レベル変換処理からの5バンドのバンドパス・フィルタを通した音圧レベルに変換されたデータとなる。
各帯域バンドパス・フィルタの出力レベルに対しそれぞれ適切な重み付け処理(1dBフルスパン(1dBFs)ステップなら0dBFsの時0、-3dBFsなら3というように、又はこの逆に)を行う。この重み付けのステップで処理の分解能が決まる。
1サンプルクロック毎に上記の重み付け処理を実行し、各マイクの重み付けされた得点を加算して一定サンプル数で平均値化して合計点の小さい(大きい)マイク信号を発言者に対向したマイクロフォンと判定する。この結果をイメージ化したものが下記表7である。
上述したように、DSP25は各マイクロフォン毎の周波数帯域のバンドパス・フィルタの出力レベルに重み付けを付けを実行し、各帯域バンドパス・フィルタの出力の、得点の小さい(または大きい)マイク信号順に順位をつけ、1位の順位が3つの帯域以上に有るマイク信号を発言者に対向したマイクロフォンと判定する。そして、DSP25は第1マイクロフォンMC1の方向に音源が有る(話者がいる)として、下記表8のような成績表を作成する。
図21のステップ2の発言開始判定結果により起動し、ステップ3の発言者方向の検出処理結果と過去の選択情報から新しい発言者のマイクロフォンが検出された時、DSP25は、ステップ5のマイク信号の選択切り替え処理へマイク信号の切り換えコマンドを発効すると共に、発光ダイオードLED1〜6へ発言者マイクが切り替わったことを通知し、発言者に自分の発言に対し本双方向通話装置1が応答した事を知らせる。
図21のステップ1のマイク信号レベル変換処理結果、および、ステップ3の発言者方向の検出処理結果から、本実施の形態においては、マイク選択切り替えタイミングは2通りを準備する。
選択されていたマイクロフォンの方向からの発言が終了し新たに別の方向から発言があった場合。
この場合は、DSP25は、全てのマイク信号レベル(1)とマイク信号レベル(2)が発言終了閾値レベル以下になってから発言終了判定時間(たとえば、0.5 秒)以上経過してから発言が開始され、どれかのマイク信号レベル(1)が発言開始閾値レベル以上になった時発言が開始されたと判断し、音源方向マイク番号の情報を元に発言者方向に対向したマイクロフォンを正当な集音マイクロフォンと決定し、ステップ5のマイク信号選択切り替え処理を開始する。
この場合はDSP25は発言開始(マイク信号レベル(1)が閾値レベル以上になった時)から発言終了判定時間(たとえば、0.5 秒)以上経過してから判定処理を開始する。 発言終了検出前に、3の処理からの音源方向マイク番号が変更になり、安定していると判定された場合、DSP25は音源方向マイク番号に相当するマイクロフォンに現在選択されている発言者よりも大声で発言している話者がいると判断し、その音源方向マイクロフォンを正当な集音マイクロフォンと決定し、ステップ5のマイク信号選択切り替え処理を起動する。
DSP25は図21のステップ4の発言者方向マイクの切り換えタイミング判定処理からのコマンドで選択判定されたコマンドにより起動する。
DSP25のマイク信号の選択切り替え処理は、図22に図解したように、6回路の乗算器と6入力の加算器で構成する。マイク信号を選択する為には、DSP25は選択したいマイク信号が接続されている乗算器のチャネルゲイン(チャネル利得:CH Gain)を〔1〕に、その他の乗算器のCH Gainを〔0〕とする事で、加算器には選択された(マイク信号×〔1])の信号と(マイク信号×〔0])の処理結果が加算されて希望のマイク選択信号が出力に得られる。
(1)複数の単一指向性を持つマイクロフォンと受話再生スピーカとの位置関係が一定であり、さらにその距離が非常に近いことで受話再生スピーカから出た音が会議室(部屋)環境を経て複数のマイクロフォンに戻ってくるレベルより直接戻ってくるレベルが圧倒的に大きく支配的である。そのために、受話再生スピーカから複数のマイクロフォンに音が到達する特性(信号レベル(強度)、周波数特性(f特)、位相)がいつも同じである。つまり、通話装置においてはいつも伝達関数が同じという利点がある。
(a)複数の単一指向性マイクを等間隔で放射状に配置して音源方向を検知可能とし、マイク信号を切り換えてS/Nの良い音、クリアな音を集音(収音)して、相手方に送信することができる。
(b)周辺の発言者からの音声をS/N良く集音して、発言者に対向したマイクを自動選択できる。
(c)本発明においては、マイク選択処理の方法として通過音声周波数帯域を分割し、それぞれの分割された周波数帯域事のレベルを比較する事で、信号分析を簡略化している。
(d)本発明のマイク信号切り換え処理をDSPの信号処理として実現し、複数の信号をすべてにクロス・フェード処理する事で切り換え時のクリック音を出さないようにしている。
(e)マイク選択結果を、発光ダイオードなどの表示手段、または、外部への通知処理することができる。したがって、たとえば、テレビカメラへの発言者位置情報として活用することもできる。
以下、第2の実施形態に係る飲食店の受注装置について、添付図面に関連付けて説明する。
本実施形態に係る飲食店の受注装置(以下、受注装置)は、レストランや喫茶店等の飲食物を提供する飲食店において使用される装置であり、顧客の注文を音声によって受注する。
図24は、本実施形態における受注装置40の構成の1例を示した図である。
図24において、客席用テーブルT1に座るA1は飲食店の顧客であり、A2は飲食店のオーナー等の管理者であり、A3は飲食店の厨房におり、注文に応じて調理する調理人である。また、図24に示すように、本実施形態における受注装置40は、データ処理部100と、客用端末200と、店用端末300と、厨房用表示部400とを備えて構成される。各構成部分は、信号線900によって接続されている。
また、客用端末200は、各客席テーブルT1,T2に配設されている。
以下、図25,図26に関連付けて、受注装置40の各構成要素について説明する。
なお、前述したように、飲食店において、客用端末200は1つとは限らず、テーブルが複数ある場合には、各テーブル毎に配設される。各客用端末200は、データ処理部100によって、顧客テーブル番号として管理されている。
本実施形態では、客用端末200のマイクロフォン220からの音声信号線は、各テーブル毎に独立の信号線(パラレル)であり、データ処理部100では、入力した音声信号により、対応する顧客テーブル番号を認識できるものとする。なお、各テーブルの客用端末200に対して共通線(シリアル)を接続し、各客用端末200から音声信号に顧客テーブル番号を重畳した信号を送出するように構成できることは無論である。
CPU110は、受注装置40のデータ処理の全体制御を司っている。すなわち、CPU110は、客用端末200,店用端末300および厨房用表示部400との入出力制御およびタイミング制御や、音声認識処理部120,飲食物データファイル140および受注管理ファイル150に対するデータ処理などを実行する。
また、CPU110は、音声認識処理部120により注文に係る飲食物が特定されると、受注管理ファイル150を更新する。
さらに、受注管理ファイル150に基づいて、飲食物の受注状況を表示させるため、客用端末表示部210,店用端末表示部310および厨房用表示部400に対して、表示用制御信号S100を送出する。
その際、複数の客用端末表示部210に対して、それぞれ独立に表示用制御信号S100を送出し、注文がないテーブルの客用端末200の客用端末表示部210に対しては、飲食物データファイル140に基づいて、提供可能な飲食物データの一覧(いわゆるメニュー)を表示させるように、表示用制御信号S100を送出する。
具体的には、先ず、マイクロフォン220から注文に係る音声信号S220を入力すると、入力された音声信号を分析し、後述するように、音声認識メモリ130に格納された音響モデルから音響的な特徴量(音響特徴)を抽出する。すなわち、入力された音声信号に対して、音声認識に用いる基本的な音の単位、すなわち、子音や母音などの人間の発音の小さい単位(音素)ごとに音響特徴を抽出する。
音響モデルは、人間の発音の小さな単位(音素)が音響特徴によって記述されており、音声信号の音素単位と対応する音響特徴を参照することが可能となる。この音響特徴は、多数の話者の音声から求めた音素の統計的な音響特徴情報である。
認識辞書には、音声認識をさせる文字列データが記述されており、音素単位の音響特徴に対応する文字列データを参照することが可能となる。
図27(A)に示すように、飲食物データファイル140は、飲食店が提供可能な飲食物と対応する注文コートが関連付けられて記憶されている。たとえば、「ラーメン」に対応する注文コードは、「0x02」である。
食材等の調達状況により、飲食店が提供可能な飲食物は随時変更されることがあり得るため、飲食物データファイル140は、外部から更新のためにアクセス可能に構成することが望ましい。
図27(B)に示す例では、顧客テーブル番号1のテーブルに対して、注文コードがそれぞれ「0x02」,「0x03」である「ラーメン」,「餃子」を1つずつ受注している。
受注管理ファイル150のファイル内容は、音声認識処理部120からCPU110に供給される受注内容、すなわち、注文コードと数量のデータに基づいて、CPU110により更新される。また、注文された飲食物の提供が完了した場合には、受注管理ファイル150に記録された注文コードは、飲食店の従業者等が削除する必要があるので、受注管理ファイル150は、外部からアクセス可能に構成する。
客用端末表示部210は、データ処理部100から供給される表示用制御信号S100に基づいて、飲食店で提供可能な飲食物の一覧および受注状況を表示する。
マイクロフォン220は、顧客の音声による注文を集音し、音声信号S220としてデータ処理部100に供給する。
厨房用表示部400は、第2の表示手段としてのデータ処理部100から供給される表示用制御信号S100に基づいて、顧客からの受注状況を表示する。
次に、受注装置40の動作について、図24〜図27に関連付けて説明する。
以下の動作説明では、図24に示すように、受注装置40を備えた飲食店に顧客A1が来店し、テーブルT1において、「ラーメンと餃子をください。」と注文した場合を想定する。
なお、図24において、各テーブルに配設された客用端末200の客用端末表示部210の初期画面では、データ処理部100から表示用制御信号S100に基づいて、提供可能な飲食物データの一覧(いわゆるメニュー)を表示されており、顧客A1は、提供可能な飲食物データの一覧の中から飲食物を選択して注文する。
マイクロフォン220に集音されたアナログの音声信号は、ディジタル信号に変換された後、信号線S900を介して、信号S220としてデータ処理部100に供給される。なお、マイクロフォン220に集音された音声信号は、アナログ信号のままデータ処理部100に供給され、データ処理部100側でディジタル信号に変換されてもよい。
入力した音声信号S220は、図26に示すように、先ず、音声認識処理部120において音声認識処理され、注文内容が特定される。
すなわち、
(1)入力した音声信号S220を分析し、音声認識メモリ130に格納された音響モデルから音響的な特徴量(音響特徴)を抽出し、
(2)抽出した音素ごとの音響特徴を、音声認識メモリ130に格納された認識辞書と参照し、認識対象の文字列データの中で、入力された音声信号の各音素に最も近い候補を、音声認識結果(文字列データ)とし、
(3)変換した文字列データに基づいて注文内容に係る飲食物を特定し、飲食物データファイル140を参照して、特定した飲食物に対応する注文コードを、CPU110に出力する。その際、変換した文字列データに基づいて、注文に係る飲食物の数量のデータを、注文コードと併せてCPU110に出力する。
以上の処理の結果、音声認識処理部120では、音声信号S220に基づいて、「ラーメン」と「餃子」の文字列データが抽出され、「ラーメン」と「餃子」に対応する注文コード「0x02」,「0x03」が飲食物データファイル140から参照され(図27(A)参照)、それぞれの数量についての文字列データは抽出されなかったので、それぞれ1個ずつであると擬制され、CPU110に出力される。
さらに、CPU110は、図26に示すように、更新した受注管理ファイル150に基づいて、テーブルT1の客用端末200,店用端末300および厨房用表示部400に対し、信号線900を介して、受注結果を表示させるための表示用制御信号S100を送出する。
これにより、図24に示すように、顧客A1は、自分が音声により発注した飲食物が正しく受注されたことを認識でき、飲食店の管理者A2は、受注内容に基づいて伝票業務や在庫補充業務等を行うことができ、厨房の料理人A3は、発注に係る飲食物を認識してすぐに調理に取りかかることができる。
(1)顧客の飲食物の注文を音声により受注するので、人手が要らず、飲食店の経営者にとっては、その分の人件費が節約できる。
(2)飲食店に来店した顧客は、来店後に音声で客用端末200に対して注文するだけでよいので、ウェートレスが注文を取りに来る等の受注に係る無駄時間がなく、結果的に注文された飲食物を迅速に提供できるので、顧客満足度が向上する。
(3)追加注文がある場合にも、顧客は、わざわざウェートレス等を呼ぶ必要がなく、煩雑でないため、結果的に顧客満足度が向上する。
(4)受注された飲食物は、データ処理部100により集中管理され、店用端末表示部310および厨房用表示部400にすぐに注文内容が表示されるので、迅速に注文に係る飲食物の調理を開始でき、迅速に飲食店の管理業務(会計、仕入れ等)を行うことができる。さらに、顧客が注文した飲食物と実際に提供される飲食物が一致しないという問題は生じない。
たとえば、
(1)データ処理部100に言語変換機能を付加すれば、マイクロフォン220が入力する様々な言語による音声を認識して、注文内容を特定することができる。
(2)客用端末表示部210に表示させる内容として、様々な内容を付加することができる。たとえば、注文の飲食物に係る会計結果やポイントサービス、イベント内容の告知等が考えられる。
(3)データ処理部100は受注内容を集中管理しているので、飲食物に係る材料仕入れや会計等の処理システムと連携させることも可能である。
(4)上述した実施形態では、信号線900により信号伝達することとしたが、客用端末200や店用端末300等の設置自由度を向上させるため、無線通信により行ってもよい。
(5)客用端末200にスピーカを付加し、さらに実用度を向上させることもできる。たとえば、「いらっしゃいませ」や「注文をお受けしました。」といった音声をスピーカに出力させることが考えられる。この場合には、データ処理部100に音声合成処理部を付加する必要がある。
次に、第3の実施形態に係る受注装置について説明する。
第3の実施形態に係る受注装置では、各テーブルに複数の顧客が存在する場合にも、各顧客毎に飲食物を受注することを可能とする装置である。
そのために、第3の実施形態に係る受注装置40aは、第2の実施形態に係る受注装置40と比較して、特に客用端末200が大きく異なる。
以下、第2の実施形態に係る受注装置40と比較して、本実施形態の受注装置40aの異なる構成(第2の実施形態と符号が異なる部位)について、以下説明する。
客用端末200aは、客用端末200のマイクロフォン220の代わりに、第1の実施形態で説明した双方向通話装置1(通話装置1)である本発明マイクロフォン選択手段としてのマイクロフォン選択部230を有する。
客用端末200aは、データ処理部に出力する音声信号S220として、マイクロフォン選択部230に内蔵されたDSP26のD/A変換器281に供給される音声ディジタル信号を送出する(図5を参照)。
さらに、マイクロフォン選択部230に内蔵されたDSP25の出力であるマイク選択結果(図5を参照)を、音声信号S220に重畳させて、または、独立した別の信号線によりデータ処理部100aに送出する。これにより、データ処理部100a側では、入力した音声信号S220が、テーブルT1のどこに座っている顧客からの注文であるかについて認識することができる。
データ処理部100aの受注管理ファイル150a(図示しない)は、上述した各テーブルの座席位置単位での管理を行うため、図27(B)に示した第2の実施形態における受注管理ファイル150と異なり、各顧客テーブル番号の座席位置データ毎に、注文コードと数量データを管理する。
データ処理部100aは、注文に応じて更新した受注管理ファイル150aに基づいて、客用端末表示部210,店用端末表示部310および厨房用表示部400が各テーブルの座席位置毎に受注状況を表示するように、表示用制御信号S100を送出する。
すなわち、
(1)マイクロフォン選択部230は全方位に配置した指向性マイクロフォンを備えているので、テーブルの各方向に位置する複数の顧客からの音声による注文を処理することが可能である。
(2)テーブルの各方向に位置する顧客が同時に発話した場合でも、客用端末200aのマイクロフォン選択部230は、音圧レベルの高いマイクロフォンを選択して、選択したマイクロフォンの音声信号をデータ処理部100aに供給するため、主の注文に係る音声信号のみをデータ処理部100aは処理する。したがって、データ処理部100aの音声認識処理部120は、複数の音声が混在した音声信号を音声認識処理することがなく、正しく処理を行うことができる。
結果として、順番に各テーブルの顧客の注文を処理することができる。
(3)複数のマイクロフォンを各顧客に対して使用する必要がなく、各テーブルの中央に1つのマイクロフォン選択部230を配置すればよいので、顧客に対して違和感がない状態で、上述の効果を得ることができる。
たとえば、各テーブルが円卓であって、多くの人間が1つのテーブルに座る場合でも、マイクロフォン選択部230が全方位に均等に備える指向性マイクロフォンの数をその分増やすように構成すれば、各座席位置毎に受注することが可能である。
Claims (5)
- 顧客の注文を音声により受注して飲食物を提供する飲食店の受注装置であって、
前記飲食店の飲食物の提供場所に配設され、提供可能な複数の飲食物の一覧を表示する第1の表示手段と、
前記飲食店の飲食物の提供場所に配設され、音声による顧客の注文を集音するマイクロフォンと、
前記飲食店の調理場所に配設される第2の表示手段と、
前記マイクロフォンが集音した音声に基づいて音声認識を行い、前記音声認識の結果に基づいて、前記複数の飲食物の中から前記顧客の注文に係る飲食物を特定する音声認識手段と、
前記音声認識手段により特定された飲食物を、第1の表示手段および第2の表示手段に表示させる制御手段と
を具備する飲食店の受注装置。 - 前記飲食店の飲食物の注文状況を管理する管理場所に配設される第3の表示手段をさらに有し、
前記制御手段は、
前記音声認識手段により特定された飲食物を、第1の表示手段,第2の表示手段および第3の表示手段に表示させる
請求項1記載の飲食店の受注装置。 - 複数の飲食物の提供場所がある場合、
前記第1の表示手段と前記マイクロフォンは、各提供場所に配設され、
前記制御手段は、前記各提供場所毎に、前記音声認識手段が特定した飲食物を管理する 請求項1記載の飲食店の受注装置。 - 顧客の注文を音声により受注して飲食物を提供する飲食店の受注装置であって、
前記飲食店の飲食物の提供場所に配設され、提供可能な複数の飲食物の一覧を表示する第1の表示手段と、
前記飲食店の飲食物の提供場所に配設され、指向性を有する少なくとも2つのマイクロフォンをそれぞれ異なる集音方向を指向するように配し、前記マイクロフォンが集音する音圧に基づいて、1つのマイクロフォンを選択するマイクロフォン選択手段と、
前記飲食店の調理場所に配設される第2の表示手段と、
前記マイクロフォン選択手段により選択された1つのマイクロフォンが集音した音声に基づいて音声認識を行い、前記音声認識の結果に基づいて、前記複数の飲食物の中から前記顧客の注文に係る飲食物を特定する音声認識手段と、
前記音声認識手段により特定された飲食物を、第1の表示手段および第2の表示手段に表示させる制御手段と
を具備する飲食店の受注装置。 - 顧客の注文を音声により受注して飲食物を提供する飲食店の受注方法であって、
前記飲食店の飲食物の提供場所に配設された第1の表示部に、提供可能な複数の飲食物の一覧を表示し、
前記飲食店の飲食物の提供場所に配設されたマイクロフォンにより、音声による顧客の注文を集音し、
前記マイクロフォンが集音した音声に基づいて音声認識を行い、
前記音声認識の結果に基づいて、前記複数の飲食物の中から前記顧客の注文に係る飲食物を特定し、
特定された飲食物を、前記第1の表示部と前記飲食店の調理場所に配設された第2の表示部とに表示させる
飲食店の受注方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003417943A JP4379105B2 (ja) | 2003-12-16 | 2003-12-16 | 飲食店における受注装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003417943A JP4379105B2 (ja) | 2003-12-16 | 2003-12-16 | 飲食店における受注装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005182140A true JP2005182140A (ja) | 2005-07-07 |
JP4379105B2 JP4379105B2 (ja) | 2009-12-09 |
Family
ID=34780291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003417943A Expired - Lifetime JP4379105B2 (ja) | 2003-12-16 | 2003-12-16 | 飲食店における受注装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4379105B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007181099A (ja) * | 2005-12-28 | 2007-07-12 | Yamaha Corp | 放収音装置 |
JP2017162027A (ja) * | 2016-03-07 | 2017-09-14 | セイコーソリューションズ株式会社 | 注文入力装置および注文入力方法 |
CN111081240A (zh) * | 2019-11-18 | 2020-04-28 | 北京小米移动软件有限公司 | 语音点餐的方法、装置、系统及计算机可读存储介质 |
CN111128148A (zh) * | 2019-11-18 | 2020-05-08 | 北京小米移动软件有限公司 | 语音点餐的方法、装置、系统、计算机可读存储介质 |
CN111612444A (zh) * | 2020-05-20 | 2020-09-01 | 重庆好未来智能科技有限公司 | 一种智能餐厅的智能点餐系统及方法 |
WO2021137431A1 (ko) * | 2020-01-02 | 2021-07-08 | 박성진 | Ai 기반 음성 주문 시스템 및 그 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04273298A (ja) * | 1991-02-28 | 1992-09-29 | Fujitsu Ltd | 音声認識装置 |
JPH07336790A (ja) * | 1994-06-13 | 1995-12-22 | Nec Corp | マイクロホンシステム |
JP2003087890A (ja) * | 2001-09-14 | 2003-03-20 | Sony Corp | 音声入力装置及び音声入力方法 |
JP2003085255A (ja) * | 2001-09-11 | 2003-03-20 | Teruo Natsume | 注文処理システム |
JP2003122966A (ja) * | 2001-10-12 | 2003-04-25 | Seiko Instruments Inc | 無線式注文データ管理装置 |
-
2003
- 2003-12-16 JP JP2003417943A patent/JP4379105B2/ja not_active Expired - Lifetime
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04273298A (ja) * | 1991-02-28 | 1992-09-29 | Fujitsu Ltd | 音声認識装置 |
JPH07336790A (ja) * | 1994-06-13 | 1995-12-22 | Nec Corp | マイクロホンシステム |
JP2003085255A (ja) * | 2001-09-11 | 2003-03-20 | Teruo Natsume | 注文処理システム |
JP2003087890A (ja) * | 2001-09-14 | 2003-03-20 | Sony Corp | 音声入力装置及び音声入力方法 |
JP2003122966A (ja) * | 2001-10-12 | 2003-04-25 | Seiko Instruments Inc | 無線式注文データ管理装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007181099A (ja) * | 2005-12-28 | 2007-07-12 | Yamaha Corp | 放収音装置 |
JP2017162027A (ja) * | 2016-03-07 | 2017-09-14 | セイコーソリューションズ株式会社 | 注文入力装置および注文入力方法 |
CN111081240A (zh) * | 2019-11-18 | 2020-04-28 | 北京小米移动软件有限公司 | 语音点餐的方法、装置、系统及计算机可读存储介质 |
CN111128148A (zh) * | 2019-11-18 | 2020-05-08 | 北京小米移动软件有限公司 | 语音点餐的方法、装置、系统、计算机可读存储介质 |
CN111081240B (zh) * | 2019-11-18 | 2022-06-17 | 北京小米移动软件有限公司 | 语音点餐的方法、装置、系统及计算机可读存储介质 |
CN111128148B (zh) * | 2019-11-18 | 2022-08-12 | 北京小米移动软件有限公司 | 语音点餐的方法、装置、系统、计算机可读存储介质 |
WO2021137431A1 (ko) * | 2020-01-02 | 2021-07-08 | 박성진 | Ai 기반 음성 주문 시스템 및 그 방법 |
CN111612444A (zh) * | 2020-05-20 | 2020-09-01 | 重庆好未来智能科技有限公司 | 一种智能餐厅的智能点餐系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4379105B2 (ja) | 2009-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3891153B2 (ja) | 通話装置 | |
JP3972921B2 (ja) | 音声集音装置とエコーキャンセル処理方法 | |
JP2004343262A (ja) | マイクロフォン・スピーカ一体構成型・双方向通話装置 | |
JP4192800B2 (ja) | 音声集音装置と方法 | |
JP2005086365A (ja) | 通話装置、会議装置および撮像条件調整方法 | |
US9294860B1 (en) | Identifying directions of acoustically reflective surfaces | |
JP4411959B2 (ja) | 音声集音・映像撮像装置 | |
JP4379105B2 (ja) | 飲食店における受注装置 | |
JP4639639B2 (ja) | マイクロフォン信号生成方法および通話装置 | |
JP4225129B2 (ja) | マイクロフォン・スピーカ一体構成型・双方向通話装置 | |
JP4479227B2 (ja) | 音声集音・映像撮像装置および撮像条件決定方法 | |
KR101145401B1 (ko) | 로봇의 음성인식 성능 평가장치 및 평가 방법 | |
JP4281568B2 (ja) | 通話装置 | |
JP2005181391A (ja) | 音声処理装置および音声処理方法 | |
JP4453294B2 (ja) | マイクロフォン・スピーカ一体構成型・通話装置 | |
JP4269854B2 (ja) | 通話装置 | |
JP4403370B2 (ja) | マイクロフォン・スピーカ一体構成型・通話装置 | |
JP2005148301A (ja) | 音声処理装置と音声処理方法 | |
JP2005151042A (ja) | 音源位置特定装置および撮像装置並びに撮像方法 | |
JP4470413B2 (ja) | マイクロフォン・スピーカ一体構成型・通話装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090825 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090907 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |