JP5610304B2 - モデルパラメータ配列装置とその方法とプログラム - Google Patents
モデルパラメータ配列装置とその方法とプログラム Download PDFInfo
- Publication number
- JP5610304B2 JP5610304B2 JP2011140450A JP2011140450A JP5610304B2 JP 5610304 B2 JP5610304 B2 JP 5610304B2 JP 2011140450 A JP2011140450 A JP 2011140450A JP 2011140450 A JP2011140450 A JP 2011140450A JP 5610304 B2 JP5610304 B2 JP 5610304B2
- Authority
- JP
- Japan
- Prior art keywords
- subset
- model parameter
- candidate
- model
- elements
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 33
- 238000011156 evaluation Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 description 12
- 238000012937 correction Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
Description
サンプルs(例えば音声認識においてはある単語列)に、所望のスコアを付与する問題は、パターン認識、自然言語処理、などの多くの分野で共通する概念であり、極めて重要である。所望のスコアを与える関数をモデルQΘ(s)とおき、その関数を制御するモデルパラメータ要素の集合をΘ(以降、要素集合Θとも称する)とした時に、統計的手法では、大量にサンプルを集め、要素集合Θの各要素について具体的な値を推定する。これをモデルパラメータ推定、若しくは学習と称する。
この発明のモデル縮減方法の効果を確認する目的で、日本語話言葉コーパス(CSJ)を用いて評価実験を行った。CSJは、講演音声とその書き起こしからなるコーパスである。CSJには、学会講演と模擬講演が含まれる。模擬講演は「私の街」、「生涯で最も幸せな出来事」等といったテーマの講演形式のスピーチが収録されている。
Claims (7)
- N個のモデルパラメータ要素の集合Θを入力として、
選択サブセット候補を空集合で初期化する初期化部と、
上記集合Θと選択サブセット候補を入力として、当該選択サブセット候補に、上記集合Θに含まれ、かつ、当該選択サブセット候補に含まれないモデルパラメータ要素の一つを追加した全ての組をサブセット候補として出力する要素選択部と、
上記サブセット候補を入力として、当該サブセット候補のそれぞれのスコアEtの最大値若しくは最小値と、上記集合Θの前記N個のモデルパラメータ要素の全てを用いた場合のスコア値である評価値Eとの差分を求め、その差分が最小若しくは最大となるサブセット候補を選択サブセット候補として記憶するサブセット評価値記憶部と、を具備し、
上記要素選択部と上記サブセット評価値記憶部とにおいて、前記N個のモデルパラメータ要素について未処理のモデルパラメータ要素が無くなるまで上記サブセット候補と上記選択サブセット候補とを更新する処理を繰り返し、
上記選択サブセット候補を、選択した順若しくはその逆順に配列した配列済みモデルパラメータを出力するパラメータ順位付け部をさらに具備する、
モデルパラメータ配列装置。 - N個のモデルパラメータ要素の集合Θを入力として、
選択サブセット候補を上記集合Θで初期化する初期化部と、
選択サブセット候補を入力として、当該選択サブセット候補から一つのモデルパラメータ要素を取り除いた全ての組をサブセット候補として出力する要素選択部と、
上記サブセット候補を入力として、当該サブセット候補のそれぞれのスコアEtの最大値若しくは最小値と、上記集合Θの前記N個のモデルパラメータ要素の全てを用いた場合のスコア値である評価値Eとの差分を求め、その差分が最小若しくは最大となるサブセット候補を選択サブセット候補として記憶するサブセット評価値記憶部と、を具備し、
上記要素選択部と上記サブセット評価値記憶部とにおいて、前記N個のモデルパラメータ要素について未処理のモデルパラメータ要素が無くなるまで上記サブセット候補と上記選択サブセット候補とを更新する処理を繰り返し、
上記選択サブセット候補を、選択した順若しくはその逆順に配列した配列済みモデルパラメータを出力するパラメータ順位付け部をさらに具備する、
モデルパラメータ配列装置。 - 請求項1又は2に記載のモデルパラメータ配列装置において、
上記差分を求める距離関数に、二乗誤差の関数を用いたことを特徴とするモデルパラメータ配列装置。 - N個のモデルパラメータ要素の集合Θを入力として、
選択サブセット候補を空集合で初期化する初期化過程と、
上記集合Θと選択サブセット候補を入力として、当該選択サブセット候補に、上記集合Θに含まれ、かつ、当該選択サブセット候補に含まれないモデルパラメータ要素の一つを追加した全ての組をサブセット候補として出力する要素選択過程と、
上記サブセット候補を入力として、当該サブセット候補のそれぞれのスコアEtの最大値若しくは最小値と、上記集合Θの前記N個のモデルパラメータ要素の全てを用いた場合のスコア値である評価値Eとの差分を求め、その差分が最小若しくは最大となるサブセット候補を選択サブセット候補として記憶するサブセット評価値記憶過程と、を備え、
上記要素選択過程と上記サブセット評価値記憶過程とにおいて、前記N個のモデルパラメータ要素について未処理のモデルパラメータ要素が無くなるまで上記サブセット候補と上記選択サブセット候補とを更新する処理を繰り返し、
上記選択サブセット候補を、選択した順若しくはその逆順に配列した配列済みモデルパラメータを出力するパラメータ順位付け過程をさらに備える、
モデルパラメータ配列方法。 - N個のモデルパラメータ要素の集合Θを入力として、
選択サブセット候補を上記集合Θで初期化する初期化過程と、
選択サブセット候補を入力として、当該選択サブセット候補から一つのモデルパラメータ要素を取り除いた全ての組をサブセット候補として出力する要素選択過程と、
上記サブセット候補を入力として、当該サブセット候補のそれぞれのスコアEtの最大値若しくは最小値と、上記集合Θの前記N個のモデルパラメータ要素の全てを用いた場合のスコア値である評価値Eとの差分を求め、その差分が最小若しくは最大となるサブセット候補を選択サブセット候補として記憶するサブセット評価値記憶過程と、を備え、
上記要素選択過程と上記サブセット評価値記憶過程とにおいて、前記N個のモデルパラメータ要素について未処理のモデルパラメータ要素が無くなるまで上記サブセット候補と上記選択サブセット候補とを更新する処理を繰り返し、
上記選択サブセット候補を、選択した順若しくはその逆順に配列した配列済みモデルパラメータを出力するパラメータ順位付け過程をさらに備える、
モデルパラメータ配列方法。 - 請求項4又は5に記載のモデルパラメータ配列方法において、
上記差分を求める距離関数に、二乗誤差の関数を用いたことを特徴とするモデルパラメータ配列方法。 - 請求項1乃至3の何れかに記載したモデルパラメータ配列装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011140450A JP5610304B2 (ja) | 2011-06-24 | 2011-06-24 | モデルパラメータ配列装置とその方法とプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011140450A JP5610304B2 (ja) | 2011-06-24 | 2011-06-24 | モデルパラメータ配列装置とその方法とプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013008200A JP2013008200A (ja) | 2013-01-10 |
JP5610304B2 true JP5610304B2 (ja) | 2014-10-22 |
Family
ID=47675501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011140450A Active JP5610304B2 (ja) | 2011-06-24 | 2011-06-24 | モデルパラメータ配列装置とその方法とプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5610304B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10438593B2 (en) | 2015-07-22 | 2019-10-08 | Google Llc | Individualized hotword detection models |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0962647A (ja) * | 1995-08-24 | 1997-03-07 | Hitachi Ltd | 確率モデルの学習方法 |
JP2002373163A (ja) * | 2001-04-13 | 2002-12-26 | Mitsubishi Electric Corp | 最大エントロピーモデル生成方法および装置ならびにそれを用いた自然言語処理方法および装置 |
-
2011
- 2011-06-24 JP JP2011140450A patent/JP5610304B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013008200A (ja) | 2013-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210256390A1 (en) | Computationally efficient neural network architecture search | |
CN110033760B (zh) | 语音识别的建模方法、装置及设备 | |
EP3373293B1 (en) | Speech recognition method and apparatus | |
KR101780760B1 (ko) | 가변길이 문맥을 이용한 음성인식 | |
US9697827B1 (en) | Error reduction in speech processing | |
US8504367B2 (en) | Speech retrieval apparatus and speech retrieval method | |
CN112825249B (zh) | 语音处理方法和设备 | |
JP6831343B2 (ja) | 学習装置、学習方法及び学習プログラム | |
JP6615736B2 (ja) | 音声言語識別装置、その方法、及びプログラム | |
JP6812381B2 (ja) | 音声認識精度劣化要因推定装置、音声認識精度劣化要因推定方法、プログラム | |
JP7070653B2 (ja) | 学習装置、音声認識順位推定装置、それらの方法、およびプログラム | |
Kurimo et al. | Modeling under-resourced languages for speech recognition | |
TW201822190A (zh) | 語音辨識系統及其方法、詞彙建立方法與電腦程式產品 | |
JP2020020872A (ja) | 識別器、学習済モデル、学習方法 | |
KR20230156125A (ko) | 룩업 테이블 순환 언어 모델 | |
WO2021101500A1 (en) | Rescoring automatic speech recognition hypotheses using audio-visual matching | |
JP5975938B2 (ja) | 音声認識装置、音声認識方法及びプログラム | |
JP6082657B2 (ja) | ポーズ付与モデル選択装置とポーズ付与装置とそれらの方法とプログラム | |
JP5610304B2 (ja) | モデルパラメータ配列装置とその方法とプログラム | |
JP6158105B2 (ja) | 言語モデル作成装置、音声認識装置、その方法及びプログラム | |
JP6353408B2 (ja) | 言語モデル適応装置、言語モデル適応方法、プログラム | |
JP6981860B2 (ja) | 系列データ解析装置、系列データ解析方法及びプログラム | |
US9449085B2 (en) | Pattern matching of sound data using hashing | |
JP5780516B2 (ja) | モデル縮減装置とその方法とプログラム | |
JP6965846B2 (ja) | 言語モデルスコア算出装置、学習装置、言語モデルスコア算出方法、学習方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20131011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140812 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140821 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5610304 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |