JP6468584B2 - 外国語の難易度判定装置 - Google Patents
外国語の難易度判定装置 Download PDFInfo
- Publication number
- JP6468584B2 JP6468584B2 JP2014166158A JP2014166158A JP6468584B2 JP 6468584 B2 JP6468584 B2 JP 6468584B2 JP 2014166158 A JP2014166158 A JP 2014166158A JP 2014166158 A JP2014166158 A JP 2014166158A JP 6468584 B2 JP6468584 B2 JP 6468584B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- word
- score
- listening
- difficulty level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Electrically Operated Instructional Devices (AREA)
Description
学習者の語学力は、語彙テスト、リスニングテスト、リーディングテストなどで測定される。一方、学習対象の外国語文の難易度は、例えば予め用意された単語別の語彙レベル表を用いて、外国語文の全単語の語彙レベルの総和/総単語数を求めて難易度の指標としている。
請求項2記載の発明では、外国語文の発話音声を入力し、特徴抽出する音声分析手段と、音響モデルを含む音声認識用の情報を記憶した音声認識用データベース記憶手段と、音声分析手段で抽出された音声の特徴情報に基づき音声認識用データベース記憶手段を参照して、単語単位で認識候補を選択し、各認識候補の認識スコアを計算する認識候補選択・認識スコア計算手段と、認識スコアの最も大きい認識候補を認識単語として決定する認識単語決定手段と、各認識単語の認識スコアを用いて、外国語文のリスニング難易度を判定するリスニング難易度判定手段と、を備え、リスニング難易度判定手段は、認識スコアを複数段階の聞き取りづらさレベルに変換する変換テーブルを記憶した聞き取りづらさ変換テーブル記憶手段と、単語別の語彙レベルテーブルを記憶した語彙レベルテーブル記憶手段とを備え、各認識単語の認識スコアから変換した聞き取りづらさレベルと語彙レベルを組み合わせてリスニング難易度を求めるようにしたこと、を特徴としている。
請求項3記載の発明では、外国語文のテキストデータを記憶したテキストデータ記憶手段を有し、認識候補選択・認識スコア計算手段はテキストデータ記憶手段に記憶された単語列の各単語を認識候補とすること、を特徴としている。
請求項4記載の発明では、外国語文の発話音声を入力し、特徴抽出する音声分析手段と、音響モデルを含む音声認識用の情報を記憶した音声認識用データベース記憶手段と、音声分析手段で抽出された音声の特徴情報に基づき音声認識用データベース記憶手段を参照して、単語単位で認識候補を選択し、各認識候補の認識スコアを計算する認識候補選択・認識スコア計算手段と、認識スコアの最も大きい認識候補を認識単語として決定する認識単語決定手段と、単語別に、認識スコアを聞き取りづらさレベルに変換するための変換テーブルを記憶した聞き取りづらさ変換テーブル記憶手段と、単語別の変換テーブルを参照して各認識単語の認識スコアから変換した聞き取りづらさレベルを用いてリスニング難易度を求めるリスニング難易度判定手段とを備えたこと、を特徴としている。
請求項5記載の発明では、リスニング難易度判定手段は、単語別の語彙レベルテーブルを記憶した語彙レベルテーブル記憶手段を備え、各認識単語の認識スコアから変換した聞き取りづらさレベルと語彙レベルを組み合わせてリスニング難易度を求めるようにしたこと、を特徴としている。
この装置は、音声認識技術を用いて英語の発音の聞きとりづらさと相関の有る情報を得て英語のリスニング難易度の判定を行うようにしたものである。
図1中、1はインターネット経由でWebサイトから入手したり、DVD等のメディアから読み出したニュース、映画等の任意の英語テキスト付音声データを記憶した外国語文データ記憶部、2は外国語文データ記憶部1から図示しない読み出し手段により読み出された英語の音声データを入力して音声分析を行い音声の特徴抽出(例えばLPCケプストラム)を行う音声分析部、3は英語の音声認識に用いる単語別の標準音響モデル含む音声認識用データベースを記憶した音声認識用データベース記憶部、4は音声分析部2で抽出された音声の特徴情報に基づき音声認識用データベースを参照しながら単語単位で複数の認識候補の単語(認識仮説と呼ばれる)を選択し、各認識候補単語と標準音響モデルとの類似度を示す認識スコア(0〜100までの数値をとる音響スコア。数値が大きい程、正しさが高い)をDPマッチング等の手法で計算する認識候補選択・認識スコア計算部、5は単語単位で認識候補の単語中の最も認識スコアの高い単語を認識単語として決定し認識スコアと組にして出力する認識単語決定部、6は認識単語決定部5から出力される(認識単語Wi、認識スコアRSi)の組データ列を一時記憶する認識結果記憶部、7は単語別の語彙レベルを記憶した語彙レベルテーブル記憶部、8は認識スコアを複数の段階に分けた聞き取りづらさレベルに変換するための変換テーブルを記憶した聞き取りづらさ変換テーブル記憶部であり、例えば図2に示す如く変換テーブルが記憶されている。図2において、聞き取りづらさレベルは数値が大きい程、聞き取りづらい。9は認識結果記憶部6に記憶された認識結果に基づき、語彙レベルテーブル記憶部7、聞き取りづらさ変換テーブル記憶部8などを参照してリスニング難易度を判定する判定部であり、認識スコア(聞き取りづらさレベル)に基づく第1のリスニング難易度LN1と、認識スコア(聞き取りづらさレベル)と語彙レベルの組み合わせに基づく第2のリスニング難易度LN2を求める。第1、第2のリスニング難易度LN1、LN2については後述する。10は表示部、11は表示部10に第1、第2のリスニング難易度LN1、LN2、認識結果の英語テキストなどを表示させる表示処理部である。
なお、外国語文データ記憶部1には英語の任意のテキスト付音声データが記憶済みであるとする。音声分析部2は外国語文データ記憶部1から図示しない読み出し手段により読み出された音声データを入力し、特徴抽出を行い特徴情報を認識候補選択・認識スコア計算部4へ出力する。認識候補選択・認識スコア計算部4は、特徴情報に基づき音声認識用データベース記憶部3を参照して単語単位で特徴情報に類似する認識候補の単語を選択し、認識スコアを計算する。ここでは、文頭の単語として認識候補の単語がw11、w12の二つ見つかり、各々認識スコアがrs11、rs12であったとする。認識単語決定部5は文頭の単語の認識候補の内、一番大きな認識スコアの単語を認識単語W1として決定し、認識結果記憶部6に最初の認識結果として( 認識単語W1,認識スコアRS1) の組データを記憶させる。認識候補選択・認識スコア計算部4は、最初の認識結果に続く部分の音声特徴情報に基づき音声認識用データベース記憶部3を参照して2番目の単語の認識候補を選択し、認識スコアを計算する。認識単語決定部5は2番目の単語の認識候補の内、一番大きな認識スコアの単語を認識単語として決定し、認識結果記憶部6に2番目の認識結果として( 認識単語W2,認識スコアRS2) の組データを追加記憶させる。以下、同様の処理を音声データの最後まで繰り返す。この結果、認識結果記憶部6の記憶内容が図3の如くなったものとする。
また、音声認識用データベース記憶部に、音響モデルに加えて言語モデルを記憶しておき、認識候補選択・認識スコア計算部は、音響モデルと言語モデルを参照して、1または複数の認識候補の単語を選択するとともに、各認識候補の単語について音響モデルから音響スコアを計算し、言語モデルから言語スコアを計算し、これら音響スコアと言語スコアを加重平均するなどして総スコアを計算し、この総合スコアを認識スコアとするようにしても良い。
また、認識スコアを7段階の聞き取りづらさレベルに変換するようにしたが、6段階以下や8段階以上の段階に分けるようにしてもよい。
また、各認識結果の単語の認識スコアの総和/総単語数の計算を行って、リスニング難易度を求めるようにしても良い。
上記した第1実施例では、識別スコアから聞き取りづらさレベルへの変換を、どの単語についても同じ変換テーブルを用いて一律に行ったのに対し、第2実施例では単語毎に異なる変換テーブルを用いるようにしたものである。一般的に音声認識による認識スコアの大小は聞き取りづらさと相関があると考えられるが、本願発明者が音声認識とリスニングテストの比較研究を行った結果、単語によって相関度に違いがあることが判った。これは、学習者がリスニングを行う場合に、音だけではなく、文法など音以外の要素も手掛かりにしてリスニングをしているからであり、識別スコアが低くても音以外の要素で聴き取りが成功し易い単語が存在したり、逆に、識別スコアが高くても文法など他の要素の手がかりが乏しく、聴き取りが成功しにくい単語が存在したりするからである。
なお、外国語文データ記憶部1には英語の任意のテキスト付音声データが記憶済みであるとする。
第1実施例と同様に、音声分析部2は音声データを入力し、特徴抽出を行い特徴情報を認識候補選択・認識スコア計算部4へ出力する。認識候補選択・認識スコア計算部4は、特徴情報に基づき音声認識用データベース記憶部3を参照して単語単位で特徴情報に類似する認識候補の単語を選択し、認識スコアを計算する。ここでは、文頭の単語として認識候補の単語がw11、w12の二つ見つかり、各々識別スコアがrs11、rs12であったとする。認識単語決定部5は文頭の単語の認識候補の内、一番大きな認識スコアの単語を認識単語W1として決定し、認識結果記憶部6に最初の認識結果として( 認識単語W1,認識スコアRS1) の組データを記憶させる。認識候補選択・認識スコア計算部4は、最初の認識結果に続く部分の音声特徴情報に基づき音声認識用データベース記憶部3を参照して2番目の単語の認識候補を選択し、認識スコアを計算する。認識単語決定部5は2番目の単語の認識候補の内、一番大きな認識スコアの単語を認識単語として決定し、認識結果記憶部6に2番目の認識結果として( 認識単語W2,認識スコアRS2) の組データを追加記憶させる。以下、同様の処理を音声データの最後まで繰り返す。この結果、認識結果記憶部6の記憶内容が図3の如くなったものとする。
しかも、単語毎に異なる聞き取りづらさ変換テーブルを用いるようにしたので、識別スコアが低くても音以外の要素で聴き取りが成功し易い単語や、識別スコアが高くても文法など他の要素の手がかりが乏しく、聴き取りが成功しにくい単語などの単語の特性の相違に合致した最適な聞き取りづらさ求められるので、きわめて正確なリスニング難易度が判る。
また、音声認識用データベース記憶部に、音響モデルに加えて言語モデルを記憶しておき、認識候補選択・識別スコア計算部は、音響モデルと言語モデルを参照して、1または複数の認識候補の単語を選択するとともに、各認識候補の単語について音響モデルから音響スコアを計算し、言語モデルから言語スコアを計算し、これら音響スコアと言語スコアを加重平均するなどして総スコアを計算し、この総合スコアを識別スコアとするようにしても良い。
また、認識スコアを7段階の聞き取りづらさレベルに変換するようにしたが、6段階以下や8段階以上の段階に分けるようにしてもよい。
また、上記した各実施例では、外国語文データ記憶部から読み出された音声データを音声分析部に入力するようにしたが、マイク入力された外国語の音声信号をA/D変換して音声分析部に入力するようにしたり、インターネットのWebサイトからダウンロードした外国語の音声データや記録媒体から読み出した外国語の音声データをそのまま音声分析部に入力するようにしても良い。
3 音声認識用データベース記憶部
4 認識候補選択・認識スコア計算部
5 認識単語決定部
7 語彙レベルテーブル記憶部
8、8A 聞き取りづらさレベル変換テーブル記憶部
9、9A リスニング難易度判定部
10 表示部
Claims (5)
- 外国語文の発話音声を入力し、特徴抽出する音声分析手段と、
音響モデルを含む音声認識用の情報を記憶した音声認識用データベース記憶手段と、
音声分析手段で抽出された音声の特徴情報に基づき音声認識用データベース記憶手段を参照して、単語単位で認識候補を選択し、各認識候補の認識スコアを計算する認識候補選択・認識スコア計算手段と、
認識スコアの最も大きい認識候補を認識単語として決定する認識単語決定手段と、
各認識単語の認識スコアを用いて、外国語文のリスニング難易度を判定するリスニング難易度判定手段と、
を備え、
リスニング難易度判定手段は、認識スコアを複数段階の聞き取りづらさレベルに変換する聞き取りづらさ変換テーブル記憶手段を備え、各認識単語の認識スコアを聞き取りづらさレベルに変換してリスニング難易度を求めるようにしたこと、
を特徴とする外国語の難易度判定装置。 - 外国語文の発話音声を入力し、特徴抽出する音声分析手段と、
音響モデルを含む音声認識用の情報を記憶した音声認識用データベース記憶手段と、
音声分析手段で抽出された音声の特徴情報に基づき音声認識用データベース記憶手段を参照して、単語単位で認識候補を選択し、各認識候補の認識スコアを計算する認識候補選択・認識スコア計算手段と、
認識スコアの最も大きい認識候補を認識単語として決定する認識単語決定手段と、
各認識単語の認識スコアを用いて、外国語文のリスニング難易度を判定するリスニング難易度判定手段と、
を備え、
リスニング難易度判定手段は、認識スコアを複数段階の聞き取りづらさレベルに変換する変換テーブルを記憶した聞き取りづらさ変換テーブル記憶手段と、単語別の語彙レベルテーブルを記憶した語彙レベルテーブル記憶手段とを備え、各認識単語の認識スコアから変換した聞き取りづらさレベルと語彙レベルを組み合わせてリスニング難易度を求めるようにしたこと、
を特徴とする外国語の難易度判定装置。 - 外国語文のテキストデータを記憶したテキストデータ記憶手段を有し、
認識候補選択・認識スコア計算手段はテキストデータ記憶手段に記憶された単語列の各単語を認識候補とすること、
を特徴とする請求項1または2記載の外国語の難易度判定装置。 - 外国語文の発話音声を入力し、特徴抽出する音声分析手段と、
音響モデルを含む音声認識用の情報を記憶した音声認識用データベース記憶手段と、
音声分析手段で抽出された音声の特徴情報に基づき音声認識用データベース記憶手段を参照して、単語単位で認識候補を選択し、各認識候補の認識スコアを計算する認識候補選択・認識スコア計算手段と、
認識スコアの最も大きい認識候補を認識単語として決定する認識単語決定手段と、
単語別に認識スコアを聞き取りづらさレベルに変換するための変換テーブルを記憶した聞き取りづらさ変換テーブル記憶手段と、
単語別の変換テーブルを参照して各認識単語の認識スコアから変換した聞き取りづらさレベルを用いてリスニング難易度を求めるリスニング難易度判定手段と、
を備えたことを特徴とする外国語の難易度判定装置。 - リスニング難易度判定手段は、
単語別の語彙レベルテーブルを記憶した語彙レベルテーブル記憶手段を備え、各認識単語の認識スコアから変換した聞き取りづらさレベルと語彙レベルを組み合わせてリスニング難易度を求めるようにしたこと、
を特徴とする請求項4記載の外国語の難易度判定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014166158A JP6468584B2 (ja) | 2014-08-18 | 2014-08-18 | 外国語の難易度判定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014166158A JP6468584B2 (ja) | 2014-08-18 | 2014-08-18 | 外国語の難易度判定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016042158A JP2016042158A (ja) | 2016-03-31 |
JP6468584B2 true JP6468584B2 (ja) | 2019-02-13 |
Family
ID=55591931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014166158A Active JP6468584B2 (ja) | 2014-08-18 | 2014-08-18 | 外国語の難易度判定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6468584B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023022323A1 (ko) * | 2021-08-16 | 2023-02-23 | 박봉래 | 외국어 음성의 청취 난이도 평가 방법, 장치 및 프로그램 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102536736B1 (ko) * | 2020-12-02 | 2023-05-26 | 아주대학교산학협력단 | 언어 학습 시스템 및 방법 |
KR102671128B1 (ko) * | 2021-08-16 | 2024-05-31 | 봉래 박 | 외국어 음성의 청취 난이도 평가 방법, 장치 및 프로그램 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005004100A (ja) * | 2003-06-13 | 2005-01-06 | Canon Inc | 聴取システムおよび音声合成装置 |
JP2006084966A (ja) * | 2004-09-17 | 2006-03-30 | Advanced Telecommunication Research Institute International | 発話音声の自動評定装置およびコンピュータプログラム |
WO2006076280A2 (en) * | 2005-01-11 | 2006-07-20 | Educational Testing Service | Method and system for assessing pronunciation difficulties of non-native speakers |
JP5664978B2 (ja) * | 2011-08-22 | 2015-02-04 | 日立コンシューマエレクトロニクス株式会社 | 学習支援システム及び学習支援方法 |
US9449522B2 (en) * | 2012-11-16 | 2016-09-20 | Educational Testing Service | Systems and methods for evaluating difficulty of spoken text |
-
2014
- 2014-08-18 JP JP2014166158A patent/JP6468584B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023022323A1 (ko) * | 2021-08-16 | 2023-02-23 | 박봉래 | 외국어 음성의 청취 난이도 평가 방법, 장치 및 프로그램 |
Also Published As
Publication number | Publication date |
---|---|
JP2016042158A (ja) | 2016-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Middag et al. | Automated intelligibility assessment of pathological speech using phonological features | |
US8886534B2 (en) | Speech recognition apparatus, speech recognition method, and speech recognition robot | |
Van Nuffelen et al. | Speech technology‐based assessment of phoneme intelligibility in dysarthria | |
Wester | Pronunciation modeling for ASR–knowledge-based and data-derived methods | |
US8775184B2 (en) | Evaluating spoken skills | |
US9449522B2 (en) | Systems and methods for evaluating difficulty of spoken text | |
US9489864B2 (en) | Systems and methods for an automated pronunciation assessment system for similar vowel pairs | |
GB2544070A (en) | Speech processing system and method | |
KR20160122542A (ko) | 발음 유사도 측정 방법 및 장치 | |
US8909528B2 (en) | Method and system for prompt construction for selection from a list of acoustically confusable items in spoken dialog systems | |
KR20080050311A (ko) | 음성 처리 장치 및 음성 처리 방법 및 프로그램 | |
JP5824829B2 (ja) | 音声認識装置、音声認識方法及び音声認識プログラム | |
TW200926140A (en) | Method and system of generating and detecting confusion phones of pronunciation | |
CN109863554B (zh) | 用于计算机辅助发音训练和语音处理的声学字形模型和声学字形音位模型 | |
CN109979484A (zh) | 发音检错方法、装置、电子设备及存储介质 | |
KR101487005B1 (ko) | 문장입력을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법 | |
TW200849218A (en) | Voice processing methods and systems, and machine readable medium thereof | |
US20100312550A1 (en) | Apparatus and method of extending pronunciation dictionary used for speech recognition | |
Middag et al. | Robust automatic intelligibility assessment techniques evaluated on speakers treated for head and neck cancer | |
JP2016180917A (ja) | 言い直し検出装置、音声認識システム、言い直し検出方法、プログラム | |
JP6468584B2 (ja) | 外国語の難易度判定装置 | |
US11495245B2 (en) | Urgency level estimation apparatus, urgency level estimation method, and program | |
KR20210059581A (ko) | 말하기의 자동 유창성 평가 방법 및 그 장치 | |
Ge et al. | Improving mispronunciation detection using adaptive frequency scale | |
KR101066472B1 (ko) | 초성 기반 음성인식장치 및 음성인식방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170623 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170814 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20180710 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180724 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180710 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6468584 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |