JP5293607B2 - 略語生成装置およびプログラム、並びに、略語生成方法 - Google Patents
略語生成装置およびプログラム、並びに、略語生成方法 Download PDFInfo
- Publication number
- JP5293607B2 JP5293607B2 JP2009534254A JP2009534254A JP5293607B2 JP 5293607 B2 JP5293607 B2 JP 5293607B2 JP 2009534254 A JP2009534254 A JP 2009534254A JP 2009534254 A JP2009534254 A JP 2009534254A JP 5293607 B2 JP5293607 B2 JP 5293607B2
- Authority
- JP
- Japan
- Prior art keywords
- abbreviation
- word
- original
- abbreviations
- original word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000012545 processing Methods 0.000 claims description 16
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 101100274346 Drosophila melanogaster mora gene Proteins 0.000 description 14
- 238000004891 communication Methods 0.000 description 6
- 239000000470 constituent Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- PWFSJBZBOYKOQL-UHFFFAOYSA-N Chaksin Natural products O=C1OCC(C)CCCC1C1NC(N)=NC1 PWFSJBZBOYKOQL-UHFFFAOYSA-N 0.000 description 2
- 241001608711 Melo Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Document Processing Apparatus (AREA)
- Machine Translation (AREA)
- Stored Programmes (AREA)
- Character Discrimination (AREA)
Description
12 略語生成部
13 原語
14 略語生成モデル
15 略語
16 単語分析用辞書
21 略語判定部
22 原語リソース
101 略語生成装置
102 略語生成装置
ここで、図5に示す「文字境界」とは、文字(漢字、ひらがな、カタカナ)の先頭となる文字(読み)を指す。例えば「着」の文字(漢字)であれば、読みは「チャ」「ク」の2語であり、このうちの先頭の「チャ」が文字境界となる(「チャ」の欄→「1」)。一方、「ク」は、読みの先頭にならないため、「0」が記入される。同様に、「信」の文字(漢字)の読みは、「シ」「ン」であり、「シ」が「信」の読みの先頭であるため文字境界となる(「シ」の欄→「1」)。また、カタカナの場合は、常に一文字は一文字の読み方(「メ」の読みは、「め」の一文字)であるので、全てのカタカナは、文字境界となり、「1」が格納される。ひらがなも同様である。
Claims (12)
- 略語を生成するための元となる原語の特徴量を分析し、その特徴量系列を抽出する単語分析部と、
あらかじめ特徴量系列を統計的にモデル化した略語生成モデルが格納された略語モデルデータベースを参照して、前記原語から抽出された前記特徴量系列に対して略語となり得るか否かのラベルを付し、このラベルに基づいて前記原語の略語を生成する略語生成部とを備え、
前記単語分析部は、前記原語を構成している文字の文字種、文字境界、形態素情報、形態素境界、モーラ、読み、及び音素のうちの一つ以上の系列、又は当該原語に含まれる単語の属性の系列、当該原語に含まれる単語間の関係の系列、当該原語を含む文の構造の系列、並びに当該原語を含む文の意味内容の系列の少なくとも一つ以上の系列を前記特徴量系列として抽出し、
前記略語生成部が参照する前記略語モデルデータベースに格納された前記略語生成モデルは、予め用意された複数のラベルモデルから学習されたものであって、
当該ラベルモデルは、原語を構成する略語構成文字のそれぞれに対して略語となり得るか否かのラベルが付与されたものであり、
前記略語構成文字は、表記上の文字、モーラ、及び読みの少なくとも1つ以上からなる略語生成装置。 - 前記略語生成部は、前記ラベルモデルとして条件付確率場、隠れマルコフモデル、サポートベクタマシン、及びニューラルネットワークのいずれか1つのアルゴリズムを使用する
ことを特徴とする請求項1項記載の略語生成装置。 - 前記生成された略語の出現頻度又は前記生成された略語と元の原語との共起頻度を基に、当該略語の確からしさを判定する判定部をさらに備える
ことを特徴とする請求項1又は2項記載の略語生成装置。 - 前記判定部は、あらかじめ用意されたデータベースにおける前記出現頻度又は共起頻度に基づき前記略語の確からしさを判定する
ことを特徴とする請求項3記載の略語生成装置。 - ある原語の略語を生成する略語生成方法であって、
CPUが、略語を生成するための元となる原語の特徴量を分析し、その特徴量系列を抽出する単語分析工程と、
CPUが、あらかじめ特徴量系列を統計的にモデル化した略語生成モデルが格納された略語モデルデータベースを参照して、前記単語分析工程により、前記原語から抽出された前記特徴量系列に対して略語となり得るか否かのラベルを付し、このラベルに基づいて前記原語の略語を生成する略語生成工程とを有し、
前記単語分析工程では、前記原語を構成している文字の文字種、文字境界、形態素情報、形態素境界、モーラ、読み、及び音素のうちの一つ以上の系列、又は当該原語に含まれる単語の属性の系列、当該原語に含まれる単語間の関係の系列、当該原語を含む文の構造の系列、並びに当該原語を含む文の意味内容の系列の少なくとも一つ以上の系列が前記特徴量系列として抽出され、
前記略語生成工程で参照される前記略語モデルデータベースに格納された前記略語生成モデルは、予め用意された複数のラベルモデルから学習されたものであって、
当該ラベルモデルは、原語を構成する略語構成文字のそれぞれに対して略語となり得るか否かのラベルが付与されたものであり、
前記略語構成文字は、表記上の文字、モーラ、及び読みの少なくとも1つ以上からなる
略語生成方法。 - 前記略語生成工程では、前記ラベルモデルとして条件付確率場、隠れマルコフモデル、サポートベクタマシン、及びニューラルネットワークのいずれか1つのアルゴリズムを使用する
ことを特徴とする請求項5項記載の略語生成方法。 - 前記生成された略語の出現頻度又は前記生成された略語と元の原語との共起頻度を基に、当該略語の確からしさを判定する判定工程をさらに有する
ことを特徴とする請求項5又は6項記載の略語生成方法。 - 前記判定工程では、あらかじめ用意されたデータベースにおける前記出現頻度又は共起頻度に基づき前記略語の確からしさを判定する
ことを特徴とする請求項7記載の略語生成方法。 - ある原語の略語を生成する動作をコンピュータに実行させるためのプログラムであって、
略語を生成するための元となる原語の特徴量を分析し、その特徴量系列を抽出する単語分析処理と、
あらかじめ特徴量系列を統計的にモデル化した略語生成モデルが格納された略語モデルデータベースを参照して、前記単語分析処理により、前記原語から抽出された前記特徴量系列に対して略語となり得るか否かのラベルを付し、このラベルに基づいて前記原語の略語を生成する略語生成処理と、
をコンピュータに実行させるものであり、
前記単語分析処理では、前記原語を構成している文字の文字種、文字境界、形態素情報、形態素境界、モーラ、読み、及び音素のうちの一つ以上の系列、又は当該原語に含まれる単語の属性の系列、当該原語に含まれる単語間の関係の系列、当該原語を含む文の構造の系列、並びに当該原語を含む文の意味内容の系列の少なくとも一つ以上の系列が前記特徴量系列として抽出され、
前記略語生成処理で参照される前記略語モデルデータベースに格納された前記略語生成モデルは、予め用意された複数のラベルモデルから学習されたものであって、
当該ラベルモデルは、原語を構成する略語構成文字のそれぞれに対して略語となり得るか否かのラベルが付与されたものであり、
前記略語構成文字は、表記上の文字、モーラ、及び読みの少なくとも1つ以上からなるプログラム。 - 前記略語生成処理では、前記ラベルモデルとして条件付確率場、隠れマルコフモデル、サポートベクタマシン、及びニューラルネットワークのいずれか1つのアルゴリズムを使用する
ことを特徴とする請求項9項記載のプログラム。 - 前記生成された略語の出現頻度又は前記生成された略語と元の原語との共起頻度を基に、当該略語の確からしさを判定する判定処理をさらに有する
ことを特徴とする請求項9又は10項記載のプログラム。 - 前記判定処理では、あらかじめ用意されたデータベースにおける前記出現頻度又は共起頻度に基づき前記略語の確からしさを判定する
ことを特徴とする請求項11記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009534254A JP5293607B2 (ja) | 2007-09-26 | 2008-09-02 | 略語生成装置およびプログラム、並びに、略語生成方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007248564 | 2007-09-26 | ||
JP2007248564 | 2007-09-26 | ||
JP2009534254A JP5293607B2 (ja) | 2007-09-26 | 2008-09-02 | 略語生成装置およびプログラム、並びに、略語生成方法 |
PCT/JP2008/065709 WO2009041220A1 (ja) | 2007-09-26 | 2008-09-02 | 略語生成装置およびプログラム、並びに、略語生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2009041220A1 JPWO2009041220A1 (ja) | 2011-01-20 |
JP5293607B2 true JP5293607B2 (ja) | 2013-09-18 |
Family
ID=40511112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009534254A Active JP5293607B2 (ja) | 2007-09-26 | 2008-09-02 | 略語生成装置およびプログラム、並びに、略語生成方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5293607B2 (ja) |
WO (1) | WO2009041220A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013121988A1 (ja) * | 2012-02-16 | 2013-08-22 | 日本電気株式会社 | 略語生成システム |
US10698937B2 (en) | 2017-12-13 | 2020-06-30 | Microsoft Technology Licensing, Llc | Split mapping for dynamic rendering and maintaining consistency of data processed by applications |
WO2022131740A1 (en) * | 2020-12-14 | 2022-06-23 | Samsung Electronics Co., Ltd. | Methods and systems for generating abbreviations for a target word |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08272789A (ja) * | 1995-03-30 | 1996-10-18 | Mitsubishi Electric Corp | 言語情報変換装置 |
WO2004044887A1 (ja) * | 2002-11-11 | 2004-05-27 | Matsushita Electric Industrial Co., Ltd. | 音声認識用辞書作成装置および音声認識装置 |
JP2007200252A (ja) * | 2006-01-30 | 2007-08-09 | Ricoh Co Ltd | 省略語生成・妥当性評価方法、同義語データベース生成・更新方法、省略語生成・妥当性評価装置、同義語データベース生成・更新装置、プログラム、記録媒体 |
-
2008
- 2008-09-02 JP JP2009534254A patent/JP5293607B2/ja active Active
- 2008-09-02 WO PCT/JP2008/065709 patent/WO2009041220A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08272789A (ja) * | 1995-03-30 | 1996-10-18 | Mitsubishi Electric Corp | 言語情報変換装置 |
WO2004044887A1 (ja) * | 2002-11-11 | 2004-05-27 | Matsushita Electric Industrial Co., Ltd. | 音声認識用辞書作成装置および音声認識装置 |
JP2007200252A (ja) * | 2006-01-30 | 2007-08-09 | Ricoh Co Ltd | 省略語生成・妥当性評価方法、同義語データベース生成・更新方法、省略語生成・妥当性評価装置、同義語データベース生成・更新装置、プログラム、記録媒体 |
Non-Patent Citations (2)
Title |
---|
CSNG200800063142; 村山紀文 他1名: 'Noisy-channel modelを用いた略語自動推定' 言語処理学会第12回年次大会発表論文集 , 20060314, 763-766頁, 言語処理学会 * |
JPN6013006795; 村山紀文 他1名: 'Noisy-channel modelを用いた略語自動推定' 言語処理学会第12回年次大会発表論文集 , 20060314, 763-766頁, 言語処理学会 * |
Also Published As
Publication number | Publication date |
---|---|
WO2009041220A1 (ja) | 2009-04-02 |
JPWO2009041220A1 (ja) | 2011-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109408526B (zh) | Sql语句生成方法、装置、计算机设备及存储介质 | |
US10176804B2 (en) | Analyzing textual data | |
US10402493B2 (en) | System and method for inputting text into electronic devices | |
CN106598939B (zh) | 一种文本纠错方法及装置、服务器、存储介质 | |
Schuster et al. | Japanese and korean voice search | |
US10606946B2 (en) | Learning word embedding using morphological knowledge | |
US10552533B2 (en) | Phrase-based dialogue modeling with particular application to creating recognition grammars for voice-controlled user interfaces | |
CN102982021B (zh) | 用于消除语言转换中的多个读法的歧义的方法 | |
JP2022539138A (ja) | 自然言語理解(nlu)フレームワークを使用して意味探索を実行するシステムおよび方法 | |
JP3768205B2 (ja) | 形態素解析装置、形態素解析方法及び形態素解析プログラム | |
JP7211045B2 (ja) | 要約文生成方法、要約文生成プログラム及び要約文生成装置 | |
CN108304375A (zh) | 一种信息识别方法及其设备、存储介质、终端 | |
CN114580382A (zh) | 文本纠错方法以及装置 | |
US8356065B2 (en) | Similar text search method, similar text search system, and similar text search program | |
US11257484B2 (en) | Data-driven and rule-based speech recognition output enhancement | |
CN110808032A (zh) | 一种语音识别方法、装置、计算机设备及存储介质 | |
EP1617409A1 (en) | Multimodal method to provide input to a computing device | |
Aliero et al. | Systematic review on text normalization techniques and its approach to non-standard words | |
JP5293607B2 (ja) | 略語生成装置およびプログラム、並びに、略語生成方法 | |
CN112632956A (zh) | 文本匹配方法、装置、终端和存储介质 | |
JP2010231149A (ja) | 音声認識に仮名漢字変換システムを用いた端末、方法及びプログラム | |
JP2006107353A (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
JP4674609B2 (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
KR19980038185A (ko) | 자연언어 인터페이스 에이전트 및 그의 의미 분석방법 | |
US12073299B2 (en) | Systems and methods for using contrastive pre-training to generate text and code embeddings |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130419 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130527 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5293607 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |