JP6105337B2 - 評価システム及び評価方法 - Google Patents

Description

本発明は、利用者が利用する利用対象の利用状況を評価するための評価システム及び評価方法に関する。

近年、マーケティングリサーチでは、顧客満足度などの指標を使って利用者が対象を利用するときの利用状況を評価することが行なわれている。例えば、特許文献１（特開２０１１−２１０１３３号公報）には、人物の満足度を算出する満足度算出方法や満足度算出装置が記載されている。特許文献１の満足度算出装置で算出される満足度は、マーケティングの分野で活用され、例えば満足度を高めて消費者のリピータ化などを高めるのに役立てられるものとして説明されている。

特開２０１１−２１０１３３号公報

しかし、引用文献１に記載されている満足度は、リピータ化などの利用者の利用状況を直接に評価するものではない。引用文献１に記載の技術では、人物の個人としての満足度を算出することができるが、例えば、ある店舗を利用する多数の利用者の店舗別満足度は、各個人の顧客別満足度の統計量（例えば、平均値）を指すものとされている。
ところが、顧客満足度というのは、複合的で、マーケティング研究者によってさまざまに定義されている。例えば、サービスの品質や信頼性の「見える化」のための指標の一つとして開発されたものの一つに、日本版顧客満足度指数（ＪＣＳＩ）がある。その一方で、それよりも先に開発された米国版顧客満足度指数（ＡＣＳＩ）や韓国版顧客満足度指数（ＮＣＳＩ）など多様な顧客満足度指数が存在する。このように顧客満足度というのは、その定義の仕方によって区々の値や程度を示し、また同じ定義を用いる場合であっても、各個人の満足度から統計量を得るということを意味有らしめるには困難な作業がつきまとう。

従って、個人の顧客別満足度の統計量を用いて得られる店舗別満足度の解釈の難しさも容易に想像できる。そしてさらに、個人の顧客別満足度の統計量を用いて、リピータ化などの利用者の利用状況を評価しようとすると、リピータ化などの現象と顧客別満足度との相関が満足度の定義によって種々に変化することから、利用状況の評価の精度を上げることが難しいことは明らかである。
本発明の課題は、利用対象の利用状況を容易に評価することができる評価システム及び評価方法を提供することにある。

以下に、課題を解決するための手段として複数の態様を説明する。これら態様は、必要に応じて任意に組み合せることができる。
本発明の一見地に係る評価システムは、音声の特徴を分析するための複数のパラメータを座標軸にとった２次元以上の感情マッピング空間に割り付けられた複数の感情領域のうちの第１感情領域に、利用対象を利用する不特定複数の利用者の第１分析対象音声がマッピングされるか否かによって、第１感情を表意した第１感情表意話者と表意しなかった第１感情非表意話者との推定を行なう感情推定装置と、感情推定装置の推定結果に基づく第１感情表意話者及び第１感情非表意話者の第１分布から、利用対象の利用状況についての所定現象を分析する分析装置と、を備え、感情推定装置は、第１分布と所定現象の発生との相関係数の絶対値が第１所定値以上になるように第１感情領域が区分されているものである。
このように構成された評価システムによれば、商品やサービスなどの利用対象を利用者が利用するときに発声する第１分析対象音声を用いて、利用対象の利用状況の所定現象が分析され、それにより、利用状況が評価される。その際に、感情推定装置によって、第１分析対象音声の複数のパラメータの値から、その利用者が第１感情を表意した第１感情表意話者か、第１感情を表意しなかった第１感情非表意話者かが推定される。そして、推定された第１感情表意話者と第１感情非表意話者の第１分布に基づいて、分析装置によって、利用対象の利用状況の所定現象が分析される。そのため、利用者の思惑による評価結果の歪みを抑えて利用状況を評価することができる。その際、第１分布と所定現象の発生との相関係数の絶対値が第１所定値以上になるように第１感情領域が区分されていることから、所定現象が直接かつ容易に分析できる。

この評価システムにおいて、感情推定装置は、複数の感情領域のうちの第２感情領域に第２分析対象音声がマッピングされるか否かによって、第２感情を表意した第２感情表意話者と表意しなかった第２感情非表意話者との推定を行ない、分析装置は、感情推定装置の推定結果に基づく第１分布に、感情推定装置の推定結果に基づく第２感情表意話者及び第２感情非表意話者の第２分布を加味して所定現象を分析し、感情推定装置は、第２分布と所定現象の発生との相関係数の絶対値が第２所定値以上になるように第２感情領域が区分されている、ものであってもよい。このように構成されることにより、所定現象の分析に際して第１感情表意話者と第１感情非表意話者の第１分布と第２感情表意話者と第２感情非表意話者の第２分布を組み合わせられ、組み合わせによって生まれるバリエーションから評価内容に適するものを選べるようになる。

この評価システムにおいて、感情推定装置は、第１分析対象音声として利用対象に関連する第１キーワード、第１キーフレーズ又は第１キーセンテンスと第２キーワード、第２キーフレーズ又は第２キーセンテンスとを用い、第１キーワード、第１キーフレーズ又は第１キーセンテンスと第２キーワード、第２キーフレーズ又は第２キーセンテンスとで第１感情領域の範囲を異ならせる、ものであってもよい。このように構成されることにより、第１キーワード、第１キーフレーズ又は第１キーセンテンスと第２キーワード、第２キーフレーズ又は第２キーセンテンスが音声的に異なるものであっても、類似の感情を持って発声されたときには類似の感情領域に分類しやすくなる。

この評価システムにおいて、感情推定装置は、複数のパラメータとして、イントネーション、音声波形及びボリュームを用いる、ものであってもよい。このように構成されることにより、利用状況の所定現象の分析に大きな影響を与える第１感情表意話者と第１感情非表意話者の推定が簡単に実現できる。
この評価システムにおいて、分析装置は、所定現象を、第１感情表意話者の割合に基づいて分析する、ものであってもよい。このように構成されることにより、第１感情表意話者の割合を用いて、所定現象を直接簡単に分析することができる。

この評価システムにおいて、感情推定装置は、第１分析対象音声として利用対象に関連する第１キーワード、第１キーフレーズ又は第１キーセンテンスと第２キーワード、第２キーフレーズ又は第２キーセンテンスとを用い、分析装置は、第１キーワード、第１キーフレーズ又は第１キーセンテンスと第２キーワード、第２キーフレーズ又は第２キーセンテンスとで異なる重みを付けて利用対象の利用状況を分析する、ものであってもよい。このように構成されることにより、似通った利用者感情で第１キーワード、第１キーフレーズ又は第１キーセンテンスと第２キーワード、第２キーフレーズ又は第２キーセンテンスとが発声されても第１キーワード、第１キーフレーズ又は第１キーセンテンスと第２キーワード、第２キーフレーズ又は第２キーセンテンスとの意味内容の違いを重み付けによって分析に反映させることができ、利用状況の分析の内容や精度を向上させ易くなる。

この評価システムは、不特定複数の利用者の分析対象音声をコーザル情報、収録時間及び収録場所のうちの少なくとも一つと関連付けて記憶する記憶装置をさらに備え、感情推定装置は、記憶されたコーザル情報、収録時間及び収録場所のうちの少なくとも一つに応じて第１感情領域の区分を異ならせる、ものであってもよい。このように構成されることにより、コーザル情報、収録時間及び収録場所のうちの少なくとも一つが利用者感情に与える影響を反映した推定を感情推定装置が行なうことができ、現実の利用状況の分析の内容や精度を向上させ易くなる。

この評価システムは、不特定複数の利用者の分析対象音声をコーザル情報、収録時間及び収録場所のうちの少なくとも一つと関連付けて記憶する記憶装置をさらに備え、分析装置は、記憶されたコーザル情報、収録時間及び収録場所のうちの少なくとも一つに応じて第１分布に異なる重みを付けて利用対象の利用状況を分析する、ものであってもよい。このように構成されることにより、コーザル情報、収録時間及び収録場所のうちの少なくとも一つが利用状況に与える影響の大小を反映した分析を分析装置が行なうことができ、現実の利用状況の分析の内容や精度を向上させ易くなる。

この評価システムは、不特定複数の利用者の分析対象音声をコーザル情報、収録時間及び収録場所のうちの少なくとも一つと関連付けて記憶する記憶装置をさらに備え、分析装置は、記憶されたコーザル情報、収録時間及び収録場所のうちの少なくとも一つに応じて変化する、第１感情表意話者と第１感情非表意話者の分布変化に基づいて利用対象の利用状況を分析する、ものであってもよい。このように構成されることにより、コーザル情報、収録時間及び収録場所のうちの少なくとも一つが第１感情表意話者と第１感情非表意話者の分布変化に与える影響から利用状況の分析を分析装置が行なうことができ、現実の利用状況の分析の内容や精度を向上させ易くなる。

この評価システムにおいて、感情推定装置は、利用対象を利用する不特定複数の利用者の関係者の分析対象補助音声について感情マッピング空間に割り付けられた補助感情領域に、関係者の分析対象補助音声がマッピングされるか否かによって、補助感情を表意した補助感情表意話者と表意しなかった補助感情非表意話者との推定を行ない、分析装置は、補助感情表意話者に関係する第１分布を補正する、ものであってもよい。このように構成されることにより、関係者が利用者に与える影響を反映させて利用状況の分析を分析装置が行なうことができ、現実の利用状況の分析の内容や精度を向上させ易くなる。

本発明の一見地に係る評価方法は、音声の特徴を分析するための複数のパラメータを座標軸にとった２次元以上の感情マッピング空間に割り付けられた複数の感情領域のうちの第１感情領域に、利用対象を利用する不特定複数の利用者の第１分析対象音声がマッピングされるか否かによって、第１感情を表意した第１感情表意話者と表意しなかった第１感情非表意話者との推定を行なう感情推定ステップと、感情推定ステップの推定結果に基づく第１感情表意話者及び第１感情非表意話者の第１分布から、利用対象の利用状況についての所定現象を分析する分析ステップと、を備え、感情推定ステップでは、第１分布と所定現象の発生との相関係数の絶対値が所定値以上になるように区分されている第１感情領域を用いて推定を行なうものである。
このように構成された評価方法によれば、商品やサービスなどの利用対象を利用者が利用するときに発声する第１分析対象音声を用いて、利用対象の利用状況の所定現象が分析され、それにより、利用状況が評価される。その際に、感情推定ステップにおいて、第１分析対象音声の複数のパラメータから、その利用者が第１感情を表意した第１感情表意話者か、第１感情を表意しなかった第１感情非表意話者かが推定される。そして、推定された第１感情表意話者と第１感情非表意話者の第１分布に基づいて、分析ステップによって、利用対象の利用状況の所定現象が分析される。そのため、利用者の思惑による評価結果の歪みを抑えて利用状況を評価することができる。その際、第１分布と所定現象の発生との相関係数の絶対値が所定値以上になるように第１感情領域が区分されていることから、所定現象が直接かつ容易に分析できる。

本発明の評価システム又は評価方法によれば、利用対象の利用状況を容易に評価することができる。

一実施形態に係る評価システムの概要を示すブロック図。 評価システムの具体的な構成の一例を示すブロック図。 一実施形態に係る評価方法の概要を示すフローチャート。 評価システムで評価される利用対象の一例を示す概念図。 感情推定装置で用いられる音声波形の一例を示すグラフ。 （ａ）ある感情での発声のボリュームを説明するためのグラフ、（ｂ）他の感情での発声のボリュームを説明するためのグラフ。 （ａ）ある感情での発声のイントネーションを説明するためのグラフ、（ｂ）他の感情での発声のイントネーションを説明するためのグラフ。 音声波形とイントネーションとボリュームとを用いた感情領域の区分を説明するためのグラフ。 利用状況と感情領域の区分との関係を説明するためのグラフ。 （ａ）第１感情表意話者数の割合とリピート率との相関を説明するためのグラフ、（ｂ）各感情表意話者数の割合の分布の一例を示すグラフ。 利用状況の評価方法の一例を説明するための概念図。 評価システムで評価される利用対象の他の例を示す概念図。 感情領域の範囲の設定について説明するためのグラフ。 （ａ）話者属性情報によって分類されるグループの一例を示す概念図、（ｂ）場所属性情報によって分類されるグループの一例を示す概念図、（ｃ）コーザル情報によって分類されるグループの一例を示す概念図、（ｄ）収録時間によって分類されるグループの一例を示す概念図。 相対的な評価方法の概要を示すフローチャート。 感情領域の区分の他の例を説明するための概念図。

（１）評価システムの構成
図１には、本発明の一実施形態に係る評価システムの構成が示されている。
図１に示されている評価システム１は、音声収録装置２と、記憶装置３と、音声認識装置４と、マーケティング調査データ抽出装置５と、感情推定装置６と、分析装置７とを備えている。
評価システム１は、音声収録装置２により、収録場所を特定して音声を収録する。音声収録装置２で、音声収録装置２により収録される音声が電気信号に変換され、記憶装置３に記憶可能な収録データが生成される。収録データは、音声収録装置２から記憶装置３に送信され、記憶装置３に記憶される。音声信号は、所定間隔（例えば２０秒毎）で時間のタグが付加されており、何時何分に録音されたものであるかが識別できるようになっている。
記憶装置３には、収録データ３１ａ及び収録データ３１ａの位置情報３１ｂを含むビッグデータ３１以外に、調査用辞書３２と、話者属性情報３３と、収録場所の場所属性情報３４と、コーザル情報３５と、テキストデータ３６とが記憶されている。なお、音声信号に付されていた時間のタグは、収録データ３１ａにも付加されている。

音声認識装置４は、記憶装置３に記憶されている収録データ３１ａ及び位置情報３１ｂを取得して、収録データ３１ａの音声認識を行なう。音声認識により、単なる音声を示す収録データ３１ａが、言葉（話している内容）に対応付けられ、テキストデータに変換される。この評価システム１では、収録場所で収録する調査対象者を限定する必要がなく、不特定複数の話者が調査対象者となる。そのため、音声認識装置４で収録データ３１ａが音声認識されると、不特定複数の話者の音声が話者ごとに区別され、話者別にテキストデータが生成される。以下、この話者を区別して生成されるテキストデータを話者別のテキストデータという。このテキストデータにも収録データ３１ａに付されていた時間のタグは引き継がれる。
この音声認識装置４が音声認識を行なうときも音声認識用辞書４１を参照する。音声認識装置４が音声認識の際に参照する音声認識用辞書４１は、上述の調査用辞書３２とは別に準備されるものである。なお、ここでは、記憶装置３に音声認識用辞書４１が記憶される場合について示しているが、音声認識用辞書４１は音声認識装置４が保持していてもよい。

ところで、収録場所は、一つに限られるものでなく、複数であってもよい。また、複数の収録場所が設定され、異なる時間に複数の収録場所で音声の収録が行なわれてもよく、同時に複数の収録場所で音声の収録が行なわれてもよい。そのため、音声認識の対象としている収録データが、どの収録場所で収録されたものであるかを区別するために収録場所を特定することを目的に位置情報３１ｂがテキストデータに関連付けられる。音声認識装置４で位置情報３１ｂが関連付けられたテキストデータ３６が音声認識装置４から記憶装置３に送信されて記憶される。

記憶装置３に記憶されているテキストデータ３６は、収録場所で不特定複数の話者が話した文（センテンス）や句（フレーズ）や語（ワード）の集合体である。これらの膨大な数の文や語句の中には、マーケティング調査に役立つ情報を含むものと役立つ情報を含まないものとがある。これら膨大な数の文や語句をマーケティング調査の担当者が一つ一つ選別するという方法も考えられる。しかし、収録データが膨大であると、そのような担当者による選別は不合理である。そこで、テキストデータ３６の中からマーケティング調査に使用するマーケティングテキストデータの抽出がマーケティング調査データ抽出装置５において行なわれる。

例えば、ローラーコースターで、「キャー」（感動詞）という叫び声から、ローラーコースターの利用者の感情を推察することが行なわれるが、そのためには、利用者が発する様々な音声の中から「キャー」という語句を拾わなければならない。そのために、マーケティング調査データ抽出装置５は、各話者のテキストデータ３６から「キャー」という感動詞を抽出する。

マーケティング調査データ抽出装置５は、マーケティングテキストデータを抽出する準備として調査用辞書３２を取得する。次に、マーケティング調査データ抽出装置５は、調査用辞書３２を用いてテキストデータ３６を解釈してマーケティングテキストデータを抽出する。マーケティング調査データ抽出装置５は、例えば、テキストデータ３６に含まれている「キャー」という文を、マーケティングテキストデータとして記憶装置３のマーケティングテキストデータファイル３９に蓄積する。
また、マーケティング調査データ抽出装置５は、記憶装置３に蓄積されるマーケティングテキストデータに対して、話者属性情報３３や場所属性情報３４やコーザル情報３５などの関連付けを行なう。
マーケティング調査データ抽出装置５が記憶装置３に蓄積したマーケティングテキストデータファイル３９を使って、感情推定装置６は、収録データ３１ａから「キャー」という肉声の録音データを取得する。そして、感情推定装置６は、ローラーコースター（利用対象の一例）を利用する不特定複数の利用者の「キャー」という叫び声（第１分析対象音声の一例）について、イントネーション、音声波形及びボリュームを用いて区分される第１感情領域を含む複数の感情領域のいずれに分析対象音声を発したときの利用者感情が当て嵌まるかを推定する。感情推定装置６で行なわれる推定の具体例については後述する。
次に、分析装置７が、第１感情領域に含まれる分析対象音声を発した不特定複数の利用者（以下、第１感情表意話者という）を特定する。同時に、分析装置７が、第１感情領域に含まれる分析対象音声を発しなかった不特定複数の利用者（以下、第１感情非表意話者という）を特定する。そして、第１感情表意話者と第１感情非表意話者の分布（第１分布）に基づいて、利用対象を利用した利用者感情が利用対象の利用状況に与える影響を分析装置７が分析する。分析装置７で行なわれる分析の具体例については後述する。
マーケティングデータ解析装置８は、分析装置７の分析結果に基づいて、調査項目に関係する顧客などの行動や関心や満足度などを数値化したり、明文化したりするマーケティング分析を行なう。例えば、マーケティングデータ解析装置８で満足度の共分散分析が行なわれ、満足度への影響要因をアトラクション（遊具）の運転の開始点から終了点までの時系列で把握することが行なわれる。

（２）評価システムを構成する各装置
（２−１）音声収録装置
音声収録装置２には、２つのタイプがある。１つ目は、一つのマーケティング調査における音声収録中は移動されない固定型の音声収録装置２Ａであり、２つ目は、一つのマーケティング調査における音声収録中に移動される携帯型の音声収録装置２Ｂである。
音声収録装置２Ａは、本体部２１と情報入力装置２２と固定具２３とを備えている。本体部２１は、マイクロフォンなどの音声入力部と音声を電気信号に変換して音声信号を生成する変換部、音声信号を記憶するメモリチップなどの記録媒体などを有している。情報入力装置２２は、例えばタッチパネルやキーボードなどであり、収録位置の入力に用いられる。本体部２１は、音声収録が終了するまで三脚などの固定具２３によって所定の箇所に固定される。

音声収録装置２Ｂは、本体部２４とＧＰＳ（Global Positioning System）２５とを備えている。本体部２４は、マイクロフォンなどの音声入力部と、音声を電気信号に変換して音声信号を生成する変換部と、収録データを記憶するメモリチップなどの記録媒体などを有している。ここで、収録データには、音声信号以外に音声信号が収録された時間を示す時間のタグ及び収録場所の位置情報が記録されている。ＧＰＳ２５は、本体部２４から音声収録を実施していることを示す信号を受け取ると、音声収録中の収録場所の位置を示す収録位置信号を生成する。そのため、音声収録装置２Ｂは、収録位置を変更しても収録場所の位置を自動的に記憶装置３に与えることができる。
また、音声収録装置２Ａ，２Ｂ以外に、ワイヤレスマイクロフォン２Ｃを音声収録装置２とすることもできる。例えば、利用者Ｕ１がローラーコースターなどの移動物体に乗車している場合に、その利用者Ｕ１に対しては音声収録装置２Ａ，２Ｂでの音声収録ができない場合が生じる。そのような利用者Ｕ１の話を収録するために、利用者Ｕ１にワイヤレスマイクロフォン２Ｃを装着して使用することができる。ワイヤレスマイクロフォン２Ｃは、例えば音声を収録するために話者に装着される小型の受話送信器２６と受話送信機からの無線信号を受信する受信機２７とで構成される。ワイヤレスマイクロフォン２Ｃで収録される収録データは、音声収録装置２Ａ，２Ｂで収録される収録データに付属させてもよく、それらとは区別してメモリチップに記憶されるように構成してもよい。

（２−２）記憶装置
記憶装置３には、音声収録装置２Ａ，２Ｂやワイヤレスマイクロフォン２Ｃの記録媒体に記録されている音声信号を読み取る読取装置１０２（図２参照）が設けられている。読取装置１０２は、読み取った収録データ３１ａを記憶装置３のビッグデータ３１に蓄積する。このとき同時に、音声収録装置２Ａ，２Ｂやワイヤレスマイクロフォン２Ｃの記録媒体に記録されている収録場所を示す信号を読み取って、収録場所の物理的な位置を収録データ３１ａと関連付けて位置情報３１ｂとして記憶する。
また、記憶装置３には、マーケティング調査の調査項目に適した調査用辞書３２が記憶されている。調査用辞書３２には、例えば、調査項目に適した語句が記述されており、また、主語がない文や指示代名詞が主語となっている文の解釈の仕方が記述されている。

また、記憶装置３には、話者属性情報３３と、場所属性情報３４と、コーザル情報３５と、テキストデータ３６とが記憶される。話者属性情報３３は、話者の性別や年齢など話者個人の性質や特徴である。話者属性情報３３は、音声認識装置４が音声認識の際に認識する情報であり、これらの認識には既存の音声認識技術が用いられる。場所属性情報３４は、収録場所で行なわれる調査項目や位置を関連付ける情報である。例えば、遊園地のアトラクションを調査する場合であれば、アトラクションに関連するエリアの位置を記した地図と、調査項目である各エリアのアトラクションとが関連付けられているものである。例えば、同じアトラクションに属するエリアでも、アトラクションからの距離によってエリアごとに重み付けがなされているような地図であってもよい。このように、その場所についての調査項目との関連の深さなども場所属性情報３４に含まれる。このような重み付けを行なうことで、携帯型の音声収録装置２Ｂやワイヤレスマイクロフォン２Ｃで音声を収録する場合に、音声が収録された場所によってマーケティングテキストデータの重要性の判断を異ならせることができる。コーザル情報３５とは、価格以外で商品の販売数に影響を与える環境情報である。コーザル情報３５には、例えば季節、天候、時間などの利用対象を提供する者の自らの意思とは無関係に発生するイベントに関する情報と、セールの実施やチラシの配布など自らの意思決定によって発生が管理できるイベントに関する情報が含まれる。コーザル情報３５のうちの時間情報３５ａは、単なる時間ではなく、音声収録装置２が音声信号を収録した時間のタグとは異なるものである。例えば、遊園地のレストランの顧客について、朝、昼、夕方などに分けてマーケティング調査をしたい場合に、朝、昼、夕方などのどれに属するかは時間情報３５ａに照らして時間のタグを用いて判断される。例えば、時間情報３５ａに朝が開店から午前１０時まで、昼が午前１０時から午後２時まで、夕方が午後２時から閉店までという記述があり、レストランで収録される収録データ３１ａαは、朝の収録データと昼の収録データと夜の収録データに分類される。

（２−３）音声認識装置
音声認識装置４は、既存の音声認識技術によって、ヒトの話す音声言語をコンピュータによって解析し、話している内容を文字データとして取り出す装置である。音声認識装置４は、従来と同様に、音声認識のときに音声認識用辞書４１を使用する。この音声認識装置４は、収録場所の位置情報３１ｂを音声認識後のテキストデータ３６に関連付けて記憶装置３に出力する。また、この音声認識装置４は、複数の話者の会話を音声認識によって話者別に認識することができる。例えば、ＡさんとＢさんとＣさんの３人の会話が収録データ３１ａαに収録されている場合に、Ａさんが「ローラーコースター、楽しかったね。」、Ｂさんが「そうだね。」、Ｃさんが「次、コーヒーカップにしない？」、Ａさんが「いいよ。それじゃあ、行こうか。」と話したとすると、最初と最後の話者が同じで、次の話者とその次の話者は最初の話者とは別の人であるということを特定して認識できる。
また、音声認識装置４は、例えばＡさんが女性であることをその音声の周波数の分析から特定でき、さらに詳細には例えばホルマント周波数の違いから成人の男女を簡単に区別することができる。性別や年齢などの話者属性情報３３を収集することでマーケティング調査の価値が上がる。

（２−４）マーケティング調査データ抽出装置
マーケティング調査データ抽出装置５は、辞書取得部５１と、テキストデータ取得部５２と、マーケティングテキストデータ抽出部５３と、情報関連付け部５４とを備えている。
辞書取得部５１は、記憶装置３に記憶されている調査用辞書３２を取得する。また、辞書取得部５１の動作と並行して、テキストデータ取得部５２は、記憶装置３に記憶されているテキストデータ３６を取得する。

マーケティングテキストデータ抽出部５３は、テキストデータ取得部５２が取得したテキストデータ３６を、辞書取得部５１が取得した調査用辞書３２を用いて解釈し、マーケティング調査で使用するマーケティングテキストデータを膨大なテキストデータ３６の中から抽出する。
情報関連付け部５４は、マーケティングテキストデータ抽出部５３が抽出する各マーケティングテキストデータに話者属性情報３３と場所属性情報３４とコーザル情報３５とを関連付ける。話者属性情報３３として男性と女性の区別を関連付ける場合には、例えばマーケティングテキストデータ抽出部５３でテキストデータ３６の文が時系列の順に抽出対象となるよう処理するのであれば、それらの文に対応する男性と女性を識別する符号が文と同様に時系列の順に並べられる。このような場合には、情報関連付け部５４では、マーケティングテキストデータとして抽出されたテキストデータ３６に対応する文の男女別の符号のみを残す作業を行なうことで、マーケティングテキストデータに話者属性情報３３として男女の性別を関連付けることができる。

情報関連付け部５４は、テキストデータ３６に付されている時間のタグを用いて、コーザル情報３５をマーケティングテキストデータに付加する。例えば、○月○日の午後５時から午後６時に遊園地のぬいぐるみのパレードがあったのであれば、その期間の時間のタグを持つマーケティングテキストデータに『ぬいぐるみのパレード』を示す符号を情報関連付け部５４は付加する。この『ぬいぐるみのパレード』の情報を付加する際に、遊園地内の位置の情報によって付加するか否かを区別してもよい。また、○月○日の午前１０時から正午までは『雨』という情報がコーザル情報３５に記述されていれば、情報関連付け部５４は、マーケティングテキストデータが持つ時間のタグから○月○日の午前１０時から正午までに収録されたマーケティングテキストデータを特定して『雨』を示す符号を付加する。
マーケティングデータ解析装置８では、情報関連付け部５４で話者属性情報３３、場所属性情報３４及びコーザル情報３５が関連付けされているマーケティングテキストデータを用いてマーケティングに関する各種の分析が行なわれる。

（３）評価システムの具体的な構成例
評価システム１は、具体的には図２に示されているように、主に、音声収録装置２とパーソナルコンピュータ１００とによって構成される。パーソナルコンピュータ１００は、例えば、ＣＰＵ（中央演算装置）１０１と、読取装置１０２と、データ入力装置１０３と、メモリシステム１０４と、表示装置１０５と、印刷装置１０６とを備えている。
読取装置１０２は、音声収録装置２で収録された音声信号が記録されている記録媒体から収録データを読み取る。メモリシステム１０４には、データ入力装置１０３から入力されるソフトウェアが記憶される。メモリシステム１０４に記憶されているソフトウェアを実行することにより、図１に示されている記憶装置３、音声認識装置４、マーケティング調査データ抽出装置５、感情推定装置６、分析装置７及びマーケティングデータ解析装置８の各機能ブロックが実現される。表示装置１０５及び印刷装置１０６は、収録データの入力やデータ解析に必要な情報の入力を促すためディスプレイを使った表示、あるいはデータ解析結果などの情報のディスプレイを使った表示や用紙を使った印字などの出力を行なうための出力装置である。

（４）評価方法の説明
（４−１）評価方法の流れ
音声収録装置２及びパーソナルコンピュータ１００を使った評価方法について図３のフローチャートに沿って説明する。分かりやすく説明を行なうために、具体的に例を挙げて説明する。
図４に示されているように、ワイヤレスマイクロフォン２Ｃを使ってローラーコースター２００のマーケティング調査を行なうことを考える。調査対象のローラーコースター２００の車両２１０には、複数の利用者に対応して複数台の受話送信器２６が設置されている。また、受話送信器２６には、ＧＰＳ２５が取り付けられており、ローラーコースター２００の各エリアの位置情報を同時に送信できるように構成されている。

まず、ワイヤレスマイクロフォン２Ｃに、ローラーコースター２００に関する情報が情報入力装置２２を使って入力される（ステップＳ１）。
次に、ワイヤレスマイクロフォン２Ｃに、音声が収録される（ステップＳ２）。ワイヤレスマイクロフォン２Ｃの受話送信器２６の内部では、音声がマイクロフォンなどによって音声信号として取り込まれ、音声信号からコンピュータで読み取り可能な収録データに変換されてワイヤレスマイクロフォン２Ｃの受信機２７の内部にセットされているメモリチップなどに記憶される。ここでは、所定期間の音声収録が終了したワイヤレスマイクロフォン２Ｃのメモリチップを、パーソナルコンピュータ１００の読取装置１０２で読み取ることで、メモリシステム１０４に収録データ３１ａが読み込まれる。それにより、パーソナルコンピュータ１００の中に構築されている記憶装置３に収録データ３１ａが記憶される。この実施形態では読取装置１０２も記憶装置３の一部になっている。

次に、パーソナルコンピュータ１００のデータ入力装置１０３を使って場所属性情報３４及びコーザル情報３５などの属性情報が入力される（ステップＳ３）。ここでは、音声収録（ステップＳ２）の後に場所属性情報３４及びコーザル情報３５が入力される場合について説明しているが、音声の収録前に入力できるものは、音声の収録前（ステップＳ２よりも前）に入力されてもよい。
場所属性情報３４は、例えば、ローラーコースター２００を、それを構成する複数の場所に関する性質や特徴を示す情報であり、例えば、最初のブロックにはらくだの背のようなキャメルバックがあり、中間ブロックには宙返りをするような垂直ループがあり、最後のブロックには螺旋状に３６０度回転するコークスクリューがあるなどといった情報である。

コーザル情報３５は、例えば、日曜日と祝日の正午頃にぬいぐるみのパレードがあるなど、という情報である。コーザル情報３５は、収録日時を過ぎてからでないと入力できないものもあり、例えば天気や収録中に発生したアクシデントなどが収録日時を過ぎてからでないと入力できないコーザル情報である。
次に、収録されている収録データの音声認識が行なわれる（ステップＳ４）。ローラーコースター２００では、男性客よりもむしろ女性客や子供の反応が重要であるので、音声認識の際に、男性か女性か子供かといった話者属性情報３３もこのステップＳ４で認識される。この話者属性情報３３は、メモリシステム１０４に蓄積される。換言すれば、音声認識装置４から記憶装置３に話者属性情報３３が記憶されるということである。
次に、ステップＳ５からステップＳ８が利用対象を評価するステップである。これらのステップについては後ほど詳細に説明する。
最後に、ステップＳ５からステップＳ８で抽出される利用対象の評価結果を使ってデータ解析が行なわれる（ステップＳ９）。

（４−２）マーケティングテキストデータの抽出
マーケティングテキストデータの抽出を行なうために、まず、調査用辞書３２の取得が行なわれる。調査用辞書３２は、記憶装置３（メモリシステム１０４）に予め準備されている。
まず、音声収録装置２での収録に係るテキストデータ３６からマーケティングテキストデータの抽出が行なわれる。そのために、辞書取得部５１は、ワイヤレスマイクロフォン２Ｃでの収録に係る調査用辞書３２を記憶装置３から取得する。テキストデータ取得部５２がワイヤレスマイクロフォン２Ｃでの収録に係るテキストデータ３６を取得し、マーケティングテキストデータ抽出部５３で、調査用辞書３２を用いてテキストデータ３６の解釈が行なわれる。
ローラーコースター２００の車両２１０が走っているときは、乗客Ｕｇ１，Ｕｇ２…は、「キャー」などという叫び声しかあげないので、テキストデータ３６の意味の解釈の必要性は小さいが、遊園地内を移動する利用者の会話などを用いてマーケティングを行なう場合には、会話で語られている文や語句の内容を解釈して、マーケティングに用いるテキストデータを抽出するという作業が必要になる。例えば、遊園地の利用者にモニターになってもらい、入場から退場までの間、当該利用者の会話を全て録音するような場合などでは、マーケティング調査の時間を短縮するために、多くの不要なテキストデータを調査対象から外すことが行なわれる。

調査用辞書３２には、「キャー」という感動詞を抽出してローラーコースター２００のマーケティング調査に用いるという記述があるので、「キャー」というテキストデータがマーケティングテキストデータとして抽出される（ステップＳ５）。

（４−３）感情推定
次に、感情推定装置６によって、抽出されたマーケティングテキストデータから、その「キャー」という分析対象音声を発したときの乗客Ｕｇ１，Ｕｇ２…の利用者感情が推定される。
感情の推定は、例えば音声波形の差、ボリュームの差及びイントネーションの差を用いて行なわれる。商品を購入する顧客に対してアドバイスする友人の会話を例に採って、音声波形の差、ボリュームの差及びイントネーションの差について説明する。
図５に音声波形の一例が示されている。図５に示されているような生の音声波形を比較しても、音声波形の差を判別するのは難しい。しかし、音声波形の差は、例えば、高速フーリエ変換した後のパワースペクトラムの比較によって比較的容易に顕在化することができる。「今買うの？」という単なる疑問の場合と、止めた方がいいという気持ちで「今買うの？」という疑問を呈する場合とでは、後者の方が、音声波形のぶれる幅が大きくなる。そのため、ある特定の周波数に注目すると、そのパワーは、後者の方が大きくなる。ＦＦＴにより音声信号の中にどの周波数成分がどれだけ含まれるかが抽出されるので、パワーの大小の比較のために注目するのは、ある周波数ではなくて、ある周波数帯であってもよい。
次に、図６を用いてボリュームの比較について説明する。ボリュームの差は、例えば、会話の平均的な音量に対する分析対象音声の音量の比率を比較することによって容易に顕在化させることができる。「今買うの？」という単なる疑問の場合と、止めた方がいいという気持ちで「今買うの？」という疑問を呈する場合とでは、後者のボリュームが大きくなる傾向がある。図６（ａ）は、前者の単なる疑問を呈する音声を含む音声波形を表しており、図６（ｂ）は、後者の止めた方がいいという気持ちで発せられた音声を含む音声波形を表している。図６（ａ）における区間ＩＮ１及び図６（ｂ）における区間ＩＮ２で、分析対象音声が発せられている。例えば、「今買うの？」を含む前後の会話の平均的なボリュームに対するその大小の割合を比較すると、図６（ａ）における区間ＩＮ１ではその前後と同じような振幅（ボリューム）で話されているが、図６（ｂ）における区間ＩＮ２ではその前後に比べて振幅（ボリューム）が大きくなっている。
次に、図７を用いてイントネーションについて説明する。イントネーションの差は、単純な比較でも、容易にその差が顕在化する。「今買うの？」という単なる疑問の場合と、止めた方がいいという気持ちで「今買うの？」という疑問を呈する場合とでは、後者のイントネーションがかなり大きく変化する。図７（ａ）には、前者の単なる疑問を呈する音声のイントネーションが階段状のグラフで模式的に示されており、図７（ｂ）は、後者の止めた方がいいという気持ちで発せられた音声のイントネーションが階段状のグラフで模式的に示されている。「今買うの？」という単なる疑問の場合には、通常の疑問文と同様の通常のイントネーションであり、最後に少しピッチが高くなる。それに対して、止めた方がいいという気持ちで「今買うの？」という疑問を呈する場合には、イントネーションが強くなり、通常の疑問文よりもピッチの上がり方が大きくなる。

図８は、感情推定の方法を説明するためのグラフである。この図８は、説明のために示した仮想のグラフであり、必ずしも事実を正しく反映するものではない。図８には、５名の利用者ＵＡ，ＵＢ，ＵＣ，ＵＤ，ＵＥが発音した分析対象音声が示されている。つまり、利用者ＵＡが分析対象音声ＵＡ１，ＵＡ２，ＵＡ３を、利用者ＵＢが分析対象音声ＵＢ１，ＵＢ２，ＵＢ３を、利用者ＵＣが分析対象音声ＵＣ１，ＵＣ２，ＵＣ３を、利用者ＵＤが分析対象音声ＵＤ１，ＵＤ２を、利用者ＵＥが分析対象音声ＵＥ１，ＵＥ２を発音している。
同じような感情であっても、発声する語句や文が異なると、分析対象音声の音声波形やボリュームやイントネーションが当然に異なる。そのため、発声する語句や文が異なると、図８に示されているように音声波形やボリュームやイントネーションによりマッピングを行なっても、その分析対象音声を発したときの感情を推定することが難しくなる。
そのため、マーケティングの対象ごとに分析対象音声が特定される。上述のローラーコースター２００の場合には、例えば、「キャー」、「キャッ」あるいは「ギャー」などの感動詞が第１分析対象音声として、マーケティングテキストデータ抽出のステップＳ５で抽出される。これらは、同じような感情で発音されると、類似した音声波形とボリュームとイントネーションとを示す。

例えば、ローラーコースター２００を非常に喜んで利用している場合には、「キャー」、「キャッ」あるいは「ギャー」などの感動詞の分析対象音声は、図８の第１感情領域Ａｒ１若しくはその周囲に分布する傾向があるなどのような分析ができる。例えば、友人との付き合いで乗車したが少し退屈しているときにはイントネーションのピッチが語尾に向かって下がり気味になり、当該感動詞の分析対象音声の分布が第２感情領域Ａｒ２若しくはその周囲に集中するなどの分析ができる。例えば、ローラーコースター２００で非常な恐怖を感じているときには、当該感動詞の分析対象音声の分布が第３感情領域Ａｒ３若しくはその周囲に集中するなどの分析ができる。
図８に示されている音声波形の座標軸と、イントネーションの座標軸と、ボリュームの座標軸とは、利用者の個人差が出ないように例えば正規化されている。既に説明したボリュームの正規化であれば、例えば図６（ａ）の区間ＩＮ１のボリュームに対してその前後の所定区間の音声データ中の最大音量を特定し、特定した音量が目標の音量レベルに収まるように全体の音量を調整する。このような正規化や補正によって、地声の大きな利用者や普段から小声で話す利用者など、個人的な声の大きさの違い等により利用者感情の推定結果に生じる誤差が抑えられる。分析対象音声の音声波形やイントネーションなどについても、分析対象音声が発せられた前後の音声波形やイントネーションによって正規化したり、補正したりすることで、利用者感情の推定結果に生じる誤差が抑えられる。

（４−４）利用状況の分析
図８のようにマッピングされた第１分析対象音声の各感情領域には、利用状況のある側面（所定現象）と高い相関を示す場合がある。利用状況の所定現象についての具体的な例として、リピート率を考える。ここでは、リピート率として、ローラーコースター２００の全体の利用者のうち、所定期間内に、ローラーコースター２００を複数回利用する利用者の割合を考える。なお、所定期間は、１回の来園や１ヶ月や１年など、そのマーケティング調査の趣旨に沿って適当に設定されるが、以下では１回の来園を所定期間として説明する。
図９は、図８の５名の利用者ＵＡ，ＵＢ，ＵＣ，ＵＤ，ＵＥのうち、１回の来園で２回以上ローラーコースター２００に乗車した利用者ＵＡ，ＵＢを残し、リピートしなかった他の３名の利用者のデータを図８のグラフから削除したものである。図９を見ると、第１感情領域Ａｒ１に属するような第１感情を表意した利用者ＵＡ，ＵＢがリピータとなっていることが分かる。このように、リピートする利用者がどのような感情領域に属するような感情を表意するのかを予め検討しておけば、その感情領域に属するような利用者感情を表意した利用者の分布に基づいて、ローラーコースター２００という利用対象について、リピート率という利用状況の所定現象の分析が行なえる。

リピート率と第１感情領域に属する利用者感情の表意話者との関係について図１０を用いて説明する。具体的には、分析対象音声を収録して感情を推定するとともにアンケート調査などでリピート率を調べれば、図１０（ａ）に示されているような、リピート率と第１感情領域に属するような利用者感情を表意した利用者の数（以下第１感情表意話者数という）との関係を知ることができる。図１０（ａ）から、リピート率と第１感情表意話者数とは、高い正の相関（例えば相関係数が０．８など）があることが分かる。なお、ここで相関係数の値は、原則として−１以上１以下の実数で与えられる。図１０（ａ）のようなデータを予め得ておけば、リピートするような利用状況と相関係数の絶対値が第１所定値以上の第１感情表意話者である利用者ＵＡ，ＵＢの分布に基づいて、例えばローラーコースター２００のリピート率が４０％程度であるという分析が行なえる。例えば、半年後に分析対象音声を収録して、図１０（ｂ）に示されているような感情領域の分布を調べれば、第１感情領域の表意話者の数が減っていれば、リピートしたか否かのアンケート調査を行なわなくても、リピート率が減っている、あるいは近い将来リピート率が減ることが予想できる。
上述のように、リピート率などの利用状況の所定現象に対して影響する感情領域を決定する際には、例えば、相関係数が０．７以上のように、相関係数が第１所定値以上になる感情領域を区分して用いる。上述の場合には、このようにして決定された感情領域が第１感情領域である。図１０（ａ）には、第１感情表意話者数とリピート率との間に正の相関がある場合が示されているが、他の組合せで利用状況の所定現象に対して影響する感情領域を決定する場合、例えば負の相関係数が所定値以下（負の相関係数の絶対値が第１所定値以上）であってもよい。

利用状況の所定現象というのは、リピート率に限られるものではなく、適当に設定できるものである。それでは次に、利用状況の所定現象についての幾つかの例を紹介する。ローラーコースター２００を利用して、非常に満足した利用者ＵＡ，ＵＢは、自分がリピートするだけでなく、その友人や知人にこのローラーコースター２００を紹介したり、一緒に来園したときに乗車を薦めたりすることが考えられる。このような他者への紹介や推薦なども利用状況の所定現象の一つと捉えることができる。
また、ローラーコースター２００を満足しながら利用したとか、不満を抱きながら利用したというのも利用状況の所定現象の一つである。満足するとか、不満を抱くという利用者の評価の形成には、単に楽しかったとか、怖かったとかいう感情以外に、利用料が高かったとか、従業員の対応が悪かったとか等の他の要因も大きく影響する。しかし、楽しいと感じた利用者が満足しやすいとか、つまらないと感じた利用者が不満を抱きやすいといった傾向があることも事実である。従って、例えばＪＣＳＩなどに準拠したアンケート調査などで顧客満足度を数値化する一方、その指標と比較的相関の高い感情領域との関係を調べておけば、満足度や不満度といったものも利用状況の所定現象として各感情領域の表意話者の分布に基づいて分析することができる。このように満足度や不満度といった利用状況の所定現象を分析することによって、ローラーコースター２００の顧客満足度などを評価することができる。

（４−５）利用対象の絶対的な評価
上述のように、一つの感情領域、例えば第１感情領域の分布だけを用いて利用対象を評価することができる。しかし、利用対象の評価をもう少し一般化して示すと、図１１の概念図に示されているようになる。
図１１において、左端の円ＣＰ１が分析対象音声を示しており、円ＣＰ１の右隣の四角ＣＰ２が各分析対象音声ａ１〜ａ９の属するキーワードを示しており、四角ＣＰ２の右隣の楕円ＣＰ３が感情領域に属する感情を示しており、楕円ＣＰ３の右隣にある円ＣＰ４が分析対象音声に与える外乱を示しており、右端の四角ＣＰ５が総合的な評価結果を示している。分析対象音声ａ１〜ａ９は、例えばローラーコースター２００のような同一の利用対象について９名の異なる利用者がそれぞれ発声した分析対象音声であってもよい。また、分析対象音声ａ１〜ａ９は、例えばローラーコースター２００及びそれ以外の異なる利用対象について同一の利用者がそれぞれ発声した分析対象音声であってもよい。さらに、分析対象音声ａ１〜ａ９は、異なる利用対象について異なる利用者がそれぞれ発声した分析対象音声であってもよい。音声収録装置２を使ってどのような分析対象音声を収録するかは、マーケティング調査に応じて適宜決められるものである。

四角ＣＰ２に記載されているキーワードｋｗ１〜ｋｗ９は、同じものであってもよく、あるいは異なるものであってもよい。例えば、キーワードｋｗ１〜ｋｗ９は、全てローラーコースター２００において乗客が発声した「キャー」などの感動詞であってもよい。また、例えば、キーワードｋｗ１が遊園地内で発声された「面白い」という語であり、キーワードｋｗ９が遊園地内で発声された「休憩しようか」という語句であるなど、互いに異なるものであってもよい。
楕円ＣＰ３に記載されている「喜」、「怒」、「哀」、「楽」の利用者感情は、一つの例であり、それら以外に例えば驚きと喜びが交じり合ったような感情であってもよい。例えば、上述の第１感情領域Ａｒ１に属する利用者感情が「喜」というように分類されてもよい。楕円ＣＰ３に記載されている利用者感情は、必ずしも従来から命名されている感情である必要はなく、例えば図８に示されている音声波形とイントネーションとボリュームの３つの座標軸を持つ感情マッピング空間の一部を占める所定領域に属するものであればよい。
円ＣＰ４は、評価に影響を与える任意の外乱を示している。図１２を用いて外乱の一つの具体例を示す。図１２には、遊園地のアトラクションの一つであるコーヒーカップ３００に２名の子供の乗客Ｕｇ３，Ｕｇ４が乗っている状況が示されている。そして、子供の乗客Ｕｇ３，Ｕｇ４が保護者ＧＵにより見守られている。ここでは、リピートするような喜び方を子供の乗客Ｕｇ３，Ｕｇ４がしているものとする。しかしこのとき、保護者ＧＵは、コーヒーカップ３００で子供が遊んでいる期間中待っているのに疲れて、乗客Ｕｇ３，Ｕｇ４がコーヒーカップ３００に再度乗りたいと頼んでも、その頼みを聞き入れないことがある。この場合、保護者ＧＵの行為が外乱ｂ１に該当する。外乱は、このように明確に分かる場合だけでなく、例えば「雨が降った」というコーザル情報の対象になっている要因を含む場合もある。

図１１のキーワードｋｗ１，ｋｗ２が例えば異なるものであっても、同一の利用者感情を示すことはあり得ることである。例えば、キーワードｋｗ１がローラーコースター２００に乗車しているとき等に発声される「キャー」という感動詞で第１感情領域Ａｒ１（図１３参照）に属する歓喜の感情を示しており、キーワードｋｗ２がローラーコースター２００から降車したとき等に発声される「凄かった」という語句で第１感情領域Ａｒ１１（図１３参照）に属する歓喜の感情を示しているなどである。この場合のキーワードｋｗ１，ｋｗ２は、内容が異なるために、同じ第１感情領域に属する歓喜の感情を示しているものの、区分される範囲が異なる第１感情領域Ａｒ１と第１感情領域Ａｒ１１とにそれぞれ属するものとなっている。このようにキーワードについての発声が異なる場合には、同じ第１感情を示す第１感情領域Ａｒ１，Ａｒ１１であっても、上述のように感情領域の範囲を異ならせてもよい。

上述のように、「キャー」という感動詞と、「凄い」という形容詞では、その持つ意味が異なる。従って、似たような感情でこれらのキーワードが発せられたとしても、利用状況を評価する上でそれらの持つ重要性が異なる場合がある。例えば、楕円ＣＰ３の「喜」という感情表意話者数を使ってリピート率についての総合的な評価結果を出す場合、「キャー」というキーワードを「喜」の感情で発声した場合のリピート率との相関係数が０．７と仮定し、「凄い」というキーワードを「喜」の感情で発声した場合のリピート率との相関係数が０．８と仮定する。この場合、例えば「キャー」と言った「喜」の感情表意話者数に０．７を掛け、「凄い」と言った「喜」の感情表意話者数に０．８を掛けて、両方の積を平均してもよい。このような重み付けを行なうことで、より現実に近い評価を行なうことができる場合がある。

また、別の局面では、異なる感情領域の表意話者の分布に基づいて総合的な評価結果を出してもよい。例えば、図８の第１感情領域Ａｒ１に「喜」の利用感情を示す分析対象音声が属し、第２感情領域Ａｒ２に「怒」の利用者感情を示す分析対象音声が属するものと仮定する。また、第１感情領域Ａｒ１に属する利用者感情を示す者の割合とリピート率との間に正の高い相関があり、第２感情領域Ａｒ２に属する利用者感情を示す者の割合（第２分布の一例）とリピート率との間に負の高い相関（第２分布とリピート率との相関係数の絶対値が第２所定値以上になる相関）があると仮定する。
このような仮定をおいた場合、上述のように第１感情領域Ａｒ１に属する利用者感情を示した第１感情表意話者数だけでリピート率を評価したのでは不十分であり、第１感情表意話者数で評価されるリピート率を、第２感情表意話者数で補正した方が良いことは容易に想像できる。上述の評価では、５名の利用者ＵＡ，ＵＢ，ＵＣ，ＵＤ，ＵＥのうち２名の利用者ＵＡ，ＵＢがリピートするので、図８のような分布が得られたときにはリピート率を例えば４０％とした。しかし、第２感情表意話者である利用者ＵＢがリピートしない可能性があるため、利用者ＵＢのような状況でリピートしない確率が５０％であるとすると、その分を差し引いて例えばリピート率を３０％と評価する。
ここでは、「喜」と「怒」の感情表意話者を例に挙げて説明したが、「哀」や「楽」などの他の感情表意話者となっているか否かを考慮して総合的な評価結果を導くこともできる。それぞれの感情表意話者の影響を考慮する際に、共分散構造分析を行なうことによって因果関係を同定してもよい。上述の「喜」と「怒」のように直接リピート率に寄与するものではなく、間接的に寄与する場合であってもその寄与を考慮することができる。
例えば、同一の利用者が２回「喜」の感情を示したときに、その２回の「喜」の間に「楽」の感情を示すと、よりリピート率が高まるといった場合である。そのような場合には、「喜」「楽」「喜」の順に利用者感情を表意した者を区別して評価することもできる。

図１４には、感情推定装置と分析装置でその推定や分析を異ならせる場合の例が４つ示されている。図１４（ａ）には、話者属性情報３３によって分類された「子供」、「１０代女性」、「２０代女性」、「シニア」及びそれら以外の「男性」の５つのグループが示されている。例えば、「１０代女性」では感情を素直に声に出して表現するが、「男性」の場合には世間体を気にして素直に声に出して表現しないなどの感情表現の違いが考えられ、グループ毎に感情を推定するときの範囲を細かく変更することで、感情の推定精度を向上させることができる。また、「１０代女性」と「２０代女性」では、収入の有無によって来園時に消費する金額も異なることから、似たような感情を示しても、例えばリピート率が異なることがある。このような話者の環境の違いなどを考慮して評価の仕方をグループ毎に異ならせてもよい。
図１４（ｂ）には、場所属性情報３４によって分類された「キャメルバックブロック」、「垂直ループブロック」及び「コークスクリューブロック」の３つのグループが示されている。どのブロックで分析対象音声が発声されたかによってこれらのうちのどのグループに属するかが分類される。受話送信器２６にはＧＰＳ２５が取り付けられているので、どのブロックで分析対象音声が発せられたかが関連付けて記憶できるようになっている。例えば、体の姿勢によって発音が異なったり、どのブロックで「喜」の感情を示すかによってリピート率などの利用状況の所定現象の評価に差が生じたりすることがあるので、そのような場合には適宜修正することができる。ここでは、乗車した状態での位置情報の違いを示しているが、例えば降車した後にローラーコースター２００などの利用対象からの距離に応じて修正するようにしてもよい。ローラーコースター２００で形成された感情も距離が遠くなるほど薄められることが予想されるが、遠く離れてもその感情が維持されるということを勘案して強い感情という判断を行なうこともできる。
図１４（ｃ）には、コーザル情報３５によって分類された「うさぎのぬいぐるみ同乗」と「効果音の放送」の２つのグループが示されている。コーザル情報３５としては、このようなイベントの違い以外にも気温や天候など種々のものがある。このようなコーザル情報３５に合わせて感情推定や分析の仕方を修正することができる。
図１４（ｄ）には、収録時間によって分類された「日曜・祝日」、「ゴールデンウィーク」及び「平日」の３つのグループが示されている。これら以外にも、「朝」、「昼」及び「夕方」など収録時間の他の切り口で分類することもできる。そして、このように収録時間によって分類されるグループ間で感情推定や分析に違いを設けることもできる。

（４−６）利用対象の相対的な評価
上述の（４−５）で説明した評価は、利用対象の所定現象についてのアンケートとその利用対象に対する利用者感情との関連データの収集などとに基づいてその利用対象を直接的に評価するものである。このような利用対象の絶対的な評価だけでなく、遊園地内の異なるアトラクションや異なる遊園地間の同じアトラクションの評価など、任意のアトラクションを基準として他のアトラクションを評価することもできる。
図１５に２つの異なる遊園地Ａ，Ｂのローラーコースターの相対的な評価方法の簡単なフローが示されている。遊園地Ａのローラーコースターの評価は、既に説明したように、例えば図３に示されているようなフローに沿って行なわれる。このとき、ローラーコースター２００の評価において、ノルム値を決定する（ステップＳ１１）。例えば、ローラーコースター２００のリピート率であれば、リピート率と相関の高い第１感情表意話者の割合について、平均値、中央値あるいは最頻値等の統計量を用いてノルム値を決定する。
次に、遊園地Ｂのローラーコースターについて図３に示したと同様の方法で評価を行なう（ステップＳ１２）。
最後に、遊園地Ｂのローラーコースターの評価結果とノルム値とを比較して、遊園地Ａのローラーコースター２００よりも、遊園地Ｂのローラーコースターのリピート率の方が高いか否かを比較して、その違いの有無を検討する（ステップＳ１３）。このような相違の有無については、例えば統計における有意差の有無を用いて判定することができる。

（５）実施形態の作用効果
（５−１）
上述のように、評価システム１では、ローラーコースター２００やコーヒーカップ３００（サービスの利用対象の例）を乗客Ｕｇ１，Ｕｇ２，Ｕｇ３，Ｕｇ４（利用者の例）が利用するときに発声する「キャー」などの感動詞（第１分析対象音声の一例）を用いて、ローラーコースター２００やコーヒーカップ３００の利用状況のリピート率（所定現象の一例）が分析され、それにより、利用状況が評価される。その際に、感情推定装置６によって、「キャー」という利用者の肉声（第１分析対象音声の一例）が第１感情領域Ａｒ１に入るか否かから、その利用者が第１感情表意話者か第１感情非表意話者かが推定される（ステップＳ６）。図１０（ａ）に示されているように、第１感情表意話者数の割合（第１分布の一例）とリピート率（所定現象の発生）との相関係数の絶対値が第１所定値以上になるように第１感情領域Ａｒ１が区分されている。そして、図１０（ｂ）に示されているように、推定された第１感情表意話者と第１感情非表意話者の分布に基づいて、分析装置７によって、ローラーコースター２００やコーヒーカップ３００の利用状況のリピート率が分析される（ステップＳ７）。上述のように、第１感情領域Ａｒ１についての第１感情表意話者と第１感情非表意話者の分布の簡単な例が第１感情表意話者の全体に占める割合や第１感情非表意話者の全体に占める割合といったものになる。この場合、ローラーコースター２００のリピート率を第１感情領域Ａｒ１に属する利用者感情によって直接簡単に分析することができる。
以上説明したように、評価システム１は、乗客Ｕｇ１，Ｕｇ２，Ｕｇ３，Ｕｇ４の思惑による評価結果の歪みを抑えて利用状況を評価することができる。ここでいう思惑とは、例えば、交通渋滞などで遊園地に着くまでの負の顧客価値の形成など、本来利用対象によって与えられる顧客価値とは無関係であるものの利用対象の顧客価値に影響を及ぼす要因である。このようにローラーコースター２００やコーヒーカップ３００の利用状況を容易に評価することができる評価システム及び評価方法を提供することができる。
また、上述の実施形態では、利用対象として、ローラーコースター２００やコーヒーカップ３００などのアトラクションによるサービスを例に挙げて説明したが、利用対象は商品であってもよい。また、利用者には、商品やサービスを使用する使用者（ユーザー）だけでなく、商品やサービスなどを選択する購買者（バイヤー）、及び商品やサービスに対して対価を支払う支払者（ペイヤー）などが含まれる。

（５−２）
上記実施の形態では、感情推定装置６は、第１感情領域Ａｒ１以外の第２感情領域Ａｒ２や第３感情領域Ａｒ３に当て嵌まるか否かを推定している。そして、分析装置７は、第１感情表意話者である利用者ＵＡ，ＵＢと、そのうちの第２感情表意話者である利用者ＵＢという分布に基づいてリピート率という利用状況の一所定現象について評価している。このように、第１感情表意話者と第１感情非表意話者と第２感情表意話者と第２感情非表意話者の分布を組み合わせることで、組み合わせによって生まれるバリエーションから評価内容に適するものを選べるようになる。

（５−３）
評価システム１において、第１キーワード、第１キーフレーズ又は第１キーセンテンスと第２キーワード、第２キーフレーズ又は第２キーセンテンスが音声的に異なるものである場合、例えば上述のように第１キーワードがローラーコースター２００に乗っているときの「キャー」という感動詞であり、第２キーワードがローラーコースター２００から降りたときの「凄い」という形容詞であるような場合が考えられる。このような場合には第１キーワードと第２キーワードの音声波形が全く異なるが、感情領域の範囲を異ならせることで、類似の感情を持って発声されたときには類似の感情領域に分類しやすくなる。

（５−４）
例えば、図８や図９を用いて説明したように、感情推定装置６は、感情マッピング空間を形成するための複数のパラメータとして、イントネーション、音声波形及びボリュームを用いている。このように構成されることにより、利用状況のリピート率の分析に大きな影響を与える第１感情表意話者と第１感情非表意話者の推定が簡単に実現できる。なお、上記実施形態では、イントネーション、音声波形及びボリュームの３つの次元を持つ感情マッピング空間を用いているが、分析する利用状況の所定現象によっては、イントネーション、音声波形及びボリュームのうちのいずれか２つを座標軸とする２次元の感情マッピング空間を用いてもよい。また、イントネーション、音声波形及びボリュームに、「語・句・文の間（間隔）」や「同一の語・句・文の繰返し回数」など他のパラメータを加えた、４次元以上の感情マッピング空間を感情推定装置６が用いるように構成することもできる。また、感情マッピング空間の座標軸となる複数のパラメータには、イントネーション、音声波形及びボリュームに代えて、アクセントやテンポなどといった音声を特徴づける他のパラメータを用いることもできる。
（５−５）
評価システム１において、第１キーワード、第１キーフレーズ又は第１キーセンテンスと第２キーワード、第２キーフレーズ又は第２キーセンテンスが音声的に異なるものである場合、例えば上述のように第１キーワードがローラーコースター２００に乗っているときの「キャー」という感動詞であり、第２キーワードがローラーコースター２００から降りたときの「凄い」という形容詞であるような場合が考えられる。このように非常に満足して興奮して、似通った利用者感情で第１キーワード、第１キーフレーズ又は第１キーセンテンスと第２キーワード、第２キーフレーズ又は第２キーセンテンスとが発声されても、例えば「キャー」という第１キーワードと「凄い」という第２キーワードとではそのキーワード自身が持っている意味があるために利用状況の評価における重みが異なることがある。このようなキーワードやフレーズやセンテンスの意味内容の違いを重み付けによって分析に反映させることで、利用状況の分析の内容や精度を向上させ易くなる。

（５−６）
感情推定装置６は、例えば図１４に示されているように、分析対象音声の集合体全体を、コーザル情報３５、収録時間に関する情報及び収録場所に関する場所属性情報３４などでグルーピングして感情を推定することができる。なお、図１４（ａ）に示されている話者属性情報３３でのグルーピングは、コーザル情報でのグルーピングの一種と考えることができる。このように、記憶装置３に記憶されたコーザル情報３５、収録時間に関する情報及び収録場所に関する場所属性情報３４のうちの少なくとも一つに応じて、図１３に示されている第１感情領域Ａｒ１，Ａｒ１１のように、範囲を異ならせることができる。それにより、コーザル情報３５、収録時間に関する情報及び収録場所に関する場所属性情報３４のうちの少なくとも一つが利用者感情に与える影響を反映した分析を感情推定装置６が行なうことができ、現実の利用状況の分析の内容や精度を向上させ易くなる。
（５−７）
分析装置７は、例えば図１４に示されているように、分析対象音声の集合体全体を、コーザル情報３５、収録時間に関する情報及び収録場所に関する場所属性情報３４などでグルーピングして利用状況を分析することができる。分析装置７は、コーザル情報３５、収録時間に関する情報及び収録場所に関する場所属性情報３４のうちの少なくとも一つが利用状況に与える影響を反映した分析を行なうことができる。
また、分析装置７は、第１感情表意話者の分布に異なる重みを付けることで、コーザル情報３５、収録時間に関する情報及び収録場所に関する場所属性情報３４のうちの少なくとも一つが利用状況に与える影響の大小を反映した分析を行なうことができる。同様に、第２感情表意話者の分布や第３感情表意話者の分布に重み付けを行なってもよい。
また、分析装置７は、コーザル情報、収録時間及び収録場所のうちの少なくとも一つが第１感情表意話者と第１感情非表意話者の分布変化に与える影響から利用状況の分析を行なうことができる。同様に、第２感情表意話者の分布変化や第３感情表意話者の分布変化に与える影響から利用状況の分析を行なってもよい。
これらのような分析を行なえば、現実の利用状況の分析の内容や精度を向上させ易くなる。

（５−８）
図１２を用いて説明したように、感情推定装置６は、コーヒーカップ３００（利用対象の一例）を利用する乗客Ｕｇ３，Ｕｇ４（不特定複数の利用者の一例）の保護者ＧＵ（関係者の一例）が発生する「もう終わりにしましょう。」などの音声（分析対象補助音声の一例）から感情を推定することができる。感情推定装置６は、保護者ＧＵが発生する分析対象補助音声について、イントネーション、音声波形及びボリュームを用いて分析対象補助音声を発したときの保護者ＧＵが補助感情領域に属する感情を示したか否かを推定する。このときに用いる補助感情領域は、上述の第１感情領域Ａｒ１のように感情マッピング空間に割り付けられた領域とすることができる。そして、分析装置７は、補助感情領域に属する感情を示した関係者に関係する利用者の分布を補正する。例えば、保護者ＧＵが退屈して「もう終わりにしましょう。」と言った場合には、その子供たちである乗客Ｕｇ３，Ｕｇ４がリピートするような感情を示している場合でも、リピート率の評価を下げるような分析に補正する。このように、保護者ＧＵが子供の乗客Ｕｇ３，Ｕｇ４に与える影響を反映させて利用状況の分析を行なうことができ、現実の利用状況の分析の内容や精度を向上させ易くなる。
このような保護者ＧＵに係わる補正は、一般化すると、図１１に示す外乱ｂ１、ｂ２に係わる補正とみなすことができる。従って、関係者による補正と同様の補正を、外乱による補正にも適用することができる。

（６）変形例
（６−１）変形例１Ａ
上記実施形態では、音声収録装置２がパーソナルコンピュータ１００に収録データを与える構成としてメモリチップに記憶させて読取装置１０２で収録データを読み取る構成を説明した。しかし、音声収録装置２が記憶装置３に収録データを与える構成は、このような構成に限られるものではなく、例えば、音声収録装置２とパーソナルコンピュータ１００を公衆回線で繋いで、公衆回線を経由して収録データの送受信を行なってもよい。
（６−２）変形例１Ｂ
上記実施形態では、音声収録装置２によって生成される収録データが記憶装置３に記憶される場合について説明したが、収録データが記憶されるのは記憶装置３に限られるものではない。例えば、音声収録装置２自身のメモリに記憶されて、音声収録装置２のメモリから音声認識装置４が直接収録データを読み出すように構成することもできる。また、収録データが記憶されているメモリチップから音声認識装置４が直接収録データを読み出すように構成することもできる。

（６−３）変形例１Ｃ
上記実施形態では、例えば図１０（ａ）に示した第１感情表意話者の割合でリピート率を評価することを説明したが、このような評価システムや評価方法は、従来の評価システムや評価方法と組み合わせることもできる。例えば、特許文献１に記載されている満足度算出方法によって算出された満足度と第１感情表意話者の割合とを組み合わせてローラーコースター２００のリピート率を評価してもよい。
（６−４）変形例１Ｄ
上記実施形態では、感情領域が第１感情領域Ａｒ１や第２感情領域Ａｒ２や第３感情領域Ａｒ３のように一つの閉じた領域である場合を説明したが、図１６に示されているような玉ねぎの皮のように、例えば第１感情領域Ａｒ１を例えば利用状況に与える影響の違いから複数の領域Ａｒ１−１、Ａｒ１−２，Ａｒ１−３，Ａｒ１−４，Ａｒ１−５のように分割してもよい。例えば、中心部分の領域Ａｒ１−１に属する感情を示した利用者は、ローラーコースター２００で非常に喜んで高揚した状態で非常に高い確率でリピートするが、外郭部分の領域Ａｒ１−５に属する感情を示した利用者は、ローラーコースター２００で喜んではいるもののリピート率があまり高くないなどである。

（６−５）変形例１Ｅ
上記実施形態では、第１感情空間Ａｒ１，Ａｒ１１が、イントネーション、音声波形及びボリュームのそれぞれについて上限の境界と下限の境界とを持つ閉じた領域である場合について説明しているが、感情空間は必ずしも閉じた空間である必要はない。例えば、イントネーションが上がっているか下がっているかのみを感情領域の境界とすることもでき、その場合には、図８に示されている感情マッピング空間の上に開いた感情領域と下に開いた感情領域が形成される。
また、上記実施形態では、感情マッピング空間の座標軸を形成するパラメータが連続的なものとして表現されているが、これらは離散的なものであってもよい。例えば、イントネーションについて、平坦、最後のみ下降調、全体的に下降調、最後のみ上昇調、全体的に上昇調の５段階に離散的に分類して、そのどれに属するかで感情領域を分けるようにすることもできる。

（６−６）変形例１Ｆ
また、上記実施形態では、マーケティング調査データ抽出装置５や感情推定装置６や分析装置７などの各機能ブロックが、メモリシステム１０４（ＲＯＭ、ＲＡＭ、ハードディスク等）に格納され、上述した処理手順を実行可能なプログラムデータがＣＰＵ１０１によって解釈実行されることで実現される場合について説明した。このプログラムデータは、記録媒体を介してメモリシステム１０４内に導入されてもよいし、記録媒体上から直接実行されてもよい。なお、記録媒体は、ＲＯＭやＲＡＭやフラッシュメモリ等の半導体メモリ、フレキシブルディスクやハードディスク等の磁気ディスクメモリ、ＣＤ−ＲＯＭやＤＶＤやＢＤ等の光ディスクメモリ、及びメモリカード等をいう。また、記録媒体は、電話回線や搬送路等の通信媒体も含む概念である。
また、上記実施形態のマーケティング調査データ抽出装置５や感情推定装置６や分析装置７などは、集積回路であるＬＳＩとして実現されてもよい。これらは、個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。また、集積回路化の手法は、ＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。また、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ(Field Programmable Gate Array)などを利用してもよい。

１ 評価システム
２，２Ａ，２Ｂ 音声収録装置
３ 記憶装置
４ 音声認識装置
５ マーケティング調査データ抽出装置
６ 感情推定装置
７ 分析装置
８ マーケティングデータ解析装置
２５ ＧＰＳ
３１ ビッグデータ
３３ 話者属性情報
３４ 場所属性情報
３５ コーザル情報

Claims (10)

1. 音声の特徴を分析するための複数のパラメータを座標軸にとった２次元以上の感情マッピング空間に割り付けられた複数の感情領域のうちの第１感情領域に、利用対象を利用する不特定複数の利用者の第１分析対象音声がマッピングされるか否かによって、第１感情を表意した第１感情表意話者と表意しなかった第１感情非表意話者との推定を行なう感情推定装置と、
   前記感情推定装置の推定結果に基づく前記第１感情表意話者及び前記第１感情非表意話者の第１分布から、前記利用対象の利用状況についての所定現象を分析する分析装置と、
   を備え、
   前記感情推定装置は、前記第１分布と前記所定現象の発生との相関係数の絶対値が第１所定値以上になるように前記第１感情領域が区分されている、評価システム。
2. 前記感情推定装置は、複数の前記感情領域のうちの第２感情領域に第２分析対象音声がマッピングされるか否かによって、第２感情を表意した第２感情表意話者と表意しなかった第２感情非表意話者との推定を行ない、
   前記分析装置は、前記感情推定装置の推定結果に基づく前記第１分布に、前記感情推定装置の推定結果に基づく前記第２感情表意話者及び前記第２感情非表意話者の第２分布を加味して前記所定現象を分析し、
   前記感情推定装置は、前記第２分布と前記所定現象の発生との相関係数の絶対値が第２所定値以上になるように前記第２感情領域が区分されている、
   請求項１に記載の評価システム。
3. 前記感情推定装置は、前記第１分析対象音声として前記利用対象に関連する第１キーワード、第１キーフレーズ又は第１キーセンテンスと第２キーワード、第２キーフレーズ又は第２キーセンテンスとを用い、前記第１キーワード、前記第１キーフレーズ又は前記第１キーセンテンスと前記第２キーワード、前記第２キーフレーズ又は前記第２キーセンテンスとで前記第１感情領域の範囲を異ならせる、
   請求項１又は請求項２に記載の評価システム。
4. 前記感情推定装置は、複数の前記パラメータとして、イントネーション、音声波形及びボリュームを用いる、
   請求項１から３のいずれか一項に記載の評価システム。
5. 前記分析装置は、前記所定現象を、前記第１感情表意話者の割合に基づいて分析する、
   請求項１から４のいずれか一項に記載の評価システム。
6. 前記感情推定装置は、前記第１分析対象音声として前記利用対象に関連する第１キーワード、第１キーフレーズ又は第１キーセンテンスと第２キーワード、第２キーフレーズ又は第２キーセンテンスとを用い、
   前記分析装置は、前記第１キーワード、前記第１キーフレーズ又は前記第１キーセンテンスと前記第２キーワード、前記第２キーフレーズ又は前記第２キーセンテンスとで異なる重みを付けて前記利用対象の利用状況を分析する、
   請求項１から５のいずれか一項に記載の評価システム。
7. 不特定複数の前記利用者の前記分析対象音声をコーザル情報、収録時間及び収録場所のうちの少なくとも一つと関連付けて記憶する記憶装置をさらに備え、
   前記感情推定装置は、記憶された前記コーザル情報、前記収録時間及び前記収録場所のうちの少なくとも一つに応じて前記第１感情領域の区分を異ならせる、
   請求項１から６のいずれか一項に記載の評価システム。
8. 不特定複数の前記利用者の前記分析対象音声をコーザル情報、収録時間及び収録場所のうちの少なくとも一つと関連付けて記憶する記憶装置をさらに備え、
   前記分析装置は、記憶された前記コーザル情報、前記収録時間及び前記収録場所のうちの少なくとも一つに応じて前記第１分布に異なる重みを付けて前記利用対象の利用状況を分析する、
   請求項１から７のいずれか一項に記載の評価システム。
9. 不特定複数の前記利用者の前記分析対象音声をコーザル情報、収録時間及び収録場所のうちの少なくとも一つと関連付けて記憶する記憶装置をさらに備え、
   前記分析装置は、記憶された前記コーザル情報、前記収録時間及び前記収録場所のうちの少なくとも一つに応じて変化する、前記第１感情表意話者と前記第１感情非表意話者の分布変化に基づいて前記利用対象の利用状況を分析する、
   請求項１から８のいずれか一項に記載の評価システム。
10. 前記感情推定装置は、前記利用対象を利用する不特定複数の前記利用者の関係者の分析対象補助音声について前記感情マッピング空間に割り付けられた補助感情領域に、前記関係者の前記分析対象補助音声がマッピングされるか否かによって、補助感情を表意した補助感情表意話者と表意しなかった補助感情非表意話者との推定を行ない、
    前記分析装置は、前記補助感情表意話者に関係する前記第１分布を補正する、
    請求項１から９のいずれか一項に記載の評価システム。
    
    
    
    

Images