以下、一実施形態に係る情報処理システムについて、図1〜図12に基づいて詳細に説明する。本実施形態の情報処理システムは、主に、ユーザにより入力されたクチコミ情報の信用度を判定するシステムである。
図1には、本実施形態の情報処理システム200の構成が概略的に示されている。情報処理システム200は、携帯端末10と、サーバ60とを備えている。携帯端末10とサーバ60は、インターネット等のネットワーク180に接続されている。
携帯端末10は、ユーザにより携帯された状態で利用される情報機器である。携帯端末10としては、携帯電話、スマートフォン、PHS(Personal Handy-phone System)、PDA(Personal Digital Assistant)等を採用することができるが、本実施形態では、携帯端末10は、スマートフォンであるものとする。携帯端末10は、電話機能やインターネット等に接続するための通信機能、および、プログラムを実行するためのデータ処理機能等を有する。
図2(a)は、携帯端末10を表側(−Y側)から見た状態を示す図であり、図2(b)は、携帯端末10を裏側(+Y側)から見た状態を示す図である。これらの図に示すように、携帯端末10は、一例として、長方形の主面(−Y側の面)を有する薄板状の形状を有しており、片手の手のひらで把持することができる程度の大きさを有している。
図3には、携帯端末10のブロック図が示されている。図3に示すように、携帯端末10は、ディスプレイ12、タッチパネル14、カレンダー部16、通信部18、センサ部20、画像分析部30、記憶部40、及び制御部50を有している。
ディスプレイ12は、図2(a)に示すように、携帯端末10の本体部11の主面(−Y側の面)側に設けられている。ディスプレイ12は、例えば、本体部11の主面の大半の領域(例えば90%)を占める大きさを有する。ディスプレイ12は、画像、各種情報およびボタン等の操作入力用画像を表示する。ディスプレイ12は、一例として、例えば液晶表示素子を用いたデバイスであるものとする。
タッチパネル14は、ユーザが触れたことに応じた情報を制御部50に対して入力することが可能なインタフェースである。タッチパネル14は、図2(a)に示すように、ディスプレイ12表面またはディスプレイ12内に組み込まれているため、ユーザは、ディスプレイ12の表面をタッチすることにより、種々の情報を直感的に入力することができる。
カレンダー部16は、予め記憶されている年、月、日、時刻といった時間情報を取得して、制御部50に対して出力する。なお、カレンダー部16は、計時機能を有しているものとする。本実施形態においては、カレンダー部16は、ユーザが携帯端末10を用いてクチコミ情報を作成した時刻や、クチコミ情報に添付される画像のメタデータに含まれる時刻を検出する。
通信部18は、ネットワーク180上のサーバ60や、他の携帯端末と通信する。通信部18は、一例として、インターネット等の広域ネットワークにアクセスする無線通信ユニット、Bluetooth(登録商標)による通信を実現するBluetooth(登録商標)ユニット、及び、Felica(登録商標)チップ等を有し、サーバおよび他の携帯端末と通信する。
センサ部20は、各種センサを有している。本実施形態において、センサ部20は、内蔵カメラ21、GPS(Global Positioning System)モジュール22、生体センサ23、マイク24、温度計25、圧力センサ26を有しているものとする。
内蔵カメラ21は、撮像レンズ(例えば広角用レンズ)および撮像素子を有し、被写体の静止画や動画を撮像し、後述の画像分析部30と協働してユーザの表情を非接触で検出する非接触センサである。撮像素子は、一例として、CCDおよびCMOSデバイスである。また、撮像素子は、一例として、RGB3原色がベイヤ配列されたカラーフィルタを含み、各色のそれぞれに対応した色信号を出力する。内蔵カメラ21は、携帯端末10の本体部11におけるディスプレイ12が設けられた面(主面(−Y側の面))に設けられている。したがって、内蔵カメラ21は、携帯端末10のタッチパネル14を操作しているユーザの顔及び服装を撮像することができる。また、カメラで被写体を撮像すると同時に、制御部50によりカメラで撮像した画像に関するメタデータ(EXIFデータ)が作成される。撮像した画像に関するメタデータには、例えば、撮像日時、撮像場所(GPS情報)、解像度、焦点距離などが含まれる。なお、撮像日時は、前述したカレンダー部16が検出するものとし、撮像場所は、後述するGPSモジュール22が検出するものとする。本実施形態においては、ユーザがクチコミ情報を作成している間のユーザの表情を、内蔵カメラ21を用いて撮像する。また、ユーザは、内蔵カメラ21を用いて、クチコミ情報に添付する画像を撮像する。
GPSモジュール22は、携帯端末10の位置(例えば緯度および経度)を検出するセンサである。本実施形態においては、GPSモジュール22は、ユーザがクチコミ情報を作成しているときに、ユーザのいる場所の情報(ユーザ情報)を取得(検出)する。
生体センサ23は、一例として、図2(b)に示すように、携帯端末10の本体部11裏面に設けられている。ただし、これに限定されるものではなく本体部11の表側に設けてもよいし、長辺側の側部の2箇所に設けてもよい。生体センサ23は、携帯端末10を保持するユーザの状態を取得するセンサである。生体センサ23は、ユーザの状態として、例えば、ユーザの体温、血圧、脈拍および発汗量、握力等を取得する。例えば、生体センサ23は、ユーザが携帯端末10を保持している力に関する情報(例えば握力)を取得するセンサを有しているものとする。このセンサによれば、ユーザが携帯端末10を保持したことや、携帯端末10を保持する力の大きさを検出することができる。なお、後述する制御部50は、このセンサによりユーザが携帯端末10を保持したことを検出した段階で、他の生体センサによる情報の取得を開始するようにしてもよい。また、制御部50は、電源がオンとなっている状態において、当該センサによりユーザが携帯端末10を保持したことを検出した段階で、その他の機能をオンにする(あるいはスリープ状態から復帰する)ような制御を行うこととしてもよい。
また、生体センサ23は、この他に、体温を測る体温センサ、血圧を検出する血圧センサ、脈拍を検出する脈拍センサ、発汗量を測る発汗センサ(いずれも図示しない)を有しているものとする。脈拍センサは、一例として、特開2001−276012号公報(米国特許第6,526,315号)に開示されているように、発光ダイオードによりユーザに向けて光を照射し、この光に応じてユーザから反射した光を受光することにより、脈拍を検出するセンサや、特開2007-215749号公報(米国公開20070191718号)に開示されているような腕時計型の生体センサを採用することができる。
一般に、ユーザが興奮したり、怒ったり、悲しんだりすると、ユーザが携帯端末10を把持する力やユーザの体温、血圧、脈拍数に変化が見られる。このため、生体センサ23を用いることで、ユーザの興奮状態や喜怒哀楽の感情を示す情報(ユーザ情報)を得ることができる。
マイク24は、携帯端末10の周囲の音声を入力するセンサである。マイク24は、一例として、携帯端末10の本体部11の主面(−Y側の面)の下方(−Z)側の端部近傍に設けられている。すなわち、マイク24は、ユーザが電話機能を利用するときにユーザの口と対向する位置(ユーザの通話音声を集音しやすい位置)に配置されている。なお、本実施形態においては、マイク24は、ユーザがクチコミ情報を作成(入力)する際に発した言葉や、ユーザの周囲の音に関する情報(ユーザ情報)を収集する。
温度計25は、携帯端末10の周囲の温度を検出するセンサである。なお、温度計25は、生体センサ23によるユーザの体温を検出するセンサと機能を兼用する構成であってもよい。本実施形態においては、温度計25は、ユーザがクチコミ情報を作成している間における、ユーザのいる場所の温度情報(ユーザ情報)を取得する。
圧力センサ26は、ディスプレイ12に表示されるソフトウエアキーボードをユーザが入力するときの圧力を検出するセンサである。圧力センサ26は、一例としてピエゾ素子を有する圧電センサを用いることができる。なお、圧電センサは、外部から与えられた力を圧電効果により電圧に変換することで、振動を電気的に検出する。圧力センサ26は、ユーザがクチコミ情報を入力する際の入力の強さ(力の強さ)の情報(ユーザ情報)を取得する。なお、ユーザがクチコミ情報を作成する際にクチコミに対する思い入れが強いと、自然にキーを押す力が強くなることが予想される。また、思い入れの強いクチコミ情報は信用度が高いといえる。
画像分析部30は、内蔵カメラ21が撮像した画像や、ユーザがクチコミ情報に添付する画像(添付画像)の分析を行う。なお、添付画像は、内蔵カメラ21により撮像された画像に限らず、例えば、携帯端末10とは異なるカメラにより撮像された画像であってもよい。なお、携帯端末10の内蔵カメラ21で撮像された画像を添付画像とする場合、当該添付画像は、クチコミ情報の作成前、作成中のいずれにおいて撮像されたものであってもよい。一方、携帯端末10とは異なるカメラにより撮像された撮像データは、クチコミを作成する時点で、予め記憶部40に記憶されているものとする。
画像分析部30は、図3に示すように、表情検出部31、服装検出部32、及びメタデータ検出部33を有する。
表情検出部31は、内蔵カメラ21により撮像された顔の画像データと、記憶部40に記憶されている顔表情DBに登録されているデータとを比較して、ユーザの表情を検出する。ここで、顔表情DBには、笑顔、泣き顔、怒り顔、驚き顔、眉間に皺を寄せている顔、緊張している顔、および、リラックスしている顔等の画像データが格納されているものとする。本実施形態においては、ユーザがクチコミ情報を作成する際のユーザの表情が内蔵カメラ21で撮像されるので、表情検出部31は、撮像された画像を用いて、ユーザの表情に関するデータ(ユーザ情報)を取得することができる。
なお、笑顔検出の方法は、一例として、米国公開特許2008−037841号に開示されている。また、眉間の皺の検出の方法は、一例として、米国公開特許2008−292148号に開示されている。
服装検出部32は、内蔵カメラ21により撮像されたユーザの服装が、どのような服装であるかを検出する。服装検出部32は、撮像された画像に含まれている服装の画像データと、記憶部40に予め記憶されている服装DBに格納された画像データとをパターンマッチングして服装を検出する。なお、服装DBには、服装(スーツ、ジャケット、シャツ、パンツ、スカート、ワンピース、和服、ネクタイ、ポケットチーフ、コート、髪留め、メガネ、帽子等)を識別するための画像データが格納されているものとする。なお、制御部50は、ユーザが通信部18を用いて商品を購入した場合(インターネットショッピングなどを行った場合)に、記憶部40に購入商品の情報(衣服等の色、形状、模様、種類、特徴等)を記憶することができる。この場合、服装検出部32は、服装の画像データと、購入商品情報(画像を含む)とを比較することで、服装を検出することとしてもよい。また、服装検出部32は、ユーザが厚着(例えばコートを着ている)か、薄着(例えば半袖)かを検出してもよい。
メタデータ検出部33は、ユーザがクチコミ情報に画像を添付する場合に、添付画像に付加されているメタデータ(EXIFデータ)を検出する。
なお、表情検出部31、服装検出部32、メタデータ検出部33のそれぞれで検出された情報は、図4に示す画像データテーブルに格納される。
図4の画像データテーブルは、添付画像に関するデータを記録するテーブルであり、画像データNo、ユーザ情報No、撮像日時、撮像場所、表情、服装の各フィールドを有している。画像データNoのフィールドには、画像のメタデータを特定する一意の値が入力される。ユーザ情報Noのフィールドには、画像を添付したクチコミ情報が入力されている間に取得されたユーザ情報を特定する番号が入力される。撮像日時のフィールドには画像の撮像日時が入力される。撮像場所のフィールドには、画像の撮像場所が入力される。撮像場所のフィールドには、位置情報の数値(緯度、経度)が入力されてもよいし、記憶部40に記憶されている地図情報に基づいて位置情報から割り出した位置の名称が入力されてもよい。なお、添付画像が自宅で撮影された場合には、自宅が特定されないように緯度・経度情報にある程度の幅を持たせてもよい。また、緯度・経度情報に代えて単に自宅と記録するようにしてもよいし、位置情報を開示しないようにしてもよい。この場合、自宅で撮影されたかどうかをユーザに入力させて上記表示にしてもよいし、予め自宅として登録した緯度・経度情報で撮影された画像が添付された場合に、上記表示にすることとしてもよい。表情のフィールドには、表情検出部31が検出した人物の表情が入力される。服装のフィールドには、服装検出部32が検出した人物が着用している服装の分類が入力される。
図3に戻り、記憶部40は、例えば、不揮発性の半導体メモリ(フラッシュメモリ)である。記憶部40は、制御部50によって実行される携帯端末10を制御するためのプログラム、および、携帯端末10を制御するための各種パラメータや、ユーザの顔情報(画像データ)、地図情報、前述の画像データテーブル、後述のユーザ情報テーブル等を記憶する。
また、記憶部40は、前述した顔表情DBや服装DB、およびこれらのデータから算出された平均値や、クチコミ情報を入力している間にセンサ部20が検出したユーザに関する情報(ユーザ情報)や、内蔵カメラ21や外部のカメラ等により撮像した添付画像等を記憶する。
制御部50は、CPUを有し、携帯端末10の処理全体を統括的に制御する。また、制御部50は、ユーザが作成したクチコミ情報や添付画像、添付画像のメタデータをサーバ60に対して送信したり、ユーザがクチコミ情報を作成している間に取得されたユーザ情報をサーバ60に送信したりする。ここで、制御部50は、ユーザ情報を、図5に示すユーザ情報テーブルに格納した状態で、サーバ60に対して送信するものとする。
図5のユーザ情報テーブルは、クチコミ情報を入力している間にセンサ部20等により取得されたユーザ情報を格納する。なお、クチコミ情報を入力している間とは、クチコミ情報を入力している一部の時間であってもよく、入力開始から入力終了まででもよい、更に、入力の前後のユーザ情報が含まれていてもよい。図5のユーザ情報テーブルは、具体的には、ユーザ情報No、TextNo、GPS位置情報、作成時刻、温度、生体情報、画像データNo、表情の各フィールドを有する。
ユーザ情報Noのフィールドには、ユーザ情報を特定する一意の値が入力される。なお、このユーザ情報Noや画像データNoにより、図4の画像データテーブルのデータとユーザ情報テーブルのデータとが関連づけられる。TextNoのフィールドには、ユーザ情報の取得時に入力されたクチコミ情報を特定する番号が入力される。GPS位置情報のフィールドには、GPSモジュール22により取得されたクチコミ情報入力時のユーザの位置情報が入力される。なお、GPS位置情報に格納するデータとしては、図5に示すような位置情報の数値に限らず、記憶部40の地図情報に基づいて位置情報から割り出した位置の名称が入力されてもよい。なお、ユーザが自宅でクチコミ情報を入力している場合には、自宅が特定されないように緯度・経度情報にある程度の幅を持たせてもよい。また、緯度・経度情報に代えて単に自宅と格納するようにしてもよい。この場合、自宅で撮影されたかどうかをユーザに入力させて上記のように格納してもよいし、予め自宅として登録した緯度・経度情報でクチコミ情報が入力された場合に、上記のように格納してもよい。作成時刻のフィールドには、クチコミ情報入力時の時刻(カレンダー部16から得られる)が入力される。温度のフィールドには、温度計25で取得されたクチコミ情報入力時の気温が入力される。生体情報のフィールドには、クチコミ情報入力時のユーザの感情や興奮を数値化した値(生体センサ23、マイク24、圧力センサ26の出力を総合して、数値化した値)が入力される。数値は、図5に示すように3段階評価(1(最小)〜3(最大))としてもよいし、「普通、やや高い、かなり高い」などを格納してもよい。画像データNoのフィールドには、クチコミ情報に添付された画像のメタデータを特定する番号が入力される。なお、添付画像が無い場合には、画像データNoのフィールドは空白となる。なお、画像データNoにより、図5のユーザ情報テーブルのデータと図4の画像データテーブルのデータとが関連づけられる。表情のフィールドには、クチコミ情報入力中のユーザの表情が入力される。また、内蔵カメラ21によりクチコミ情報入力中にユーザの動画を撮像して、表情検出部31によりユーザの表情を検出し、表情の変化が大きかった場合の表情を表情のフィールドに記録してもよい。また、表情検出部31によりクチコミ情報入力中のユーザの平均的な表情を検出し、記録してもよい。
図6には、サーバ60のブロック図が示されている。以下、図6に基づいてサーバ60について詳細に説明する。
サーバ60は、図6に示すように、通信部70、情報入力部80、情報抽出部90、記憶部100、及び制御部110を有する。
通信部70は、複数の携帯端末10の通信部18と通信するものであり、一例として、インターネット等の広域ネットワークにアクセスする無線通信ユニット、Bluetooth(登録商標)による通信を実現するBluetooth(登録商標)ユニット、及び、Felica(登録商標)チップ等を有している。
情報入力部80は、通信部70を介して複数の携帯端末10においてユーザにより作成されたクチコミ情報を取得し、制御部110や情報抽出部90に対して入力するものである。なお、ユーザが携帯端末10からサーバ60の運営するWebのクチコミ入力画面にアクセスして、作成した文書は、クチコミ情報である。なお、携帯端末10により作成された情報がクチコミ情報であるか否かを個別に判断することとしてもよい。クチコミ情報か否かを判断する方法としては、特開2006-244305号公報に記載された方法を用いることができる。
情報抽出部90は、情報入力部80から取得したクチコミ情報に含まれる特定のテキスト(例えば、位置、時刻、環境などを表すテキスト)と、ユーザの状態を表すユーザ情報とを比較し、当該比較結果に基づいてクチコミ情報の重み付けを行うものである。情報抽出部90は、具体的には、テキスト抽出部91、位置評価部92、時刻評価部93、環境評価部94、及び感情評価部95を有する。
テキスト抽出部91は、クチコミ情報に含まれる特定のテキスト(例えば、位置、時刻、環境などを表すテキスト)を、辞書DBを参照して抽出する。なお、辞書DBは記憶部100に記憶されているものとする。例えば、辞書DBには、位置を表すテキストとして「函館山」、「東京タワー」、「横浜駅」などの地名や建物名などを含む。また、辞書DBには、時刻を表すテキストとして、「朝」、「昼」、「夜」、「日の出」、「日没」、「午の刻」や「春」、「夏」、「秋」、「冬」などを含む。また、辞書DBには、環境を表すテキストとして「暑い」、「寒い」、「静か」、「うるさい」など温度や音の程度を表すテキストを含む。例えば、情報入力部80が「函館山からの夜景は美しいが、北風が冷たい」というクチコミ情報を入力したものとする。この場合、テキスト抽出部91は、辞書DBを参照して、位置(地名)に関するテキスト情報として「函館山」、時刻に関するテキスト情報として「夜」、環境に関するテキスト情報として「冷たい」を抽出する。
また、テキスト抽出部91は、クチコミ情報が体験型か購入型かを判断する。なお、当該判断においては、テキスト抽出部91は、体験型か購入型かを分別するための分別辞書DB(記憶部100に格納されている)を参照するものとする。
なお、テキスト抽出部91で抽出されたクチコミ情報に含まれるテキスト情報は、図7に示すテキスト情報テーブルに格納される。図7に示すテキスト情報テーブルは、TextNo、ユーザID、種別、位置情報テキスト、時刻情報テキスト、環境情報テキストの各フィールドを有する。
TextNoのフィールドには、クチコミ情報を特定する一意の値が入力される。このTextNoにより、図7のテキスト情報テーブルのデータと図5のユーザ情報テーブルのデータとが関連づけられる。ユーザIDのフィールドには、クチコミ情報を入力したユーザのIDが入力される。種別のフィールドには、テキスト抽出部91において判断されたクチコミ情報の種別(体験型又は購入型)が入力される。位置情報テキスト、時刻情報テキスト、環境情報テキストの各フィールドには、クチコミ情報から抽出されたテキスト(位置、時刻、環境などを表すテキスト)が入力される。なお、位置情報テキスト、時刻情報テキスト、環境情報テキストの各フィールドには、テキストを1又は複数入力できるものとする。
図6に戻り、位置評価部92は、テキスト抽出部91が抽出した「函館山」というテキスト情報と、情報入力部80が入力した携帯端末10のGPSモジュール22の出力情報とを比較し、クチコミ情報の信用度に関する重み付けを行う。なお、位置評価部92は、上記比較の際に、「函館山」などの地名と位置(緯度や経度)とを関連付けた地図DB(記憶部100に格納されている)を参照するものとする。
時刻評価部93は、テキスト抽出部91が抽出した「夜」というテキスト情報と、情報入力部80が入力した携帯端末10のカレンダー部16の出力情報とを比較し、クチコミ情報の信用度に関する重み付けを行う。なお、時刻評価部93は、種別のフィールドに入力された情報に基づき、ユーザのクチコミが体験に関するものか、購入に関するものかを区別して重み付けを行う。
環境評価部94は、テキスト抽出部91が抽出した「冷たい」というテキスト情報と、情報入力部80が入力した携帯端末10の温度計25による検出結果とを比較し、クチコミ情報の信用度の重み付けを行う。なお、環境評価部94は、携帯端末10の服装検出部32が検出した服装の情報(例えば、ユーザが厚着であるか薄着であるかの情報)を、通信部70を介して取得し、これに基づいてクチコミ情報の信用度に関する重み付けを行うこととしてもよい。また、環境評価部94は、添付画像の有無に基づいて、クチコミ情報の信用度に関する重み付けを行うこととしてもよい。
感情評価部95は、情報入力部80が入力した携帯端末10の画像分析部30、生体センサ23、マイク24、圧力センサ26の出力に基づいて、ユーザの感情(喜怒哀楽)を評価し、クチコミ情報の信用度に関する重み付けを行う。
なお、位置評価部92、時刻評価部93、環境評価部94、及び感情評価部95による、クチコミ情報の信用度に関する重み付けの具体的方法については後述する。
上記のように構成される情報抽出部90では、位置評価部92、時刻評価部93、環境評価部94、及び感情評価部95による、クチコミ情報の信用度に関する重み付けの結果を制御部110に対して出力する。
記憶部100は、不揮発性のメモリ(フラッシュメモリ)などであり、地図DBや、辞書DB、ユーザのクチコミ情報が体験型か購入型かを分別するための分別辞書DBを有している。また、記憶部100は、情報入力部80が入力したクチコミ情報を情報抽出部90が決定したクチコミ情報の信用度に関する重み付け情報と紐付けて記憶する。
制御部110は、CPUを備え、サーバ60全体を統括的に制御するものである。本実施形態において、制御部110は、情報入力部80が入力したクチコミ情報と重み付け情報とを記憶部100に記憶するとともに、閲覧希望者(ネットワーク180に接続されている携帯端末やパーソナルコンピュータを利用するユーザ)からクチコミ情報の閲覧要求があった場合に、クチコミ情報を提供する。この場合、制御部110は、全ての閲覧要求に対してクチコミ情報とともに信用度に関する重み付け情報を提供してもよいし、有料会員からの閲覧要求に対してのみ、クチコミ情報とともに信用度に関する重み付け情報を提供するようにしてもよい。
以下、上記のように構成される情報処理システム200の処理について、詳細に説明する。
図8は、携帯端末10の制御部50によるクチコミ情報入力に関する処理を示すフローチャートである。図8の処理は、ユーザがサーバ60の運営するWebのクチコミ入力画面にアクセスした段階から開始される。
図8の処理では、ステップS10において、制御部50が、クチコミ情報を投稿するときにサーバ60に送信してもよいメタデータ及びユーザ情報の選択をユーザに要求する画面をディスプレイ12に表示する。
次いで、ステップS12では、制御部50は、ユーザが、ディスプレイ12上に表示された項目からサーバ60に送信してもよい項目を選択するまで待機する。この場合、ユーザによる選択が行われた段階で、ステップS14に移行する。なお、ここでは、ユーザによって、メタデータ及びユーザ情報の全ての項目が選択された(サーバ60に送信してもよいとされた)ものとして、以下説明する。
ステップS14に移行すると、制御部50は、ユーザによってクチコミ情報の入力が開始されるまで待機する。この場合、ユーザによってクチコミ情報の入力が開始された段階で、ステップS16に移行する。
ステップS16に移行すると、制御部50は、センサ部20を用いてユーザ情報を取得する。この場合、制御部50は、ステップS12で選択されたユーザ情報を取得する。すなわち、制御部50は、ユーザやユーザの周囲の状況を撮像した画像、ユーザの位置、ユーザの生体情報、ユーザの声や周囲の音、ユーザのいる場所の温度、ユーザがタッチパネル14を押す力などのうち、ユーザに選択されたものを取得する。なお、ユーザ情報のうち、サーバ60への送信が許可されていない項目がある場合には、制御部50は、その項目に関する情報を取得しないものとする。
次いで、ステップS18では、制御部50は、ユーザによるクチコミ情報の入力が終了したか否かを判断する。この場合、例えば、クチコミ情報をサーバ60に対して送信するための送信ボタンがユーザによって押された場合に、ステップS18の判断が肯定される。なお、ステップS18の判断が肯定された場合には、ステップS20に移行するが、否定された場合には、ステップS16、S18の処理・判断を繰り返す。
ステップS18の判断が肯定されて、ステップS20に移行すると、制御部50は、クチコミ情報とともに画像が添付されているか否かを判断する。ここでの判断が肯定された場合、すなわち画像が添付されている場合には、ステップS22に移行するが、否定された場合には、ステップS24に移行する。なお、ステップS12において、ユーザが添付画像に関するメタデータのサーバ60への送信を希望していなかった場合には、制御部50は、ステップS24に移行する。このとき、添付画像のメタデータ(撮像日時や、撮像場所に関する情報)を削除するか、一時的にマスキングをしてサーバ60へ送信を希望していないメタデータの送信を行わないようにしてもよい。
ステップS22に移行した場合、制御部50は、添付画像のメタデータを取得する。その後は、ステップS24に移行する。
ステップS24に移行した場合、制御部50は、ステップS14、S22で取得したユーザ情報及びメタデータを用いて、ユーザ情報テーブル(図5)と画像データテーブル(図4)を生成する。この場合、制御部50は、取得したユーザ情報そのものをテーブルに入力する。また、制御部50は、表情検出部31による表情検出結果や、生体センサ23、マイク24への入力結果、圧力センサ26の出力に基づいてユーザがクチコミ情報を作成しているときの状態を分析した結果を、各テーブルに入力する。なお、添付画像があり、画像分析部30によりユーザの顔が認識された場合には、表情検出部31により添付画像のユーザの表情を検出して、ユーザの感情を推定するようにしてもよい。また、添付画像のメタデータにユーザの生体情報がある場合には、制御部50は、添付画像のメタデータにあるユーザの生体情報も加味してユーザの感情を推定するようにしてもよい。なお、ユーザがクチコミ情報を作成しているときのユーザの状態と、添付画像の分析に基づいたユーザの状態とがほぼ一致している場合には、いずれかのデータを用いればよい。
次いで、ステップS26では、制御部50は、クチコミ情報と、ユーザ情報テーブルと、画像データテーブルとを通信部18を介してサーバ60に対して送信する。
次いで、ステップS28では、制御部50は、ユーザが更なるクチコミ情報を作成するか否かを判断する。ここでの判断が肯定された場合には、ステップS14に戻り、上記と同様にステップS14以降の処理を実行するが、ステップS28の判断が否定された場合には、図8の全処理を終了する。
以上のように、図8の処理を実行することで、ユーザが入力したクチコミ情報と、クチコミ情報を入力している間のユーザ情報を含むユーザ情報テーブルをサーバ60に対して送信することができる。また、クチコミ情報に画像が添付されている場合には、当該画像と、画像のメタデータを含む画像データテーブルをサーバ60に対して送信することができる。また、ユーザ情報やメタデータのうち、ユーザが送信を許可した項目については、サーバ60に送信するが、ユーザが送信を許可していない項目については、サーバ60に送信しないようにすることができる。
次に、サーバ60によるクチコミ情報の信用度に関する重み付け処理について、図9のフローチャートに沿って詳細に説明する。図9の処理は、通信部70を介して情報入力部80がクチコミ情報を情報抽出部90及び制御部110に入力した段階で開始される。
図9の処理では、ステップS30において、制御部110が、テキスト抽出部91に指示を出し、携帯端末10から取得したクチコミ情報からテキスト情報テーブル(図7)を生成する。この場合、テキスト抽出部91は、クチコミ情報から位置情報テキストや時刻情報テキスト、環境情報テキストなどを抽出して、テキスト情報テーブルに入力するとともに、クチコミ情報の種別を判別する。より具体的には、テキスト抽出部91は、クチコミ情報が体験型か購入型かを、記憶部100に格納されている分別辞書を用いて判別する。このようにクチコミ情報の種別を判別することとしているのは、時刻に関する重み付けにおいては、体験型は体験直後のクチコミ情報の重み付けを大きくする必要があるのに対し、購入型は購入直後のクチコミ情報の重み付けを小さくする必要があるためである。
なお、テキスト抽出部91は、分別辞書DBを参照して、入力したクチコミ情報(テキスト)の中に観光地の地名や、「見た」、「食べた」、「行った」などの購入とは異なる体験を表す語句が含まれていた場合に体験型と判断する。また、テキスト抽出部91は、分別辞書DBを参照して、クチコミ情報の中に製品名、メーカ名、デザイン、金額に関する語句が含まれていた場合に購入型と判断する。金額に関する語句とは、例えば、具体的な価格を示す数値以外に、「高価」、「安い」、「お買い得」などの語句が挙げられる。なお、サーバ60の運営するWebのクチコミ入力画面において、いずれの種別のクチコミ情報であるかをユーザが入力できるような場合には、当該入力に従ってテキスト情報テーブルを生成するようにすればよい。
次いで、ステップS32では、制御部110が、情報抽出部90に指示を出し、クチコミ情報(テキスト情報テーブル)に基づいて、クチコミ情報の信用度に関する重み付けを行う。以下、クチコミ情報の信用度に関する重み付けの具体的方法について、詳細に説明する。
なお、以下においては、図7のTextNo=tx001のクチコミ情報「函館山からの夜景は美しいが、北風が冷たい」がユーザによって入力された場合と、TextNo=tx002のクチコミ情報「去年の秋口に購入した赤いVネックのセーターはお買い得だった」がユーザによって入力された場合を比較しつつ説明する。
図7に示すように、TextNo=tx001のクチコミ情報においては、位置情報テキストとして「函館山」、時刻情報テキストとして「夜」、環境情報テキストとして「冷たい」の語句が抽出されている。また、このクチコミ情報は、種別が体験型である。一方、TextNo=tx002のクチコミ情報においては、時刻情報として「去年の秋口」の語句が抽出されている。また、このクチコミ情報は、種別が購入型である。なお、図7では、「去年の秋口」に代えて、「去年」と「秋口」の2つのテキストが時刻情報テキストに入力されてもよい。
制御部110は、情報抽出部90に指示を出し、テキスト情報テーブルの位置情報テキスト、時刻情報テキスト、環境情報テキストの各項目の重み付け係数を決定する。
(位置情報テキストの重み付け)
TextNo=tx001のクチコミ情報の場合、位置評価部92は、テキスト情報テーブルの位置情報テキスト「函館山」を抽出する。また、位置評価部92は、ユーザ情報テーブルのGPS位置情報を抽出する。そして、位置評価部92は、地図DBを参照して、位置情報テキスト「函館山」が示す位置(緯度、経度)を抽出し、GPS位置情報と比較する。この比較においては、位置評価部92は、2点間の距離を算出するものとする。
位置評価部92は、上記のようにして算出された2点間の距離と、図10に示す位置情報比較テーブルと、を用いて、位置情報テキストの重み付け係数を決定する。具体的には、位置評価部92は、ユーザが函館山にいるようなとき(2点間の距離が1km未満の場合)には重み付け係数を3とし、函館山近傍にいるとき(2点間の距離が1kmから10kmの場合)には重み付け係数を2とし、それ以外(2点間の距離が10kmよりも大きい場合)には重み付け係数を1とする。
重み付け係数が決定されたデータは、図11に示す重み付け係数格納テーブルに格納される。なお、図11のテーブルには、重み付け係数を算出したクチコミ情報のTextNo、比較情報、重み付け係数が格納される。なお、上述した位置情報テキスト「函館山」の重み付け結果は、図11の1行目に格納されている。
(時刻情報テキストの重み付け)
TextNo=tx001のクチコミ情報の場合、時刻評価部93は、テキスト情報テーブルの時刻情報テキスト「夜」を抽出する。一方、TextNo=tx002のクチコミ情報の場合、時刻評価部93は、テキスト情報テーブルの時刻情報テキスト「去年の秋口」を抽出する。ここで、TextNo=tx001のクチコミ情報は、種別が体験型であるので、時刻評価部93は、重み付けにおいて、図12(a)に示す時刻情報比較テーブル−体験型を参照するものとする。一方、TextNo=tx002のクチコミ情報は、種別が購入型であるので、時刻評価部93は、重み付けにおいて、図12(b)に示す時刻情報比較テーブル−購入型を参照するものとする。なお、図12(a)に示す時刻情報比較テーブル−体験型は、体験直後のクチコミのほうが、体験から時間が経過したクチコミよりも臨場感があるため、体験直後ほど重み付け係数が大きくなるように設定されている。一方、図12(b)に示す時刻情報比較テーブル−購入型は、購入直後の場合、手に入れることができたことのうれしさなどから、評価が高くなる傾向にあるため、購入直後ほど重み付け係数が小さくなるように設定されている。
時刻評価部93は、ユーザ情報テーブルの作成時刻の項目からクチコミ情報のテキストの作成時刻を抽出する。また、時刻評価部93は、時刻情報テキストからおおよその時刻を決定し、クチコミ情報の作成時刻との差分(時間差)を取得する。なお、時刻評価部93は、時刻情報に関する辞書DBを参照して、時刻情報テキストからおおよその時刻を決定することとすればよい。なお、辞書DBでは、例えば、テキスト「夜」に対し、18時から翌日の3時までのように幅を持たせた時間や、代表値(例えば22時など)が紐付けられているものとする。
TextNo=tx001のクチコミ情報のように、種別が体験型の場合には、時刻評価部93は、図12(a)を参照して、クチコミがリアルタイム(1時間以内)の場合には重み付け係数を3とし、半日以内の場合には重み付け係数を2とし、それ以外は重み付け係数を1とする。
なお、テキスト「夜」のように時刻情報テキストから決定される時刻が幅を持つ場合であって、この時刻の幅の中にクチコミの作成時刻が含まれるときには、クチコミがリアルタイムに作成されたと判断してもよい。このようにして決定される重み付け係数は、図11の重み付け情報テーブル(図11の2行目参照)に格納される。
一方、TextNo=tx002のクチコミ情報のように、種別が購入型の場合には、時刻評価部93は、図12(b)を参照して、購入直後の2週間以内の場合には重み付け係数を1とし、2週間経過したものは重み付け係数を2とし、20週間(約5ヶ月)よりも経過したものは重み付け係数を3とする。このようにして決定される重み付け係数は、図11の重み付け情報テーブル(図11の6行目)に格納される。なお、上記においては、クチコミ情報の中に時刻情報テキスト「去年の秋口」が含まれている場合に、時刻評価部93が重み付けを行う場合について説明したが、これに限られるものではない。例えば、インターネットショッピングなどで購入した履歴が、記憶部40に残っている場合には、当該購入履歴と、クチコミ情報の作成日時との差から、重み付け係数を決定することとしてもよい。
上記のように、クチコミの種別(体験型又は購入型)に応じて、時刻情報テキストの重み付け係数の決定方法(用いる時刻情報比較テーブル)を変更することにより、精度の高いクチコミの評価を行うことができる。
(環境情報テキストの重み付け)
TextNo=tx001のクチコミ情報の場合、環境評価部94は、テキスト情報テーブルの環境情報テキスト「冷たい」を抽出する。この場合、環境評価部94は、例えば、ユーザ情報テーブルの温度が5度以下の場合に、重み付け係数を3とし、温度が10度以下の場合に、重み付け係数を2とし、それ以外の場合には重み付け係数を1とする。このようにして決定される重み付け係数は、図11の重み付け情報テーブル(図11の3行目)に格納される。環境評価部94が重み付け係数を決定することで、ユーザがクチコミ情報を作成しているときの臨場感を考慮して、重み付け係数を決定することができる。
なお、環境評価部94は、添付画像がある場合には重み付け係数を2とし、添付画像がない場合には重み付け係数を1としてもよい。また、環境評価部94が環境情報テキスト「暑い」を抽出した場合には、温度が35度を超える場合は重み付け係数を3とし、温度が30度から35度未満の場合は重み付け係数を2とし、それ以外の場合には重み付け係数を1とするなどすればよい。すなわち、テキストが寒暖のいずれを意味するかに応じて、重み付け係数を決定するための基準を予め定めておけばよい。また、環境評価部94は、服装検出部32の検出結果を加味して重み付け係数を決定することとしてもよい。すなわち、環境情報テキスト「冷たい」や「寒い」などが抽出された場合に、ユーザが厚着であれば、重み付け係数を高くしたり、環境情報テキスト「暑い」などが抽出された場合に、ユーザが薄着であれば、重み付け係数を高くしたりすればよい。
(その他の重み付け)
また、上記の他にもテキスト作成時のユーザの表情、生体情報、服装などから重み付けを行うことができる。
例えば、テキスト作成時に内蔵カメラ21が撮像した画像に基づいて画像分析部30が分析したユーザの表情に応じて、感情評価部95が、重み付け係数を決定することとしてもよい(図11の4行目参照)。この場合、感情評価部95は、ユーザの表情が笑顔や怒り顔などの感情が明確に表現されている場合に、重み付け係数を大きくするなどすることができる。
また、感情評価部95は、例えば、テキスト作成時のユーザの生体情報から導き出される、ユーザの感情や興奮状態に基づいて、重み付け係数を決定してもよい(図11の5行目参照)。この場合、感情評価部95は、一例として、画像分析部30、生体センサ23、マイク24、圧力センサ26の4つの構成要素のうちの3つの出力が通常の状態とは異なる場合(例えば、画像分析部30の表情検出部31がユーザの笑顔を検出し、生体センサ23がユーザの興奮状態を検出し、マイク24がユーザの声(独り言)を入力した場合)は、重み付け係数を3とし、4つの構成要素のうちの2つの出力が通常の状態とは異なると示した場合は、重み付け係数を2とし、それ以外は重み付け係数を1とするなどすることができる。なお、生体情報のようなユーザ特有の情報は、携帯端末10側で判断する方が適しているので、ユーザ情報テーブルの生体情報のフィールドの値をそのまま重み付け係数としてもよい。また、情報抽出部90は、テキスト作成時に内蔵カメラ21が取得した画像から画像分析部30が検出したユーザの服装に基づき重み付け係数を決定してもよい(図11の7行目参照)。例えば、情報抽出部90は、衣服の購入に関するクチコミ情報を入力しているユーザが当該衣服を着用している場合には、重み付け係数を大きくするなどすることができる。
なお、図10及び図12(a),図12(b)のテーブルは一例である。すなわち、必要に応じてテーブルを改変したり、追加したりすることができる。
図9に戻り、上述したようにステップS32が行われ、ステップS34に移行すると、制御部110は、クチコミ情報と、重み付け情報とを紐付けて記憶部100に記憶する。この場合、例えば、制御部110は、図11のうち、TextNoが同一のレコードの重み付け係数を集計した値や、平均した値などをクチコミ情報の重み付け情報とする。なお、重み付け係数のうちで重視すべき重み付け係数がある場合には、当該重視すべき重み付け係数の比率(重み)を増やして平均するようにしてもよい。
次いで、ステップS36では、制御部110は、さらに重み付けを行うクチコミ情報があるかどうかを判断する。ここでの判断が肯定された場合には、ステップS30に戻るが、否定された場合には、図9の全処理を終了する。
なお、図9の処理が行われた後において、他のユーザが利用する携帯端末やパーソナルコンピュータから、クチコミ情報の閲覧請求があった場合には、クチコミの信用度として、クチコミ情報に紐付けられた重み付け情報そのもの、または重み付け情報を用いた所定の演算を行った結果を、クチコミ情報とともに閲覧者に対して提供することができる。なお、信用度は満点中の何点という形で表示してもよい。この場合、例えば、「函館山からの夜景は美しいが、北風が冷たい」(信用度10点満点中8点)という表示を行えばよい。なお、ある一定以上の信用度のクチコミ情報のみを、閲覧者に対して提供するようにしてもよい。
以上詳細に説明したように、本実施形態によると、携帯端末10が、ユーザからクチコミ情報の入力を受け付ける制御部50と、ユーザにより許可された場合に、クチコミ情報の入力に関連してユーザ情報を取得するセンサ部20と、クチコミ情報とユーザ情報とを送信する通信部18と、を備えているので、ユーザのプライバシー(個人情報)を保護しつつ、クチコミ情報を入力している間のユーザ情報をサーバ60に送信することができる。これにより、クチコミ情報の信用度を判断する指標をサーバ60に対して送信することができるので、サーバ60にてクチコミ情報の信用度を決定し、他のユーザに対してクチコミ情報とともに信用度の情報を提供することが可能となる。
また、本実施形態の携帯端末10では、センサ部20が、ユーザの感情の推定に用いる情報(画像、生体情報、タッチパネル14を押す力など)を取得するので、この情報を用いることで、クチコミ情報を入力している際の感情、ひいてはクチコミ情報の信用度を推定することができる。これにより、クチコミ情報の信用度の信頼性を向上することが可能となる。具体的には、生体センサ23により検出される生体情報を用いることで、ユーザの興奮度や喜怒哀楽などの感情をクチコミ情報の信用度に反映させることができ、圧力センサ26の検出値を用いることで、感情の高まりをクチコミ情報の信用度に反映させることができる。また、内蔵カメラ21によって撮像された画像におけるユーザの表情を用いることで、ユーザの感情をクチコミ情報の信用度に反映させることができる。さらには、内蔵カメラ21によって撮像された画像におけるユーザの服装を用いることで、服装とクチコミ情報の比較結果をクチコミ情報の信用度に反映させることができる。また、ユーザの声や周囲の音、温度を用いることで、クチコミ情報の信用度の信頼性をより高めることが可能となる。
また、本実施形態では、ユーザにより許可された場合に、画像データに付随するメタデータを検出したり、サーバ60に対して送信したりするので、ユーザの居た場所の情報など、プライバシー(個人情報)を保護しつつ、メタデータの検出、送信を行うことができる。
また、本実施形態では、サーバ60は、クチコミ情報と、クチコミ情報作成中のユーザ情報とを入力する情報入力部80と、クチコミ情報とユーザ情報との一方から、クチコミ情報とユーザ情報との他方に関連した情報を抽出する情報抽出部90とを備えている。これにより、サーバ60は、クチコミ情報とユーザ情報とから互いに関連する情報を抽出することにより、クチコミ情報の信用度を適切に判断することが可能となる。
また、本実施形態では、情報抽出部90は、抽出した情報に基づいて、クチコミ情報に含まれるテキストに関する重み付け係数を決定する。このようにクチコミ情報に含まれるテキストについて重み付け係数を決定し、これに基づいてクチコミ情報の重み付けをすることで、クチコミ情報の信用度について適切に評価することが可能である。また、制御部110は、クチコミ情報の信用度を閲覧したいユーザに対して報知するので、閲覧するユーザは、信用度に基づいてクチコミ情報を信用するか否かを判断することができる。
また、本実施形態では、位置評価部92は、ユーザ情報として位置を抽出し、クチコミ情報のうちの位置情報テキストと比較して、重み付け係数を決定する。すなわち、位置評価部92は、位置情報テキストと、クチコミ情報の入力場所との差分が小さいほど重み付けを大きくするなどする。これにより、クチコミ情報を作成しているユーザの臨場感を考慮して、重み付け係数を決定することができる。
また、本実施形態では、クチコミ情報に画像が添付されている場合に、画像のメタデータと、クチコミ情報及びユーザ情報の少なくとも一方とを比較し、比較結果に基づいて、クチコミ情報の重み付けを行う。これにより、画像とクチコミ情報、ユーザ情報との一貫性を考慮した重み付けができ、信用度を適切に判断することが可能となる。
また、本実施形態では、携帯端末10は、制御部50が、ユーザからのクチコミ情報の入力を受け付け、生体センサ23が、ユーザにより許可された場合に、入力に関連してユーザの生体情報を取得する。これにより、ユーザのプライバシー(個人情報)を保護しつつ、クチコミ情報の入力の間におけるユーザの感情等を判断するための情報を取得することができる。
なお、上記実施形態においては、閲覧者が、性別、年齢、サイズに関する情報(身長、体重、洋服の号数など)をサーバ60に対して送信できるようにしてもよい。この場合、サーバ60の制御部110は、閲覧者と類似したユーザが作成したクチコミ情報を閲覧者に対して優先的に提供するようにすることができる。例えば、制御部110は、衣服のサイズなどに関する情報(身長、体重、洋服の号数など)が含まれているクチコミ情報を重み付け係数とともに記憶部100に予め記憶しておき、閲覧者の性別、年齢、衣服のサイズなどに基づいて、これに類似する性別、年齢、衣服のサイズなどに関する情報(身長、体重、洋服の号数など)が含まれているクチコミ情報を、信用度とともに提供することとすればよい。このようにすることで、閲覧希望者は、自身の情報と類似するユーザが作成したクチコミ情報を優先的に取得することができるようになる。
なお、上記実施形態では、位置評価部92、時刻評価部93、環境評価部94、及び感情評価部95が決定した重み付け係数に基づいて、制御部110がクチコミ情報の信用度を決定する場合について説明したがこれに限られるものではない。例えば、情報抽出部90内において、各部92〜95が決定した重み付け係数を用いてクチコミ情報の信用度を決定し、制御部110に対して出力することとしてもよい。
なお、上記実施形態では、クチコミ情報の種別が、体験型と購入型の2種類である場合について説明したが、これに限らず、その他の種別を採用し、種別ごとに位置情報比較テーブルや時刻情報比較テーブルなどのテーブルを用意するようにしてもよい。
なお、上記実施形態で用いた画像データテーブル(図4)、ユーザ情報テーブル(図5)、及びテキスト情報テーブル(図7)は、一例である。例えば、全てのテーブルを1つのテーブルに纏めてもよいし、画像データテーブル(図4)とユーザ情報テーブル(図5)とを1つのテーブルに纏めてもよい。また、各テーブルのフィールドの一部を省略したり別のフィールドを追加することとしてもよい。
なお、上記実施形態では、携帯端末10に画像分析部30を設ける場合について説明したが、これに限らず、画像分析部30は、サーバ60側に設けることとしてもよい。この場合、サーバ60内において、内蔵カメラ21で取得された画像の顔の表情の検出、服装の検出、メタデータ(EXIFデータ)の検出が行われる。この場合、顔表情DBや服装DBは、サーバ60の記憶部100に記憶させておくことができるので、携帯端末10の記憶部40に記録しておく必要がない。この結果、記憶部40の記憶領域を有効に使用することが可能となり、また、顔表情DBや服装DBのアップデートなどの管理が容易になる。
また、上記実施形態では、重み付けに関する処理をサーバ60が行うこととしたが、これに限らず、携帯端末10において行うこととしてもよい。
なお、上記実施形態において、クチコミ情報を作成する端末が、スマートフォンである場合について説明したが、これに限られるものではない。例えば、パーソナルコンピュータを用いたクチコミ情報の作成にも、本発明を適用することができる。この場合、内蔵カメラ21に代えて、パーソナルコンピュータのディスプレイ近傍に設けられたユーザ撮像用のカメラ(例えばUSBカメラ)を用いることとしてもよい。さらに、パーソナルコンピュータを用いる場合には、圧力センサ26を、パーソナルコンピュータのキーボードに設けることとすればよい。
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。