[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2015005967A - 電子機器及びプログラム - Google Patents

電子機器及びプログラム Download PDF

Info

Publication number
JP2015005967A
JP2015005967A JP2013216334A JP2013216334A JP2015005967A JP 2015005967 A JP2015005967 A JP 2015005967A JP 2013216334 A JP2013216334 A JP 2013216334A JP 2013216334 A JP2013216334 A JP 2013216334A JP 2015005967 A JP2015005967 A JP 2015005967A
Authority
JP
Japan
Prior art keywords
image
unit
vibration
sound
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013216334A
Other languages
English (en)
Inventor
井上 英也
Hideya Inoue
英也 井上
正永 中村
Masanaga Nakamura
正永 中村
泰輝 布川
Yasuteru Fukawa
泰輝 布川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2013216334A priority Critical patent/JP2015005967A/ja
Publication of JP2015005967A publication Critical patent/JP2015005967A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)

Abstract

【課題】電子図鑑を提供する際に効果的な演出をすることができる電子機器及びプログラムを提供する。【解決手段】電子機器は、画像データと、画像内の対象に応じた波形データと、を含む所定のコンテンツを記憶する記憶部と、複数の振動部と、画像データに基づいて画像を表示する表示部と、操作入力を受け付ける操作部と、操作入力により選択された画像内の対象に基づいて波形データを選択し、選択した当該波形データに基づいて、複数の振動部を振動させる制御部と、備える。また、波形データは、振動の定位感、又は振動の定位の移動感をユーザに与えるように、複数の振動部を振動させるための情報を含んでもよい。【選択図】図1

Description

本発明は、電子機器及びプログラムに関する。
撮影された被写体に関する情報を提供する電子図鑑(電子機器)が、特許文献1に開示されている。
特許第4137756号公報
しかしながら、従来の電子機器は、電子図鑑を提供する際に必ずしも効果的な演出が得られるわけではなかった。
本発明は、前記の点に鑑みてなされたものであり、電子図鑑を提供する際に効果的な演出をすることができる電子機器及びプログラムを提供することを目的とする。
本発明の一態様は、画像データと、画像内の対象に応じた波形データと、を含む所定のコンテンツを記憶する記憶部と、複数の振動部と、前記画像データに基づいて画像を表示する表示部と、操作入力を受け付ける操作部と、前記操作入力により選択された前記画像内の対象に基づいて前記波形データを選択し、選択した当該波形データに基づいて、複数の前記振動部を振動させる制御部と、を備えることを特徴とする電子機器である。
本発明の一態様は、コンピュータに、画像データと、画像内の対象に応じた波形データと、を含む所定のコンテンツに含まれる前記画像データに基づいて、画像を表示する手順と、操作入力を受け付ける手順と、前記操作入力により選択された前記画像内の対象に基づいて波形データを選択する手順と、選択した当該波形データに基づいて、複数の振動部を振動させる手順と、を実行させるためのプログラムである。
本発明によれば、電子機器は、電子図鑑を提供する際に効果的な演出をすることができる。
本発明の第1実施形態における、電子機器の構成例を示すブロック図である。 本発明の第1実施形態における、振動部の配置例を示す図である。 本発明の第1実施形態における、仮現運動の例を示す図である。 本発明の第1実施形態における、VIBファイルのフォーマットの例を示す表である。 本発明の第1実施形態における、VIBファイルのフォーマットの例を示す表である。 本発明の第1実施形態における、VIBファイルのフォーマットの例を示す表である。 本発明の第1実施形態における、動物図鑑のメニュー画面の表示例を示す図である。 本発明の第1実施形態における、動物図鑑の第1表示例を示す図である。 本発明の第1実施形態における、動物図鑑の第2表示例を示す図である。 本発明の第1実施形態における、動物図鑑の第3表示例を示す図である。 本発明の第1実施形態における、昆虫図鑑の第1表示例を示す図である。 本発明の第1実施形態における、昆虫図鑑の第2表示例を示す図である。 本発明の第1実施形態における、鳥図鑑の表示例を示す図である。 本発明の第1実施形態における、魚図鑑の表示例を示す図である。 本発明の第1実施形態における、乗り物図鑑の第1表示例を示す図である。 本発明の第1実施形態における、乗り物図鑑の第2表示例を示す図である。 本発明の第1実施形態における、楽器図鑑の表示例を示す図である。 本発明の第1実施形態における、料理図鑑の表示例を示す図である。 本発明の第1実施形態における、人体図鑑の表示例を示す図である。 本発明の第1実施形態における、宇宙図鑑の表示例を示す図である。 本発明の第1実施形態における、化学図鑑の表示例を示す図である。 本発明の第1実施形態における、ものづくり図鑑の表示例を示す図である。 本発明の第1実施形態における、電子機器の動作手順の例を示すフローチャートである。 本発明の第2実施形態における、ゲームを表す第1画像の表示例を示す図である。 本発明の第2実施形態における、ゲームを表す第2画像の表示例を示す図である。 本発明の第3実施形態における、電子機器の構成例を示すブロック図である。 本発明の第3実施形態における、VIBデータとして記憶される波形データの第1例を示す図である。 本発明の第3実施形態における、VIBデータとして記憶される波形データの第2例を示す図である。
[第1実施形態]
本発明の第1実施形態について図面を参照して詳細に説明する。以下、定位感及び移動感などを生じさせることによって、電子機器のユーザが得られる演出効果を、「振動エフェクト」という。ここで、定位感とは、ファントム・センセーション(Phantom Sensation)、すなわち、ユーザの皮膚の2点を同時に振動させた(刺激した)場合に、その2点の間に在る特定の位置に、あたかも振動の定位があるようにユーザが感じる感覚である。また、移動感とは、仮現運動(Apparent Movement)、すなわち、ユーザの皮膚の2点を位相差及び出力差を持たせて振動させた(刺激した)場合に、振動の定位が移動しているようにユーザが感じる感覚である。
以下、振動エフェクトを得ることができるよう処理が施された、非圧縮の波形データとしてのPCM(Pulse Code Modulation)データを、「VPCMデータ」という。また、振動エフェクトを得ることができるよう処理が施された、圧縮の波形データとしてのAAC(Advanced Audio Coding)データを、「VAACデータ」という。なお、これらの波形データには、振動エフェクトをより得ることができるよう、トーンバーストが含められてもよい。
以下、振動エフェクトを得ることができるよう処理が施された波形データ(VPCMデータ、又はVAACデータ)を、予め定められたフォーマットに則って含むデータを、「VIBデータ(振動データ)」という。以下、VIBデータを含むファイルを、「VIBファイル(振動ファイル)」という。フォーマットについては、図4〜図6を用いて後述する。
なお、本明細書における「波形データ」は、必ずしも視覚的に波形を表すためのデータでなくてもよく、少なくとも振幅を示す情報と、周波数を示す情報とが含まれるデータであればよい。
まず、電子機器の構成例を説明する。
図1には、電子機器の構成例が、ブロック図により示されている。電子機器100は、振動部110と、収音部120と、通信部130と、操作部140と、記憶部150と、出音部160と、表示部170と、制御部180とを備える。
制御部180は、電子機器100の各部を制御する。例えば、制御部180は、記憶部150に記憶されているVIBファイルを取得し、VIBファイルに含まれる波形データ(例えば、VPCMデータ、VAACデータ)に基づいて、振動部110を振動させる。ここで、制御部180は、後述のユーザによる操作入力に基づいて、表示部170に表示される画像内の対象に応じたVIBファイルを選択し、選択した当該VIBファイルに基づいて振動部110を振動させる。また、制御部180は、VIBファイルに含まれる波形データに基づいて、出音部160から出音させてもよい。
振動部110は、制御部180による制御に基づいて、VIBファイルに含まれる波形データに応じて振動する。
図2には、振動部の配置例が示されている。電子機器100は、一例として、その筐体の四隅に、振動部(振動子、振動デバイス)110−1〜110−4をそれぞれ備える。以下、振動部110−1〜110−4に共通する事項については、「振動部110」と表記する。電子機器100は、VPCMデータ又はVAACデータに基づいて各振動部を振動させることにより、自装置の筐体を振動させる。また、電子機器100は、画像(映像)データ及び音声データを再生しながら、VIBファイルに基づいて各振動部を振動させてもよい。
図3には、ユーザが移動感を得ることができる仮現運動の例が示されている。説明のため、図3では、電子機器100の筐体の中心を原点とする座標系(x,y)=(−1.0〜+1.0,−1.0〜+1.0)が定義されている。
振動部110−1(チャンネル1)は、一例として、座標(−0.9,+0.9)に配置されている。また、振動部110−2(チャンネル2)は、一例として、座標(+0.9,+0.9)に配置されている。また、振動部110−3(チャンネル3)は、一例として、座標(−0.9,−0.9)に配置されている。また、振動部110−4(チャンネル4)は、一例として、座標(+0.9,−0.9)に配置されている。また、各振動部の種別は、ボイスコイルモータ(VCM)でもよいし、スピーカでもよい。
図3では、一例として、始点座標(+0.4,+0.2)から終点座標(−0.3,−0.55)まで振動の定位感が直線的に移動するような移動感を、ユーザは得ることができる。以下、始点座標及び終点座標を含む情報を、「ベクトル情報」という。ここで、始点座標及び終点座標は、相対座標により表現されてもよい。また、ベクトル情報には、振動部が振動を継続させる振動時間(鳴動時間)を示す情報が、更に含まれてもよい。
なお、図2及び図3では、電子機器が振動部を4個備える形態について説明したが、振動の定位の移動感をユーザに与えるためには、振動部は、複数あればよく、4個に限られない。また、図3では、振動の定位が直線的に移動する形態について説明したが、振動の定位の移動は、その軌跡が曲線を伴っていてもよい。
図1に戻り、電子機器の構成例の説明を続ける。通信部130は、通信回路300を介して、サーバ装置200との通信を実行する。例えば、通信部130は、サーバ装置200に記憶されている図鑑ファイルを、サーバ装置200から受信(ダウンロード)する。図鑑ファイルには、図鑑データとして、画像(静止画像又は動画像)データと、当該画像内の対象に応じた音データと、当該画像内の対象に応じたVIBファイル(振動ファイル)とが含まれている。なお、画像内に複数の対象が含まれる場合、それぞれの対象毎に、音データ、及びVIBファイルが対応付けられていてもよい。
なお、図鑑ファイルのうち、所定の基本コンテンツは、課金無しで受信されてもよい。一方、当該所定の基本コンテンツ以外は、課金有りで受信されてもよい。なお、音データは、音の移動感(例えば、左から右方向)をユーザに与えられるように、複数の出音部それぞれから出音される音(音量等)を制御するための情報を含んでいてもよい。
記憶部150は、制御部180が実行するプログラムを予め記憶する。また、記憶部150は、収音部120により収音された音を表す音データを記憶する。また、記憶部150は、通信部130により受信された上述の図鑑データを記憶する。
図4、図5及び図6には、VIBファイルのフォーマットの例が、分割されて表により示されている。ここで、VIBファイルには、リストタイプ「INFO」を示す情報と、作成日を示す情報と、ファイル所有者を示す情報と、ファイル作成者を示す情報と、タイトル(表題)を示す情報と、コメントを示す情報とが含まれる。
また、VIBファイルには、リストタイプ「vibl」を示す情報と、VIBデータのフォーマットのバージョンを示す情報と、作成時分(作成時刻)を示す情報と、更新日を示す情報と、更新時分(更新時刻)を示す情報と、エンコードツール(ツール名称など)を示す情報と、ジャンル(例えば、画像(映像)、音声、ハプティック(Haptic)、ゲーム)を示す情報と、VIBファイルのメーカーコードを示す情報と、保護情報(プロテクトの有無)を示す情報と、振動時間(再生時間)を示す情報と、振動子デバイス情報(例えば、振動部のメーカーの識別情報、振動部の種別情報)と、振動ch(チャンネル)割当を示す情報と、振動周波数帯域(単一周波数、広帯域)を示す情報と、ユーザコメントを示す情報と、GPS(Global Positioning System)情報(ジオタグ)とが含まれる。
また、VIBファイルには、VIBファイル(VIBデータ)自体のバージョンを示す情報と、データ領域(図6では、「ckData」により示される領域)に含まれている波形データの種別(例えば、PCMフォーマットを有するVPCM、AACフォーマットを有するVAAC)を示す情報と、振動ch(チャンネル)の数を示す情報と、サンプリングレート(波形データのサンプリング周波数)を示す情報と、サンプリングビット(波形データの量子化ビット数)を示す情報とが含まれる。
以下、作成日を示す情報と、作成時分(作成時刻)を示す情報と、更新日を示す情報と、更新時分(更新時刻)を示す情報と、VIBデータのフォーマットのバージョンを示す情報と、VIBファイル(VIBデータ)自体のバージョンを示す情報と、データ領域に含まれている波形データの種別を示す情報と、振動chの数を示す情報と、サンプリングレートを示す情報と、サンプリングビットを示す情報と、ファイル所有者を示す情報と、ファイル作成者を示す情報と、タイトルを示す情報と、コメントを示す情報と、エンコードツールを示す情報と、ジャンルを示す情報と、VIBファイルのメーカーコードを示す情報と、保護情報を示す情報と、振動時間を示す情報と、振動子デバイス情報と、振動ch割当を示す情報と、振動周波数帯域を示す情報と、ユーザコメントを示す情報と、GPS情報(ジオタグ)とをまとめて、「VIB情報」という。
また、以下、電子機器100(図2及び図3を参照)における振動部の配置(座標)を示す情報と、振動ch(チャンネル)の数を示す情報と、サンプリングレート(PCMデータのサンプリング周波数)を示す情報と、サンプリングビット(PCMデータの量子化ビット数)を示す情報とをまとめて、「構成情報」という。ここで、振動ch(チャンネル)の数、サンプリングレート及びサンプリングビットは、VIB情報に基づいて、それぞれ定められる。
収音部120は、電子機器100の周囲から収音し、収音された音を表す音データを記憶部150に記憶させる。収音された音を表す音データには、制御部180により音声認識処理が施されてもよい。
出音部160は、制御部180による制御により、図鑑データに含まれている音データに基づいて出音する。また、出音部160は、制御部180による制御により、VIBデータに含まれている波形データに基づいて出音してもよい。また、出音部160は、複数でもよい。
表示部170は、図鑑データの画像データに基づいて、画像を表示する。画像データには、図鑑のコンテンツの画像と、メニュー画像とが含まれる。表示部170は、操作入力を検出するためのタッチパネルを有する。
操作部140は、操作キー等により、ユーザによる操作入力を受け付け、操作入力に応じた信号を制御部180に出力する。ここで、操作キー等は、表示部170のタッチパネルに表示された画像(画像内の対象)でもよいし、物理的な操作キーでもよい。また、操作部140として不図示の加速度センサを用い、ユーザが筐体を振ったときのモーションを操作入力として受け付けてもよい。以下では、一例として、操作部140の操作キー等は、表示部170のタッチパネルに表示された画像(画像内の対象)であるものとして説明を続ける。
図7には、動物図鑑のメニュー画面の表示例が示されている。図7に示されたメニュー画面には、動物図鑑のコンテンツの画像が、サムネイル画像により表示されている。ユーザは、電子機器100に解説をさせたい動物のサムネイル画像を指で操作することにより、その動物を制御部180に選択させる。なお、ユーザは、収音部120に対して、動物の名前を正しく発音することにより、制御部180に音声認識を実行させ、その動物を解説するための画像を表示部170に表示させてもよい。また、メニュー画面には、ガイダンスとして、「動物を選んでください」などの文字列が表示されてもよい。また、メニュー画面が表示されている場合、「動物を選んでください」などの音声ガイダンスが流れてもよい。
図8には、動物図鑑の第1表示例が示されている。図8では、複数のライオンの画像が、操作部140としての表示部170に表示されている。当該画像は、実写、絵、コンピュータグラフィックス、またはそれらの組み合わせであってもよい。また、当該画像は、複数の画像を用いて作成された合成画像であってもよい。表示部170には、ライオンを解説するための文字列等が表示されてもよい。ここで、ユーザが表示部170を指で操作した場合、制御部180は、表示されている複数のライオンの画像を回転させることで、それらのライオンの画像をユーザに立体視させてもよい。
ユーザが表示部170を指で操作して複数のライオンの中から1匹のライオンを選択した場合、制御部180は、操作入力に応じた信号に基づいてライオンを選択し、その選択したライオンに予め対応付けられた音データ及びVIBファイルを、記憶部150から選択する。そして、例えば、制御部180は、選択したライオンが鳴く画像を、表示部170に表示させる。制御部180は、選択したVIBファイルに基づいて、画像に同期させて振動部110を振動させる。制御部180は、定位感又は移動感がユーザに生じるように、画像に同期させたベクトル情報に基づいて振動部110を振動させてもよい。また、制御部180は、選択した音データに基づいて、画像に同期させて出音部160から出音させる。これにより、制御部180は、親ライオンが鳴いた場合と、仔ライオンが鳴いた場合とで、鳴き声及び振動を違えることができる。
なお、上述の図8の表示例において、表示部170は、複数のライオンの画像とともに、ユーザに操作(例えば、タッチ操作やドラッグ操作等)を促すガイダンスを表示してもよい。例えば、表示部170は、「ライオンの画像をタッチしてください」等の文字列を表示してもよい。また、例えば、表示部170は、親ライオン又は仔ライオンの画像に、指のマークや矢印等を重ねるように表示してもよい。また、制御部180は、「ライオンの画像をタッチしてください」等の音声ガイダンスを、出音部160から流してもよい。
また、制御部180は、ユーザがタッチパネル上でピンチアウト又はピンチイン等の操作を行うことにより、表示部170に表示されている画像を、拡大又は縮小させてもよい。
図9には、動物図鑑の第2表示例が示されている。図9では、チータの画像が、操作部140としての表示部170に表示されている。当該画像は、実写、絵、コンピュータグラフィックス、またはそれらの組み合わせであってもよい。また、当該画像は、複数の画像を用いて作成された合成画像であってもよい。表示部170には、チータを解説するための文字列等が表示されてもよい。ここで、表示されたチータをユーザが指で操作した場合、制御部180は、そのチータが土煙とともに疾走し獲物を追いかける画像を、表示部170に表示させてもよい。また、表示されたチータをユーザが指で再び操作した場合、制御部180は、そのチータが疾走を止める画像を、表示部170に表示させてもよい。
制御部180は、チータに予め対応付けられた音データ(例えば、疾走音データ)及びVIBファイルを、記憶部150から選択する。制御部180は、選択したVIBファイルに基づいて、画像に同期させて振動部110を振動させる。制御部180は、定位感又は移動感などの振動エフェクトがユーザに生じるように、画像に同期させたベクトル情報に基づいて振動部110を振動させてもよい。例えば、制御部180は、表示画面170にチータが疾走する画像が表示される場合、振動の定位感、又は振動の定位の移動感と、当該チータの動きとを、ベクトル情報に基づいて同期させてもよい。また、制御部180は、選択した音データに基づいて、画像に同期させて出音部160から出音させる。
なお、当該音データにより、音の移動感が表現されてもよい。制御部180は、例えば、チータが疾走する画像が表示画面170に表示される場合、チータの疾走音の定位の移動感と、チータの動きとを、ベクトル情報に基づいて同期させてもよい。また、音の移動感は、振動の定位の移動感と同期してもよい。
なお、上述の図9の表示例において、表示部170は、チータの画像とともに、ユーザに操作(例えば、タッチ操作やドラッグ操作等)を促すガイダンスを表示してもよい。例えば、表示部170は、「チータの画像をタッチしてください」等の文字列を表示してよい。また、表示部170は、チータの画像に、指のマークや矢印等を重ねるように表示してもよい。また、制御部180は、「チータの画像をタッチしてください」等の音声ガイダンスを、出音部160から流してもよい。
また、制御部180は、ユーザがタッチパネル上でピンチアウト又はピンチイン等の操作を行うことにより、表示部170に表示されている画像を、拡大又は縮小させてもよい。
図10には、動物図鑑の第3表示例が示されている。図10では、親子のアフリカゾウの画像が、操作部140としての表示部170に表示されている。当該画像は、実写、絵、コンピュータグラフィックス、またはそれらの組み合わせであってもよい。また、当該画像は、複数の画像を用いて作成された合成画像であってもよい。表示部170には、アフリカゾウを解説するための文字列等が表示されてもよい。ここで、ユーザが表示部170を指で操作した場合、制御部180は、その操作により選択されたアフリカゾウが鼻を振り上げる画像を、表示部170に表示させてもよい。また、ユーザが表示部170を指で操作した場合、制御部180は、選択したアフリカゾウが歩きながら鳴く画像を、土煙の画像とともに、表示部170に表示させてもよい。
制御部180は、操作入力に応じた信号に基づいてアフリカゾウを選択し、その選択したアフリカゾウに予め対応付けられた音データ(例えば、鳴き声データ、足音データ)及びVIBファイルを、記憶部150から選択する。制御部180は、選択したVIBファイルに基づいて、画像に同期させて振動部110を振動させる。制御部180は、定位感又は移動感などの振動エフェクトがユーザに生じるように、画像に同期させたベクトル情報に基づいて振動部110を振動させてもよい。また、制御部180は、選択した音データに基づいて、画像に同期させて出音部160から出音させる。これにより、制御部180は、親アフリカゾウが鳴いた場合と、仔アフリカゾウが鳴いた場合とで、鳴き声及び振動を違えることができる。
なお、上述の図10の表示例において、表示部170は、親子アフリカゾウの画像とともに、ユーザに操作(例えば、タッチ操作やドラッグ操作等)を促すガイダンスを表示してもよい。表示部170は、例えば、「アフリカゾウの画像をタッチしてください」等の文字列を表示してもよい。また、表示部170は、アフリカゾウの画像に、指のマークや矢印等を重ねるように表示してもよい。また、制御部180は、「アフリカゾウの画像をタッチしてください」等の音声ガイダンスを、出音部160から流してもよい。
また、制御部180は、ユーザがタッチパネル上でピンチアウト又はピンチイン等の操作を行うことにより、表示部170に表示されている画像を、拡大又は縮小させてもよい。
図11には、昆虫図鑑の第1表示例が示されている。図11では、蝉の画像が、操作部140としての表示部170に表示されている。当該画像は、実写、絵、コンピュータグラフィックス、またはそれらの組み合わせであってもよい。また、当該画像は、複数の画像を用いて作成された合成画像であってもよい。表示部170には、蝉を解説するための文字列等が表示されてもよい。ここで、ユーザが表示部170を指で操作した場合、制御部180は、蝉が翅を振動させる画像を、表示部170に表示させてもよい。
制御部180は、表示されている蝉に予め対応付けられた音データ(例えば、鳴き声データ)及びVIBファイルを、記憶部150から選択する。制御部180は、選択したVIBファイルに基づいて、蝉が翅を振動させる画像に同期させて振動部110を振動させる。制御部180は、定位感又は移動感などの振動エフェクトがユーザに生じるように、画像に同期させたベクトル情報に基づいて振動部110を振動させてもよい。また、制御部180は、選択した音データに基づいて、画像に同期させて出音部160から出音させる。これにより、制御部180は、蝉の種類毎に、鳴き声及び振動を違えることができる。
なお、上述の例では、蝉の画像に同期して制御部180が振動部110を振動させる例について説明したが、振動部110を振動させる例は、これに限られない。例えば、制御部180は、蝉の静止画を表示部170に表示させたまま、蝉の鳴き声を出音部160から出音し、当該蝉の鳴き声に同期させて、振動部110を振動させてもよい。
なお、上述の図11の表示例において、表示部170は、蝉の画像とともに、ユーザに操作(例えば、タッチ操作やドラッグ操作等)を促すガイダンスを表示してもよい。例えば、表示部170は、「蝉の画像をタッチしてください」等の文字列を表示してもよい。また、表示部170は、蝉の画像に、指のマークや矢印等を重ねるように表示してもよい。また、制御部180は、「蝉の画像をタッチしてください」等の音声ガイダンスを、出音部160から流してもよい。
また、制御部180は、ユーザがタッチパネル上でピンチアウト又はピンチイン等の操作を行うことにより、表示部170に表示されている画像を、拡大又は縮小させてもよい。
図12には、昆虫図鑑の第2表示例が示されている。図12では、カブトムシ及びクワガタムシの画像が、操作部140としての表示部170に表示されている。当該画像は、実写、絵、コンピュータグラフィックス、またはそれらの組み合わせであってもよい。また、当該画像は、複数の画像を用いて作成された合成画像であってもよい。表示部170には、カブトムシ及びクワガタムシを解説するための文字列等が表示されてもよい。ここで、ユーザが表示部170を指で操作した場合、制御部180は、カブトムシ及びクワガタムシが対決する画像を、表示部170に表示させてもよい。
制御部180は、カブトムシ及びクワガタムシに予め対応付けられた音データ(例えば、両者が対決する際に録音された音データ)及びVIBファイルを、記憶部150から選択する。この音データは、高性能マイクを介して録音されたカブトムシ及びクワガタムシの実際の音でもよい。制御部180は、選択したVIBファイルに基づいて、画像に同期させて振動部110を振動させる。制御部180は、定位感又は移動感などの振動エフェクトがユーザに生じるように、画像に同期させたベクトル情報に基づいて振動部110を振動させてもよい。また、制御部180は、選択した音データに基づいて、画像に同期させて出音部160から出音させる。
なお、上述の図12の表示例において、表示部170は、カブトムシ及びクワガタムシの画像とともに、ユーザに操作(例えば、タッチ操作やドラッグ操作等)を促すガイダンスを表示してもよい。例えば、表示部170は、「カブトムシ又はクワガタムシの画像をタッチしてください」等の文字列を表示してもよい。また、表示部170は、カブトムシの画像及びクワガタムシの画像に、指のマークや矢印等を重ねるように表示してもよい。また、制御部180は、「カブトムシ又はクワガタムシの画像をタッチしてください」等の音声ガイダンスを、出音部160から流してもよい。
また、制御部180は、ユーザがタッチパネル上でピンチアウト又はピンチイン等の操作を行うことにより、表示部170に表示されている画像を、拡大又は縮小させてもよい。
図13には、鳥図鑑の表示例が示されている。図13では、鳥(カワセミ)の画像が、操作部140としての表示部170に表示されている。当該画像は、実写、絵、コンピュータグラフィックス、またはそれらの組み合わせであってもよい。また、複数の画像を用いて作成された合成画像であってもよい。表示部170には、鳥を解説するための文字列等が表示されてもよい。ここで、ユーザが表示部170を指で操作した場合、制御部180は、鳥が餌を食べる画像を、表示部170に表示させてもよい。また、別途用意された不図示の餌画像を、ユーザが表示部170上でドラッグ操作して、鳥に近付けた場合、制御部180は、鳥が餌を食べる画像を、表示部170に表示させてもよい(餌やりの擬似体験)。また、ユーザが表示部170を指で操作した場合、制御部180は、鳥が飛び立ち、表示部170から次第に消えていく画像を、表示部170に表示させてもよい。
制御部180は、鳥に予め対応付けられた音データ(例えば、鳴き声、羽ばたき音、滑空音)及びVIBファイルを、記憶部150から選択する。この音データは、指向性マイクを介して録音された鳥の実際の音でもよい。制御部180は、選択したVIBファイルに基づいて、画像に同期させて振動部110を振動させる。制御部180は、定位感又は移動感などの振動エフェクトがユーザに生じるように、画像に同期させたベクトル情報に基づいて振動部110を振動させてもよい。また、制御部180は、選択した音データに基づいて、画像に同期させて出音部160から出音させる。
なお、上述の図13の表示例において、表示部170は、カブトムシ及びクワガタムシの画像とともに、ユーザに操作(例えば、タッチ操作やドラッグ操作等)を促すガイダンスを表示してもよい。例えば、表示部170は、「鳥の画像をタッチしてください」、「餌をドラッグして鳥に餌をあげてください」等の文字列を表示してもよい。また、表示部170は、鳥や餌の画像に、指のマークや矢印等を重ねるように表示してもよい。また、制御部180は、「鳥の画像をタッチしてください」、「餌をドラッグして鳥に餌をあげてください」等の音声ガイダンスを、出音部160から流してもよい。
また、制御部180は、ユーザがタッチパネル上でピンチアウト又はピンチイン等の操作を行うことにより、表示部170に表示されている画像を、拡大又は縮小させてもよい。
図14には、魚図鑑の表示例が示されている。図14では、魚(鰹)の画像が、操作部140としての表示部170に表示されている。当該画像は、実写、絵、コンピュータグラフィックス、またはそれらの組み合わせであってもよい。また、当該画像は、複数の画像を用いて作成された合成画像であってもよい。表示部170には、魚を解説するための文字列等が表示されてもよい。ここで、魚図鑑には、釣りゲーム機能が備えられていてもよい。例えば、水面(海、川、釣堀等)、浮き、釣り糸、釣竿等の画像が、表示部170に表示され、制御部180は、魚が餌に食い付いたことを、振動部110の振動で報知するようにしてもよい。そして、ユーザが表示部170を指で操作した場合、制御部180は、釣りゲームの画像として魚が釣り上げられる画像、及び釣り上げられた魚の画像を、表示部170に表示させてもよい。
制御部180は、魚に予め対応付けられた音データ(例えば、魚が跳ねる音)及びVIBファイルを、記憶部150から選択する。制御部180は、選択したVIBファイルに基づいて、画像に同期させて振動部110を振動させる。制御部180は、定位感又は移動感などの振動エフェクトがユーザに生じるように、画像に同期させたベクトル情報に基づいて振動部110を振動させてもよい。また、制御部180は、選択した音データに基づいて、画像に同期させて出音部160から出音させる。なお、上述の釣りゲームにおいて、釣り上げることが可能な魚の種類は、複数でもよい。この場合、記憶部150が、音データ及びVIBファイルを、魚の種類に対応させて記憶し、制御部180は、釣り上げられた魚に応じて、音データ及びVIBファイルを、選択するようにすればよい。
なお、上述の釣りゲームにおいて、魚が餌に食い付いた際に、表示部170は、魚を釣り上げるための操作(例えば、タッチ操作やドラッグ操作等)をユーザに促すガイダンスを、表示してもよい。例えば、表示部170は、「画面をタッチしてください」等の文字列を表示してもよい。表示部170は、水面や釣竿等の画像に、指のマークや矢印等を重ねるように表示してもよい。また、制御部180は、「画面をタッチしてください」等の音声ガイダンスを、出音部160から流してもよい。
また、制御部180は、ユーザがタッチパネル上でピンチアウト又はピンチイン等の操作を行うことにより、表示部170に表示されている画像を、拡大又は縮小させてもよい。
図15には、乗り物図鑑の第1表示例が示されている。図15では、ショベルカーの操縦席の画像が、操作部140としての表示部170に表示されている。当該画像は、実写、絵、コンピュータグラフィックス、またはそれらの組み合わせであってもよい。また、当該画像は、複数の画像を用いて作成された合成画像であってもよい。表示部170には、ショベルカーを解説するための文字列等が表示されてもよい。また、制御部180は、操縦席の画像が表示される前に表示されているショベルカーのドアをユーザが触れた場合、そのドアが開き、操縦席の画像に切り替わる動画像を、表示部170に表示させてもよい。また、制御部180は、表示されているショベルカーのエンジンキーをユーザが指で回した場合、エンジンの振動により操縦席が細かく上下する画像を、表示部170に表示させてもよい。また、制御部180は、表示されているショベルカーのレバーをユーザが指で動かした場合、ショベルが上下する画像を、表示部170に表示させてもよい。
制御部180は、ショベルカーに予め対応付けられた音データ(例えば、エンジン音)及びVIBファイルを、記憶部150から選択する。制御部180は、選択したVIBファイルに基づいて、画像に同期させて振動部110を振動させる。制御部180は、定位感又は移動感などの振動エフェクトがユーザに生じるように、画像に同期させたベクトル情報に基づいて振動部110を振動させてもよい。また、制御部180は、選択した音データに基づいて、画像に同期させて出音部160から出音させる。
なお、上述の図15の表示例において、表示部170は、ショベルカーの画像とともに、ユーザに操作(例えば、タッチ操作やドラッグ操作等)を促すガイダンスを表示してもよい。例えば、表示部170は、「ドアの画像をタッチしてください(開けてください)」、「エンジンキーの画像をタッチしてください(回してください)」等の文字列を表示してもよい。また、表示部170は、ショベルカーのドアやエンジンキーの画像に、指のマークや矢印等を重ねるように表示してもよい。また、制御部180は、「ドアの画像をタッチしてください(開けてください)」、「エンジンキーの画像をタッチしてください(回してください)」等の音声ガイダンスを、出音部160から流してもよい。
また、制御部180は、ユーザがタッチパネル上でピンチアウト又はピンチイン等の操作を行うことにより、表示部170に表示されている画像を、拡大又は縮小させてもよい。
図16には、乗り物図鑑の第2表示例が示されている。図16では、飛行機の操縦席の画像が、操作部140としての表示部170に表示されている。当該画像は、実写、絵、コンピュータグラフィックス、またはそれらの組み合わせであってもよい。また、当該画像は、複数の画像を用いて作成された合成画像であってもよい。表示部170には、飛行機を解説するための文字列等が表示されてもよい。制御部180は、操縦席の画像が表示される前に、表示部170にメニュー画像を表示させることで、飛行機の種類をユーザに選択させてもよい。また、制御部180は、操縦席の画像が表示される前に、離着陸する空港をユーザに選択させてもよい。
また、制御部180は、表示されている操縦席の操縦桿をユーザが操作した場合、飛行機が離陸する画像又はランディングする画像を、表示部170に表示させてもよい。制御部180は、操縦席の画像が表示される前に、所定のルーチン動画像を表示部170に表示させることで、パイロットが操縦席まで移動する行程を、ユーザに疑似体験させてもよい。ここで、当該ルーチン動画像において表示されるパイロットの顔には、予め撮像されたユーザの顔の画像が貼り付けられていてもよい。
制御部180は、飛行機に予め対応付けられた音データ(例えば、エンジン音、機内放送)及びVIBファイルを、記憶部150から選択する。制御部180は、選択したVIBファイルに基づいて、画像に同期させて振動部110を振動させる。制御部180は、定位感又は移動感などの振動エフェクトがユーザに生じるように、画像に同期させたベクトル情報に基づいて振動部110を振動させてもよい。また、制御部180は、選択した音データに基づいて、画像に同期させて出音部160から出音させる。
なお、上述の図16の表示例において、表示部170は、操縦席の画像とともに、ユーザに操作(例えば、タッチ操作やドラッグ操作等)を促すガイダンスを表示してもよい。例えば、表示部170は、「操縦桿をドラッグしてください(操作してください)」等の文字列を表示してもよい。また、表示部170は、操縦桿の画像に、指のマークや矢印等を重ねるように表示してもよい。また、制御部180は、「操縦桿をドラッグしてください(操作してください)」等の音声ガイダンスを、出音部160から流してもよい。
また、制御部180は、ユーザがタッチパネル上でピンチアウト又はピンチイン等の操作を行うことにより、表示部170に表示されている画像を、拡大又は縮小させてもよい。
図17には、楽器図鑑の表示例が示されている。図17では、バイオリンの画像が、操作部140としての表示部170に表示されている。当該画像は、実写、絵、コンピュータグラフィックス、またはそれらの組み合わせであってもよい。また、当該画像は、複数の画像を用いて作成された合成画像であってもよい。表示部170には、バイオリンを解説するための文字列等が表示されてもよい。表示部170に表示されたバイオリンをユーザが指で操作した場合、制御部180は、そのバイオリンの弦が細かく振動する画像を、表示部170に表示させてもよい。また、表示部170は、バイオリンの弦の画像に、別途用意された弓の画像を重ねて表示するようにしてもよい。なお、制御部180は、ユーザによる当該弓の画像に対するドラッグ操作(演奏操作)に応じて、バイオリンの音を出音部160から出力してもよい。
なお、楽器図鑑には、クイズ機能が備えられてもよい。例えば、制御部180は、バイオリンに予め対応付けられた音データ(例えば、バイオリンの音色)及びVIBファイルを、記憶部150から選択する。制御部180は、選択したVIBファイルに基づいて、画像に同期させて振動部110を振動させる。制御部180は、定位感又は移動感などの振動エフェクトがユーザに生じるように、画像に同期させたベクトル情報に基づいて振動部110を振動させてもよい。また、制御部180は、選択した音データに基づいて、画像に同期させて出音部160から出音させる。
制御部180は、バイオリンを含む複数の楽器のサムネイル画像を表示させ、楽器の音及び振動をそれぞれ出力させることにより、どの楽器の音及び振動が出力されているかを複数の楽器のサムネイル画像の中から選ぶクイズを、出題してもよい。また、制御部180は、バイオリンの音及び振動を含む複数の音及び振動を同時に出力させることにより、どの楽器の音及び振動が出力されているかを複数の楽器のサムネイル画像の中から選ぶクイズを、出題してもよい。また、制御部180は、バイオリンの画像を表示させ、バイオリンの音及び振動をそれぞれ出力させることにより、絶対音階又は和音のクイズを出題してもよい。
また、制御部180は、解説する楽器を、操作入力に応じた信号に基づいて選択する。また、制御部180は、バイオリンに予め対応付けられた声データを、音データの代わりとして記憶部150から選択してもよい。また、制御部180は、選択した楽器の音を用いた作曲を、操作入力に応じた信号に基づいてユーザにさせてもよい。ここで、制御部180は、作曲された楽曲データを、記憶部150に記憶させてもよい。
なお、上述の図17の表示例において、表示部170は、バイオリンの画像とともに、ユーザに操作(例えば、タッチ操作やドラッグ操作等)を促すガイダンスを表示してもよい。例えば、表示部170は、「弦の画像をタッチしてください」、「弓をドラッグしてください」等の文字列を表示してもよい。また、表示部170は、弦や弓の画像に、指のマークや矢印等を重ねるように表示してもよい。また、制御部180は、「弦の画像をタッチしてください」、「弓をドラッグしてください」等の音声ガイダンスを、出音部160から流してもよい。
また、制御部180は、ユーザがタッチパネル上でピンチアウト又はピンチイン等の操作を行うことにより、表示部170に表示されている画像を、拡大又は縮小させてもよい。
図18には、料理図鑑の表示例が示されている。図18では、料理の食材の画像が、操作部140としての表示部170に表示されている。当該画像は、実写、絵、コンピュータグラフィックス、またはそれらの組み合わせであってもよい。また、当該画像は、複数の画像を用いて作成された合成画像であってもよい。表示部170には、食材を解説するための文字列等が表示されてもよい。ここで、料理図鑑には、料理のレシピが含まれていてもよい。制御部180は、食材の画像を料理のレシピ通りに、表示部170に表示させてもよい。また、ユーザは、料理のレシピに従い、表示部170上で仮想的に料理を行うようにしてもよい。例えば、ユーザが表示部170を指で操作した場合、制御部180は、食材が切れる画像を、表示部170に表示させてもよい。また、制御部180は、食材をフライパンで炒める画像や、食材を鍋で煮る画像等を、表示部170に表示させてもよい。
制御部180は、料理のレシピに予め対応付けられた音データ(例えば、食材を切る音、食材を炒める音、食材を煮る音)及びVIBファイルを、記憶部150から選択する。制御部180は、選択したVIBファイルに基づいて、画像に同期させて振動部110を振動させる。制御部180は、定位感又は移動感などの振動エフェクトがユーザに生じるように、画像に同期させたベクトル情報に基づいて振動部110を振動させてもよい。また、制御部180は、選択した音データに基づいて、画像に同期させて出音部160から出音させる。なお、制御部180は、複数の食材のサムネイル画像を表示させることにより、複数の食材のサムネイル画像の中からユーザが食材を選んで仮想的に料理するクイズを、出題してもよい。
なお、上述の図18の表示例において、表示部170は、食材の画像とともに、ユーザに操作(例えば、タッチ操作やドラッグ操作等)を促すガイダンスを表示してもよい。例えば、表示部170は、「食材の画像をタッチしてください(切ってください)」等の文字列を表示してもよい。また、表示部170は、食材の画像に、指のマークや矢印等を重ねるように表示してもよい。また、制御部180は、「食材の画像をタッチしてください(切ってください)」等の音声ガイダンスを、出音部160から流してもよい。
また、制御部180は、ユーザがタッチパネル上でピンチアウト又はピンチイン等の操作を行うことにより、表示部170に表示されている画像を、拡大又は縮小させてもよい。
図19には、人体図鑑の表示例が示されている。図19では、心臓の画像が、操作部140としての表示部170に表示されている。当該画像は、実写、絵、コンピュータグラフィックス、またはそれらの組み合わせであってもよい。また、当該画像は、複数の画像を用いて作成された合成画像であってもよい。表示部170には、心臓を解説するための文字列等が表示されてもよい。制御部180は、表示されている人体をユーザが指でピンチアウト操作すると、心臓、脳、声帯、肝臓及び腸などの内臓を表す画像(例えば、腸の繊毛運動の画像)を、表示部170に表示させてもよい。また、制御部180は、表示されている内臓をユーザが指でピンチアウト操作すると、内臓を構成するタンパク質、アミノ酸、DNA(DeoxyriboNucleic Acid)、分子又は原子の画像を、ピンチアウト操作による拡大率に応じて、表示部170に表示させてもよい。なお、制御部180は、人体の画像を表示させることにより、ユーザに仮想的に手術をさせてもよい。
制御部180は、心臓などの内臓に予め対応付けられた音データ(例えば、心音)及びVIBファイルを、記憶部150から選択する。制御部180は、選択したVIBファイルに基づいて、画像に同期させて振動部110を振動させる。制御部180は、定位感又は移動感などの振動エフェクトがユーザに生じるように、画像に同期させたベクトル情報に基づいて振動部110を振動させてもよい。また、制御部180は、選択した音データに基づいて、画像に同期させて出音部160から出音させる。
なお、上述の図19の表示例において、表示部170は、人体の画像とともに、ユーザに操作(例えばタッチ操作、ドラッグ操作、ピンチアウト操作、ピンチイン操作等)を促すガイダンスを表示してもよい。例えば、表示部170は、「心臓の画像をピンチアウトしてください(拡大してください)」等の文字列を表示してもよい。また、表示部170は、心臓の画像に、指のマークや矢印等を重ねるように表示してもよい。また、制御部180は、「心臓の画像をピンチアウトしてください(拡大してください)」等の音声ガイダンスを、出音部160から流してもよい。
図20には、宇宙図鑑の表示例が示されている。図20では、宇宙のビックバンを表す画像が、操作部140としての表示部170に表示されている。当該画像は、絵、コンピュータグラフィックス、またはそれらの組み合わせであってもよい。また、当該画像は、複数の画像を用いて作成された合成画像であってもよい。表示部170には、宇宙のビックバンを解説するための文字列等が表示されてもよい。また、制御部180は、ビッグバンから現在そして未来までの宇宙を表す動画像を、表示部170に表示させてもよい。また、真っ暗な画像が表示部170に表示され、当該画像をユーザが指で操作した場合、制御部180は、宇宙のビッグバンを表す画像を、表示部170に表示させてもよい。
制御部180は、宇宙のビックバンに予め対応付けられた音データ(例えば、爆発音)及びVIBファイルを、記憶部150から選択する。制御部180は、選択したVIBファイルに基づいて、画像に同期させて振動部110を振動させる。制御部180は、定位感又は移動感などの振動エフェクトがユーザに生じるように、画像に同期させたベクトル情報に基づいて振動部110を振動させてもよい。また、制御部180は、選択した音データに基づいて、画像に同期させて出音部160から出音させる。
図21には、化学図鑑の表示例が示されている。図21では、水分子の画像が、操作部140としての表示部170に表示されている。当該画像は、絵、コンピュータグラフィックス、またはそれらの組み合わせであってもよい。また、当該画像は、複数の画像を用いて作成された合成画像であってもよい。表示部170には、水分子を解説するための文字列等が表示されてもよい。制御部180は、表示されている水素原子及び酸素原子をユーザが指で操作した場合、2個の水素原子及び1個の酸素原子からなる水分子を、表示部170に表示させてもよい。また、制御部180は、表示されている水分子をユーザが指でピンチイン操作した場合、その水分子が、水滴、谷川のせせらぎ、小川、河、海から、水蒸気となって雲となり、さらに、雨又は雪となって地上に降り注ぎ、再び小川へと変化する動画像を、ピンチイン操作の縮小率に応じて、表示部170に表示させてもよい。
制御部180は、水分子に予め対応付けられた音データ(例えば、波音、雨音)及びVIBファイルを、記憶部150から選択する。制御部180は、選択したVIBファイルに基づいて、画像に同期させて振動部110を振動させる。制御部180は、定位感又は移動感などの振動エフェクトがユーザに生じるように、画像に同期させたベクトル情報に基づいて振動部110を振動させてもよい。また、制御部180は、選択した音データに基づいて、画像に同期させて出音部160から出音させる。
なお、上述の図21の表示例において、表示部170は、水分子の画像とともに、ユーザに操作(例えばタッチ操作、ドラッグ操作、ピンチアウト操作、ピンチイン操作等)を促すガイダンスを表示してもよい。例えば、表示部170は、「水分子の画像をピンチインしてください(縮小してください)」等の文字列を表示してもよい。また、表示部170は、水分子の画像に、また、制御部180は、「水分子の画像をピンチインしてください(縮小してください)」等の音声ガイダンスを、出音部160から流してもよい。
図22には、ものづくり図鑑の表示例が示されている。図22では、コンピュータグラフィックスによるカメラの各部品が、操作部140としての表示部170に表示されている。表示部170には、カメラを解説するための文字列等が表示されてもよい。制御部180は、表示されているカメラの各部品をユーザが指で操作した場合、各部品から組み立てられたカメラを、組み立て順に表示部170に表示させてもよい。なお、制御部180は、コンピュータグラフィックスによる車両の各部品を、操作部140としての表示部170に表示させてもよい。
制御部180は、カメラに予め対応付けられた音データ(例えば、機械音)及びVIBファイルを、記憶部150から選択する。制御部180は、選択したVIBファイルに基づいて、画像に同期させて振動部110を振動させる。制御部180は、定位感又は移動感などの振動エフェクトがユーザに生じるように、画像に同期させたベクトル情報に基づいて振動部110を振動させてもよい。また、制御部180は、選択した音データに基づいて、画像に同期させて出音部160から出音させる。
なお、上述の図22の表示例において、表示部170は、カメラの部品の画像とともに、ユーザに操作(例えばタッチ操作やドラッグ操作等)を促すガイダンスを表示してもよい。例えば、表示部170は、「部品の画像をタッチしてください」等の文字列を表示してもよい。また、表示部170は、部品の画像に、指のマークや矢印等を重ねるように表示してもよい。また、制御部180は、「部品の画像をタッチしてください」等の音声ガイダンスを、出音部160から流してもよい。
また、制御部180は、ユーザがタッチパネル上でピンチアウト又はピンチイン等の操作を行うことにより、表示部170に表示されている画像を、拡大又は縮小させてもよい。
次に、電子機器の動作手順の例について説明する。
図23は、電子機器の動作手順の例を示すフローチャートである。
(ステップS1)制御部180は、図鑑データとしての画像データに基づいて、画像を表示部170に表示させる。例えば、図8では、制御部180は、複数のライオンが描かれた画像を、表示部170に表示させる。
(ステップS2)制御部180は、振動部110を振動させるか否かを判定する。例えば、制御部180は、ユーザによる操作入力をタッチパネルが検出した場合、振動部110を振動させると判定する。例えば、図8では、制御部180は、画像に描かれた複数のライオンから1匹のライオン(対象)を、ユーザによる操作入力に基づいて選択する。
振動部110を振動させる場合(ステップS2:Yes)、制御部180は、ステップS3に処理を進める。一方、振動部110を振動させない場合(ステップS2:No)、制御部180は、ステップS1に処理を戻す。
(ステップS3)制御部180は、表示部170に表示される画像内の対象に応じたVIBファイルを、ユーザによる操作入力に基づいて選択する。例えば、図8では、制御部180は、ユーザによる操作入力に基づいて選択した1匹のライオン(対象)に応じたVIBファイルを選択する。
(ステップS4)制御部180は、選択したVIBファイルに基づいて、振動部110を振動させる。例えば、図8では、制御部180は、選択した1匹のライオンが鳴く画像に同期させて、選択したVIBファイルに基づいて振動部110を振動させる。なお、制御部180は、選択した1匹のライオンが鳴く画像に同期させて、鳴き声を出音部160から出力させてもよい。
[第2実施形態]
第2実施形態では、ユーザの音声に応じて電子機器100が双方向のゲーム(インタラクティブゲーム)処理を実行する点が、第1実施形態と相違する。以下では、第1実施形態との相違点についてのみ説明する。
収音部120は、ユーザの音声を収音する。収音された音声を表す音データは、制御部180により音声認識処理が施される。
制御部180は、図鑑のコンテンツの動画像として、動物(例えば、象、猫、犬)の動画像を、表示部170に表示させる。第2実施形態では、表示部170に表示される動物の動画像は、一例として、猫の動画像であるものとして説明を続ける。なお、図鑑のコンテンツの動画像として表示される対象は、動物に限定されなくてよい。
図24には、ゲームを表す第1画像の表示例が示されている。制御部180は、表示された動物の名称(名前)を当てる双方向のゲームを実行する。制御部180は、猫の動画像とともに、ガイダンスのための文字列「どうぶつのなまえを、あてよう!」を表示させてもよい。
制御部180は、表示された動物の名称「猫」と、収音された音声に基づいて認識された動物の名称とが一致しているか否かを、音声認識処理により判定する。制御部180は、表示された動物の名称「猫」と、収音部120から収音された音声に基づいて認識された動物の名称とが一致している場合(ユーザの解答が当たっている場合)、表示された動物「猫」の鳴き声「ニャー!」を、出音部160から出音させる。また、制御部180は、出音部160から出音させるタイミングに同期させて、VIBデータに基づいて振動部110を振動させる。例えば、ユーザが「猫ちゃんだ!」と叫ぶと、表示された猫の画像に同期して、鳴き声「ニャー!」が出音部160から出音され、かつ、振動部110が振動する。
なお、ユーザの音声は、収音部120を介して記憶部150に記憶されてもよい。このように記憶された音声は、後にユーザが同じ図鑑のコンテンツを見る際に、出音部160から再生されてもよい。
制御部180は、収音された音声の音量(大きさ)に応じて、表示部170に表示された画像を変化させてもよい。例えば、制御部180は、音声「猫ちゃんだ!」が収音された場合、その音声の音量に応じた拡大率に基づいて、猫の画像の表示上の音量を変化させてもよい。また、制御部180は、この画像の変化に応じて、VIBデータに基づいて振動部110を振動させてもよい。
また、例えば、制御部180は、音声「猫ちゃんだ!」が収音された場合、その音声の音量が閾値以上であるか否かを判定してもよい。その音声の音量が閾値以上である場合、制御部180は、表示された猫が画面上で逃げて、表示部170に表示されなくなるようにしてもよい。一方、その音声の音量が閾値未満である場合、制御部180は、表示された猫が画面上であたかもユーザに寄ってきて、画面上(タッチパネル上)でユーザが撫でることができるように、猫の画像の表示上の音量を変化させてもよい。
なお、制御部180は、表示された猫の画像をユーザが画面上で撫でた場合、表示された猫が喉を鳴らして気持ち良さそうに眠ってしまうように見える画像を、表示部170に表示させてもよい。また、表示された猫の画像をユーザが画面上で軽く叩いた場合、表示された猫がムクリと起きだすように見える画像を、表示部170に表示させてもよい。
一方、制御部180は、表示された動物の名称「猫」と、収音部120から収音された音声に基づいて認識された動物の名称とが一致していない場合(ユーザの解答が当たっていない場合)、猫の鳴き声を出音部160から出音させない代わりに、音声「ちがうよぉ、もう一回、呼んでみてね」を、出音部160から出音させてもよい。つまり、ユーザが「ワンちゃんだ!」と叫んでも、ユーザの解答が当たっていないので、制御部180は、表示された猫の画像を変化させなくてもよい。また、制御部180は、ユーザの解答が当たっていない場合でも、図24に示された第1画像を、次のように第2画像に変化させてもよい。
図25には、ゲームを表す第2画像の表示例が示されている。この第2画像は、表示された動物の名称「猫」と、収音部120から収音された音声に基づいて認識された動物の名称とが一致していない場合に、図24に示された第1画像に続いて、表示部170に表示される画像である。
制御部180は、ユーザが「ワンちゃんだ!」と叫んだため、音声認識処理に基づいて、犬の画像410(ワンちゃんの画像)を、記憶部150から取得する。また、制御部180は、犬の画像410とユーザ画像400とを、表示部170に表示させる。なお、ユーザ画像400において顔に相当する部分には、予め撮像されたユーザの顔の画像が貼り付けられていてもよい。
また、制御部180は、ユーザが「逃げろ!」と連呼したか否かを、音声認識処理に基づいて判定する。ユーザが「逃げろ!」と連呼した場合、制御部180は、ユーザ画像400が犬の画像410に吠えられながら画面上で追いかけられている(逃げ回っている)動画像を、表示部170に表示させてもよい。ここで、制御部180は、ユーザの音声が大きいほど、ユーザ画像400の歩幅が画面上で広くなるように、ユーザ画像400を表示部170に表示させてもよい。また、制御部180は、ユーザ画像400が走るタイミングに同期させて、VIBデータに基づいて振動部110を振動させてもよい。
また、制御部180は、予め定められた時間内に、ユーザ画像400が画面上で犬の画像410から逃げ切ることができた場合、表示部170に表示された第2画像から、犬の画像410を消去してもよい。一方、制御部180は、予め定められた時間内に、ユーザ画像400が画面上で犬の画像410から逃げ切ることができなかった場合、犬の画像410が尻尾を振りながら、画面上でユーザ画像400の足に人懐っこく擦り寄ってくる動画像を、表示部170に表示させてもよい。
以上のように、電子機器100は、音声を収音する収音部120を備え、制御部180は、収音された音声に音声認識処理を施し、音声認識処理の結果に応じて、表示部170に表示される画像を変更する。これにより、電子機器100は、音声による双方向のゲームを、ユーザに提供することができる。
また、制御部180は、収音された音声の音量に応じて、表示部170に表示される画像の拡大率を変更してもよい。
[第3実施形態]
第3実施形態では、ユーザが発生させた振動に応じた波形データを電子機器に記憶(アフレコ)及び再生させることができる点が、第1実施形態及び第2実施形態と相違する。以下では、第1実施形態及び第2実施形態との相違点についてのみ説明する。
図26には、電子機器の構成例が、ブロック図により示されている。電子機器100aは、振動部110と、収音部120と、通信部130と、操作部140と、記憶部150と、出音部160と、表示部170と、制御部180と、センサ部190と、撮像部195とを備える。
記憶部150に記憶されている図鑑データには、タイミング信号が予め定められている。このタイミング信号が示すタイミングは、コンテンツが作成される際に、コンテンツ作成者によって予め定められてもよい。例えば、タイミング信号は、動物図鑑のコンテンツの動画像における、動物の脚の動き(歩み)に同期させたタイミングを示してもよい。第3実施形態では、タイミング信号は、一例として、動物図鑑のコンテンツの動画像における、象の脚の動き(歩み)に同期させたタイミングを示すものとして説明を続ける。
タイミング信号は、動画像データに含められてもよい。なお、動画像内に複数の対象が含まれる場合、それぞれの対象毎に、タイミング信号が定められていてもよい。また、タイミング信号には、音データが対応付けられていてもよい。この音データは、例えば、動物図鑑のコンテンツの動画像における、象の脚の動き(歩み)を想起させる音「ズシンズシン」でもよい。この音データは、VIBファイルに予め含められていてもよい。
センサ部190は、電子機器100に加えられた加速度に基づいて、振動波形を検出する。この加速度は、ユーザが発生させた振動により、電子機器100に加えられた加速度でもよい。ユーザは、例えば、表示部170に表示された象の歩みに合わせて机を叩くことにより発生させた振動によって、同じ机の上に置かれた電子機器100に、加速度を加えてもよい。センサ部190は、検出された振動波形を、振動が検出された時刻(タイミング)に対応付けて、制御部180及び記憶部150に出力する。
撮像部195は、光学系を介して撮像し、撮像された画像データを記憶部150に記憶させる。撮像部195は、表示部170の画面と同じ向き(ユーザに対面する向き)に備えられてもよい。これにより、撮像された動画像データには、ユーザ(例えば、子供)の顔が撮像されてもよい。後にユーザが同じ図鑑のコンテンツを見る際に、表示部170に定められた小領域に、ユーザの顔が撮像された動画像が再生表示されてもよい。電子機器100aは、ユーザがどんな表情で図鑑を眺めていたのかを表示することにより、ユーザを楽しませることができる。
制御部180には、検出された振動波形データと、振動が検出された時刻(タイミング)情報とが、センサ部190から入力される。制御部180は、振動が検出された時刻情報に基づいて、検出された振動波形データと、タイミング信号との基準合わせを実行する。
図27には、VIBデータとして記憶される波形データの第1例が示されている。図27の最上段には、動画像データに予め定められたタイミング信号の例が示されている。また、図27の中段には、センサ部190により検出された振動波形の例が示されている。また、図27の最下段には、VIBデータとして記憶される波形データの例が示されている。
制御部180は、検出された振動波形データから、タイミング信号が示すタイミング(時間範囲)と一致した振動波形データのみを抽出する。制御部180は、抽出した振動波形データを、VIBデータとして記憶部150に記憶させる。ここで、予め定められた閾値以上の振幅を有する振動波形の一部のみが、タイミング信号が示すタイミングと一致している場合、制御部180は、振動波形の一部のみを抽出してもよい。例えば、図27では、タイミング信号500及びタイミング信号510のうち、タイミング信号510が示すタイミング(時間範囲)からはみ出している振動波形の一部は、そのはみ出している部分が抽出されていない。
制御部180は、VIBデータとして記憶される波形データに基づいて、振動部110を振動させる。ここで、ユーザが机を叩いたことにより検出された振動波形のうち、表示部170に表示された象の歩みに同期していない振動波形は、振動部110から再生されないことになる。
図28には、VIBデータとして記憶される波形データの第2例が示されている。図28の最上段には、動画像データに予め定められたタイミング信号の例が示されている。また、図28の中段には、センサ部190により検出された振動波形の例が示されている。また、図28の最下段には、VIBデータとして記憶される波形データの例が示されている。
制御部180は、検出された振動波形データから、タイミング信号が示すタイミング(時間範囲)と一致した振動波形データのみを抽出する。制御部180は、抽出した振動波形データを、VIBデータとして記憶部150に記憶させる。ここで、制御部180は、検出された振動波形データから、タイミング信号が示すタイミング(時間範囲)と時間軸上で近い振動波形データを、そのタイミングに完全に一致するよう時間方向にシフト(補正)させてから、振動波形データを抽出してもよい。例えば、図28では、タイミング信号500及びタイミング信号510のうち、タイミング信号510が示すタイミング(時間範囲)と時間軸上で近い振動波形は、そのタイミングに完全に一致するよう時間方向にシフトされてから、抽出されている。
制御部180は、VIBデータとして記憶される波形データに基づいて、振動部110を振動させる。ここで、ユーザが机を叩いたことにより検出された振動波形のうち、表示部170に表示された象の歩みに同期していない振動波形の一部は、タイミングがシフトされて、振動部110から再生されることになる。
制御部180は、収音部120が収音した音声による音データを、動画像データに対応付けて、記憶部150に記憶させてもよい。ユーザの顔が撮像された動画像は、収音部120が収音したユーザの音声とともに、表示部170に再生表示されてもよい。
また、制御部180は、図鑑のコンテンツの動画像を再生させる際、予め定められた音データを再生させてもよい。この音データは、例えば、動物図鑑のコンテンツの動画像における、象の脚の動き(歩み)を想起させる音「ズシンズシン」でもよい。これにより、例えば、動物図鑑のコンテンツの動画像における、歩く象の脚の動き(歩み)が再生される際、振動部110が振動するとともに、「ズシンズシン」という音が出音部160から再生されることになる。
以上のように、電子機器100aは、加速度に基づいて振動波形を検出するセンサ部190を備え、制御部180は、検出された振動波形に基づく波形データから、予め定められたタイミングに時間軸上で一致する波形データを抽出し、抽出した波形データに基づいて、複数の振動部110を振動させる。これにより、電子機器100aは、ユーザが発生させた振動に応じた波形データを、記憶(アフレコ)することができる。
また、制御部180は、タイミングに一致するよう時間軸上でシフトさせた波形データを抽出し、シフトさせてから抽出した波形データに基づいて、複数の振動部110を振動させてもよい。これにより、電子機器100aは、ユーザが発生させた振動のタイミングがずれている場合でも、予め定められたタイミングで振動部110を振動させることができる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
例えば、表示部170に表示されている対象物の解説は、ユーザの年齢に応じて難易度が変更されてもよい。
なお、上記に説明した電子機器を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
100…電子機器、110…振動部、120…収音部、130…通信部、140…操作部、150…記憶部、160…出音部、170…表示部、180…制御部、190…センサ部、195…撮像部、200…サーバ装置、300…通信回線、400…ユーザ画像、410…動物画像、500…タイミング信号、510…タイミング信号

Claims (18)

  1. 画像データと、画像内の対象に応じた波形データと、を含む所定のコンテンツを記憶する記憶部と、
    複数の振動部と、
    前記画像データに基づいて画像を表示する表示部と、
    操作入力を受け付ける操作部と、
    前記操作入力により選択された前記画像内の対象に基づいて前記波形データを選択し、選択した当該波形データに基づいて、複数の前記振動部を振動させる制御部と、
    を備えることを特徴とする電子機器。
  2. 前記波形データは、振動の定位感、又は振動の定位の移動感をユーザに与えるように、複数の前記振動部を振動させるための情報を含む
    ことを特徴とする請求項1に記載の電子機器。
  3. 前記振動の定位感及び前記振動の定位の移動感は、前記画像内の対象の動きと同期している
    ことを特徴とする請求項2に記載の電子機器。
  4. 前記画像内には複数の対象が含まれ、
    前記波形データは、前記画像内の対象毎に対応付けられている
    ことを特徴とする請求項1から請求項3のいずれか一項に記載の電子機器。
  5. 前記コンテンツは、前記画像内の対象に応じた音データを更に含む
    ことを特徴とする請求項1から請求項4のいずれか一項に記載の電子機器。
  6. 音を出力する出音部
    を備え、
    前記制御部は、前記操作入力により選択された前記画像内の対象に基づいて前記音データを選択し、選択した当該音データに基づいて前記出音部から音を出力させることを特徴とする請求項1又は請求項2に記載の電子機器。
  7. 前記出音部を複数備え、
    前記音データは、音の移動感をユーザに与えるように、複数の前記出音部から出音される音を制御するための情報を含む
    ことを特徴とする請求項6に記載の電子機器。
  8. 前記音の移動感は、前記画像内の対象の動きと同期している
    ことを特徴とする請求項7に記載の電子機器。
  9. 前記コンテンツを受信する通信部
    を備え、
    前記記憶部は、前記通信部により受信された前記コンテンツを記憶する
    ことを特徴とする請求項1から請求項8のいずれか一項に記載の電子機器。
  10. 前記通信部は、所定のサーバ装置から前記コンテンツを受信する
    ことを特徴とする請求項9に記載の電子機器。
  11. 前記操作部は、前記表示部上に設けられたタッチパネルである
    ことを特徴とする請求項1から請求項10のいずれか一項に記載の電子機器。
  12. 前記操作部は、前記表示部に表示された前記画像内の対象への接触を、前記操作入力として受け付ける
    ことを特徴とする請求項11に記載の電子機器。
  13. 前記コンテンツは、電子図鑑用のコンテンツであり、
    前記電子機器は、電子図鑑である
    ことを特徴とする請求項1から請求項12のいずれか一項に記載の電子機器。
  14. 音声を収音する収音部
    を備え、
    前記制御部は、収音された前記音声に音声認識処理を施し、音声認識処理の結果に応じて、前記表示部に表示される前記画像を変更する
    ことを特徴とする請求項1から請求項13のいずれか一項に記載の電子機器。
  15. 前記制御部は、収音された前記音声の音量に応じて、前記表示部に表示される前記画像の拡大率を変更する
    ことを特徴とする請求項14に記載の電子機器。
  16. 加速度に基づいて振動波形を検出するセンサ部
    を備え、
    前記制御部は、検出された前記振動波形に基づく前記波形データから、予め定められたタイミングに時間軸上で一致する前記波形データを抽出し、抽出した前記波形データに基づいて、複数の前記振動部を振動させる
    ことを特徴とする請求項1から請求項15のいずれか一項に記載の電子機器。
  17. 前記制御部は、前記タイミングに一致するよう時間軸上でシフトさせた前記波形データを抽出し、シフトさせてから抽出した前記波形データに基づいて、複数の前記振動部を振動させる
    ことを特徴とする請求項16に記載の電子機器。
  18. コンピュータに、
    画像データと、画像内の対象に応じた波形データと、を含む所定のコンテンツに含まれる前記画像データに基づいて、画像を表示する手順と、
    操作入力を受け付ける手順と、
    前記操作入力により選択された前記画像内の対象に基づいて波形データを選択する手順と、
    選択した当該波形データに基づいて、複数の振動部を振動させる手順と、
    を実行させるためのプログラム。
JP2013216334A 2013-05-20 2013-10-17 電子機器及びプログラム Pending JP2015005967A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013216334A JP2015005967A (ja) 2013-05-20 2013-10-17 電子機器及びプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013106052 2013-05-20
JP2013106052 2013-05-20
JP2013216334A JP2015005967A (ja) 2013-05-20 2013-10-17 電子機器及びプログラム

Publications (1)

Publication Number Publication Date
JP2015005967A true JP2015005967A (ja) 2015-01-08

Family

ID=52301493

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013216334A Pending JP2015005967A (ja) 2013-05-20 2013-10-17 電子機器及びプログラム

Country Status (1)

Country Link
JP (1) JP2015005967A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016148182A1 (ja) * 2015-03-18 2016-09-22 株式会社ニコン 電子機器、およびプログラム
US10268175B2 (en) 2015-07-31 2019-04-23 Fujitsu Limited Information presentation method and information presentation apparatus
WO2022220307A1 (ja) * 2021-04-16 2022-10-20 パナソニックIpマネジメント株式会社 映像表示システム、観測装置、情報処理方法、及び、プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016148182A1 (ja) * 2015-03-18 2016-09-22 株式会社ニコン 電子機器、およびプログラム
US10268175B2 (en) 2015-07-31 2019-04-23 Fujitsu Limited Information presentation method and information presentation apparatus
WO2022220307A1 (ja) * 2021-04-16 2022-10-20 パナソニックIpマネジメント株式会社 映像表示システム、観測装置、情報処理方法、及び、プログラム

Similar Documents

Publication Publication Date Title
US11670188B2 (en) Method and apparatus for an adaptive and interactive teaching of playing a musical instrument
US8203561B2 (en) Determining valued excursion corridors in virtual worlds
CN108351700A (zh) 音频文件的头部姿势混合
CN108780580B (zh) 数据生成装置、存储介质及信息处理方法
Birringer et al. The sound of movement wearables: Performing UKIYO
Ihde Acoustic technics
CN113318432B (zh) 游戏中的音乐控制方法、非易失性存储介质及电子装置
CN108307127A (zh) 视频处理方法及计算机存储介质、终端
JP2015005967A (ja) 電子機器及びプログラム
Hahn et al. Pikapika–the collaborative composition of an interactive sonic character
WO2020090223A1 (ja) 情報処理装置、情報処理方法及び記録媒体
De Bruyn The novel and the multispecies soundscape
AU2021221475A1 (en) System and method for performance in a virtual reality environment
JP2013045334A (ja) 画像生成方法、画像生成装置及びプログラム
JP2001215963A (ja) 音楽演奏装置、音楽演奏ゲーム装置及び記録媒体
WO2015194509A1 (ja) 動画像生成装置、動画像生成方法、プログラム、及び情報記憶媒体
JP5994098B2 (ja) i−フィギュア及びi−フィギュアを利用した画像処理システム
WO2017061577A1 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
JP2021096272A (ja) 情報処理装置、情報処理方法、及びプログラム
KR20060054678A (ko) 음향에 동기 된 캐릭터 동영상 구현 장치 및 구현 방법
JP2009192619A (ja) 楽曲修正プログラムおよび楽曲修正装置
Michailidis On the hunt for feedback: vibrotactile feedback in interactive electronic music performances
Recollet Dancing ‘between the break beats’: contemporary indigenous thought and cultural expression through hip-hop
JPWO2006011342A1 (ja) 楽音生成方法
JP4263908B2 (ja) 仮想体験装置