JP6056853B2 - 電子機器 - Google Patents

Description

本発明は、電子機器に関する。
本願は、２０１２年５月８日に出願された特願２０１２−１０６７１６号に基づき優先権を主張し、その内容をここに援用する。

従来、画像を表示する表示手段と、筐体に振動させる発振手段とを備えた携帯通信端末が知られている（例えば、特許文献１参照）。

特開２００９−１３６０３１号公報

しかしながら、特許文献１に開示された発振手段は、単なる報知手段であって、表示画像に応じて筐体を振動させることはできないという問題がある。

本発明の一態様である電子機器は、画像を表示する表示部と、振動制御情報に基づいて筐体を振動させる振動部と、オブジェクト毎の所定の振動パターン情報を記憶し、画像からオブジェクトを抽出し、抽出した前記オブジェクトに対応する前記振動パターン情報に基づいて前記振動制御情報を生成する振動制御情報生成部とを備える。

本発明の態様によれば、表示画像に応じて筐体を振動させることができる。

本発明の第１の実施形態による電子機器の機能ブロック図の一例である。 振動制御情報生成部の機能ブロック図の一例である。 振動パターン情報記憶部に記憶される情報の一例である。 振動パターン情報記憶部に記憶される情報の一例である。 振動パターン情報を説明するための説明図である。 電子機器の処理の流れを示すフローチャートの一例である。 電子機器の処理の流れを示すフローチャートの一例である。 本発明の第２の実施形態による電子機器の機能ブロック図の一例である。 画像記憶部に記憶される情報の一例である。 画像記憶部に記憶される情報の一例である。 振動制御情報生成部の機能ブロック図の一例である。 電子機器の処理の流れを示すフローチャートの一例である。 電子機器の処理の流れを示すフローチャートの一例である。

（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。図１は、本発明の第１の実施形態による電子機器１の機能ブロック図の一例である。電子機器１は、再生時に、後述の振動制御情報を生成する。
電子機器１は、図１に示すように、操作部１０、測距部１２、マイク１４、スピーカ１６、表示部２０、撮像部３０、振動制御情報生成部４０、通信部５０、出力制御部６０、及び、画像記憶部９０を備える。出力制御部６０は、表示制御部６２、音声制御部６４、及び、振動制御部６６を備える。

操作部１０は、ユーザ操作を受け付ける。操作部１０の一例は、筐体に配置された種々のボタン、表示部２０に表示された種々のボタンである。操作部１０は、マイク１４、撮像部３０、振動制御情報生成部４０、通信部５０、出力制御部６０、及び、画像記憶部９０にユーザ指示を出力する。例えば、操作部１０は、画像の再生を指示するユーザ操作を受け付けた場合、出力制御部６０に再生指示を出力する。

撮像部３０は、例えば、カメラユニットであって、ユーザからの指示に基づいて、被写体を撮像し、撮像画像を生成する。例えば、撮像部３０は、測距部１２によって測定された被写体迄の距離にピントを合わせて被写体を撮像する。なお、図１の例では、撮像部３０と別個に測距部１２を有しているが、測距部１２は、撮像部３０の一部であってもよい。

測距部１２は、例えば、撮像部３０からの指示に基づいて被写体迄の距離を測定する。
測距部１２の測距方式は、特に限定しないが、例えば、レーザーを利用して距離を測定してもよいし、オートフォーカス（例えば、コントラスト方式、位相差方式）を利用して距離を測定してもよい。なお、上述の如く、測距部１２は、撮像部３０の一部であってもよい。

画像記憶部９０は、静止画像を記憶する。画像記憶部９０内に記憶される静止画像は、例えば、撮像部３０から得る静止画像（以下、撮像静止画像とも称する）、通信部５０が外部（例えば、ネットワーク上のサーバ、外部記憶媒体）から得る静止画像（以下、受信静止画像とも称する）である。
また、画像記憶部９０は、動画像（映像のみ／映像＋音声）を記憶する。画像記憶部９０内に記憶される動画像は、例えば、撮像部３０及びマイク１４から得る動画像（以下、撮像動画像とも称する）、通信部５０が外部から得る動画像（以下、受信動画像とも称する）である。
また、画像記憶部９０は、音声（例えば、音、声、楽曲）を記憶する。画像記憶部９０内に記憶される音声は、例えば、マイク１４から得る音声（以下、録音音声とも称する）、通信部５０が外部から得る音声（以下、受信音声とも称する）である。

通信部５０は、外部（例えば、ネットワーク上のサーバ、外部記憶媒体）と通信する。
例えば、通信部５０は、外部から静止画像（受信静止画像）、動画像（受信動画像）、音声（受信音声）を受信する。また、通信部５０は、振動パターン情報（後述）を受信する。マイク１４は、音声（情報）を取得する。

振動制御情報生成部４０は、表示部２０による画像表示中（再生中）に、表示中の画像（表示しようとする画像）からオブジェクトを抽出し、抽出したオブジェクトに応じた振動制御情報を生成する。
具体的には、振動制御情報生成部４０は、画像記憶部９０に記憶されている画像（静止画像／動画像）を再生するときに、再生画像（再生しようとする画像）からオブジェクトを抽出し、抽出したオブジェクトに応じた振動制御情報を生成する。また、振動制御情報生成部４０は、上述の如く生成した振動制御情報を、再生画像とともに出力制御部６０に出力する。
なお、振動制御情報とは、振動部２２を振動させるための制御情報である。また、振動制御情報生成部４０の詳細は後述する。

表示制御部６２は、画像記憶部９０に記憶されている画像（静止画像／動画像）を振動制御情報生成部４０から取得し、表示部２０への出力を制御する。表示部２０は、表示制御部６２の制御に従って、画像記憶部９０に記憶されている画像を表示する。なお、表示制御部６２は、撮像部３０が生成するスルー画像について、表示部２０への出力を制御してもよい。

音声制御部６４は、画像記憶部９０に記憶されている音声（動画像の音声部分も含む）を振動制御情報生成部４０から取得し、スピーカ１６への出力を制御する。スピーカ１６は、音声制御部６４の制御に従って、画像記憶部９０に記憶されている音声を出力する。

振動制御部６６は、振動制御情報生成部４０から出力される振動制御情報に基づいて、振動部２２を振動させる。振動部２２は、振動制御部６６の制御に従って、筐体を振動させる。即ち、振動部２２は、表示部２０による画像表示中に振動制御情報生成部４０によって生成された振動制御情報に基づいて筐体を振動させる。なお、振動部２２の一例は、振動モータである。

図２は、振動制御情報生成部４０の機能ブロック図の一例である。振動制御情報生成部４０は、図２に示すように、振動パターン情報生成部４１、振動パターン情報更新部４２、オブジェクト抽出部４５、振動パターン情報選択部４６、選択振動パターン情報修正部４７、振動パターン情報記憶部４９を備える。
図３Ａ、３Ｂは、振動パターン情報記憶部４９に記憶される情報の一例である。

振動パターン情報記憶部４９は、オブジェクト毎の所定の振動パターン情報を記憶する。振動パターン情報とは、振動制御情報の基礎となる情報である。具体的には、電子機器１は、振動制御情報として振動パターン情報をそのまま利用、若しくは、振動パターン情報を修正（加工）して振動制御情報として利用する。

振動パターン情報記憶部４９は、具体的には、人の属性に応じた所定の振動パターン情報を記憶する。例えば、振動パターン情報記憶部４９は、図３Ａ、３Ｂに示すように、インデックス「動作（Ｂ）−性別（Ｓ）−年齢層（Ａ）」に対応付けて、振動パターン情報（ＳＰ０１〜ＳＰ１７）を記憶する。

図３Ａに示した動作「歩く（Ｂ＝１）」は、人が歩いている状態（但し、赤ちゃんは、はいはいの状態）に適用する振動パターン情報（ＳＰ０１、ＳＰ０２、ＳＰ０３、ＳＰ０４、ＳＰ０５、ＳＰ０６、ＳＰ０７）である。図３Ｂに示した動作「走る（Ｂ＝２）」は、人が走っている状態に適用する振動パターン情報（ＳＰ１２、ＳＰ１３、ＳＰ１４、ＳＰ１５、ＳＰ１６、ＳＰ１７）である。
図４は、振動パターン情報を説明するための説明図であって、各振動パターン情報を適用した場合に生じる筐体の振動の様子を模式的に表したものである。

図３Ａ、３Ｂに示した性別「男性（Ｓ＝１）」は、男性の動作に適用する振動パターン情報（ＳＰ０１、ＳＰ０２、ＳＰ０４、ＳＰ０６、ＳＰ１２、ＳＰ１４、ＳＰ１６）である。図３Ａ、３Ｂに示した性別「女性（Ｓ＝２）」は、女性の動作に適用する振動パターン情報（ＳＰ０１、ＳＰ０３、ＳＰ０５、ＳＰ０７、ＳＰ１３、ＳＰ１５、ＳＰ１７）である。

図３Ａ、３Ｂに示した年齢層「赤ちゃん（Ａ＝１）」は、赤ちゃんの動作に適用する振動パターン情報（ＳＰ０１）である。年齢層「幼稚園児（Ａ＝２）」は、幼稚園児の動作に適用する振動パターン情報（ＳＰ０２、ＳＰ０３、ＳＰ１２、ＳＰ１３）である。年齢層「小学生児童（Ａ＝３）」は、小学生児童の動作に適用する振動パターン情報（ＳＰ０４、ＳＰ０５、ＳＰ１４、ＳＰ１５）である。年齢層「中学生以上（大人）（Ａ＝４）」は、中学生以上（大人含む）の動作に適用する振動パターン情報（ＳＰ０６、ＳＰ０７、ＳＰ１６、ＳＰ１７）である。

赤ちゃんの歩く動作の振動パターン情報は、性別を問わず、ＳＰ０１としている（図３Ａ参照）。また、赤ちゃんの走る動作の振動パターン情報は、規定していない（図３Ｂ参照）。

各振動パターン情報は、各動作において生じそうな音若しくは振動、又は、各動作から想起される音若しくは振動を表現する振動を筐体に発生させるものである。例えば、インデックス「歩く（Ｂ＝１）−男性（Ｓ＝１）−小学生児童（Ａ＝３）」によって特定される振動パターン情報「ＳＰ０４」は、小学生男児が歩く際に生じそうな音若しくは振動、又は、小学生男児が歩く動作から想起される音若しくは振動を表現する振動を筐体に発生させるものである。

なお、図３Ａ、３Ｂ及び図４に示す振動パターン情報によれば、例えば、振動パターン情報「ＳＰ０２」と振動パターン情報「ＳＰ０４」の振幅の差にて示した様に、年齢層（Ａ）が高い場合に適用する振動パターン情報による筐体の振動は、年齢層（Ａ）が低い場合に適用する振動パターン情報による筐体の振動よりも大きい。
また、例えば、振動パターン情報「ＳＰ０２」と振動パターン情報「ＳＰ０３」の振幅の差にて示した様に、性別（Ｓ）が男性の場合に適用する振動パターン情報による筐体の振動は、性別（Ｓ）が女性の場合に適用する振動パターン情報による筐体の振動よりも大きい。
また、例えば、振動パターン情報「ＳＰ０６」と振動パターン情報「ＳＰ１６」の周波数の差にて示した様に、走る動作（Ｂ）の場合に適用する振動パターン情報による筐体の振動は、歩く動作（Ｂ）の場合に適用する振動パターン情報による筐体の振動よりも早い。

なお、振動パターン情報記憶部４９は、予め（出荷時から）、振動パターン情報を記憶していてもよいし、振動パターン情報更新部４２によって登録（追加）されたものを記憶してもよい。また、振動パターン情報記憶部４９に記憶されている振動パターン情報は、振動パターン情報更新部４２によって更新（変更）、又は、削除される。

振動パターン情報更新部４２は、振動パターン情報記憶部４９に振動パターン情報を登録（追加）、更新（変更）、又は、削除する。例えば、振動パターン情報更新部４２は、通信部５０が外部から受信した振動パターン情報をインデックスに対応付けて振動パターン情報記憶部４９に登録する。また、振動パターン情報更新部４２は、振動パターン情報生成部４１が生成した振動パターン情報をインデックスに対応付けて振動パターン情報記憶部４９に登録する。

振動パターン情報生成部４１は、画像記憶部９０に記憶されている動画像内の音に基づいて、振動パターン情報を生成する。具体的には、振動パターン情報生成部４１は、画像記憶部９０に記憶されている動画像（映像＋音声）から音声のリズム（ピッチ）を抽出する。例えば、振動パターン情報生成部４１は、幼稚園の運動会の駆けっこを撮像した動画像（映像＋音声）の音声部分（例えば、幼稚園児（男児）が走る足音）から幼稚園児（男児）の走るリズムを抽出する。
次いで、振動パターン情報生成部４１は、抽出したリズムに合わせて筐体を振動させる振動パターン情報を、特定のインデックス（動作（Ｂ）−性別（Ｓ）−年齢層（Ａ））の振動パターン情報として生成する。例えば、振動パターン情報生成部４１は、幼稚園児（男児）の走るリズムに合わせて筐体を振動させる振動パターン情報を、幼稚園児（男児）が走る振動パターン情報（図３ＢのＳＰ１２）として生成する。

なお、振動パターン情報生成部４１は、オブジェクト抽出部４５からの通知によって、インデックスを特定する。
つまり、振動パターン情報生成部４１は、動画像からリズムを抽出する際に、この動画像をオブジェクト抽出部４５に出力する。オブジェクト抽出部４５は、この動画像の映像部分からオブジェクトとして人を認識する。更に、オブジェクト抽出部４５は、人の属性、及び、動作を認識し（詳細は後述）、認識結果（即ち、インデックス）を振動パターン情報生成部４１に通知する。
これにより、振動パターン情報生成部４１は、何れのインデックスに対応する振動パターン情報を生成するのかについて認識することができる。

オブジェクト抽出部４５は、画像記憶部９０に記憶されている画像からオブジェクトを抽出する。
具体的には、オブジェクト抽出部４５は、振動パターン情報生成部４１がリズムを抽出する際に（即ち、振動パターン情報の生成時に）、画像記憶部９０から読み出された動画像の映像部分から人をオブジェクトとして抽出する。更に、オブジェクト抽出部４５は、人の属性、及び、人の動作を認識する（即ち、振動パターン情報のインデックスを認識する）。そして、オブジェクト抽出部４５は、認識結果であるインデックスを振動パターン情報生成部４１に出力する。
なお、オブジェクト抽出部４５は、振動パターン情報記憶部４９にインデックスとして登録されていない人の属性、及び、人の動作を認識した場合、新規インデックスをユーザに登録させる画面を表示部２０に出力し、操作部１０を介して入力されたインデックス（例えば、幼稚園児がぐるぐる回っている動作）を振動パターン情報生成部４１に通知してもよい。

また、オブジェクト抽出部４５は、振動パターン情報の生成時に加えて、再生時に、画像記憶部９０に記憶されている画像からオブジェクトを抽出する。
具体的には、オブジェクト抽出部４５は、再生時に、画像記憶部９０から読み出された再生画像（静止画像／動画像）から人をオブジェクトとして抽出する。更に、オブジェクト抽出部４５は、人の属性、及び、人の動作（振動パターン情報のインデックス）を認識する。そして、オブジェクト抽出部４５は、画像記憶部９０から読み出された再生画像とともに、認識結果であるインデックスを振動パターン情報選択部４６に出力する。

振動パターン情報選択部４６は、再生時において、オブジェクト抽出部４５から取得したオブジェクトに対応する振動パターン情報を振動パターン情報記憶部４９から選択する。より詳細には、振動パターン情報選択部４６は、オブジェクト抽出部４５から取得したインデックスに対応する振動パターン情報を振動パターン情報記憶部４９から選択する。
振動パターン情報を選択した振動パターン情報選択部４６は、この振動パターン情報を振動制御情報として、オブジェクト抽出部４５から取得した再生画像とともに、出力制御部６０に出力する。

なお、振動パターン情報選択部４６は、選択した振動パターン情報が、選択振動パターン情報修正部４７によって修正（加工）された場合には、修正後の振動パターン情報を振動制御情報として、オブジェクト抽出部４５から取得した再生画像とともに、出力制御部６０に出力する。

選択振動パターン情報修正部４７は、所定の条件に従って、選択振動パターン情報、即ち、振動パターン情報選択部４６が振動パターン情報記憶部４９から選択した振動パターン情報を修正する。

具体的には、選択振動パターン情報修正部４７は、オブジェクト抽出部４５が抽出したオブジェクトの動きに応じて、振動パターン情報選択部４６が選択した振動パターン情報を修正する。
例えば、選択振動パターン情報修正部４７は、再生画像（動画像）とともにインデックスをオブジェクト抽出部４５から取得する。次いで、選択振動パターン情報修正部４７は、オブジェクト抽出部４５から取得したインデックスによって示されるオブジェクト（即ち、人）の動きの周期を算出し、その周期が所定の閾値以上であった場合に、振動パターン情報選択部４６によって選択された振動パターン情報の周波数を増加させる。
なお、選択振動パターン情報修正部４７は、周期と比較する閾値をインデックス毎に保持していてもよい。また、選択振動パターン情報修正部４７は、インデックス毎に、周波数の増加量に応じて、上記閾値を複数保持してもよい。

また、選択振動パターン情報修正部４７は、オブジェクト抽出部４５が抽出したオブジェクトの動きに代えて、又は、加えて、オブジェクト抽出部４５が抽出したオブジェクト迄の距離に応じて、振動パターン情報選択部４６が選択した振動パターン情報を修正してもよい。
例えば、選択振動パターン情報修正部４７は、再生画像（動画像又は静止画像）とともにインデックスをオブジェクト抽出部４５から取得する。次いで、選択振動パターン情報修正部４７は、オブジェクト抽出部４５から取得したインデックスによって示されるオブジェクト迄の距離が所定の閾値未満であった場合に、振動パターン情報選択部４６によって選択された振動パターン情報の振幅を増加させる。
なお、選択振動パターン情報修正部４７は、距離と比較する閾値をインデックス毎に保持していてもよい。また、選択振動パターン情報修正部４７は、インデックス毎に、振幅の増加量に応じて、上記閾値を複数保持してもよい。
また、選択振動パターン情報修正部４７は、再生画像に付加されている付加情報からオブジェクト迄の距離を取得してもよい。

図５Ａ、５Ｂは、電子機器１の処理の流れを示すフローチャートの一例である。図５Ａのフローチャートは、再生時における電子機器の処理の流れの一例であって、ユーザからの再生指示があった場合に開始する。なお、図５Ａのフローチャートにおいて、ユーザは、画像記憶部９０に記憶されている、幼稚園児（男児）が走っている動画像（映像＋音声）を再生画像として指定したものとする。図５Ｂのフローチャートも同様である。

図５Ａにおいて、オブジェクト抽出部４５は、画像記憶部９０から読み出された再生画像からオブジェクトとして人を抽出する（ステップＳ１０）。次いで、オブジェクト抽出部４５は、オブジェクトとして抽出した人の属性、及び、オブジェクトとして抽出した人の動作を認識する。即ち、オブジェクト抽出部４５は、画像記憶部９０から読み出された再生画像から振動パターン情報のインデックスを認識する（ステップＳ２０）。

具体的には、オブジェクト抽出部４５は、幼稚園児（男児）が走っている動画像から物（幼稚園児（男児））をオブジェクトとして抽出し（ステップＳ１０）、オブジェクトとして抽出した人の属性「幼稚園児（男児）」、及び、オブジェクトとして抽出した人の動作「走る」を認識する。即ち、オブジェクト抽出部４５は、幼稚園児（男児）が走っている動画像から振動パターン情報のインデックス「走る（Ｂ＝２）−男性（Ｓ＝１）−幼稚園児（Ａ＝２）」を認識する（ステップＳ２０）。

次いで、オブジェクト抽出部４５は、画像記憶部９０から読み出された再生画像とともに、認識結果であるインデックスを振動パターン情報選択部４６に出力する。

振動パターン情報選択部４６は、オブジェクト抽出部４５から取得したインデックスに対応する振動パターン情報を振動パターン情報記憶部４９から選択する（ステップＳ３０）。次いで、振動パターン情報選択部４６は、この振動パターン情報を振動制御情報として、オブジェクト抽出部４５から取得した再生画像とともに、出力制御部６０に出力する。

具体的には、振動パターン情報選択部４６は、オブジェクト抽出部４５から取得したインデックス「走る（Ｂ＝２）−男性（Ｓ＝１）−幼稚園児（Ａ＝２）」に対応する振動パターン情報「ＳＰ１２」を振動パターン情報記憶部４９から選択し（ステップＳ３０）、振動制御情報として、再生画像（幼稚園児（男児）が走っている動画像）とともに出力制御部６０に出力する。

次いで、出力制御部６０は、再生画像を再生するとともに、振動制御情報に基づいて筐体を振動させる（ステップＳ４０）。
具体的には、表示制御部６２は、振動パターン情報選択部４６から取得した幼稚園児（男児）が走っている動画像の映像部分について、表示部２０への出力を制御する。音声制御部６４は、上記動画像の音声部分について、スピーカ１６への出力を制御する。振動制御部６６は、上記動画像とともに振動パターン情報選択部４６から取得した振動制御情報に基づいて振動部２２を振動させる（ステップＳ４０）。そして図５Ａのフローチャートは終了する。
以上のように、電子機器１は、画像の再生時（表示／音声出力時）に、振動制御情報を生成して筐体を振動させる。具体的には、電子機器１は、再生画像から抽出したオブジェクト（オブジェクトの属性、オブジェクトの動作の種類）に応じた振動制御情報を生成（振動パターン情報を選択）し、生成した振動制御情報に基づいて筐体を振動させる。

なお、図５Ａのフローチャートの場合、電子機器１は、振動パターン情報を振動制御情報としてそのまま利用したが、振動パターン情報を修正（加工）して、修正後の振動パターン情報を振動制御情報として利用してもよい。
図５Ｂのフローチャートは、振動パターン情報記憶部４９から選択された振動パターン情報を修正して、修正後の振動パターン情報を振動制御情報として、出力制御部６０に出力する場合の処理の流れの一例である。なお、図５ＢのステップＳ１０、Ｓ２０、Ｓ３０は、図５Ａのフローチャートと同様であるため、説明を一部又は全部を省略する。

図５Ｂのフローチャートにおいて、ステップＳ３０に続いて、選択振動パターン情報修正部４７は、オブジェクト抽出部４５が抽出したオブジェクトの動きに応じて、振動パターン情報選択部４６が選択した振動パターン情報を修正する（ステップＳ３２）。
具体的には、選択振動パターン情報修正部４７は、再生画像とともにインデックスをオブジェクト抽出部４５から取得し、オブジェクト抽出部４５から取得したインデックスによって示されるオブジェクト（即ち、人）の動きの周期を算出し、その周期が所定の閾値以上であった場合に、ステップＳ３０において選択された振動パターン情報を修正する。

ステップＳ３２に次いで、選択振動パターン情報修正部４７は、上記オブジェクト迄の距離に応じて、ステップＳ３０において選択された振動パターン情報（ステップＳ３２において修正した場合には修正後の振動パターン情報）を修正する（ステップＳ３４）。
具体的には、選択振動パターン情報修正部４７は、オブジェクト迄の距離が所定の閾値未満であった場合に、ステップＳ３０において選択された振動パターン情報を修正、又は、ステップＳ３２においてオブジェクトの動きに応じて修正した振動パターン情報を更に修正する。

なお、ステップＳ３２、又は、ステップＳ３４において、選択振動パターン情報修正部４７が振動パターン情報を修正した場合には、振動部２２は、修正後の振動パターン情報（振動制御情報）に基づいて筐体を振動させる（ステップＳ４２）。そして図５Ｂのフローチャートは終了する。
以上のように、図５Ｂの場合、電子機器１は、再生画像から抽出したオブジェクト（オブジェクトの属性（例えば、幼稚園児（男児））、オブジェクトの動作の種類（例えば、走る）、オブジェクトの動作の周期、オブジェクト迄の距離）に応じた振動制御情報を生成（振動パターン情報を選択及び修正）し、生成した振動制御情報に基づいて筐体を振動させる。

なお、電子機器１は、動画像を再生するときは、各再生画像のコマから抽出されたオブジェクトに応じた振動制御情報を生成し、時間毎に筐体の振動を変化させるようにしてもよい。即ち、図５Ａ、５Ｂに示すフローチャートにおいて、ユーザからの再生指示があった画像の再生が終了する迄、ステップＳ１０からステップＳ４０（Ｓ４２）を繰り返し実行するようにしてもよい。

以上、電子機器１によれば、表示画像に応じて筐体を振動させることができる。具体的には、電子機器１は、画像記憶部９０に記憶した画像（撮像静止画像、受信静止画像、撮像動画像、受信動画像）の再生時に表示内容（具体的には、オブジェクト）に応じた振動制御情報を生成し、振動制御情報に基づいて振動を筐体に与えることができる。

なお、電子機器１は、図２において破線にて示すように、通信部５０を介して外部から受信した画像（受信静止画像、受信動画像）のストリーミング再生時に、表示画像（表示内容）に応じて筐体を振動させるようにしてもよい。

（第２の実施形態）
図６は、本発明の第２の実施形態による電子機器２の機能ブロック図の一例である。図７Ａ、７Ｂは、画像記憶部９２に記憶される情報の一例である。電子機器２は、撮像時に、振動制御情報を生成する。
電子機器２は、図６に示すように、操作部１０、測距部１２、マイク１４、スピーカ１６、表示部２０、撮像部３０、振動制御情報生成部１４０、通信部５０、出力制御部１６０、及び、画像記憶部９２を備える。出力制御部１６０は、表示制御部１６２、音声制御部１６４、及び、振動制御部１６６を備える。
電子機器２が備える、操作部１０、測距部１２、マイク１４、スピーカ１６、表示部２０、撮像部３０及び通信部５０は、第１の実施形態による電子機器１が備える、操作部１０、測距部１２、マイク１４、スピーカ１６、表示部２０、撮像部３０及び通信部５０と同様であるため、説明の一部又は全部を省略する。

振動制御情報生成部１４０は、撮像部３０による撮像中に、撮像画像（静止画像／動画像）からオブジェクトを抽出し、抽出したオブジェクトに応じて振動制御情報を生成する。また、振動制御情報生成部１４０は、上述の如く生成した振動制御情報を、撮像画像に対応付けて画像記憶部９２に記憶する。なお、振動制御情報生成部１４０の詳細は後述する。

画像記憶部９２は、第１の実施形態による電子機器１が備える画像記憶部９０と同様、静止画像（撮像静止画像、受信静止画像）、動画像（撮像動画像、受信動画像）、及び、音声（録音音声、受信音声）などを記憶する。

また、画像記憶部９２は、振動制御情報生成部１４０によって生成された振動制御情報を記憶する。具体的には、画像記憶部９２は、図７Ａに示すように、画像（撮像静止画像、撮像動画像）を識別する画像識別情報（例えば、画像ファイル名）に対応付けて振動制御情報を記憶する。
図７Ａに示す例の場合、画像記憶部９２は、ある撮像動画像の画像識別情報「Ｇ００１」に対応付けて振動制御情報「Ｓ０１２」を記憶し、ある別の撮像動画像の画像識別情報「Ｇ００２」に対応付けて振動制御情報「Ｓ００７」を記憶し、ある撮像静止画像の画像識別情報「Ｇ００３」に対応付けて振動制御情報「Ｓ００３」を記憶している。

なお、図７Ａにおいて、振動制御情報「Ｓ０１２（ＳＰ１２）」は、振動制御情報「Ｓ０１２」が、振動パターン情報「ＳＰ１２」である旨を表している。振動制御情報「Ｓ００３（ＳＰ０３）」についても同様である。また、振動制御情報「Ｓ００７（ＳＰ０７’）」は、振動制御情報「Ｓ００７」が、振動パターン情報「ＳＰ０７」を修正した「ＳＰ０７’」である旨を表している。

また、図７Ａの例は、画像記憶部９２が、１つの画像に対し、１つの振動制御情報を記憶する例であるが、画像記憶部９２は、図７Ｂに示すように、１つの画像（撮像動画像）に対し、複数の振動制御情報を記憶してもよい。例えば、図７Ｂに示す例の場合、画像記憶部９２は、ある撮像動画像の画像識別情報「Ｇ００１」に対し、時間毎に振動制御情報を記憶してもよい。

なお、図７Ｂでは、画像識別情報「Ｇ００１」の撮像動画像について、時間１（例えば、撮像開始時刻から５秒後〜１０秒後の５秒間）に対応付けて振動制御情報「Ｓ０１２」を記憶し、時間２（例えば、撮像開始時刻から１２秒後〜１５秒後の３秒間）に対応付けて振動制御情報「Ｓ００２」を記憶する。
具体的には、例えば、撮像部３０が、撮像開始時刻から５秒後〜１０秒後の５秒間に幼稚園児（男児）が走っている場面を撮像し、撮像開始時刻から１２秒後〜１５秒後の３秒間に幼稚園児（男児）が歩いている場面を撮像した場合に、振動制御情報生成部１４０は、振動パターン情報記憶部１４９（後述）内の振動パターン情報（図３Ａ、３Ｂ参照）に基づいて、上記５秒間の部分から振動制御情報「Ｓ０１２（ＳＰ１２）」を生成（選択）し、上記３秒間の部分から振動制御情報「Ｓ００２（ＳＰ０２）」を生成（選択）し、図７Ｂの如く、時間１、時間２の夫々に対応付けて画像記憶部９２に記憶する。

表示制御部１６２は、画像記憶部９２に記憶されている画像（静止画像／動画像）の表示部２０への出力を制御する。表示部２０は、表示制御部１６２の制御に従って、画像記憶部９２に記憶されている画像を表示する。なお、表示制御部１６２は、撮像部３０が生成するスルー画像について、表示部２０への出力を制御してもよい。

音声制御部１６４は、画像記憶部９２に記憶されている音声（動画像の音声部分も含む）のスピーカ１６への出力を制御する。スピーカ１６は、音声制御部１６４の制御に従って、画像記憶部９２に記憶されている音声を出力する。

振動制御部１６６は、画像記憶部９２から読み出される振動制御情報に基づいて、振動部２２を振動させる。振動部２２は、振動制御部１６６の制御に従って、筐体を振動させる。即ち、振動部２２は、撮像部３０による撮像中に振動制御情報生成部１４０によって生成された振動制御情報に基づいて筐体を振動させる。

図８は、振動制御情報生成部１４０の機能ブロック図の一例である。振動制御情報生成部１４０は、図８に示すように、振動パターン情報生成部１４１、振動パターン情報更新部１４２、オブジェクト抽出部１４５、振動パターン情報選択部１４６、選択振動パターン情報修正部１４７、振動パターン情報記憶部１４９を備える。

振動パターン情報記憶部１４９は、第１の実施形態による電子機器１が備える振動パターン情報記憶部４９と同様に、オブジェクト毎の所定の振動パターン情報を記憶する。即ち、振動パターン情報記憶部１４９は、図３Ａ、３Ｂ及び図４に示すように、オブジェクト毎の所定の振動パターン情報を記憶する。

振動パターン情報更新部１４２は、第１の実施形態による電子機器１が備える振動パターン情報更新部４２と同様に、振動パターン情報記憶部１４９に振動パターン情報を登録（追加）、更新（変更）、又は、削除する。

振動パターン情報生成部１４１は、撮像時に、マイク１４から出力される音に基づいて、振動パターン情報を生成する。
具体的には、振動パターン情報生成部１４１は、操作部１０を介して入力されたユーザの指示（例えば、撮像時に、振動パターン情報を生成する旨の指示）に基づいて、第１の実施形態による電子機器１が備える振動パターン情報生成部４１と同様に、音声のリズム（ピッチ）を抽出し、抽出したリズムに合わせて筐体を振動させる振動パターン情報を、特定のインデックス（動作（Ｂ）−性別（Ｓ）−年齢層（Ａ））の振動パターン情報として生成する。
なお、振動パターン情報生成部１４１は、振動パターン情報生成部４１と同様に、オブジェクト抽出部１４５からの通知によってインデックスを特定する。

オブジェクト抽出部１４５は、撮像時に、撮像画像からオブジェクトを抽出する。具体的には、オブジェクト抽出部１４５は、振動パターン情報生成部１４１がリズムを抽出する際に（即ち、振動パターン情報の生成時に）、撮像画像から人をオブジェクトとして抽出する。更に、オブジェクト抽出部１４５は、人の属性、及び、人の動作を認識する（即ち、振動パターン情報のインデックスを認識する）。そして、オブジェクト抽出部１４５は、認識結果であるインデックスを振動パターン情報生成部１４１に出力する。
なお、オブジェクト抽出部１４５は、振動パターン情報記憶部１４９にインデックスとして登録されていない人の属性、及び、人の動作を認識した場合、新規インデックスをユーザに登録させる画面を表示部２０に出力し、操作部１０を介して入力されたインデックスを振動パターン情報生成部１４１に通知してもよい。

また、オブジェクト抽出部１４５は、撮像時に、操作部１０を介して入力されたユーザの指示（例えば、撮像時に、振動制御情報を生成する旨の指示）に基づいて、撮像画像から人をオブジェクトとして抽出する。更に、オブジェクト抽出部１４５は、人の属性、及び、人の動作を認識する（即ち、振動パターン情報のインデックスを認識する）。そして、オブジェクト抽出部１４５は、撮像画像とともに、認識結果であるインデックスを振動パターン情報選択部１４６に出力する。

振動パターン情報選択部１４６は、撮像時において、第１の実施形態による電子機器１が備える振動パターン情報選択部４６と同様に、オブジェクト抽出部１４５から取得したオブジェクトに対応する振動パターン情報を振動パターン情報記憶部１４９から選択する。即ち、振動パターン情報選択部１４６は、オブジェクト抽出部１４５から取得したインデックスに対応する振動パターン情報を振動パターン情報記憶部１４９から選択する。
振動パターン情報を選択した振動パターン情報選択部１４６は、この振動パターン情報を振動制御情報として、オブジェクト抽出部１４５から取得した撮像画像（画像識別情報）に対応付けて、図７Ａ、７Ｂに示すように、画像記憶部９２に記憶する（書き込む）。

なお、振動パターン情報選択部１４６は、選択した振動パターン情報が、選択振動パターン情報修正部１４７によって修正（加工）された場合には、修正後の振動パターン情報を振動制御情報として、オブジェクト抽出部１４５から取得した撮像画像に対応付けて、画像記憶部９２に記憶する。

選択振動パターン情報修正部１４７は、所定の条件に従って、選択振動パターン情報、即ち、振動パターン情報選択部１４６が振動パターン情報記憶部１４９から選択した振動パターン情報を修正する。

具体的には、選択振動パターン情報修正部１４７は、第１の実施形態による電子機器１が備える選択振動パターン情報修正部４７と同様に、オブジェクト抽出部１４５が抽出したオブジェクトの動きに応じて、振動パターン情報選択部１４６が選択した振動パターン情報を修正する。また、選択振動パターン情報修正部１４７は、選択振動パターン情報修正部４７と同様に、オブジェクト抽出部１４５が抽出したオブジェクト迄の距離に応じて、振動パターン情報選択部１４６が選択した振動パターン情報を修正してもよい。
なお、選択振動パターン情報修正部１４７は、オブジェクト迄の距離を、第１の実施形態による電子機器１が備える選択振動パターン情報修正部４７と同様、撮像画像に付加された付加情報から取得してもよいし、測距部１２から直接、取得してもよい。

図９Ａ、９Ｂは、電子機器２の処理の流れを示すフローチャートの一例である。図９Ａのフローチャートは、撮像時における電子機器の処理の流れの一例であって、ユーザからの撮像指示があった場合に開始する。なお、図９Ａのフローチャートにおいて、幼稚園児（男児）が走っている動画像（映像＋音声）を撮像しているものとする。図９Ｂのフローチャートも同様である。

図９Ａにおいて、オブジェクト抽出部１４５は、撮像部３０から出力された撮像画像からオブジェクトとして人を抽出する（ステップＳ１１０）。次いで、オブジェクト抽出部１４５は、オブジェクトとして抽出した人の属性、及び、オブジェクトとして抽出した人の動作を認識する。即ち、オブジェクト抽出部１４５は、撮像画像から振動パターン情報のインデックスを認識する（ステップＳ１２０）。

具体的には、オブジェクト抽出部１４５は、幼稚園児（男児）が走っている動画像から物（幼稚園児（男児））をオブジェクトとして抽出し（ステップＳ１１０）、オブジェクトとして抽出した人の属性「幼稚園児（男児）」、及び、オブジェクトとして抽出した人の動作「走る」を認識する。即ち、オブジェクト抽出部１４５は、幼稚園児（男児）が走っている動画像から振動パターン情報のインデックス「走る（Ｂ＝２）−男性（Ｓ＝１）−幼稚園児（Ａ＝２）」を認識する（ステップＳ１２０）。

次いで、オブジェクト抽出部１４５は、撮像画像とともに、認識結果であるインデックスを振動パターン情報選択部１４６に出力する。

振動パターン情報選択部１４６は、オブジェクト抽出部１４５から取得したインデックスに対応する振動パターン情報を振動パターン情報記憶部１４９から選択する（ステップＳ１３０）。次いで、振動パターン情報選択部１４６は、この振動パターン情報を振動制御情報として、オブジェクト抽出部１４５から取得した撮像画像（画像識別情報）に対応付けて、画像記憶部９２に記憶する（ステップＳ１４２）。

具体的には、振動パターン情報選択部１４６は、オブジェクト抽出部１４５から取得したインデックス「走る（Ｂ＝２）−男性（Ｓ＝１）−幼稚園児（Ａ＝２）」に対応する振動パターン情報「ＳＰ１２」を振動パターン情報記憶部１４９から選択する（ステップＳ１３０）。
次いで、振動パターン情報選択部１４６は、図７Ａに示すように、撮像画像（幼稚園児（男児）が走っている動画像）を識別する画像識別情報（例えば、Ｇ００１とする）に対応付けて、振動パターン情報「ＳＰ１２」を振動制御情報「Ｓ０１２」として、画像記憶部９２に記憶する（ステップＳ１４２）。
そして図９Ａのフローチャートは終了する。

なお、ユーザの再生指示に基づいて、電子機器２が、画像記憶部９２に記憶された上記画像（画像識別情報「Ｇ００１」の撮像画像）を再生した場合、出力制御部１６０（表示制御部１６２）は、再生画像の映像部分について、表示部２０への出力を制御する。
また、出力制御部１６０（音声制御部１６４）は、再生画像の音声部分について、スピーカへ１６への出力を制御する。また、出力制御部１６０（振動制御部１６６）は、再生画像に対応付けて記憶されている振動制御情報「Ｓ０１２（ＳＰ１２）」に基づいて振動部２２を振動させる。
即ち、電子機器２は、画像の再生時（表示／音声出力時）に、予め撮像時に生成していた振動制御情報に基づいて、筐体を振動させる。具体的には、電子機器２は、撮像画像から抽出したオブジェクト（オブジェクトの属性、オブジェクトの動作の種類）に応じた振動制御情報を生成（振動パターン情報を選択）し、生成した振動制御情報に基づいて筐体を振動させる。

なお、図９Ａのフローチャートの場合、電子機器２は、振動パターン情報を振動制御情報としてそのまま利用したが、振動パターン情報を修正（加工）して、修正後の振動パターン情報を振動制御情報として利用してもよい。
図９Ｂのフローチャートは、振動パターン情報記憶部１４９から選択された振動パターン情報を修正して、修正後の振動パターン情報を振動制御情報として、画像記憶部９２に記憶する場合の処理の流れの一例である。なお、図９ＢのステップＳ１１０、Ｓ１２０、Ｓ１３０は、図９Ａのフローチャートと同様であるため、説明を一部又は全部を省略する。

図９Ｂのフローチャートにおいて、ステップＳ１３０に続いて、選択振動パターン情報修正部１４７は、オブジェクト抽出部１４５が抽出したオブジェクトの動きに応じて、振動パターン情報選択部１４６が選択した振動パターン情報を修正する（ステップＳ１３２）。なお、ステップＳ１３２の処理は、図５ＢのステップＳ３２と同様である。

ステップＳ１３２に次いで、選択振動パターン情報修正部１４７は、上記オブジェクト迄の距離に応じて、ステップＳ１３０において選択された振動パターン情報（ステップＳ１３２において修正した場合には修正後の振動パターン情報）を修正する（ステップＳ１３４）。なお、ステップＳ１３４の処理は、図５ＢのステップＳ３４と同様である。

なお、ステップＳ１３２、又は、ステップＳ１３４において、選択振動パターン情報修正部１４７が振動パターン情報を修正した場合には、振動パターン情報選択部１４６は、振動制御情報として、修正後の振動パターン情報を画像記憶部９２に記憶する（ステップＳ１４４）。そして図９Ｂのフローチャートは終了する。

以上のように、図９Ｂの場合、電子機器２は、撮像画像から抽出したオブジェクト（オブジェクトの属性、オブジェクトの動作の種類、オブジェクトの動作の周期、オブジェクト迄の距離）に応じた振動制御情報を生成（振動パターン情報を選択及び修正）し、生成した振動制御情報に基づいて筐体を振動させる。

なお、電子機器２は、動画像を撮像するときは、各撮像画像のコマから抽出されたオブジェクトに応じて振動制御情報を生成し、図７Ｂに示すように、時間に対応付けて、画像記憶部９２に記憶してもよい。即ち、図９Ａ、９Ｂに示すフローチャートにおいて、ユーザからの撮像が終了する迄、ステップＳ１１０からステップＳ１４２（Ｓ１４４）を繰り返し実行するようにしてもよい。

以上、電子機器２によれば、表示画像に応じて筐体を振動させることができる。具体的には、電子機器２は、撮像部３０による撮像時に撮像内容（具体的には、オブジェクト）に応じた振動制御情報を生成して画像記憶部９２に記憶しておき、再生時に、振動制御情報に基づいて振動を筐体に与えることができる。

なお、電子機器２は、図８において破線にて示すように、撮像時に生成した振動制御情報を出力制御部１６０に出力してもよい。即ち、電子機器２は、スルー画像の表示するときに、筐体に振動させるようにしてもよい。なお、電子機器２は、スルー画像の表示時においては、例えば振動制御情報（振動パターン情報）を修正し、振動を弱めるようにしてもよい。

以上、第１の実施形態による電子機器１、及び、第２の実施形態による電子機器２によれば、表示画像に応じて筐体を振動させることができる。つまり、ユーザは、動画像（又は静止画像）の再生時に、視覚（又は視覚及び聴覚）に加えて触覚を得ることができる。

また、電子機器１（電子機器２）は、振動制御情報に加えて、抽出オブジェクトに応じて擬似音を生成してもよい。なお、擬似音とは、スピーカ１６から出力される音声データであって、画像内のオブジェクトの属性、動作から想起されるものである。
例えば、電子機器１（電子機器２）は、振動パターン情報と同様、インデックス毎の擬似音パターン情報を振動パターン情報記憶部４９（振動パターン情報記憶部１４９）に記憶しておき、振動パターン情報選択部４６（振動パターン情報選択部１４６）がインデックスに対応する擬似音パターン情報を選択してもよい。

なお、電子機器１（電子機器２）は、オブジェクトとして人を抽出したが、人以外を抽出してもよい。
なお、電子機器１（電子機器２）が、例えば、オブジェクトとして乗物を抽出する場合には、振動パターン情報記憶部４９（振動パターン情報記憶部１４９）には、乗物の種類（例えば、軽自動車、スポーツカー、バス、電車、新幹線、ヘリコプター、飛行機）毎の振動パターン情報（擬似音パターン情報も同様）を記憶し、例えば、動物を抽出する場合には、動物の種類（例えば、大型犬、小型犬、猫、鳥（各種）、昆虫（各種））毎の振動パターン情報（擬似音パターン情報も同様）を記憶しておく。

なお、本発明の実施形態による電子機器１、２の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本発明の実施形態による電子機器１、２の各処理に係る上述した種々の処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＳＤカード、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１、２…電子機器 １０…操作部 １２…測距部 １４…マイク １６…スピーカ ２０…表示部 ３０…撮像部 ４０、１４０…振動制御情報生成部 ４１、１４１…振動パターン情報生成部 ４２、１４２…振動パターン情報更新部 ４５、１４５…オブジェクト抽出部 ４６、１４６…振動パターン情報選択部 ４７、１４７…選択振動パターン情報修正部 ４９、１４９…振動パターン情報記憶部 ５０…通信部 ６０、１６０…出力制御部 ６２、１６２…表示制御部 ６４、１６４…音声制御部 ６６、１６６…振動制御部 ９０、９２…画像記憶部。

Claims (9)

1. 画像を表示する表示部と、
   振動制御情報に基づいて筐体を振動させる振動部と、
   オブジェクト毎の所定の振動パターン情報を記憶し、画像からオブジェクトを抽出し、抽出した前記オブジェクトに対応する前記振動パターン情報に基づいて前記振動制御情報を生成する振動制御情報生成部と
   を備える電子機器。
2. 請求項１に記載の電子機器において、
   画像を記憶する画像記憶部をさらに備え、
   前記振動制御情報生成部は、
   前記画像記憶部に記憶されている画像からオブジェクトを抽出する
   電子機器。
3. 請求項１又は請求項２に記載の電子機器において、
   前記振動制御情報生成部は、
   前記表示部による画像の表示時に、前記振動制御情報を生成する
   電子機器。
4. 請求項１から請求項３のいずれかに記載の電子機器において、
   前記振動制御情報生成部は、
   画像から抽出したオブジェクトに対応する前記振動パターン情報を前記オブジェクトの動きに応じて修正し、前記振動制御情報を生成する
   電子機器。
5. 請求項１から請求項４のいずれかに記載の電子機器において、
   前記振動制御情報生成部は、
   画像から抽出したオブジェクトに対応する前記振動パターン情報を前記オブジェクト迄の距離に応じて修正し、前記振動制御情報を生成する
   電子機器。
6. 請求項１から請求項５のいずれかに記載の電子機器において、
   前記振動制御情報生成部は、
   動画像内の音に基づいて、前記振動パターン情報を生成する
   電子機器。
7. 撮像部と、
   画像を表示する表示部と、
   画像を記憶する画像記憶部と、
   振動制御情報に基づいて筐体を振動させる振動部と、
   前記撮像部による撮像時に、前記撮像部によって撮像された撮像画像からオブジェクトを抽出し、抽出した前記オブジェクトに応じて前記振動制御情報を生成し、生成した前記振動制御情報を、前記撮像画像に対応付けて前記画像記憶部に記憶する振動制御情報生成部と
   を備える電子機器。
8. 請求項１から請求項７のいずれかに記載の電子機器において、
   前記振動制御情報生成部は、
   画像から人のオブジェクトを抽出し、
   前記オブジェクトとして抽出された前記人の属性に応じた前記振動制御情報を生成する
   電子機器。
9. 請求項１から請求項８のいずれかに記載の電子機器において、
   前記振動制御情報生成部は、
   画像から抽出された前記オブジェクトに応じて擬似音を生成する
   電子機器。

Images