[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2023166721A1 - 情報処理装置、情報処理システムおよび情報処理方法 - Google Patents

情報処理装置、情報処理システムおよび情報処理方法 Download PDF

Info

Publication number
WO2023166721A1
WO2023166721A1 PCT/JP2022/009472 JP2022009472W WO2023166721A1 WO 2023166721 A1 WO2023166721 A1 WO 2023166721A1 JP 2022009472 W JP2022009472 W JP 2022009472W WO 2023166721 A1 WO2023166721 A1 WO 2023166721A1
Authority
WO
WIPO (PCT)
Prior art keywords
vibration
scene
information processing
user
content
Prior art date
Application number
PCT/JP2022/009472
Other languages
English (en)
French (fr)
Inventor
怜 広見
真一 塩津
好州 三木
明男 新井
庸平 掛江
Original Assignee
株式会社デンソーテン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソーテン filed Critical 株式会社デンソーテン
Priority to PCT/JP2022/009472 priority Critical patent/WO2023166721A1/ja
Priority to CN202280064798.9A priority patent/CN117980047A/zh
Priority to JP2024504315A priority patent/JPWO2023166721A5/ja
Publication of WO2023166721A1 publication Critical patent/WO2023166721A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63G—MERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G31/00—Amusement arrangements
    • A63G31/02—Amusement arrangements with moving substructures
    • A63G31/04—Amusement arrangements with moving substructures with jolting substructures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy

Definitions

  • the present invention relates to an information processing device, an information processing system, and an information processing method.
  • FIG. 3 is a diagram showing a conventional method of providing vibration.
  • FIG. 3 is a view of the seating surface of the seat on which the user sits, viewed vertically downward from above the user's head.
  • the seat surface is provided with a vibrator 51a_FL (front left), a vibrator 51a_RL (rear left), a vibrator 51a_FR (front right), and a vibrator 51a_RR (rear right).
  • the output vibration of each vibrator is controlled according to the content of control, that is, so that the user can feel the localization of the vibration at the position of the vibration source in the content (the position based on the user position).
  • the vibration intensity of the vibrator 51 at each position is adjusted as shown in FIG. FL (left front) is controlled to 1, RL (left rear) to 0, FR (right front) to 8, and RR (right rear) to 1.
  • the user feels that the front right side of the seat is vibrating strongly, so that the user can recognize that the vibration source is in the front right side.
  • the present invention has been made in view of the above, and it is an object of the present invention to provide the user with realistic vibrations when reproducing content or the like.
  • an information processing apparatus identifies a directional component of a sound source with respect to a vibrating device in an input content, and based on the directional component, Control amplitude and delay.
  • vibration that includes a component that gives the feeling that the vibration is propagating, and to provide the user with more realistic vibration.
  • FIG. 1 is a diagram showing an overview of an information processing system.
  • FIG. 2 is a diagram showing the flow of data in the information processing system.
  • FIG. 3 is a diagram illustrating a configuration example of a vibrating device.
  • FIG. 4 is a diagram showing an outline of an information processing method.
  • FIG. 5 is a block diagram of an information processing device.
  • FIG. 6 is a diagram showing an example of a scene information DB.
  • FIG. 7 is a diagram showing an example of a scene information DB.
  • FIG. 8 is a diagram showing an example of a scene information DB.
  • FIG. 9 is a diagram illustrating an example of a priority order information DB;
  • FIG. 10 is a diagram illustrating an example of a parameter information DB;
  • FIG. 11 is a diagram showing an example of a transducer information DB.
  • FIG. 12 is a block diagram of the scene detector.
  • FIG. 13 is a block diagram of a priority order setting unit.
  • FIG. 14 is a diagram illustrating an example of a method of determining a priority object.
  • FIG. 15 is a block diagram of a parameter extractor.
  • FIG. 16 is a block diagram of the output section.
  • FIG. 17 is a diagram showing an example of a vibration localization processing method.
  • FIG. 18 is a diagram illustrating an example of a signal processing method;
  • FIG. 19 is a flowchart illustrating a processing procedure executed by the information processing device;
  • FIG. 20 is a flow chart showing the procedure of vibration localization processing.
  • FIG. 21 is a diagram illustrating an example of a transducer information DB;
  • FIG. 22 is a diagram showing an example of a vibration control method.
  • FIG. 23 is a diagram showing a conventional method of providing vibration.
  • FIG. 1 is a diagram showing an overview of an information processing system.
  • FIG. 2 is a diagram showing the flow of data in the information processing system.
  • FIG. 3 is a diagram illustrating a configuration example of a vibrating device.
  • FIG. 4 is a diagram showing an outline of an information processing method.
  • XR space virtual space
  • VR space the case where XR space (virtual space) is VR space is demonstrated.
  • the information processing system 1 includes a display device 3, a speaker 4, and a vibration device 5.
  • the information processing device 10 provides the display device 3 with video data.
  • the information processing device 10 also provides the speaker 4 with audio data.
  • the information processing device 10 also provides vibration data to the vibration device 5 .
  • the display device 3 is, for example, a head-mounted display.
  • the display device 3 is an information processing terminal for presenting video data related to XR content provided from the information processing device 10 to the user and allowing the user to enjoy the VR experience.
  • the display device 3 may be a non-transmissive type that completely covers the field of view, or may be a video transmissive type or an optical transmissive type. Further, the display device 3 has a device, such as a camera or a motion sensor, for detecting changes in the user's internal and external situations by means of a sensor unit.
  • the speaker 4 is an audio output device that outputs audio, and is provided in a headphone type, for example, and worn on the user's ear.
  • the speaker 4 generates audio data provided from the information processing device 10 as sound.
  • the speaker 4 is not limited to a headphone type, and may be a box type (installed on the floor or the like). Also, the speaker 4 may be of a stereo audio type or a multi-channel audio type.
  • the vibration device 5 includes a plurality of vibrators. Each vibrator is composed of an electric vibration transducer composed of an electromagnetic circuit and a piezoelectric element. Note that the information processing apparatus 10 individually controls each transducer of the vibration device 5 .
  • FIG. 3 is a view of the seating surface of the seat on which the user sits, viewed vertically downward from above the user's head.
  • vibrators 51_FL, 51_RL, 51_FR, and 51_FR of the vibrating device 5 are positioned at the front left, rear left, front right, and rear right positions on the seating surface of the seat.
  • 51_RR is installed.
  • each vibrator comes into contact with different parts of the body and vibrates.
  • the transducer 51_FL, transducer 51_RL, transducer 51_FR, and transducer 51_RR vibrate the left thigh, left buttock, right thigh, and right buttock of the user seated on the seat, respectively.
  • the information processing device 10 is composed of a computer, is connected to the display device 3 by wire or wirelessly, and provides the display device 3 with images of XR content.
  • the information processing apparatus 10 for example, acquires changes in the situation detected by the sensor unit provided in the display device 3 at any time, and reflects such changes in the situation in the XR content.
  • the information processing device 10 can change the orientation of the field of view in the virtual space of the XR content in accordance with changes in the user's head and line of sight detected by the sensor unit.
  • presence parameters the parameters used for the presence control to improve the presence (hereinafter referred to as presence parameters) need to be set manually after the XR content is produced, and setting the presence parameters requires a huge amount of work. I needed it.
  • step S1 a scene that satisfies a predetermined condition is detected from video data and audio data relating to XR content.
  • the predetermined condition here is, for example, a condition regarding whether or not the corresponding video data or audio data is a scene that requires the setting of presence parameters. .
  • the information processing method when the situation inside the XR content satisfies the condition defined by the conditional expression, it is detected as a scene that satisfies the predetermined condition. As a result, the information processing method does not require processing such as detailed analysis of the video data, so that the processing load for scene detection can be reduced.
  • priority is set for scenes detected by scene detection (step S2).
  • the priority indicates the order of which scene's presence parameter should be prioritized. That is, in the information processing method, when a plurality of scenes overlap in terms of time, which scene's presence parameter should be prioritized is defined in advance for each scene.
  • the priority order for sound and the priority order for vibration are individually set.
  • a presence parameter is extracted for each scene (step S3).
  • a presence parameter is extracted for each scene using parameter information in which the relationship between a scene and a presence parameter is defined in advance.
  • the corresponding realism parameters are extracted according to the order of priority. Specifically, for example, in the information processing method, when a scene with a low priority and a scene with a high priority overlap, the presence parameter of the scene with the high priority is extracted.
  • voice enhancement processing for enhancing voice data is performed using voice enhancement parameters among the extracted realism parameters (step S4), and output to the speaker 4.
  • vibration conversion processing is performed to convert voice data into vibration data, vibration data is emphasized using vibration parameters among the extracted presence parameters (step S5), and then transmitted to the vibration device 5. Output.
  • the information processing method it is possible to provide the user with a sound that is emphasized according to the scene that the user is viewing, and vibrations that correspond to the scene.
  • scenes are detected from XR content, priority is set, and realism parameters related to wave control including audio processing and vibration processing are extracted for the scenes. Therefore, according to the information processing method according to the embodiment, it is possible to automate the setting of the realism parameter for improving the realism of the content.
  • step S5 the information processing apparatus 10 identifies the directional component of the sound source with respect to the vibration device 5 in the input content. Then, the information processing device 10 controls the output vibrations of the plurality of vibrators based on the identified directional component. Accordingly, the information processing apparatus 10 can provide the user with a sense of localization of vibration.
  • FIG. 5 is a block diagram of the information processing device 10. As shown in FIG. As shown in FIG. 5 , the information processing device 10 includes a control section 120 and a storage section 130 .
  • the storage unit 130 is implemented by, for example, a semiconductor memory device such as RAM (Random Access Memory) or flash memory, or a storage device such as a hard disk or optical disk.
  • the storage unit 130 has an XR content DB (Database) 131, a scene information DB 132, a priority order information DB 133, a parameter information DB 134, and a transducer information DB 135.
  • the XR content DB 131 is a database in which XR content groups to be displayed on the display device 3 are stored.
  • the scene information DB 132 is a database that stores various types of information regarding scenes to be detected.
  • FIG. 6 to 8 are diagrams showing an example of the scene information DB 132.
  • the scene information DB 132 associates information items such as "detection scene”, “condition category”, “object”, “condition parameter”, “threshold” and “conditional expression” with each other. memorize.
  • Detected scene indicates the name of the scene to be detected.
  • the “detection scene” functions as an identification symbol, and a code such as a numerical value is normally used.
  • Condition category indicates a category such as what kind of information is used as a basis for scene detection. In the example shown in the figure, the categories are roughly divided into the positional relationship between the user and the object, the motion of the user, the spatial information where the user exists, the time information where the user exists, and the sound generated from the object. Note that the user here indicates the operator himself in the XR space.
  • Object indicates an object for scene detection.
  • information such as object 1, object 2, user, space 1, space 1+object 3, content 1, object 4, object 5, object 6, etc.
  • Object 1, Object 2, Object 3, Object 4, Object 5, Object 6 each denote different objects in XR space.
  • Space 1 indicates, for example, a space within the XR space where the user exists
  • Content 1 indicates, for example, a predetermined event within the XR space.
  • Condition parameter indicates a parameter-related condition such as which parameter is to be used for scene detection. As shown in the figure, for example, information such as distance, angle, speed, acceleration, rotation speed, existence of objects in space, quantity, start time to end time, voice pattern, etc. are associated.
  • Theshold indicates the threshold corresponding to the condition parameter.
  • a “conditional expression” indicates a conditional expression for detecting a detection scene, and for example, the relationship between a conditional parameter and a threshold value is defined as the conditional expression.
  • each item value is indicated using symbols such as "W”, “4", and “w”, such as “Scene W”, “Object 4", and “Pattern w”.
  • W Wood W
  • Object Object
  • Pattern w w
  • each item value is stored as data in a form that allows the specific meaning to be understood.
  • object 4", object 5", and object 6 are actually data such as "horse”, “elephant”, and "car”, respectively.
  • pattern w "pattern x", “pattern y”, and “pattern z” are actually, for example, “horse walking sound pattern”, “elephant walking sound pattern”, and “car driving sound pattern”, respectively. data such as “running sound pattern” and “tire squealing sound pattern”.
  • the voice pattern is represented, for example, by a feature amount vector or the like whose elements are voice feature amounts.
  • the features may be obtained by performing spectral decomposition on the speech signal (eg, mel filter banks or cepstrum).
  • the similarity for example, cosine similarity, Euclidean distance
  • sound pattern is similar to pattern w indicates that the similarity between the feature amount vector calculated from the sound occurring in the scene and the feature amount vector of the sound corresponding to pattern w is greater than or equal to a threshold. means.
  • the "threshold" of the scene information DB 132 may also include the threshold for the similarity of voice patterns.
  • the scene may be detected by combining the condition categories or condition parameters shown in FIG.
  • a detection scene may be set by combining multiple scene condition categories
  • a detection scene may be set by combining multiple scene condition parameters. You can decide.
  • condition categories and condition parameters For example, by combining condition categories and condition parameters in this way, it is possible to simplify the setting of new detection scenes.
  • the priority order information DB 133 will be described.
  • priority is set for each scene on a rule basis.
  • the priority information DB 133 stores various kinds of information regarding the priority of realistic sensation parameters.
  • FIG. 9 is a diagram showing an example of the priority order information DB 133. As shown in FIG.
  • the priority information DB 133 stores items of information such as "rule number” and "priority rule” in association with each other.
  • Rule number indicates a number for identifying a priority rule
  • Priority rule indicates a rule regarding priority.
  • the realism parameter extracted for the scene with the larger voice enhancement parameter or vibration parameter is set. can provide.
  • Priority is given to the one with the larger weight of each parameter indicates that, among the realism parameters, priority is given to each of the realism parameters of the scene that is larger between the voice enhancement parameters or between the vibration parameters.
  • different scene parameters may be used for the speech enhancement parameter and the vibration parameter.
  • each of the vibration data and the sound data can be emphasized by the presence parameter having a large value, so the presence of each of the vibration data and the sound data can be improved.
  • the magnitude of the weight here indicates, for example, the magnitude of the parameter value.
  • realism parameter for shorter scenes indicates that priority is given to realism parameters for scenes with shorter durations.
  • the realism parameter for that scene is preferentially set during the scene with the short duration.
  • a rule may be set to give priority to parameters with longer scenes.
  • the parameter information DB 134 is a database that stores information related to realism parameters for each scene.
  • FIG. 10 is a diagram showing an example of the parameter information DB 134. As shown in FIG.
  • the parameter information DB 134 stores items such as "scene name”, “speech enhancement parameter”, and “vibration parameter” in association with each other.
  • “Scene name” indicates the name of the detected scene described above, and corresponds to, for example, the "detected scene” shown in FIG. To make the explanation easier to understand, the "scene names” are shown as an explosion scene, a concert hall scene, an elephant walking scene, a horse walking scene, a car running scene, and a car turning sharply.
  • “Voice enhancement parameter” indicates the voice enhancement parameter set in the corresponding scene.
  • the speech enhancement parameter stores individual parameters for each speaker 4 according to the number of speakers 4, such as “for speaker 1" and “for speaker 2". do.
  • parameter values of items related to audio processing such as "delay” and "band enhancement/attenuation” are stored.
  • “delay” indicates a parameter relating to delay time
  • “band emphasis/attenuation” indicates a parameter indicating how much sound in which band is to be emphasized or attenuated.
  • Vibration parameter indicates a parameter related to vibration set in the corresponding scene.
  • vibration parameters for example, parameters of items such as “LPF (Low Pass Filter)", “amplitude emphasis coefficient ( ⁇ )”, and “delay emphasis coefficient ( ⁇ )" are stored.
  • LPF indicates a parameter (cutoff frequency in the example shown in FIG. 10) related to the low-pass filter used for vibration generation.
  • Amplitude enhancement factor ( ⁇ ) indicates a parameter related to amplitude amplification and attenuation of vibration used for vibration generation.
  • the “delay emphasis coefficient ( ⁇ )” indicates a parameter related to the delay of the vibration generation time used for vibration generation.
  • the transducer information DB 135 is a database that stores information about transducers included in the vibration device 5 .
  • FIG. 11 is a diagram showing an example of a transducer information DB.
  • the transducer information DB 135 stores items of information such as "transducer” and "position coordinates" in association with each other.
  • Optillator indicates information for identifying the oscillator included in the vibration device 5.
  • Positional coordinates indicates the position of the vibrator in terms of coordinates.
  • “FL”, “RL”, “FR”, and “RR” shown in “oscillator” correspond to the oscillator 51_FL, oscillator 51_RL, oscillator 51_FR, and oscillator 51_RR in FIG. there is also, the “position coordinates” may be set by an installer when each transducer is installed in the vibration device 5 .
  • the transducer information DB 1335 it is possible to grasp the positional relationship between the transducers.
  • the control unit 120 is a controller, and various programs (not shown) stored in the storage unit 11 are executed using the RAM as a work area, for example, by a CPU (Central Processing Unit) or MPU (Micro Processing Unit). It is realized by being The control unit 120 can also be realized by an integrated circuit such as ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the control unit 120 includes a content generation unit 121, a rendering processing unit 122, a scene detection unit 123, a priority order setting unit 124, a parameter extraction unit 125, and an output unit 126, and performs information processing described below. realize or perform the function or action of
  • the content generation unit 121 generates a 3D model of the space within the XR content.
  • the content generation unit 121 refers to the XR content DB 131 and generates a 3D model of the space within the XR content according to the user's current view within the XR content.
  • the content generator 121 passes the generated 3D model to the rendering processor 122 .
  • the rendering processing unit 122 performs rendering processing for converting the 3D model received from the content generation unit 121 into video data and audio data. For example, the rendering processing unit 122 outputs the converted video data to the display device 3 (see FIG. 2) and passes it to the scene detection unit 123 . The rendering processing unit 122 also passes the converted audio data to the output unit 126 and the scene detection unit 123 . Note that the content generation unit 121 and the rendering processing unit 122 function as a calculation unit that calculates condition data for the item of the conditional expression from the content.
  • the scene detection unit 123 detects scenes that satisfy predetermined conditions from the input content. For example, the scene detection unit 123 uses the video data input from the rendering processing unit 122 and the conditional expressions stored in the scene information DB 132 to detect scenes for which presence parameters should be set.
  • the scene detection unit 123 receives the coordinate information of the object in the XR space and the information about the object type from the rendering processing unit 122, and uses a conditional expression to detect the scene for which the presence parameter should be set. do.
  • the scene detection unit 123 performs image analysis on an image captured in the MR space to recognize an object in the MR space or determine the coordinates of the object. You may make it calculate.
  • FIG. 12 is a block diagram of the scene detection unit 123.
  • the scene detection unit 123 includes a scene determination unit 123a and a condition setting unit 123b.
  • the scene determination unit 123a uses each condition data (conditional expression) for scene determination stored in the scene information DB 132 to determine whether or not the situation in the video data satisfies the detection condition of each scene.
  • the scene determination unit 123a determines the positional relationship between the user and the target object (an object in the XR space), the motion of the user, the spatial information in which the user exists, and the like. Based on the data for the item of the conditional expression (calculated from the content by the content generation unit 121 or the rendering processing unit 122), it is determined whether or not the current state of the XR space corresponds to each predefined detection scene.
  • the scene determination unit 123a uses textual data already calculated by the content generation unit 121 or the rendering processing unit 122, such as user movement in the XR space, object coordinate information and object type information, and spatial information. is used to perform scene detection processing.
  • processing such as scene detection and realism parameter extraction processing can be performed in parallel with processing with a relatively heavy processing load such as rendering processing by the rendering processing unit 122. It is possible to do
  • the scene determination unit 123a generates scene determination information including a combination of condition categories as shown in FIG. 7, or a combination of condition parameters as shown in FIG. , it may be determined whether the current XR space situation corresponds to each detected scene.
  • the scene determination unit 123a determines that the detected scene corresponds to the detected scene, the scene determination unit 123a passes the detected scene information for the video data to the priority order setting unit 124 (see FIG. 5). Note that if the scene determination unit 123a determines that none of the detected scenes correspond, the presence parameter is set to the initial state (presence parameter for the case where the detected scene is not the corresponding detection scene). will be returned. When the scene determination unit 123 a determines that the current situation of the XR space corresponds to a plurality of detected scenes, the scene determination unit 123 a passes the determined multiple detected scenes to the priority order setting unit 124 .
  • the scene determination unit 123a determines whether or not it is a detection scene based on video data has been described, but the scene determination unit 123a determines whether or not it is a detection scene based on audio data.
  • the scene determination unit 123a detects a scene in which a sound is generated from an object from the input content. Scenes detected in this case correspond to scene W, scene X, scene Y, and scene Z (elephant walking scene, horse walking scene, car running scene, car turning sharp turn scene) in FIG.
  • the scene determination unit 123a calculates the degree of similarity between the feature amount vector obtained from the audio signal of the content and a predetermined feature amount vector (for example, pattern w). Determine whether or not there is
  • the condition setting unit 123b sets various conditional expressions for scene detection.
  • the condition setting unit 123b sets a conditional expression, for example, based on the information input by the creator of the XR content or the user.
  • condition setting unit 123b accepts input of information from the producer or the user, such as what kind of presence parameter is to be set for what kind of scene, and puts the situation of the scene into a conditional expression. Then, the condition setting unit 123b writes information about the conditional expression into the scene information DB 132 and writes the corresponding presence parameter into the parameter information DB 134 for each setting of the conditional expression.
  • condition setting unit 123b may set the scene information DB 132 and the parameter information DB 134 in advance based on the content viewed by the user.
  • the condition setting unit 123b can set a condition for detecting a scene in which an object generates a specified low-frequency sound. For example, the condition setting unit 123b adds, to the scene information DB 132, a record in which a scene including an elephant's walking sound including voice in a low frequency region is included as a detection scene (corresponding to the record of scene W in FIG. 6).
  • condition setting unit 123b identifies that an object (e.g., an elephant) appears in the scene and that a low-frequency sound is being generated by recognizing the image and sound included in the content. be able to.
  • an object e.g., an elephant
  • condition setting unit 123b determines the value of the "vibration parameter" in the parameter information DB 134 according to the size of the object and the amplitude of each frequency band in the low frequency region.
  • condition setting unit 123b sets the condition based on the scene in which the amplitude of the sound in the low frequency region generated from the object exceeds the threshold among the content scenes.
  • the threshold here may be the same as the threshold used when cutting the low frequency region in noise cancellation.
  • the threshold may be determined by the type (content) of the content.
  • Types of content include music videos that mainly let users listen to music, and animal documentaries that explain living organisms of animals.
  • the condition setting unit 123b is less likely to regard the elephant walking scene in the music video as the target scene for generating vibration.
  • the setting processing of the scene information DB 132 and the parameter information DB 134 may be performed by a person actually viewing the content and operating the input device instead of the condition setting unit 123b.
  • the information processing apparatus 10 can detect the scene requested by the creator or user, and can set the presence parameter requested by the creator or user for the detected scene.
  • the priority order setting section 124 sets a priority order for the scenes detected by the scene detection section 123 .
  • the priority order setting unit 124 refers to the priority order information DB 133 and selects which scene should be prioritized when the scene detection unit 123 detects and determines multiple types of scenes at the same time. Note that when the scene detection unit 123 detects and determines only one scene, that scene has the highest priority.
  • FIG. 13 is a block diagram of the priority setting unit 124.
  • the priority setting unit 124 has a timing detection unit 124a and a rule setting unit 124b.
  • the timing detection unit 124a detects the timing at which the scene detected by the scene detection unit 123 occurs and the timing at which it ends. For example, based on the scene information from the scene detection unit 123 at each point in time, the timing detection unit 124a detects each scene that exists at each point in time (also grasps the overlapping state), the occurrence timing of the existing scene, and the timing at which the existing scene was deleted. etc. is detected. In other words, the timing detection unit 124a grasps the states of all scenes existing at each point in time, including their order of occurrence.
  • the rule setting unit 124b sets the order of priority of the scenes detected by the scene detection unit 123, which are used to determine the presence parameters. That is, based on the state of all existing scenes grasped by the timing detection unit 124a, the priority order for the detection scene is determined in order to determine which scene is preferentially used for the presence parameter used at that time. set. Thereby, in the information processing apparatus 10, the presence parameter can be set according to the priority.
  • the rule setting unit 124b refers to the priority order information DB 133 and sets the scene priority order for determining the parameters to be used for each of the voice enhancement parameter and the vibration parameter. At this time, the rule setting unit 124b may set a scene used for parameter selection based on a priority rule that is independent for each speaker 4, for example.
  • each speaker 4 sets the presence parameter according to its own rule, so that the presence can be further improved compared to the case where the presence parameter is uniformly set.
  • the rule setting unit 124b associates information about the set rule with the video data and the audio data and passes it to the parameter extraction unit 125 (see FIG. 5).
  • the parameter extraction unit 125 extracts presence parameters for the scene detected by the scene detector 123 .
  • the parameter extractor 125 has a vibration parameter extractor 125a, a speech enhancement parameter extractor 125b, and a learner 125c.
  • the vibration parameter extraction unit 125a refers to the parameter information DB 134 and extracts the vibration parameter corresponding to the scene given the highest priority by the priority setting unit 124. For example, the vibration parameter extraction unit 125a extracts the vibration parameter corresponding to the scene by extracting from the parameter information DB 134 the vibration parameter corresponding to the “detected scene” with the highest priority received from the priority setting unit 124. .
  • the parameter extraction unit 125 detects a scene with a high priority, that is, a scene in which the user can feel more presence by vibration. It is possible to select a scene that is presumed to be felt and extract vibration generation parameters corresponding to the scene. As a result, even during a content reproduction period in which a plurality of scenes overlap, it is possible to generate realistic vibrations using appropriate parameters.
  • the scene detection unit 123 detects the scene detection unit 123 based on the priority rules of the priority information DB shown in FIG. 9 and the priority conditions for each scene (set and stored in the scene information DB shown in FIG. can implement such scene selection processing.
  • the parameter extraction unit 125 when the scene detection unit 123 detects a scene in which an elephant generates walking sounds (elephant walking scene) and a scene in which a horse generates walking sounds (horse walking scene), the parameter extraction unit 125 , the elephant walking scene is prioritized according to the rule of "priority is given to the one with the larger amplitude of the low frequency range".
  • the vibration that reproduces the vibration caused by walking of an elephant which is the vibration that is mainly felt in the real world, is applied to the user even when the content is reproduced (for example, in a virtual space), and the user obtains a realistic vibration feeling. be able to.
  • the parameter extraction unit 125 detects a plurality of scenes in an image included in the content. It is also possible to apply a method of extracting parameters corresponding to a scene selected from among a plurality of scenes based on the type and position of an object corresponding to each of .
  • the priority rules of the priority information DB shown in FIG. 9 and the setting contents of the priority conditions for each scene (in this example, , the function value F(M, d) of the type of object (m) and the distance to the object (d) is added to the priority condition, and the condition by the function value F(M, d) is added to the priority rule (for example, Priority is given to the larger function value "F(M, d)")
  • the scene detection unit 123 can implement such scene selection processing.
  • FIG. 14 is a diagram illustrating an example of a method of determining a priority object.
  • the display device 3 displays an image 31 of the content being reproduced.
  • the image 31 shows an object 311 (horse) and an object 312 (elephant).
  • the scene detection unit 123 has detected both a horse walking scene and an elephant walking scene that satisfy the conditions as target scenes for vibration control.
  • the distance from the reference position (the user position with respect to the content image, for example, the position of the avatar corresponding to the user in the XR content) to the object 311 is L1.
  • the distance from the reference position to the object 312 is L2.
  • the reference vibration intensities of the objects 311 and 312 are V1 and V2, respectively.
  • the distance from the reference position to the object is calculated from information added to the content (for example, calculated from the position information of each object used for video generation in XR content).
  • the reference vibration strength of the object is determined by reading according to the type of the target object from a data table in which the reference vibration strength preset for each object type is stored, and is added to the content as content information. It can be realized by a method or the like.
  • the reference vibration strength is calculated based on the low-frequency characteristics (sound intensity level, low-frequency signal level, etc.) of the audio data ( The vibration mode is highly correlated with the low-frequency component of the sound, and vibration is often generated based on the low-frequency component of the sound).
  • the information processing apparatus 10 can estimate the low-frequency characteristics of the sound generated by the vibration-generating object in the content. In that case, the information processing apparatus 10 selects a vibration-generating object based on the estimated low-frequency characteristics. This makes it possible to select a more appropriate vibration generating object.
  • the low-frequency characteristic of speech is the low-frequency signal level.
  • the information processing apparatus 10 selects a vibration-generating object whose estimated low-frequency signal level exceeds the threshold.
  • the information processing device 10 can extract the low frequency signal level from the audio data. This makes it possible to easily select a vibration-generating target using the low-frequency signal level included in the audio data.
  • the threshold for the low-frequency signal level is set according to the content type. As mentioned above, in music videos, compared to animal documentaries, it is often better to generate vibrations even with the same object. In this way, it is possible to select a vibrating object suitable for the content type (music video, animal documentary, etc.).
  • the object 311 generates sound (vibration).
  • a scene in which the horse is present, that is, a walking scene of the horse is preferentially selected, and the parameter extraction unit 125 extracts vibration parameters corresponding to the walking scene of the horse. Then, vibrations corresponding to the walking scene of the horse are applied to the user.
  • the object 312 (elephant) approaches the reference position and changes to the relationship of function F (L1, V1) ⁇ function F (L2, V2)
  • the scene in which the object 311 is generating sound That is, the elephant walking scene is preferentially selected, and the parameter extraction unit 125 extracts vibration parameters corresponding to the elephant walking scene. Vibration corresponding to the elephant walking scene is then applied to the user.
  • the function F (Ln, Vn) is smaller than a predetermined threshold value, that is, the vibration caused by the object at the user position in the content (game virtual space, etc.) is small (the user does not feel much, that is, the vibration is applied) If there is little need to do so, it is also effective not to select the vibration-generating object. In other words, if the vibration caused by the object at the user's position in the content (such as the virtual space of a game) is large to some extent (to the extent that the sense of reality is improved if the vibration is reproduced), only the object of the content is regarded as the object that generates the vibration. The method of selection is also effective. In other words, an object that has a large influence on the vibration signal generated from the object candidate that is a candidate for the vibration-generating object (a vibrating object that the user strongly feels the vibration of) is selected.
  • the information processing apparatus 10 can estimate an object candidate that has a large influence on the vibration signal generated from the object candidate that is a candidate for the vibration generating object, and select it as the vibration generating object.
  • vibrations that match the user's sensation in the real space are applied to the user, making it possible to reproduce content with a rich presence.
  • the threshold for selecting an object that generates vibration it is preferable to change the threshold for selecting an object that generates vibration based on the content type. In other words, depending on the contents of the content, it may be preferable to refrain from or emphasize the reproduction of the vibration caused by the object appearing in the content. is preferred.
  • the principle of vibration generation is as follows. An object that generates vibration in (each scene of) content is determined based on the details of the content. Then, an acoustic signal corresponding to the determined object (audio data of the object included in the content, or audio data of the object generated from the audio data in the scene (for example, extracting the low frequency region by filtering)) Based on this, a vibration signal (vibration data) is generated (by taking out the low-frequency component of the sound signal of the object and amplifying it appropriately).
  • the low-frequency characteristics (for example, volume level) of the vocalization of the sound generating object in the content are estimated (in the case of the above example, the type of object (object) based on the reference vibration intensity and the distance between the reference position (such as the position where the user exists in the virtual space of the content) and the object), and determine the target (low-range volume of the vocalization of the sound generating object The one with the higher level is determined as the object that generates the vibration).
  • vibrations that are more suitable for the user's visual intuition that is, vibrations that are more suitable for the user's sensation in the real space, are applied to the user. , it is possible to reproduce content with a rich sense of presence.
  • the vibration parameter extraction unit 125a extracts vibration parameters corresponding to each vibration device 5 respectively. This makes it possible to further improve the sense of realism compared to the case of uniformly extracting vibration parameters.
  • the voice enhancement parameter extraction unit 125b refers to the parameter information DB 134 and extracts the voice enhancement parameter corresponding to the scene given the highest priority by the priority setting unit 124.
  • the voice enhancement parameter extraction unit 125b extracts the voice enhancement parameters individually for each speaker 4, and similarly to the vibration parameter extraction unit 125a, based on the priority set by the priority setting unit 124 (priority Determine the speech enhancement parameters to extract (based on the top-level scene).
  • the learning unit 125c learns the relationship between the scenes stored in the parameter information DB 134 and the presence parameters. For example, the learning unit 125c performs machine learning on each scene stored in the parameter information DB 134 and each corresponding realism parameter using the user's reaction to the realism control by the parameter as learning data. and realism parameters.
  • the learning unit 125c may use user evaluations of the presence parameters (user's adjustment operations after presence control, user input such as questionnaires) as learning data. That is, the learning unit 125c learns the scene and the realism parameter from the viewpoint of whether a high user evaluation (that is, whether a high realism is obtained) can be obtained by setting what kind of realism parameter for what kind of scene. You may decide to learn the relationship with.
  • the learning unit 125c can also determine from the learning result what kind of presence parameter should be set when a new scene is input.
  • whether or not there are elements that change the priority order in the user's adjustment operation after presence control and user input such as a questionnaire (the parameters that correspond to other scenes in which the user's adjustment operation exists at the same time) It is also possible to learn the rules regarding the order of priority based on cases such as cases where the scene was the same scene, or where there was a response in a questionnaire that priority should be given to other scenes, etc.).
  • the output unit 126 outputs the presence parameters extracted by the parameter extraction unit 125 to the speaker 4 and the vibration device 5 .
  • FIG. 16 is a block diagram of the output unit 126.
  • the output unit 126 has a voice enhancement processing unit 126a, a voice vibration conversion processing unit 126b, and a vibration localization processing unit 126c.
  • the voice enhancement processing unit 126a performs enhancement processing using voice enhancement parameters extracted by the parameter extraction unit 125 on the voice data received from the rendering processing unit 122. For example, the voice enhancement processing unit 126a performs enhancement processing on voice data by performing delay or band enhancement/attenuation processing based on the voice enhancement parameter.
  • the voice enhancement processing unit 126a performs voice enhancement processing for each speaker 4, and outputs the voice data subjected to the voice enhancement processing to each corresponding speaker 4.
  • the audio/vibration conversion processing unit 126b converts the audio data received from the rendering processing unit 122 into vibration data by performing band limiting processing suitable for vibration such as LPF.
  • the vibration localization processing unit 126c performs processing related to vibration localization on the vibration data obtained by conversion by the audio vibration conversion processing unit 126b. Then, the vibration localization processing unit 126c outputs vibration data for each vibrator that has undergone amplitude and delay processing by this processing.
  • the vibration device 5 vibrates each transducer according to the vibration data output by the vibration localization processing section 126c.
  • FIG. 17 is a diagram showing an example of a vibration localization processing method.
  • the vibration localization processing unit 126c identifies the directional component of vibration to be provided to the user (content viewer) (step S11). Specifically, since the sense of localization of vibration is based on the existence position of the object that is the vibration source, the existence position (existence direction) of the object (vibration source) is estimated from the directional component of the sound based on the same object, A directional component of the vibration is estimated (identified) from the estimated position and the user position (user position in the content space).
  • vibration sources objects of the vibration provided to the user in the content
  • the main vibration source the effect of improving the sense of reality is expected to be the largest
  • the processing when one object) is selected will be described.
  • by performing similar processing in parallel for a plurality of vibration sources it is possible to effectively provide the user with vibrations based on the plurality of vibration sources, and reproduce content with a sense of realism.
  • the direction 52 of the virtual vibration source (reproducing the state in which vibration is generated from this virtual vibration source) based on the user is the direction of the object that is the sound source from the user in the XR space (virtual space). direction, that is, the directional component of the voice.
  • the vibration localization processing unit 126c specifies the direction component of the sound (vibration) based on the sound source position data (the position of the target object) received from the rendering processing unit 122, for example, in the same manner as in the sound localization processing. can do.
  • the vibration localization processing unit 126c identifies the position of the object (sound source) based on the spectrum of the audio signal of each of the channels included in the audio data, and the sound (vibration) based on the identified position. ) can also be specified.
  • the vibration localization processing unit 126c can specify the direction component of the sound (vibration) based on the metadata of the content (metadata including data indicating the position of the target object).
  • the content developed using the 3D engine contains information indicating the position of the object in the virtual space along with the audio data generated by the object at each time.
  • the scene data of the content includes the horse's footstep data and the horse's position data (as metadata).
  • the position data is used to identify the sound source position of the horse's footsteps (the position of the horse that is the sound source).
  • the vibration localization processing unit 126c identifies the direction connecting the sound source position of the horse's footsteps (the position of the horse) from the user position in the virtual space as the direction component of the sound, and determines it as the direction component of the vibration (localization direction). .
  • the vibration localization processing unit 126c determines various processing data such as coefficient values and correction values used for vibration control (vibration data (signal) generation processing) of each transducer 51 of the vibration device 5.
  • each vibrator 51 since each vibrator 51 has individual differences in characteristics (relationship between input signal and vibration output, for example, ratio of input signal level and vibration output level), correction data for correcting the characteristic difference is determined. . Specifically, since the output vibration level has a large effect in this embodiment, the transducer characteristic data is determined based on the ratio of the input signal level to the vibration output level (amplitude) (hereinafter referred to as transducer sensitivity).
  • the transducer sensitivity data can be calculated by measuring the vibration amplitude when a test vibration signal is applied to the transducer and calculating the test vibration signal amplitude and the vibration amplitude. Stored in child information DB 135) for use.
  • the vibration localization processing unit 126c also provides sensitivity characteristic correction data for correcting differences in sensitivity characteristics, which are characteristics of the user's sense of vibration, and vibration transfer characteristics to the user depending on the state of contact between the user and each transducer. Determines sensitivity characteristic correction data for correcting the difference in .
  • One of the sensitivity characteristic correction data is data for correcting differences in how vibrations are perceived due to individual differences of users or differences in body parts.
  • the characteristic is determined as sensitivity characteristic correction data.
  • the sensitivity characteristic can be determined by the user's input operation before viewing the content. Specifically, the sensitivity characteristic can be measured by a method such as providing the user with vibration of a predetermined intensity from each transducer and allowing the user to input the sensation of the vibration.
  • another sensitivity characteristic correction data is data for correcting the difference in how vibration is felt depending on the contact state between the user and each vibrator 51. This is the pressure received by each transducer when the user is seated, that is, the pressure distribution data of the seating surface when the user is seated. decide.
  • the pressure value can be determined by a method of measuring by installing a pressure sensor on the seating surface of the seat on which the user sits when viewing the content.
  • the user provides vibration of a predetermined intensity from each transducer to the user, and the user inputs the feeling of the vibration, or the like, to determine the sensitivity characteristic correction data in a form that combines the sensitivity characteristic and the pressure value.
  • a method is also possible.
  • the sensitivity characteristic correction data is correction data according to the characteristics and state of the user (seating state of the user)
  • the vibration level the seismic intensity level when the vibration signal is input to the transducer defined as the standard characteristic
  • the ratio of user sensations is hereinafter referred to as user sensitivity. Then, this user sensitivity is stored in the storage unit 130 (transducer information DB 135) and used when reproducing the content.
  • the vibration localization processing unit 126c calculates the output level correction value of each transducer using the above-described transducer sensitivity and user sensitivity, and stores it in the storage unit 130 (transducer information DB 135). Specifically, the vibration localization processing unit 126c stores the reciprocal value of the value obtained by integrating the transducer sensitivity and the user sensitivity in the storage unit 130 (transducer information DB 135) as an output level correction value.
  • each vibrator vibrates based on the vibration data, and how the user feels the vibration (what kind of vibration level) is the vibration sensitivity characteristic (the relationship between the vibration data and the user's sense of vibration intensity).
  • the characteristic elements (characteristics) of the vibrator are also considered) are stored in the storage unit 130 as the output level correction value.
  • Vibrator sensitivity is the ratio of vibration signal level to vibration level (amplitude)
  • user sensitivity is the ratio of vibration level (amplitude) to user sensation. If correction processing (division) is performed by the correction value and input to each transducer, the user will feel the same level of vibration from each transducer.
  • the output level correction value 61A for each transducer is calculated as 2 for the transducer 51FL, 4 for the transducer 51FR, 1 for the transducer 51RL, and 3 for the transducer 51RR. is shown.
  • FIG. 18 is a diagram showing the principle idea of the signal processing method according to the present embodiment, and the processing method is realized by the control unit 120 (CPU) executing an arithmetic expression and a processing program according to the principle.
  • the control unit 120 CPU
  • an example of processing in a horizontal two-dimensional space in the content reproduction space is taken as an example. Note that most of the contents are widely distributed on the plane (ground) of the vibration target, and many of the movement directions are on the plane (ground), so approximation processing in a horizontal two-dimensional space is sufficiently possible.
  • the vibration localization processing unit 126c plots the position of each transducer in a coordinate space for calculation processing (step S21). That is, the vibration localization processing unit 126c plots points according to the position coordinate data (point 53_FL, point 53_RL, point 53_FR, point 53_RR) of each transducer acquired from the transducer information DB 135 .
  • the vibration localization processing unit 126c calculates the center of gravity of the plotted position coordinate points of each transducer (average coordinates of the X and Y coordinate values of each point). Further, the vibration localization processing unit 126c draws straight lines 535a, 535b, 535c, and 535d (lines other than the diagonal lines) that connect the position coordinate points of the plurality of transducers and form the perimeter of the polygon (quadrilateral). Further, the vibration localization processing unit 126c draws a straight line 525 passing through the center of gravity and extending in the direction 52 obtained in step S11 of FIG.
  • the vibration localization processing unit 126c plots intersections (points 531 and 532) of the straight line 525 and the straight lines 535a and 535c (step S22).
  • the line segment (straight line 535a) passing through the point 531 on the direction 52 side is called the non-delay side line segment (535a).
  • the end points (points 53_FL and 53_FR) of the line segment 535a on the non-delay side are referred to as non-delay side points (53_FL and 53_FR).
  • the line segment (straight line 535c) passing through the point 532 on the opposite side of the direction 52 is called the line segment (535c) on the delayed side.
  • the endpoints (points 53_RL and 53_RR) of the segment 535c on the delay side are referred to as points (53_RL and 53_RR) on the delay side.
  • a figure composed of straight lines connecting the position coordinate points of the transducers may not be a quadrangle, and may be a polygon or polyhedron other than a quadrangle. In other words, it becomes a polygonal shape corresponding to the number of oscillators to be controlled (eg, a pentagon when there are five oscillators to be controlled).
  • the end point of the line segment on the non-delay side is the non-delay side point
  • the end point of the line segment on the delay side is the point on the delay side.
  • the non-delayed line segment and the delayed line segment are selected.
  • the selected line segments are non-adjacent line segments. Therefore, as will be described later, one vibrator is not subjected to both vibration control for the non-delay side vibrator and vibration control for the delay side vibrator, so arithmetic processing for control is simplified. become. In addition, since one vibrator does not share the operation of two vibrators, the control accuracy is improved. In addition, since the center of gravity is in the same relation with each side of the polygon, the processing contents are the same regardless of the direction of the vibration source.
  • the vibration localization processing unit 126c performs processing related to control of the vibration perception position based on the technical concept of phantom sensation (Phs).
  • Phantom sensation is defined as “when two points are given the same stimulus (e.g., vibration) at the same time, the center of the two points feels stimulated. ) is different, the point at which the stimulus is felt (hereinafter referred to as the stimulus sensitive point) moves toward the larger stimulus.” It is approximately estimated that the position of the stimulus sensing point is inversely proportional to the stimulus intensity ratio (amplitude in the case of vibration) at each stimulus point.
  • the vibration stimulus given to the user is controlled based on this idea.
  • the vibration localization processing unit 126c performs processing related to control of the sense of vibration direction based on the technical concept of haptic motion.
  • the tactile motion is said to ⁇ give a sense of movement to the vibrations by providing a time difference between the vibrations of two points''.
  • the vibration localization processing unit 126c performs processing for generating vibrations that give the user a realistic localization feeling based on the concept of phantom sensation and tactile illusion.
  • points 531 and 532 shown in step S22 in FIG. 18 are defined as vibration perception positions, and a time difference is provided between the vibration times at points 531 and 532 so that the user can detect vibration between points 531 and 532. to have a sense of movement.
  • the user feels a vibration with a sense of localization moving in the direction of the straight line connecting the points 531 and 532, ie, the position of the vibration source (vibration generating object in the content).
  • the vibration localization processing unit 126c performs processing to set points 531 and 532 as stimulus sensing points. Based on the technical concept of Phantom Sensation, the ratio of the distance (L1) between the point 531 and the transducer position 53_FL to the distance (L2) between the point 531 and the transducer position 53_FR, the amplitude generated by the transducer 51_FL, and the transducer When the ratio to the amplitude generated by 51_FR has a reciprocal relationship, the point 531 is the stimulus sensitive point. Therefore, the vibration localization processing unit 126c calculates L2/(L1+L2) as the correction value 60AFL (correction value to be integrated with the vibration signal) for the vibrator 51_FL. The vibration localization processing unit 126c also calculates L1/(L1+L2) as the correction value 60AFR for the transducer 51_FR.
  • the vibration localization processing unit 126c performs the same process for the process of setting the stimulus sensitive point to the point 532, and calculates L4/(L3+L4) as the correction value 60ARL for the transducer 51_RL.
  • the vibration localization processing unit 126c also performs the same processing for the stimulus sensing point 532, and calculates L3/(L3+L4) as the correction value 60ARR for the transducer 51_RR.
  • L3 is the distance between the point 532 and the transducer position 53_RL
  • L4 is the distance between the point 532 and the transducer position 53_RR.
  • the vibration signal generated by multiplying the vibration data VD generated by the above-described method by the correction value 60AFL is output to the vibrator 51_FL, and the vibration signal generated by multiplying the vibration data BD by the correction value 60AFR is vibrated.
  • the point 531 is the user's stimulus sensitive point.
  • a vibration signal generated by multiplying the vibration data VD by the correction value 60ARL is output to the vibrator 51_RL, and a vibration signal generated by multiplying the vibration data BD by the correction value 60ARR is output to the vibrator 51_RR.
  • the point 532 is the stimulus-sensitive point of the user.
  • the vibration localization processing unit 126c uses the output level correction values (61AFL, 61AFR, 61ARL, 61ARR) of each transducer (51_FL, 51_FR, 51_RL, 51_RR) calculated in advance by the processing described with reference to FIG. Correct the vibration signal to each transducer.
  • the vibration localization processing unit 126c sets the vibration data for the vibrator 51_FL as the integrated value of the vibration data VD, the correction value 60ARL, and the correction value 61AFL, and outputs a vibration signal to the vibrator 51_FL.
  • the vibration localization processing unit 126c sets the vibration data for the vibrator 51_FR as the integrated value of the vibration data VD, the correction value 60AFR, and the correction value 61AFR, and outputs a vibration signal to the vibrator 51_FR.
  • the vibration localization processing unit 126c sets the vibration data for the vibrator 51_RL as the integrated value of the vibration data VD, the correction value 60ARL, and the correction value 61ARL, and outputs a vibration signal to the vibrator 51_RL.
  • the vibration localization processing unit 126c sets the vibration data for the vibrator 51_RR as the integrated value of the vibration data VD, the correction value 60ARR, and the correction value 61ARR, and outputs a vibration signal to the vibrator 51_RR.
  • the correction values 61AFR, 61AFL, 61ARL, and 61ARR are set to 2, 4, 1, and 3 as shown in step S12 of FIG. , 2k, and 3k, the vibration data 53DFL, 53DFR, 53DRL, and 53DRR of the vibration signals output to the respective vibrators 51_FL, 51_FR, 51_RL, and 51_RR are given by VD as the original vibration data.
  • a vibration signal based on these vibration data 53D is output to each vibrator 51 as follows.
  • step S24 in FIG. It will move to positions 531 and 532 .
  • the vibration localization processing unit 126c controls the amplitude and delay of the output vibration of each transducer based on the arrangement of each transducer.
  • the vibration localization processing unit 126c controls the amplitude and delay of the output vibration of each vibrator based on the user's vibration sensitivity to the output vibration of each vibrator.
  • the information processing device 10 stores in advance the sensitivity characteristics for each part of the user's body. Then, the vibration localization processing unit 126c uses different sensitivity characteristics depending on whether the part to which each transducer is in close contact is the left side or the right side of the user's body, or whether it is the thigh or the buttocks. .
  • vibration sensitivity characteristics are characteristics that take into account individual differences for each vibrator and individual differences for each user.
  • the vibration sensitivity is estimated according to the relationship between the input signal and the output vibration level of each transducer, the user's weight, physical condition, posture, etc., and the vibration localization processing unit 126c uses this vibration sensitivity. Controls the amplitude of each oscillator.
  • the vibration localization processing unit 126c measures the user's vibration sensitivity characteristics by vibrating the vibrator for calibration in the user's posture when viewing the content.
  • the information processing apparatus 10 After instructing the user to take a viewing posture, the information processing apparatus 10 causes the user to actually view sample content (for calibration of vibration sensitivity characteristics with respect to the user's posture), and causes the vibrator to perform calibration. generate vibration. Then, based on the user's impression or biological information, the vibration sensitivity characteristic correction value related to the user's viewing posture is estimated. Then, the information processing apparatus 10 stores the obtained correction value of the vibration sensitivity characteristic, and uses it for calculation processing of the vibration sensitivity characteristic later.
  • the vibration localization processing unit 126c corrects the amplitudes of all transducers according to the scene based on the amplitude enhancement coefficients acquired from the parameter information DB 134.
  • the vibration localization processing unit 126c determines the delay time ( ⁇ t) of the transducers corresponding to the points on the delay side, the transducers 51_RL and 51_RR in this example ( ⁇ t: the transducers 51_FL and 51_FL corresponding to the points on the non-delay side 51_FR) is calculated (step S25). Note that the delay time from the vibration generation (sound generation of the same target object) timing in the content of the transducers 51_FL and 51_FR corresponding to the points on the non-delay side is assumed to be 0. It is also effective to delay or advance the vibration generation timing of the vibrator 51_FL and the vibrator 51_FR corresponding to the point.
  • Delay time ⁇ ti ai ⁇ yi ⁇ Y (i indicates each timing)
  • ai is a value that indicates whether delay processing is required, and is 1 if delay processing is required, and 0 if not.
  • yi is a vibration enhancement coefficient, which is a value for moderately enhancing the vibration generated by the vibration-generating target object in the target scene of the content. For example, in a scene where it is desired to strongly emphasize the vibration, the emphasis coefficient ai has a large value, and the delay time is lengthened according to the degree of emphasis, so that the difference can be easily perceived.
  • the value of Y is the time required for the vibration to travel the distance between the stimulus sensing points 531 and 532. Using an appropriate constant reduces the processing load. is advantageous.
  • the intermediate value of the distance between the points 531 and 532 (the average of the distance between the transducer positions 53_FL and 53_RL and the distance between the transducer positions 53_FR and 53_RL), , a value determined as appropriate by a sensitivity test or the like may be used.
  • delay necessity value ai and enhancement coefficient yi are values determined according to the state of the vibration generating target object in the target scene of the content. ) is determined based on the analysis result, additional information of the content (previously added to the content as control data), or the like.
  • the vibration localization processing unit 126c uses this formula to calculate the delay time ⁇ ti in each scene, and outputs the corresponding vibration signal to each transducer 51 at each timing based on the calculated delay time ⁇ ti.
  • the vibrator 51 is vibrated (step S25).
  • Vibrator 51_FL Vibration data 0.3 VD
  • vibration timing 0 seconds (delay time from the timing of reproducing the target scene in the content, the same applies to the following vibrators)
  • Vibrator 51_FR Vibration data 0.1 VD
  • Vibrator 51_RL Vibration data 0.4 VD
  • Vibrator 51_RR Vibration data 0.2 VD
  • the user feels the vibration at the point 531 at the playback timing of the target scene in the content, and then feels the vibration at the point 532 one second later, so that the user feels the vibration along the direction from the vibration source. Therefore, the user can appropriately feel the localization of the vibration source (vibration-generating object), and enjoy content reproduction with a rich presence.
  • the vibration localization processing unit 126c (output unit 126) moves the vibration discontinuously from the vibrator corresponding to the point on the non-delay side to the vibrator corresponding to the point on the delay side.
  • the user is made to feel that the vibration position is gradually moving. This process is also based on the technical concept of Phantom Sensation.
  • the vibration localization processing unit 126c attenuates the amplitudes of the transducers 51_FL and 51_FR corresponding to the points on the non-delay side over the delay time ⁇ t. Further, the vibration localization processing unit 126c increases the amplitudes of the transducers 51_RL and 51_RR corresponding to the points on the delayed side by taking the delay time ⁇ t.
  • Vibrator 51_FL Vibration data 0.3 VD ((1-T)/1)
  • Vibrator 51_FR Vibration data 0.1 VD ((1-T)/1)
  • Vibrator 51_RL Vibration data 0.4 VD (T/1)
  • Vibrator 51_RR Vibration data 0.2 VD (T/1)
  • the final attenuation value for the transducer 51_FL and the transducer 51_FR corresponding to the non-delayed side point is not a silent level but a moderately weak sound level, and the attenuation is performed before the delay time ⁇ t elapses from the reproduction timing of the target scene in the content. Control with a final value is also effective.
  • the start of amplitude enhancement for the transducers 51_RL and 51_RR corresponding to the points on the delayed side is performed not at a silent level but at an appropriate weak sound level, and a predetermined time (delay time ⁇ t or less) from the reproduction timing of the target scene in the content ) It is also effective to set the attenuation start value after the passage of time.
  • the present embodiment based on the technical ideas of phantom sensation and tactile illusion, it is possible to make the content viewing user appropriately feel the position of the vibration source and the movement of the vibration according to the contents of the content. Therefore, the user can enjoy the reproduction of the content with a rich presence.
  • the first combined vibration position (point 551) determined based on the vibration level of each vibrator in the first vibrator group consisting of a plurality of vibrators (the vibrator 51_FL and the vibrator 51_FR).
  • the positional relationship matches the specified directional component (direction 52) of the vibration source, controlling the amplitude of the output vibration of each of the vibrators,
  • the output vibration delay of each vibrator (vibration timing of vibrator 51_FL and vibrator 51_FR (for example, delay 0 from generation of vibration in content), vibrator 51_RL and vibrator 51_RR according to the directional component of the vibration source (for example, the delay ⁇ t from the generation of vibration in the content)). ”, you will say.
  • FIG. 19 is a flowchart showing a processing procedure executed by the information processing apparatus 10. As shown in FIG. Note that the processing procedure described below is repeatedly executed by the control unit 120 .
  • step S101 it is determined whether or not there is an XR content playback start operation, and if the start operation is detected (step S101, Yes), the process proceeds to step S102, and if not, the process ends (step S101, No). .
  • XR content setting processing is executed (step S102).
  • the XR content setting processing here includes, for example, various types of processing related to initial settings of the device for reproducing XR content, selection of XR content by the user, and the like.
  • the information processing apparatus 10 starts reproducing the XR content (step S103), and performs scene detection processing on the XR content being reproduced (step S104). Subsequently, the information processing apparatus 10 performs priority order setting processing on the results of the scene detection processing (step S105), and executes presence parameter extraction processing (step S106).
  • the information processing apparatus 10 executes output processing of various vibration data or sound data reflecting the processing result of the presence parameter extraction processing (step S107). Then, the information processing apparatus 10 determines whether or not the XR content has ended (step S108), and when it determines that the XR content has ended (step S108; Yes), ends the process.
  • step S108 determines in the determination at step S108 that the XR content has not ended (step S108; No). Also, when the information processing apparatus 10 determines in the determination at step S108 that the XR content has not ended (step S108; No), the process proceeds to step S104 again.
  • FIG. 20 is a flow chart showing the procedure of vibration localization processing.
  • the vibration localization processing corresponds to processing executed by the vibration localization processing section 126c (control section 120). Also, this processing is performed as part of the processing of steps S106 and S107 in the processing shown in FIG. It should be noted that the specific detailed processing contents of each step are the processing contents described above.
  • the vibration localization processing unit 126c identifies the directional component of the sound (vibration) (step S201).
  • the vibration localization processing unit 126c determines a correction value CI for correcting the vibration level difference felt by the user due to the individual difference of each transducer, the individual difference of the user, the content viewing state of the user, etc. (step S202). .
  • this correction value CI is obtained and stored in advance before the content is reproduced (when the user is seated, etc.), and in this step S202, the stored correction value CI is read.
  • the vibration localization processing unit 126c uses the direction component of the sound determined in step S201 and the installation position information of each transducer to correct the vibration level of each transducer, based on the phantom sensation technical idea. is calculated (step S203).
  • the vibration localization processing unit 126c calculates (integrated) from the correction value CI for correcting the influence of the individual difference of the vibrator determined in step S202 and the correction value FS based on the phantom sensation technical concept calculated in step S203. , determine a correction value CV for correcting the vibration data for each transducer. Then, the vibration data separately determined based on the content is corrected (integrated) with the determined correction value CV for the vibration of each transducer, and the output data to each transducer is determined (step S204).
  • the vibration localization processing unit 126c calculates the vibration timing of each vibrator (vibration signal output timing to each vibrator) based on the technical concept of haptic motion. That is, the delay time from the vibration generation timing of the vibration generating object in the scene of the content (in this embodiment, the vibration signal is generated based on the audio signal, so it becomes the sound generation timing) is calculated (step S205).
  • the vibration localization processing unit 126c provides vibration data and vibration timing data for each transducer as output data, and the output unit 126 outputs an output signal to each transducer (step S107 in FIG. 19). .
  • the vibration localization processing unit 126c of the information processing apparatus 10 includes a plurality of vibrators, identifies the directional component of the vibration source in the input content, and determines each vibration based on the directional component. Controls the amplitude and delay of the child's output oscillation.
  • the information processing apparatus 10 adjusts the amplitude and delay of the output vibrations of the plurality of transducers, so that the sense of localization of the sound source (sense of position) and the sense of transmission of vibration (sense of movement of vibration) can be obtained. can be given to the user.
  • the information processing apparatus 10 gives the user a sense of localization of the sound source based on the relationship between the amplitudes of the output vibrations of the respective transducers, and provides the user with a sense of movement of the vibrations based on the difference in the timing of the output vibrations of the respective transducers.
  • the information processing apparatus 10 it is possible to provide the user with a realistic sensation of vibration in the content.
  • the second embodiment simplifies the process of calculating the correction value based on the phantom sensation technical idea so that, for example, a relatively low-speed arithmetic processing unit (CPU or the like) can handle the process.
  • a relatively low-speed arithmetic processing unit CPU or the like
  • the directional component of the sound is specified in an appropriate number of area units (eight angular areas, that is, in eight stages in this embodiment), and the subsequent calculation of the correction value is performed for each angular area.
  • area units width angular areas, that is, in eight stages in this embodiment
  • the processing of the arithmetic processing unit is simplified. This is a reduced load.
  • FIG. 22 is a diagram showing a method of determining the directional component of vibration.
  • Vibration localization processing unit 126c determines to which of angular regions r1 to r8 obtained by dividing the circumference of the user into eight angular regions r1 to r8 the directional component of vibration in content (estimated from sound in content in this embodiment) belongs to. (Step S31). Data defining the angular region is stored in the storage unit 130 in advance (at the time of designing, etc.), and the angular region of the directional component of vibration is determined using the stored data. Further, in this embodiment, as shown in step S31, angular regions r1 to r8 are set every 45 degrees with reference to the 45-degree angular region r1 of the front.
  • the vibration localization processing unit 126c uses the central direction (d1 to d8: referred to as the representative direction) of the angular region to which the directional component of the vibration is determined to calculate the correction value based on the phantom sensation technical idea. Determined as vibration direction data.
  • this processing can be realized by a method such as storing a data table showing the relationship between the angular regions r1 to r8 and the representative directions d1 to d8 in advance in the storage unit 130 and using the data in the data table for comparison. .
  • the region r1 is from -30° to 30°, and its representative direction d1 is the direction of 0°. Also, the region r2 is a region from 30° to 60°, and the direction d1 is a direction of 45°. Then, for example, if the directional component of the vibration is 45°, the vibration localization processing unit 126c determines that the representative direction is d2, and d2 is used as the representative direction for subsequent processing.
  • the information processing device 10 performs signal processing equivalent to the method shown in FIG. 17 using the representative direction data of the vibration direction component determined by the above method.
  • correction values based on the phantom sensation technical idea are calculated in advance for each of the eight types of representative directions d1 to d8, and stored in the storage unit 130 as a data table. remembered as
  • a correction value based on the technical concept of the tactile sensation movement is also calculated in advance, and is calculated based on the calculated correction value and the correction value based on the phantom sensation technical concept obtained as described above.
  • the integrated correction values are stored in the storage unit 130 as a data table.
  • the correction value data table based on the Phantom Sensation technical concept can be omitted.
  • the integrated correction value is not calculated, the correction value based on the technical concept of Phantom Sensation is calculated using the data table, and the correction value based on the technical concept of tactile sensation movement is calculated without using the data table. It is also possible to implement a method of correcting the vibration data with each correction value.
  • FIG. 21 is a data table configuration diagram showing an example of a data table of correction values based on the technical concept of phantom sensation and the technical concept of haptic motion.
  • the data table shows correction values for vibration amplitude and vibration timing (delay) calculated in advance (during design, etc.) for each transducer (51FL, 51FR, 51RL, 51RR) and each representative direction (d1 to d8). Correction values are stored.
  • the vibration localization processing unit 126c extracts the amplitude and delay correction values corresponding to the determined representative direction d from the data table for each transducer 51, and corrects the vibration data.
  • the amplitude correction value for the vibrator 51FL is -2 db and the delay time is 0 ms
  • the amplitude correction value for the vibrator 51FR is +4 db with a delay time of 0 ms and the amplitude correction value for the vibrator 51RL. is +4 db
  • the delay time is 50 ms
  • the amplitude correction value for the transducer 51RR is -4 db
  • the delay time is 50 ms.
  • the data table shown in FIG. 21 excludes factors that differ depending on the content viewing situation, such as the user's sensitivity and the seating condition on the seat (pressure distribution on the seat surface) as correction factors, and the seat type (vibrator itself, or its arrangement is different, etc.) are excluded as correction elements, but by making a data table with these variable elements added as parameters, it is also possible to perform control corresponding to these variable elements. It becomes possible.
  • the information processing apparatus 10 determines to which of a plurality of predetermined angular regions the directional component of vibration belongs, From the models (data table in FIG. 21), select a model (data group of the corresponding direction in the data table in FIG. 21) corresponding to the determined angular region of the direction component, and based on the selected model, each of the oscillators controls the amplitude and delay of the output oscillation of
  • the model has a data table (data table in FIG. 21) in which amplitude correction values for amplitude and delay correction values for delay are stored for each of a plurality of angular regions.
  • the information processing apparatus 10 controls the amplitude and delay of the output vibration of each transducer based on the amplitude correction value and delay correction value for each transducer stored in the data table corresponding to the angular region of the directional component.
  • processing using a model (data table) generated in advance corresponding to the angular region to which the directional component of vibration belongs can be performed without performing complicated processing using the directional component of vibration. Since control can be performed, the processing load can be reduced, such as by reducing the amount of calculation.
  • the content is XR content
  • the content may be 2D video and audio, video only, or audio only.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Stereophonic System (AREA)

Abstract

実施形態に係る情報処理装置は、複数の振動子を備え、入力された信号に応じた振動をユーザに印加する振動デバイスを制御する。情報処理装置は、入力されたコンテンツにおける、振動デバイスに対する音源の方向成分を特定し、方向成分に基づき、振動子のそれぞれの振幅および遅延を制御する。

Description

情報処理装置、情報処理システムおよび情報処理方法
　本発明は、情報処理装置、情報処理システムおよび情報処理方法に関する。
　従来、ＨＭＤ（Head　Mounted　Display）等を用いてユーザに対し、ＶＲ（Virtual　Reality）やＡＲ（Augmented　Reality）、ＭＲ（Mixed　Reality）といった仮想空間体験を含むデジタルコンテンツ、いわゆるＸＲ（Cross　Reality）コンテンツを提供する技術が知られている。ＸＲは、ＶＲ、ＡＲ、ＭＲのほか、ＳＲ（Substitutional　Reality）、ＡＶ（Audio/Visual）等を含むすべての仮想空間技術をまとめた表現である。
　また、例えば、ユーザが視聴する映像に応じた振動をユーザへ与えることで、映像に対する臨場感の向上を図る技術が提案されている（例えば、特許文献１参照）。
　さらに、座面に配置された複数のセル毎の振動を制御し、ユーザに信号を提示する技術が提案されている（例えば、特許文献２参照）。
特開２００４－０８１３５７号公報 特開２０２１－１５８３９２号公報
　しかしながら、従来技術では、振動の自然な定位感をユーザに提供することが困難であった。
　図３は、従来の振動の提供方法を示す図である。また、図３は、ユーザが着座するシートの座面をユーザの頭上から鉛直下向きに見た図である。
　図３に示すように、座面には、振動子５１ａ＿ＦＬ（左前）、振動子５１ａ＿ＲＬ（左後）、振動子５１ａ＿ＦＲ（右前）、振動子５１ａ＿ＲＲ（右後）が備えられている。各振動子は制御内容に応じて、つまりコンテンツにおける振動源の位置（ユーザ位置を基準とする位置）に、ユーザが振動の定位感を感じるように出力振動が制御される。
　例えば、コンテンツにおける振動源（振動を発する物体）がユーザの右前方にあるものとすると、振動源の定位感を出すために、各位置の振動子５１の振動強度は、例えば図２３に示すようにＦＬ（左前）は１、ＲＬ（左後）は０、ＦＲ（右前）は８、ＲＲ（右後）は１に制御される。
　この場合、ユーザは、座面の右前が強く振動している感覚を覚えるため、振動源が右前方にあることを認識することができる。
　しかし、このような振動提供方法においては、座面位置における振動強度の違いでユーザは振動源の定位感をある程度は感じるものの、振動が伝搬する感覚をユーザに与える要素はあまり無く、ユーザに振動の定位感をより感じさせる臨場感豊かな振動提供方法が望まれている。
　本発明は、上記に鑑みてなされたものであって、コンテンツ等の再生に際して、臨場感豊かな振動をユーザに提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る情報処理装置は、入力されたコンテンツにおける、振動デバイスに対する音源の方向成分を特定し、方向成分に基づき、振動子のそれぞれの振幅および遅延を制御する。
　本発明によれば、振動が伝搬する感覚を与える成分を含む振動を生成でき、より臨場感のある振動をユーザに提供することができる。
図１は、情報処理システムの概要を示す図である。 図２は、情報処理システムにおけるデータの流れを示す図である。 図３は、振動デバイスの構成例を示す図である。 図４は、情報処理方法の概要を示す図である。 図５は、情報処理装置のブロック図である。 図６は、シーン情報ＤＢの一例を示す図である。 図７は、シーン情報ＤＢの一例を示す図である。 図８は、シーン情報ＤＢの一例を示す図である。 図９は、優先順位情報ＤＢの一例を示す図である。 図１０は、パラメータ情報ＤＢの一例を示す図である。 図１１は、振動子情報ＤＢの一例を示す図である。 図１２は、シーン検出部のブロック図である。 図１３は、優先順位設定部のブロック図である。 図１４は、優先する対象物の決定方法の例を示す図である。 図１５は、パラメータ抽出部のブロック図である。 図１６は、出力部のブロック図である。 図１７は、振動定位処理方法の例を示す図である。 図１８は、信号処理方法の例を示す図である。 図１９は、情報処理装置が実行する処理手順を示すフローチャートである。 図２０は、振動定位処理の手順を示すフローチャートである。 図２１は、振動子情報ＤＢの一例を示す図である。 図２２は、振動制御方法の例を示す図である。 図２３は、従来の振動の提供方法を示す図である。
　以下、添付図面を参照して、本願の開示する情報処理装置、情報処理システムおよび情報処理方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。
［第１の実施形態］
　まず、図１、図２、図３および図４を用いて、実施形態に係る情報処理システムおよび情報処理方法の概要について説明する。図１は、情報処理システムの概要を示す図である。図２は、情報処理システムにおけるデータの流れを示す図である。図３は、振動デバイスの構成例を示す図である。図４は、情報処理方法の概要を示す図である。なお、以下では、ＸＲ空間（仮想空間）がＶＲ空間である場合について説明する。
　図１に示すように、情報処理システム１は、表示装置３と、スピーカ４と、振動デバイス５とを含む。
　図２に示すように、情報処理装置１０は、表示装置３に映像データを提供する。また、情報処理装置１０は、スピーカ４に音声データを提供する。また、情報処理装置１０は、振動デバイス５に振動データを提供する。
　図１に示すように、表示装置３は、例えば、ヘッドマウントディスプレイである。表示装置３は、ユーザに対し、情報処理装置１０から提供されるＸＲコンテンツに関する映像データを提示し、ユーザにＶＲ体験を享受させるための情報処理端末である。
　なお、表示装置３は、視界を完全に覆う非透過型であってもよいし、ビデオ透過型や光学透過型であってもよい。また、表示装置３は、センサ部によってユーザの内外の状況の変化を検知するデバイス、例えばカメラやモーションセンサ等を有する。
　スピーカ４は、音声を出力する音声出力デバイスで、例えばヘッドフォン型に設けられ、ユーザの耳に装着される。スピーカ４は、情報処理装置１０から提供される音声データを音声として発生させる。なお、スピーカ４は、ヘッドフォン型に限らず、箱型（床等に設置）のものであってもよい。また、スピーカ４は、ステレオオーディオや、マルチチャンネルオーディオ型であってもよい。
　振動デバイス５は、複数の振動子を含む。各振動子は、電気磁気回路や圧電素子から構成される電気振動変換器から構成され、例えば、ユーザが着座するシートに設けられ、情報処理装置１０から提供される振動データにあわせて振動する。なお、情報処理装置１０は、振動デバイス５の各振動子を個別に制御する。
　図３は、ユーザが着座するシートの座面をユーザの頭上から鉛直下向きに見た図である。図３に示すように、シートの座面における左前、左後、右前、右後の各位置には振動デバイス５の各振動子である、振動子５１＿ＦＬ、振動子５１＿ＲＬ、振動子５１＿ＦＲ、振動子５１＿ＲＲが設置される。
　そして、ユーザがシートに着座した際に、各振動子は、それぞれ異なる身体の部位に接触して、振動を与える。例えば、振動子５１＿ＦＬ、振動子５１＿ＲＬ、振動子５１＿ＦＲ、振動子５１＿ＲＲは、それぞれシートに着座したユーザの左側の大腿部、左側の臀部、右側の大腿部、右側の臀部に振動を与える。
　これらスピーカ４による音声や、振動デバイス５の振動、つまり波動デバイスによる波動を再生映像に適合させてコンテンツユーザに印加することにより、映像再生に関してより臨場感を増すことが可能となる。
　情報処理装置１０は、コンピュータにより構成されており、有線または無線で表示装置３と接続され、表示装置３に対し、ＸＲコンテンツの映像を提供する。また、情報処理装置１０は、例えば、表示装置３に設けられたセンサ部によって検知された状況の変化を随時取得し、かかる状況の変化をＸＲコンテンツに反映させる。
　例えば、情報処理装置１０は、センサ部によって検知されたユーザの頭部や視線の変化に応じて、ＸＲコンテンツの仮想空間における視界の向きを変化させることが可能である。
　ところで、ＸＲコンテンツを提供するにあたり、スピーカ４から発生する音声をシーンにあわせて強調する、あるいは、シーンにあわせて振動デバイス５を振動させることで、ＸＲコンテンツの臨場感の向上を図ることができる。
　しかしながら、これら臨場感の向上を図るための臨場感制御に用いるパラメータ（以下、臨場感パラメータ）は、ＸＲコンテンツの制作後に、人手で設定する必要があり、臨場感パラメータの設定に膨大な作業を必要としていた。
　そこで、情報処理方法では、これら臨場感パラメータの設定の自動化を図ることとした。例えば、図４に示すように、まず、実施形態に係る情報処理方法では、ＸＲコンテンツに関する映像データおよび音声データから所定条件を満たすシーンを検出する（ステップＳ１）。
　ここでの所定条件とは、例えば、対応する映像データまたは音声データが臨場感パラメータの設定を要するシーンであるか否かに関する条件であり、例えば、ＸＲコンテンツ内部の状況に関する条件式によって定義される。
　すなわち、情報処理方法では、ＸＲコンテンツ内部の状況が条件式によって定義される条件を満たした場合に、所定条件を満たすシーンとして検出する。これにより、情報処理方法では、映像データを詳細に解析するなどといった処理を不要とするので、シーン検出の処理負荷の軽減を図ることができる。
　つづいて、情報処理方法では、シーン検出によって検出したシーンに対して優先順位を設定する（ステップＳ２）。ここで、優先順位とは、どのシーンの臨場感パラメータを優先すべきかといった順位を示す。すなわち、情報処理方法では、複数のシーンが時間的に重複する場合に、どのシーンの臨場感パラメータを優先すべきかをシーン毎に予め定義しておく。
　これにより、複数のシーンが重複する場合においても、ユーザに対し適切な臨場感を提供することができる。なお、後述するように、情報処理方法では、音声に関する優先順位と、振動に関する優先順位とをそれぞれ個別に設定する。
　つづいて、情報処理方法では、シーン毎に臨場感パラメータを抽出する（ステップＳ３）。例えば、情報処理方法では、シーンと臨場感パラメータとの関係性が予め定義されたパラメータ情報を用いて、シーン毎に臨場感パラメータを抽出する。
　この際、情報処理方法では、優先順位に応じて、対応する臨場感パラメータを抽出する。具体的には、例えば、情報処理方法では、優先順位が低いシーンと、優先順位が高いシーンとが重複する場合、優先順位が高いシーンの臨場感パラメータを抽出することになる。
　情報処理方法では、抽出した臨場感パラメータのうち、音声強調パラメータを用いて、音声データを強調する音声強調処理を行い（ステップＳ４）、スピーカ４へ出力する。また、情報処理方法では、音声データを振動データへ変換する振動変換処理を行い、抽出した臨場感パラメータのうち、振動パラメータを用いて振動データを強調したうえで（ステップＳ５）、振動デバイス５へ出力する。
　これにより、情報処理方法では、ユーザが視聴するシーンにあわせて強調された音声や、シーンに応じた振動をユーザに対し提供することができる。
　このように、実施形態に係る情報処理方法では、ＸＲコンテンツからシーンを検出し、優先順位を設定したうえで、シーンに対して音声処理と振動処理を含む波動制御に関する臨場感パラメータを抽出する。したがって、実施形態に係る情報処理方法によれば、コンテンツの臨場感の向上に関する臨場感パラメータの設定を自動化することができる。
　さらに、ステップＳ５では、情報処理装置１０は、入力されたコンテンツにおける、振動デバイス５に対する音源の方向成分を特定する。そして、情報処理装置１０は、特定した方向成分に基づき、複数の振動子の出力振動を制御する。これにより、情報処理装置１０は、振動の定位感をユーザに提供することができる。
　次に、図５を用いて、実施形態に係る情報処理装置１０の構成例について説明する。図５は、情報処理装置１０のブロック図である。図５に示すように、情報処理装置１０は、制御部１２０と、記憶部１３０とを備える。
　記憶部１３０は、例えば、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図５の例では、記憶部１３０は、ＸＲコンテンツＤＢ（Database）１３１と、シーン情報ＤＢ１３２と、優先順位情報ＤＢ１３３と、パラメータ情報ＤＢ１３４と、振動子情報ＤＢ１３５と、を有する。
　ＸＲコンテンツＤＢ１３１は、表示装置３へ表示されるＸＲコンテンツ群が格納されたデータベースである。シーン情報ＤＢ１３２は、検出するシーンに関する各種情報を記憶するデータベースである。
　図６～図８は、シーン情報ＤＢ１３２の一例を示す図である。図６に示すように、例えば、シーン情報ＤＢ１３２は、「検出シーン」、「条件カテゴリ」、「対象物」、「条件パラメータ」、「閾値」および「条件式」といった項目の情報を互いに対応付けて記憶する。
　「検出シーン」は、検出するシーンの名称を示す。なお、「検出シーン」は識別記号の働きを行うもので、数値等のコードが通常利用されるが、本例では説明を分かりやすくするため名称（重複禁止）を用いている。「条件カテゴリ」は、どのような情報を根拠にシーンを検出するかといったカテゴリを示す。同図に示す例では、ユーザと対象物の位置関係、ユーザの動作、ユーザが存在する空間情報、ユーザが存在する時間情報あるいは対象物から音声が発生などとったカテゴリに大別される。なお、ここでのユーザは、ＸＲ空間内の操作者自身を示す。
　「対象物」は、シーン検出のための対象物を示す。同図に示す例では、物体１、物体２、ユーザ、空間１、空間１＋物体３、コンテンツ１、物体４、物体５、物体６などといった情報が対象物に対応する。ここで、物体１、物体２、物体３、物体４、物体５、物体６は、それぞれＸＲ空間内の異なるオブジェクトを示す。また、空間１は、例えば、ユーザが存在するＸＲ空間内の空間を示し、コンテンツ１は、例えば、ＸＲ空間内における所定のイベントを示す。
　「条件パラメータ」は、シーン検出を行うにあたり、どのパラメータを用いるかといったパラメータに関する条件を示す。同図に示すように、例えば、距離、角度、速度、加速度、回転速度、空間の中、物体の存在、数量、開始時刻～終了時刻、音声パターンなどといった情報が対応付けられる。
　「閾値」は、条件パラメータに対応する閾値を示す。また、「条件式」は、検出シーンを検出するための条件式を示し、例えば、条件パラメータと閾値との関係が条件式として定義される。
　図６では、説明のため、「シーンＷ」、「物体４」、「パターンｗ」のように、各項目値は「Ｗ」、「４」、「ｗ」といった符号を用いて表記されているが、実際には、各項目値は具体的な意味が理解可能な態様のデータが記憶されることになる。
　例えば、「シーンＷ」、「シーンＸ」、「シーンＹ」、「シーンＺ」は、実際には、それぞれ例えば「象の歩行シーン」「馬の歩行シーン」、「車の走行シーン」、「車の急旋回シーン」と言ったデータとなる。
　その場合、「物体４」、「物体５」、「物体６」は、実際には、それぞれ例えばそれぞれ「馬」、「象」、「車」と言ったデータとなる。
　さらに、「パターンｗ」、「パターンｘ」、「パターンｙ」、「パターンｚ」は、実際には、それぞれ例えば「馬の歩行音のパターン」、「象の歩行音のパターン」、「車の走行音のパターン」、「タイヤのスキール音のパターン」と言ったデータとなる。
　なお、音声パターンは、例えば音声の特徴量を要素とする特徴量ベクトル等によって表される。例えば、特徴量は、音声信号に対してスペクトル分解を行うことによって得られるものであってもよい（例えば、メルフィルタバンクまたはケプストラム）。
　そして、２つの音声パターンのそれぞれに対応する特徴量ベクトル間の類似度（例えば、コサイン類似度、ユークリッド距離）が閾値以上である場合に、当該２つの音声パターンは類似しているということができる。
　例えば、「音声パターンがパターンｗに類似」は、シーンにおいて発生している音声から算出された特徴量ベクトルと、パターンｗに相当する音声の特徴量ベクトルとの類似度が閾値以上であることを意味する。
　なお、音声パターンの類似に関する閾値についても、シーン情報ＤＢ１３２の「閾値」に含まれていてよい。
　また、情報処理装置１０では、例えば、図６に示した条件カテゴリあるいは条件パラメータを組み合わせてシーンを検出することにしてもよい。例えば、図７に示すように、複数シーンの条件カテゴリを組み合わせて検出シーンを設定することにしてもよく、また、図８に示すように、複数シーンの条件パラメータを組み合わせて検出シーンを設定することにしてもよい。
　例えば、このように、条件カテゴリや条件パラメータを組み合わせることで、新たな検出シーンの設定を簡略化することができる。
　図５の説明に戻り、優先順位情報ＤＢ１３３について説明する。例えば、実施形態に係る情報処理装置１０では、各シーンに対してルールベースで優先順位を設定する。優先順位情報ＤＢ１３３は、臨場感パラメータの優先順位に関する各種情報を記憶する。図９は、優先順位情報ＤＢ１３３の一例を示す図である。
　図９に示すように、例えば、優先順位情報ＤＢ１３３は、「ルール番号」および「優先順位ルール」といった項目の情報を互いに対応付けて記憶する。「ルール番号」は、優先順位ルールを識別するための番号を示し、「優先順位ルール」は、優先順位に関するルールを示す。
　同図に示す「先に検出したシーンを優先」および「後に検出したシーンを優先（後のシーンになったら切替）」は、それぞれ時間的に先あるいは後にくるシーンの臨場感パラメータを優先することを示す。これにより、例えば、シーンの優先度の設定に際し、ルールを容易化することができる。
　また、「特定のパラメータの重みが大きい方を優先」は、臨場感パラメータのうち、音声強調パラメータあるいは振動パラメータのいずれかが大きい方のシーンの臨場感パラメータを優先することを示す。
　すなわち、この場合においては、音声強調パラメータあるいは振動パラメータが大きい方のシーンに対して抽出された臨場感パラメータが設定されるので、大きく強調すべき音声データあるいは大きい振動データに連動した臨場感パラメータを提供することができる。
　また、「パラメータそれぞれの重みが大きい方を優先」は、臨場感パラメータのうち、音声強調パラメータ同士あるいは振動パラメータ同士で大きい方のシーンの臨場感パラメータそれぞれを優先することを示す。このルールの場合、音声強調パラメータと、振動パラメータでそれぞれ異なるシーンのパラメータが用いられる場合もある。
　すなわち、この場合においては、振動データおよび音声データそれぞれについて、値の大きい臨場感パラメータで強調することができるので、振動データおよび音声データそれぞれの臨場感を向上させることができる。なお、ここでの重みの大小は、例えば、パラメータの値の大小を示す。
　また、「シーンが短い方のパラメータを優先」は、時間長が短いシーンの臨場感パラメータを優先することを示す。時間が長いシーンの再生時において、時間が短いシーンが割り込みしてきた場合、時間が短いシーンの間は、当該シーンの臨場感パラメータが優先的に設定されることになる。
　これにより、例えば、時間が短いシーンを適切に強調することができる。なお、シーンが長い方のパラメータを優先するようなルールを設定することにしてもよい。
　また、「低域の振幅が大きい方を優先」は、対象物が音声を発生させているシーンが同時発生した場合に、低域（例えば、５００Ｈｚ未満）の振幅が大きい音声を発生させている対象物に対応するシーンを優先することを示す。
　一般的に、生物が大型であるほど、当該生物の歩行音の低域の振幅が大きくなることが考えられる。このため、例えば、象の歩行シーンと馬の歩行シーンが検出された場合、「低域の振幅が大きい方を優先」というルールに従って、象の歩行シーンが優先されることになる。
　また、「音や映像の時間変動が大きいシーンを優先」は、対象物が発生させている音声の音量、または映像中における対象物の位置の、単位時間における変動が大きいシーンを優先することを示す。
　また、「視野の中心に近い対象物のシーンを優先」は、コンテンツの映像において、画面の中心に近い位置に位置する対象物に対応するシーンを優先することを示す。このルールについては、後に図１４を用いて説明する。
　また、「シーンＷよりもシーンＸを優先」は、シーンＷとシーンＸが検出された場合に、シーンＸを優先することを示す。このように、特定の２つ以上のシーンについて、人（デザイナー、開発者）が事前に手動で優先ルールを定めておいてもよい。
　図５の説明に戻り、パラメータ情報ＤＢ１３４について説明する。パラメータ情報ＤＢ１３４は、シーン毎の臨場感パラメータに関する情報を記憶するデータベースである。図１０は、パラメータ情報ＤＢ１３４の一例を示す図である。
　図１０に示すように、パラメータ情報ＤＢ１３４は、例えば、「シーン名」、「音声強調パラメータ」および「振動パラメータ」といった項目の情報を互いに対応付けて記憶する。
　「シーン名」は、上述した検出シーンの名称を示し、例えば、図６等に示した「検出シーン」に対応する。なお、ここでは、説明を分かりやすくする観点から「シーン名」を爆発シーン、コンサートホールシーン、象の歩行シーン、馬の歩行シーン、車の走行シーン、車の急旋回シーンとして示している。
　「音声強調パラメータ」は、対応するシーンにおいて設定する音声強調パラメータを示す。例えば、図１０に示すように、音声強調パラメータは、「スピーカ１用」、「スピーカ２用」などのように、スピーカ４の個数に応じて、それぞれ各スピーカ４に対して個別のパラメータを記憶する。
　また、各スピーカ４に対しては、例えば、「ディレイ」、「帯域強調・減衰」といった音声処理に関する項目のパラメータの値を記憶する。例えば、「ディレイ」は、遅延させる時間に関するパラメータを示し、「帯域強調・減衰」は、どの帯域の音をどの程度、強調あるいは減衰させるかといったパラメータを示す。
　「振動パラメータ」は、対応するシーンにおいて設定する振動に関するパラメータを示す。「振動パラメータ」として、例えば、「ＬＰＦ（Low　Pass　Filter）」、「振幅用強調係数（ω）」および「遅延用強調係数（γ）」といった項目のパラメータが記憶される。
　「ＬＰＦ」は、振動生成に用いられるローパスフィルタに関するパラメータ（図１０の示す例ではカットオフ周波数）を示す。「振幅用強調係数（ω）」は、振動生成に用いられる振動の振幅の増幅および減衰に関するパラメータを示す。「遅延用強調係数（ω）」は、振動生成に用いられる振動の発生時間の遅延（ディレイ）に関するパラメータを示す。
　図５の説明に戻り、振動子情報ＤＢ１３５について説明する。振動子情報ＤＢ１３５は、振動デバイス５に含まれる振動子に関する情報を記憶するデータベースである。図１１は、振動子情報ＤＢの一例を示す図である。
　図１１に示すように、振動子情報ＤＢ１３５は、例えば、「振動子」および「位置座標」といった項目の情報を互いに対応付けて記憶する。
　「振動子」は、振動デバイス５に含まれる振動子を識別するための情報を示す。また、「位置座標」は、振動子の位置を座標により示す。
　ここで、「振動子」に示される「ＦＬ」、「ＲＬ」、「ＦＲ」、「ＲＲ」は、それぞれ図３の振動子５１＿ＦＬ、振動子５１＿ＲＬ、振動子５１＿ＦＲ、振動子５１＿ＲＲに対応している。また、「位置座標」は、振動デバイス５に各振動子が設置される際に、設置者によって設定されてもよい。
　例えば、振動子情報ＤＢ１３５を参照することで、振動子間の位置関係を把握することができる。
　図５の説明に戻り、制御部１２０について説明する。制御部１２０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、記憶部１１に記憶されている図示略の各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１２０は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現することもできる。
　制御部１２０は、コンテンツ生成部１２１と、レンダリング処理部１２２と、シーン検出部１２３と、優先順位設定部１２４と、パラメータ抽出部１２５と、出力部１２６とを有し、以下に説明する情報処理の機能や作用を実現または実行する。
　コンテンツ生成部１２１は、ＸＲコンテンツ内の空間に関する３Ｄモデルを生成する。例えば、コンテンツ生成部１２１は、ＸＲコンテンツＤＢ１３１を参照し、ユーザの現在のＸＲコンテンツ内の視野にあわせて、ＸＲコンテンツ内の空間の３Ｄモデルを生成する。コンテンツ生成部１２１は、生成した３Ｄモデルをレンダリング処理部１２２へ渡す。
　レンダリング処理部１２２は、コンテンツ生成部１２１から受け取った３Ｄモデルから映像データや音声データへ変換するレンダリング処理を行う。例えば、レンダリング処理部１２２は、変換した映像データを表示装置３（図２参照）へ出力するとともに、シーン検出部１２３へ渡す。また、レンダリング処理部１２２は、変換した音声データを出力部１２６およびシーン検出部１２３へ渡す。なお、コンテンツ生成部１２１およびレンダリング処理部１２２は、コンテンツから条件式の項目に対する条件データを算出する算出部としての機能を担う。
　シーン検出部１２３は、入力されたコンテンツから所定条件を満たすシーンを検出する。例えば、シーン検出部１２３は、レンダリング処理部１２２から入力される映像データおよびシーン情報ＤＢ１３２に記憶される条件式を用いて、臨場感パラメータを設定すべきシーンを検出する。
　この際、例えば、シーン検出部１２３は、例えば、レンダリング処理部１２２からＸＲ空間内のオブジェクトの座標情報およびオブジェクト種別に関する情報を受け取り、条件式を用いて、臨場感パラメータを設定すべきシーンを検出する。
　なお、シーン検出部１２３は、例えば、ＸＲコンテンツがＭＲコンテンツである場合には、例えば、ＭＲ空間内を撮影した画像に対する画像解析を行うことで、ＭＲ空間内のオブジェクトの認識あるいはオブジェクトの座標の算出を行うようにしてもよい。
　図１２は、シーン検出部１２３のブロック図である。図１２に示すように、例えば、シーン検出部１２３は、シーン判定部１２３ａおよび条件設定部１２３ｂを備える。シーン判定部１２３ａは、シーン情報ＤＢ１３２に記憶されるシーン判定のための各条件データ（条件式）を用いて、映像データ内の状況が各シーンの検出条件を満たすか否かを判定する。
　より具体的には、例えば、図６に示したように、シーン判定部１２３ａは、ユーザと対象物（ＸＲ空間内のオブジェクト）との位置関係、ユーザの動作、ユーザが存在する空間情報等の条件式の項目に対するデータ（コンテンツからコンテンツ生成部１２１あるいはレンダリング処理部１２２によって算出）に基づき、現在のＸＲ空間の状況が予め定義された各検出シーンに対応するか否かを判定する。
　ここで、シーン判定部１２３ａは、ＸＲ空間内のユーザの動き、オブジェクトの座標情報およびオブジェクト種別に関する情報、空間情報などといったコンテンツ生成部１２１あるいはレンダリング処理部１２２によって既に算出されたテキスト情報的なデータを用いて、シーン検出処理を行う。
　これにより、例えば、ＣＰＵの性能が比較的低い場合であっても、レンダリング処理部１２２によるレンダリング処理等の比較的処理負荷が重い処理と並列してシーン検出～臨場感パラメータの抽出処理等の処理を行うことが可能となる。
　また、この際、例えば、シーン判定部１２３ａは、例えば、図７に示したように、条件カテゴリの組みあわせ、あるいは、図８に示したように、条件パラメータの組み合わせをも含むシーン判定用情報に基づいて、現在のＸＲ空間の状況が各検出シーンに対応するか否かを判定することにしてもよい。
　そして、シーン判定部１２３ａは、検出シーンに対応すると判定した場合、当該映像データに対する検出シーン情報を、優先順位設定部１２４（図５参照）へ渡す。なお、シーン判定部１２３ａによっていずれの検出シーンにも対応しないと判定された場合には、該当の検出シーンで無いとして臨場感パラメータは初期状態（該当の検出シーンで無い場合の臨場感パラメータ）に戻されることになる。また、シーン判定部１２３ａは、現在のＸＲ空間の状況が複数の検出シーンに対応すると判定した場合、判定された複数の検出シーンを優先順位設定部１２４へ渡す。
　また、ここでは、シーン判定部１２３ａが映像データに基づいて、検出シーンか否かを判定する場合について説明したが、シーン判定部１２３ａは、音声データに基づいて検出シーンか否かを判定することにしてもよい。
　シーン判定部１２３ａは、入力されたコンテンツから、対象物から音声が発生しているシーンを検出する。この場合の検出されるシーンは、図６のシーンＷ、シーンＸ、シーンＹ、シーンＺ（象の歩行シーン、馬の歩行シーン、車の走行シーン、車の急旋回シーン）に相当する。
　例えば、シーン判定部１２３ａは、コンテンツの音声信号から得られた特徴量ベクトルと、予め定められた特徴量ベクトル（例えば、パターンｗ等）との類似度を算出し、当該類似度が閾値以上であるか否かを判定する。
　条件設定部１２３ｂは、シーン検出のための各種条件式を設定する。条件設定部１２３ｂは、例えば、ＸＲコンテンツの制作者や、ユーザにから入力される情報に基づいて、条件式を設定する。
　例えば、条件設定部１２３ｂは、制作者あるいはユーザからどのようなシーンに対してどのような臨場感パラメータを設定したいといった情報の入力を受け付け、かかるシーンの状況を条件式に落とし込む。そして、条件設定部１２３ｂは、条件式の設定毎に、条件式に関する情報をシーン情報ＤＢ１３２に書き込むとともに、対応する臨場感パラメータをパラメータ情報ＤＢ１３４へ書き込む。
　また、条件設定部１２３ｂは、ユーザが視聴するコンテンツを基に、事前にシーン情報ＤＢ１３２およびパラメータ情報ＤＢ１３４を設定してもよい。
　条件設定部１２３ｂは、対象物が指定された低周波領域の音声を発生させるシーンを検出するための条件を設定することができる。例えば、条件設定部１２３ｂは、低周波領域の音声を含む象の歩行音が含まれるシーンを検出シーンとするレコードを、シーン情報ＤＢ１３２に追加する（図６のシーンＷのレコードに相当）。
　なお、条件設定部１２３ｂは、コンテンツに含まれる画像および音声を認識することにより、シーンに対象物（例えば象）が写っていること、および低周波領域の音声が発生していることを特定することができる。
　また、条件設定部１２３ｂは、対象物の大きさ、低周波領域の周波数帯毎の振幅に応じて、パラメータ情報ＤＢ１３４の「振動パラメータ」の値を決定する。
　これにより、シーン情報ＤＢ１３２およびパラメータ情報ＤＢ１３４の設定を自動化することができる。
　また、条件設定部１２３ｂは、コンテンツのシーンのうち、対象物から発生する低周波領域の音声の振幅が閾値を超えているシーンを基に、条件を設定する。
　例えば、ここでの閾値は、ノイズキャンセルにおいて低周波領域をカットする際に用いられる閾値と同じであってもよい。
　また、閾値は、コンテンツの種類（内容）によって定められてもよい。コンテンツの種類には、ユーザに主として音楽を聴かせるためのミュージックビデオ、動物の生体を解説するための動物ドキュメンタリー等がある。
　ミュージックビデオにおける象の歩行シーンでは、音楽の妨げにならないようにするため、過度に振動を発生させない方がよい場合がある。一方で、動物ドキュメンタリーにおける象の歩行シーンでは、臨場感を出すために振動を発生させた方がよい場合がある。
　ミュージックビデオにおける閾値を、動物ドキュメンタリーにおける閾値よりも低く設定しておくことで、条件設定部１２３ｂは、ミュージックビデオにおける象の歩行シーンを、振動を発生させる対象のシーンとみなしにくくなる。
　これにより、コンテンツに適した振動を発生させることが可能になる。
　なお、上記のシーン情報ＤＢ１３２およびパラメータ情報ＤＢ１３４の設定処理は、条件設定部１２３ｂの代わりに、人が実際にコンテンツを視聴し、入力装置を操作することにより行われてもよい。
　これにより、情報処理装置１０では、制作者あるいはユーザが要望したシーンを検出することが可能となり、検出したシーンに対して制作者あるいはユーザが要望した臨場感パラメータを設定することが可能となる。
　図５の説明に戻り、優先順位設定部１２４について説明する。優先順位設定部１２４は、シーン検出部１２３によって検出されたシーンに対して優先順位を設定する。
　例えば、優先順位設定部１２４は、優先順位情報ＤＢ１３３を参照し、シーン検出部１２３にて同時に複数種のシーンが検出判定された場合にどのシーンに対する処理を優先するかを選択する。なお、シーン検出部１２３が１つのシーンしか検出判定されなかった場合は、そのシーンが優先順位最上位となる。
　図１３は、優先順位設定部１２４のブロック図である。例えば、図１３に示すように、優先順位設定部１２４は、タイミング検出部１２４ａと、ルール設定部１２４ｂとを有する。
　タイミング検出部１２４ａは、シーン検出部１２３にて検出したシーンの発生するタイミングとその終了するタイミングを検出する。例えば、タイミング検出部１２４ａは、シーン検出部１２３からの各時点のシーン情報に基づき、各時点で存在する各シーン（重複状態も把握）、存在するシーンの発生タイミング、存在したシーンが消去したタイミング等を検出する。つまり、タイミング検出部１２４ａは、各時点で存在している全シーンの状態をその発生順位も含めて把握することになる。
　ルール設定部１２４ｂは、シーン検出部１２３にて検出されたシーンに対して、臨場感パラメータの決定に使用するシーンの優先順位を設定する。つまり、タイミング検出部１２４ａで把握された存在する全シーンの状態に基づき、その時点で用いる臨場感パラメータについてどのシーンに紐づけられたパラメータを優先的に用いるか決定するため、検出シーンについて優先順位を設定する。これにより、情報処理装置１０では、当該優先順位に応じた臨場感パラメータを設定することができる。
　すなわち、情報処理装置１０では、予め各シーンに対して優先順位条件を設定しておくことで、シーンＡとシーンＢとが時間的に重複する場合において、どちらのシーンの臨場感パラメータを優先して使用すべきかを適切に決定することができる。
　例えば、ルール設定部１２４ｂは、優先順位情報ＤＢ１３３を参照し、音声強調パラメータおよび振動パラメータのそれぞれに対し、使用するパラメータを決めるシーンの優先順位を設定する。この際、ルール設定部１２４ｂは、例えば、スピーカ４毎にそれぞれ独立した優先順位ルールに基づきパラメータ選択に使用するシーンを設定することにしてもよい。
　これにより、それぞれのスピーカ４では、独自のルールにしたがって臨場感パラメータが設定されるので、一律に臨場感パラメータを設定する場合に比べて、さらなる臨場感の向上を図ることができる。
　また、ルール設定部１２４ｂは、設定したルールに関する情報を映像データおよび音声データに対応付けてパラメータ抽出部１２５（図５参照）へ渡す。
　図５の説明に戻り、パラメータ抽出部１２５について説明する。パラメータ抽出部１２５は、シーン検出部１２３によって検出されたシーンに対して臨場感パラメータを抽出する。
　図１５は、パラメータ抽出部１２５のブロック図である。図１５に示すように、パラメータ抽出部１２５は、振動パラメータ抽出部１２５ａと、音声強調パラメータ抽出部１２５ｂと、学習部１２５ｃとを有する。
　振動パラメータ抽出部１２５ａは、パラメータ情報ＤＢ１３４を参照し、優先順位設定部１２４により優先順位最上位とされたシーンに対応する振動パラメータを抽出する。例えば、振動パラメータ抽出部１２５ａは、優先順位設定部１２４から受け取った優先順位最上位の「検出シーン」に対応する振動パラメータをパラメータ情報ＤＢ１３４から抽出することで、シーンに対応する振動パラメータを抽出する。
　つまり、シーン検出部１２３が音声を発生させる対象物が互いに異なる時間的に重複する複数のシーンを検出した場合に、パラメータ抽出部１２５は、優先度の高い、すなわち振動によりユーザがより臨場感を感じると推定されるシーンを選択し、当該シーンに対応する振動生成のパラメータを抽出することが可能となる。その結果、複数のシーンが重複するコンテンツ再生期間においても、適切なパラメータによる臨場感豊かな振動を生成することができる。
　具体的には、図９に示した優先順位情報ＤＢの優先順位ルール、各シーンに対する優先順位条件（図４に示したシーン情報ＤＢに設定記憶しておく）の設定内容により、シーン検出部１２３がこのようなシーン選択処理を行なうことを実現できる。
　例えば、シーン検出部１２３は、象が歩行音を発生させるシーン（象の歩行シーン）と、馬が歩行音を発生させるシーン（馬の歩行シーン）とが検出された場合、パラメータ抽出部１２５は、「低域の振幅が大きい方を優先」というルールに従い、象の歩行シーンを優先する。これにより、現実世界でも主に感じる振動である象の歩行による振動を再現する振動がコンテンツ再生（例えば仮想空間）でもユーザに印加され、ユーザは臨場感豊かな、つまり現実に近い振動感を得ることができる。
　また、シーン検出部１２３が、音声を発生させる対象物が存在し、互いに異なる時間的に重複する複数のシーンを検出した場合に、パラメータ抽出部１２５は、コンテンツに含まれる画像における、複数のシーンのそれぞれに対応する対象物の種別、および位置に基づいて複数のシーンの中から選択したシーンに対応するパラメータを抽出する方法を適用することもできる。
　具体的には、図９に示した優先順位情報ＤＢの優先順位ルール、各シーンに対する優先順位条件（図４に示したシーン情報ＤＢに設定記憶しておく）の設定内容（本例の場合は、優先順位条件に対象物の種別（ｍ）と対象物までの距離（ｄ）の関数値Ｆ(Ｍ、ｄ)を加え、優先順位ルールに関数値Ｆ(Ｍ、ｄ)による条件（例えば、関数値「Ｆ(Ｍ、ｄ)」が大きい方を優先とする））を設定することにより、シーン検出部１２３がこのようなシーン選択処理を行なうことを実現できる。
　図１４に示す具体例を用いて、対象物の位置に基づいて優先するシーンを決定する方法を説明する。図１４は、優先する対象物の決定方法の例を示す図である。
　図１４に示すように、表示装置３には、再生中のコンテンツの画像３１が表示されているものとする。画像３１には、オブジェクト３１１（馬）およびオブジェクト３１２（象）が映っている。このとき、シーン検出部１２３は、振動制御の対象シーンとして条件を満たす馬の歩行シーンと象の歩行シーンの両方を検出したものとする。
　また、基準位置（コンテンツ画像に対するユーザ位置、例えばＸＲコンテンツにおけるユーザに対応するアバターの位置）からオブジェクト３１１までの距離はＬ１であったとする。一方、基準位置からオブジェクト３１２までの距離はＬ２であったとする。また、オブジェクト３１１およびオブジェクト３１２の基準振動強度（コンテンツにおける物体の音声信号の低周波数成分強度）が、それぞれＶ１、Ｖ２とする。さらに、優先条件が「関数Ｆ（Ｌｎ，Ｖｎ）＝Ｖｎ／（Ｌｎ・Ｌｎ）の値が大きい方を優先」と設定されていた場合を例とする。
　なお、基準位置からオブジェクトまでの距離は、コンテンツに付加された情報等により算出される（例えば、ＸＲコンテンツにおける映像生成に用いられる各オブジェクトの位置情報により算出される）。また、オブジェクトの基準振動強度は、オブジェクト種別毎に予め設定された基準振動強度が記憶されたデータテーブルから対象オブジェクトの種別に応じて読み取ることにより決定する方法、コンテンツ情報としてコンテンツに付加しておく方法等により実現できる。また、コンテンツには音声再生のために音声データが付加されている場合が多いので、当該音声データにおける低域特性（音声強度レベル、低域信号レベル等）に基づき基準振動強度を算出すること（振動態様は音声の低域成分と相関が高かく、また音声の低域成分に基づき振動を生成する場合が多い）が可能である。
　このように、情報処理装置１０は、コンテンツにおける振動発生対象物が発生する音声の低域特性を推定することができる。その場合、情報処理装置１０は、推定した低域特性に基づき振動発生対象物を選定する。これにより、より適切な振動発生対象物の選定が可能になる。
　例えば、音声の低域特性は、低域信号レベルである。その場合、情報処理装置１０は、推定した低域信号レベルが閾値を越える振動発生対象物を選定する。情報処理装置１０は、音声データから低域信号レベルを抽出することができる。これにより、音声データに含まれる低域信号レベルを用いて、振動発生対象物を容易に選定することが可能になる。
　また、低域信号レベルの閾値は、コンテンツ種別に応じて設定される。前述の通り、ミュージックビデオは、動物ドキュメンタリーと比べて、同じ対象物であっても振動を発生させた方がよい場合が多い。このように、コンテンツ種別（ミュージックビデオ、動物ドキュメンタリー等）に適した振動対象物の選定が可能になる。
　この場合、オブジェクト３１１（馬）とオブジェクト３１２（象）の関数値の関係が関数Ｆ（Ｌ１，Ｖ１）＞関数Ｆ（Ｌ２，Ｖ２）であれば、オブジェクト３１１が音声（振動）を発生させているシーン、すなわち馬の歩行シーンが優先的に選択され、パラメータ抽出部１２５は馬の歩行シーンに対応する振動パラメータを抽出する。そして、馬の歩行シーンに対応する振動がユーザに印加されることになる。その後、例えばオブジェクト３１２（象）が基準位置に接近し、関数Ｆ（Ｌ１，Ｖ１）＜関数Ｆ（Ｌ２，Ｖ２）の関係に変化すれば、オブジェクト３１１が音声（振動）を発生させているシーン、すなわち象の歩行シーンが優先的に選択され、パラメータ抽出部１２５は、象の歩行シーンに対応する振動パラメータを抽出する。そして、象の歩行シーンに対応する振動がユーザに印加されることになる。
　なお、関数Ｆ（Ｌｎ，Ｖｎ）が予め定められた所定閾値より小さい場合、つまりコンテツンツ（ゲームの仮想空間等）におけるユーザ位置における対象物による振動が小さい（ユーザがあまり感じない、すなわち振動を印加する必要があまり無い）場合には、振動を発生する対象物として選択しない方法も有効である。換言すれば、コンテツンツ（ゲームの仮想空間等）におけるユーザ位置における対象物による振動がある程度大きい（振動を再現すれば臨場感の向上が感じられる程度）コンテンツの物体だけを振動を発生する対象物として選択する方法も有効である。つまり、振動発生対象物の候補となる対象物候補から発生する振動信号への影響が大きい対象物（ユーザがその振動を強く感じる振動対象物）を選択する。
　これにより、情報処理装置１０は、振動発生対象物の候補となる対象物候補から発生する振動信号への影響が大きい対象物候補を推定し、振動発生対象物として選定することができる。その結果、ユーザの実空間での感覚に合致した振動をユーザに印加することとなり、臨場感豊かなコンテンツに再生が可能になる。
　この場合、振動を発生する対象物として選択する場合の閾値については、コンテンツ種別に基づき変更するのが好ましい。つまり、コンテンツの内容によっては、コンテンツに登場する物体による振動の再現を控えたり、あるいは強調したりするのが好ましいものがあり、振動を発生する対象物の決定内容（判断レベル）を調整するのが好ましいためである。
　つまり、振動の生成原理としては次のようになる。コンテンツの内容に基づきコンテンツ（の各場面）において振動を発生する対象物を決定する。そして、決定した対象物に対応する音響信号（コンテンツに含まれる対象物の音声データ、あるいは当該シーンにおける音声データから生成した対象物の音声データ（例えば、低周波領域をフィルタリングして取り出す））に基づき振動信号（振動データ）を生成する（対象物の音声信号の低周波数成分を取り出し、適当に増幅するなどして生成する）。
　また、振動を発生する対象物を決定する方法としては、コンテンツにおける音声発生物体における発声音の低域特性（例えば、音量レベル）を推定し（上述の例の場合は、物体（オブジェクト）の種別に基づく基準振動強度と、基準位置（コンテンツの仮想空間におけるユーザ存在位置等）と物体（オブジェクト）との距離とに基づき推定）、対象物を決定する（音声発生物体における発声音の低域音量レベルが大きい方を、振動を発生する対象物として決定）。
　このように、対象物の位置に基づいて優先するシーンを決定することで、ユーザの視覚的な直感により適合した振動、つまりユーザの実空間での感覚に合致した振動をユーザに印加することとなり、臨場感豊かなコンテンツに再生が可能になる。
　この際、振動パラメータ抽出部１２５ａは、各振動デバイス５それぞれに対して、それぞれ対応する振動パラメータを抽出する。これにより、一律に振動パラメータを抽出する場合に比べて、臨場感のさらなる向上を図ることができる。
　音声強調パラメータ抽出部１２５ｂは、パラメータ情報ＤＢ１３４を参照し、優先順位設定部１２４により優先順位最上位とされたシーンに対応する音声強調パラメータを抽出する。音声強調パラメータ抽出部１２５ｂは、各スピーカ４に対して個別に音声強調パラメータを抽出するとともに、振動パラメータ抽出部１２５ａと同様に優先順位設定部１２４にて設定された優先順位に基づいて（優先順位最上位のシーンに基づき）抽出する音声強調パラメータを決定する。
　学習部１２５ｃは、パラメータ情報ＤＢ１３４に記憶されたシーンと臨場感パラメータとの関係性を学習する。例えば、学習部１２５ｃは、パラメータ情報ＤＢ１３４に記憶された各シーンと、対応する各臨場感パラメータとを、当該パラメータによる臨場感制御に対するユーザの反応等を学習データとして機械学習を行うことで、シーンと臨場感パラメータとの関係性を学習する。
　この際、例えば、学習部１２５ｃは、臨場感パラメータに対するユーザ評価（臨場感制御後のユーザの調整操作や、アンケート等のユーザ入力）を学習データとして用いることにしてもよい。すなわち、学習部１２５ｃは、どのようなシーンに対してどのような臨場感パラメータを設定すると、高いユーザ評価（すなわち、高い臨場感が得られたか）が得られるかといった視点でシーンと臨場感パラメータとの関係性を学習することにしてもよい。
　さらに、学習部１２５ｃは、新たなシーンが入力された場合に、どのような臨場感パラメータを設定すべきかを学習結果から決定することもできる。具体的な例として、例えば、爆発シーン等の類似状況の臨場感制御の学習結果を用いて、花火シーンの臨場感パラメータを決定することができる。また、臨場感制御後のユーザの調整操作や、アンケート等のユーザ入力に、優先順位を変更するような要素の有無・程度（ユーザの調整操作が同時に存在する他のシーンに対応するパラメータに近づくものであった場合や、アンケートで他シーンを優先すべき回答があった場合等）に基づき、優先順位に関するルールを学習することも可能である。
　これにより、情報処理装置１０では、例えば、優先順位に関するルールや、臨場感パラメータの最適化を自動的に行うことが可能となる。
　図５の説明に戻り、出力部１２６について説明する。出力部１２６は、パラメータ抽出部１２５によって抽出された臨場感パラメータをスピーカ４および振動デバイス５に対し出力する。
　図１６は、出力部１２６のブロック図である。図１６に示すように、出力部１２６は、音声強調処理部１２６ａと、音声振動変換処理部１２６ｂと、振動定位処理部１２６ｃと、を有する。
　音声強調処理部１２６ａは、レンダリング処理部１２２から受け取った音声データをパラメータ抽出部１２５によって抽出された音声強調パラメータを用いた強調処理を行う。例えば、音声強調処理部１２６ａは、音声強調パラメータに基づいて、ディレイあるいは帯域強調・減衰処理を行うことで、音声データに対する強調処理を行う。
　この際、音声強調処理部１２６ａは、スピーカ４毎に音声強調処理を行い、音声強調処理を施した音声データを対応する各スピーカ４に対して出力する。
　音声振動変換処理部１２６ｂは、レンダリング処理部１２２から受け取った音声データをＬＰＦ等の振動に適した帯域制限処理等を行って振動データへ変換する。
　振動定位処理部１２６ｃは、音声振動変換処理部１２６ｂによる変換によって得られた振動データに対して、振動の定位感に関する処理を行う。そして振動定位処理部１２６ｃは、この処理により振幅および遅延の処理が施された振動子ごとの振動データを出力する。振動デバイス５は、振動定位処理部１２６ｃによって出力された振動データに従って各振動子を振動させる。
　図１７を用いて、振動定位処理部１２６ｃによる振動定位処理方法を説明する。図１７は、振動定位処理方法の例を示す図である。
　図１７に示すように、まず、振動定位処理部１２６ｃは、ユーザ（コンテンツ視聴者）に提供する振動の方向成分を特定する（ステップＳ１１）。具体的には、振動の定位感は振動源である物体の存在位置に基づくものであるため、同じ物体に基づく音声の方向成分から物体（振動源）の存在位置（存在方向）を推定し、その推定位置とユーザ位置（コンテンツ空間におけるユーザ位置）から振動の方向成分を推定（特定）する。
　なお、コンテンツにおけるユーザに提供する振動の振動源（物体）は複数あることがあるが、説明を分かりやすくするため、前述の方法により主な振動源（臨場感向上効果が最も大きいと予想される物体）が１つ選択される場合の処理を説明する。また、複数の振動源について、同様の処理を並行して行うことにより、複数の振動源に基づく振動をユーザに効果的に提供し、臨場感豊かにコンテンツを再生することも可能である。
　従って、ユーザを基準とする仮想振動源（この仮想振動源から振動を発生させた状態を再現する）の方向５２は、ＸＲ空間（仮想空間）におけるユーザから音源となっている対象物の方向を示す方向、つまり音声の方向成分となる。
　なお、振動定位処理部１２６ｃは、音声の定位感処理の場合と同様の方法、例えばレンダリング処理部１２２から受け取った音源の位置データ（対象物体の位置）に基づき音声（振動）の方向成分を特定することができる。
　また、例えば、振動定位処理部１２６ｃは、音声データに含まれる複数のチャンネルのそれぞれの音声信号のスペクトルを基に、対象物（音源）の位置を特定し、当該特定した位置に基づき音声（振動）の方向成分を特定することもできる。
　また、振動定位処理部１２６ｃは、コンテンツのメタデータ（対象物体の位置を示すデータを含むメタデータ）を基に音声（振動）の方向成分を特定することができる。
　つまり、３Ｄエンジンを使用して開発されたコンテンツには、各時刻におけるオブジェクトが発生する音声のデータとともに、オブジェクトの仮想空間における位置を示す情報が含まれている。
　例えば、馬の歩行シーンであれば、コンテンツの当該シーンのデータとしては、馬の足音のデータと馬の位置データ（メタデータとして）が含まれているため、振動定位処理部１２６ｃは、この馬の位置データを用いて馬の足音の音源位置（音源である馬の位置）を特定する。
　そして、振動定位処理部１２６ｃは、仮想空間のユーザ位置から馬の足音の音源位置（馬の位置）を結んだ方向を音声の方向成分と特定し、振動の方向成分（定位感方向）として決定する。
　他、コンテンツの画像を画像認識処理することにより、音源対象物体とその位置を認識して音声の方向成分を特定し、振動の方向成分（定位感方向）として決定することも可能である。
　次に、振動定位処理部１２６ｃは、振動デバイス５の各振動子５１の振動制御（振動データ（信号）生成処理）に用いる係数値、補正値等の各種処理用データを決定する。
　例えば、各振動子５１は、特性（入力信号と振動出力の関係、例えば、入力信号レベルと振動出力レベルの比）に個体差があるので、その特性差を補正するための補正データを決定する。具体的には、本実施形態では出力振動レベルの影響が大きいので、入力信号レベルと振動出力レベル（振幅）の比（以降、振動子感度と称する）に基づく振動子特性データを決定する。
　なお、振動子感度のデータは、テスト振動信号を振動子に印加した時の振動振幅を計測し、当該テスト振動信号振幅と振動振幅により算出することができ、その算出データを記憶部１３０（振動子情報ＤＢ１３５）に記憶して利用する。
　また、振動定位処理部１２６ｃは、ユーザの振動に対して受ける感覚の特性である感度特性の差を補正するための感度特性補正データ、ユーザと各振動子の接触状態によるユーザへの振動伝達特性の差を補正するための感度特性補正データを決定する。
　感度特性補正データの１つは、ユーザの個人差による、または体の部位の違いによる振動の感じ方の違いを補正するためのデータで、振動定位処理部１２６ｃは振動感の強度特性である感度特性を感度特性補正データとして決定する。
　なお、感度特性はコンテンツ視聴前にユーザが入力操作すること等により決定することができる。具体的には、所定強度の振動を各振動子からユーザに提供して、当該振動に対する感覚をユーザが入力する等の方法により、感度特性を測定できる。
　また、別の感度特性補正データは、ユーザと各振動子５１の接触状態による振動の感じ方の違いを補正するためのデータで、本実施形態では振動感の強度特性に影響の大きい、ユーザが着座した場合に各振動子が受ける圧力、つまりユーザ着座時における着座面の圧力分布データであり、振動定位処理部１２６ｃは、着座面における各振動子５１設置部分の圧力値を感度特性補正データとして決定する。
　なお、圧力値はユーザがコンテンツ視聴時に着座するシートの座面に圧力センサを設置して測定する方法で決定できる。
　また、ユーザが所定強度の振動を各振動子からユーザに提供して、当該振動に対する感覚をユーザが入力する等の方法により、感度特性と圧力値を合わせた形で感度特性補正データを決定する方法も可能である。
　なお、感度特性補正データはユーザの特性・状態（ユーザの着座状態）に応じた補正データであるので、振動レベル（振動信号を標準特性と定めた振動子に入力した場合の震度のレベル）とユーザ感覚（振動レベル）の比を、以降、ユーザ感度と称する。そして、このユーザ感度は記憶部１３０（振動子情報ＤＢ１３５）に記憶され、コンテンツ再生時に利用される。
　そして、振動定位処理部１２６ｃは、上述の振動子感度とユーザ感度を用いて各振動子の出力レベル補正値を算出して、記憶部１３０（振動子情報ＤＢ１３５）に記憶する。具体的には、振動定位処理部１２６ｃは、振動子感度とユーザ感度とを積算した値の逆数値を出力レベル補正値として、記憶部１３０（振動子情報ＤＢ１３５）に記憶する。つまり、各振動子は振動データに基づき振動するが、その振動をユーザはどのように（どのような振動レベルを）感じるかと言う振動感受特性（振動データとユーザの振動強度感の関係で、この場合振動子の特性要素（特性）も考慮されている）が、出力レベル補正値として、記憶部１３０に記憶されることになる。振動子感度は振動信号レベルと振動レベル（振幅）の比で、ユーザ感度は振動レベル（振幅）とユーザ感覚の比であるので、同じ振動信号レベルの振動信号を各振動子に対応する出力レベル補正値で補正処理（除算）を行って各振動子に入力した場合、ユーザは各振動子から同じレベルの振動を感じることになる。図１７のＳ１２で示した例では、各振動子における出力レベル補正値６１Ａは、振動子５１ＦＬが２、振動子５１ＦＲが４、振動子５１ＲＬが１、振動子５１ＲＲが３、と算出された場合を示している。
　そして、振動定位処理部１２６ｃは、信号処理を行う（ステップＳ１３）。図１８を用いて、信号処理について説明する。図１８は、本実施形態における信号処理方法の原理思想を示す図であり、当該原理に沿った演算式、処理プログラムを制御部１２０（ＣＰＵ）が実行することにより当該処理方法が実現される。また、説明を分かりやすくするため、コンテンツ再生空間における水平面２次元空間での処理（高さ方向を無視して処理）例とする。尚、コンテンツの多くは、振動対象物の平面（地面）上に広く分布し、移動方向も平面（地面）上が多いため、水平面２次元空間での処理で十分に近似処理が可能である。
　図１８に示すように、まず、振動定位処理部１２６ｃは、各振動子の位置を計算処理用の座標空間にプロットする（ステップＳ２１）。つまり、振動定位処理部１２６ｃは、振動子情報ＤＢ１３５から取得した各振動子の位置座標データ（点５３＿ＦＬ、点５３＿ＲＬ、点５３＿ＦＲ、点５３＿ＲＲ）に従って点をプロットする。
　次に、振動定位処理部１２６ｃは、プロットした複数の各振動子の位置座標点の重心を算出する（各点のＸ,Ｙ座標値の平均値座標）。また、振動定位処理部１２６ｃは、複数の各振動子の位置座標点を繋ぐ直線で、多角形（四角形）の外周をなす直線５３５ａ、５３５ｂ、５３５ｃ、５３５ｄ（対角線以外の線）を引く。さらに、振動定位処理部１２６ｃは、当該重心を通り、図１７のステップＳ１１で求めた方向５２に延びる直線５２５を引く。
　そして、振動定位処理部１２６ｃは、直線５２５と、直線５３５ａ、５３５ｃとの交点（点５３１および点５３２）をプロットする（ステップＳ２２）。
　ステップＳ２２で交点がプロットされた線分のうち、方向５２側にある点５３１を通る線分（直線５３５ａ）を無遅延側の線分（５３５ａ）と呼ぶ。また、無遅延側の線分５３５ａの端点（点５３＿ＦＬおよび点５３＿ＦＲ）を、無遅延側の点（５３＿ＦＬ、点５３＿ＦＲ）と呼ぶ。
　また、ステップＳ２２で交点がプロットされた線分のうち、方向５２の逆方向側にある点５３２を通る線分（直線５３５ｃ）を有遅延側の線分（５３５ｃ）と呼ぶ。また、有遅延側の線分５３５ｃの端点（点５３＿ＲＬおよび点５３＿ＲＲ）を、有遅延側の点（５３＿ＲＬ、点５３＿ＲＲ）と呼ぶ。
　なお、各振動子の位置座標点を繋ぐ直線（外周をなす直線）で構成される図形は、四角形でなくてもよく、四角形以外の多角形または多面体であってもよい。つまり、制御対象の振動子に数に応じた多角形（例えば、制御対象振動子が５個の場合は５角形）となる。そして、当該多角形の重心を通り、図１７のステップＳ１１で求めた方向５２に延びる直線５２５と交わる多角形の辺の内、方向５２側が無遅延側の線分、方向５２の逆方向側が有遅延側の線分となる。また、無遅延側の線分の端点が無遅延側の点、有遅延側の線分の端点が有遅延側の点となる。
　また、多角形の重心を通り、図１７のステップＳ１１で求めた方向５２に延びる直線５２５と交わる多角形の辺から、無遅延側の線分、有遅延側の線分を選択するようにした場合、選択される線分は隣り合わない線分となる。このため、後述で記載するが、１つの振動子が、無遅延側振動子に対する振動制御と有遅延側振動子に対する振動制御の両制御を受けることが無くなるので、制御のための演算処理が簡単になる。また、１つの振動子が２つの振動子の動作を兼用することが無くなるので、制御精度も高くなる。また、重心は多角形の各辺に対して同等の関係にあるので、どの方向の振動源に対しても同様の処理内容になることから、処理プログラムの作成が容易になる効果も期待できる。
　続いて、振動定位処理部１２６ｃは、ファントムセンセーション（Ｐｈｓ：Phantom　sensation）の技術思想に基づく振動知覚位置の制御に関する処理を行う。ファントムセンセーションは、「２点を同時に同じ刺激（例えば、振動）を与えると当該２点の中心に刺激を受けているように感じる。また、各々の刺激の大きさ（例えば、振動の場合は振幅）が異なると、刺激を受けているように感じる点（以降、刺激感受点と称する）は大きな刺激の方に移動する。」、と言うものである。そして、刺激感受点の位置は、各刺激点との距離比が、各刺激点における刺激強度比（振動の場合、振幅）と逆比例の関係にあると、近似的には推測される。本実施形態においては、この考えに基づきユーザに与える振動刺激を制御する。
　更に、振動定位処理部１２６ｃは、触仮現運動の技術思想に基づく振動方向感の制御に関する処理を行う。触仮現運動は、「２点の振動に時間差を設けることで振動に移動感覚を出す」と言うものである。
　つまり、振動定位処理部１２６ｃは、ファントムセンセーションおよび触仮現運動の思想に基づきユーザに臨場感豊かな定位感を与える振動を生成する処理を行う。
　具体的には、図１８のステップＳ２２に示す点５３１および点５３２を振動知覚位置とし、点５３１および点５３２における振動時間に時間差を設けることにより、ユーザが振動に対して点５３１および点５３２間の移動感を持つようにする。つまり、ユーザは、点５３１と点５３２を結ぶ直線の方向、すなわち振動源（コンテンツにおける振動発生物体）位置に移動する定位感のある振動を感じることになる。
　まず、ファントムセンセーションの技術思想に基づく処理について、具体例を用いて、詳細に説明する。
　振動定位処理部１２６ｃは、刺激感受点を点５３１および点５３２とする処理を行う。ファントムセンセーションの技術思想に基づくと、点５３１と振動子位置５３＿ＦＬの距離（Ｌ１）と、点５３１と振動子位置５３＿ＦＲの距離（Ｌ２）との比と、振動子５１＿ＦＬが発生する振幅と振動子５１＿ＦＲが発生する振幅との比が、逆数の関係になると、刺激感受点が点５３１となる。従って、振動定位処理部１２６ｃは、振動子５１＿ＦＬに対する補正値６０ＡＦＬ（振動信号に積算する補正値）として、　Ｌ２/（Ｌ１＋Ｌ２）　を算出する。また、振動定位処理部１２６ｃは、振動子５１＿ＦＲに対する補正値６０ＡＦＲとして、　Ｌ１/（Ｌ１＋Ｌ２）　を算出する。
　そして、振動定位処理部１２６ｃは、刺激感受点を点５３２とする処理に関しても同様の処理を行い、振動子５１＿ＲＬに対する補正値６０ＡＲＬとして、　Ｌ４/（Ｌ３＋Ｌ４）　を算出する。また、振動定位処理部１２６ｃは、刺激感受点５３２についても同様の処理を行い、振動子５１＿ＲＲに対する補正値６０ＡＲＲとして、　Ｌ３/（Ｌ３＋Ｌ４）　を算出する。なお、Ｌ３は点５３２と振動子位置５３＿ＲＬの距離、Ｌ４は点５３２と振動子位置５３＿ＲＲの距離である。
　従って、上述の方法で生成された振動データＶＤに補正値６０ＡＦＬを積算して生成した振動信号を振動子５１＿ＦＬに出力し、また振動データＢＤに補正値６０ＡＦＲを積算して生成した振動信号を振動子５１＿ＦＲに出力することにより、ユーザの刺激感受点は点５３１の位置となる。また、同様に、振動データＶＤに補正値６０ＡＲＬを積算して生成した振動信号を振動子５１＿ＲＬに出力し、また振動データＢＤに補正値６０ＡＲＲを積算して生成した振動信号を振動子５１＿ＲＲに出力することにより、ユーザの刺激感受点は点５３２の位置となる。
　例えば、上述の距離Ｌ１、Ｌ２、Ｌ３、Ｌ４が、各々３ｋ、２ｋ、２ｋ、３ｋであった場合、振動子５１＿ＦＬに対する補正値６０ＡＦＬは　３ｋ／（３ｋ＋２ｋ）＝０．６となり、振動子５１＿ＦＲに対する補正値６０ＡＦＲは　２ｋ／（３ｋ＋２ｋ）＝０．４となる。
　また、振動子５１＿ＲＬに対する補正値６０ＡＦＬは　２ｋ／（３ｋ＋２ｋ）＝０．４となり、振動子５１＿ＲＲに対する補正値６０ＡＦＲは　３ｋ／（３ｋ＋２ｋ）＝０．６となる。
　しかし、実際には振動子の個体差、ユーザの感度や振動シートへの着座状態により、ユーザの感じる振動の強度に誤差が生じ、ユーザの刺激感受点は点５４１、５４２の位置になってしまう。
　そこで、振動定位処理部１２６ｃは、図１７で説明した処理により事前に算出した各振動子（５１＿ＦＬ、５１＿ＦＲ、５１＿ＲＬ、５１＿ＲＲ）の出力レベル補正値（６１ＡＦＬ、６１ＡＦＲ、６１ＡＲＬ、６１ＡＲＲ）を用いて、各振動子への振動信号を補正する。
　具体的には、振動定位処理部１２６ｃは、振動子５１＿ＦＬに対する振動データを振動データＶＤと補正値６０ＡＲＬと補正値６１ＡＦＬとの積算値とし、振動子５１＿ＦＬに振動信号を出力するようにする。同様に、振動定位処理部１２６ｃは、振動子５１＿ＦＲに対する振動データを振動データＶＤと補正値６０ＡＦＲと補正値６１ＡＦＲとの積算値とし、振動子５１＿ＦＲに振動信号を出力するようにする。振動定位処理部１２６ｃは、振動子５１＿ＲＬに対する振動データを振動データＶＤと補正値６０ＡＲＬと補正値６１ＡＲＬとの積算値とし、振動子５１＿ＲＬに振動信号を出力するようにする。振動定位処理部１２６ｃは、振動子５１＿ＲＲに対する振動データを振動データＶＤと補正値６０ＡＲＲと補正値６１ＡＲＲとの積算値とし、振動子５１＿ＲＲに振動信号を出力するようにする。
　例えば、上述の各補正値６１ＡＦＲ、６１ＡＦＬ、６１ＡＲＬ、６１ＡＲＲ、を図１７のステップＳ１２に示すように２、４、１、３とし、上述の距離Ｌ１、Ｌ２、Ｌ３、Ｌ４が、各々３ｋ、２ｋ、２ｋ、３ｋであった場合、各振動子５１＿ＦＬ、５１＿ＦＲ、５１＿ＲＬ、５１＿ＲＲに対して出力される振動信号の振動データ５３ＤＦＬ、５３ＤＦＲ、５３ＤＲＬ、５３ＤＲＲは、元となる振動データをＶＤとすると、それぞれ次のようになり、これら振動データ５３Ｄに基づく振動信号が各振動子５１に出力される。
　５３ＤＦＬ＝ＶＤ・３ｋ／（３ｋ＋２ｋ）／２＝０．３・ＶＤ
　５３ＤＦＲ＝ＶＤ・２ｋ／（３ｋ＋２ｋ）／４＝０．１・ＶＤ
　５３ＤＲＬ＝ＶＤ・２ｋ／（２ｋ＋３ｋ）／１＝０．４・ＶＤ
　５３ＤＲＲ＝ＶＤ・３ｋ／（２ｋ＋３ｋ）／３＝０．２・ＶＤ
　これにより、振動子の個体差、ユーザの感度による誤差が補正され、図１８のステップＳ２４に示すように、ユーザの刺激感受点は、点５４１、５４２の位置から、目的とする位置である点５３１、５３２の位置に移動することになる。
　このように、振動定位処理部１２６ｃは、各振動子の配置に基づき、各振動子の出力振動の振幅および遅延を制御する。
　これにより、実際の振動子の配置に合った振幅の制御が可能になり、ユーザはより自然な振動の定位感を感じることができる。
　振動定位処理部１２６ｃは、各振動子の出力振動に対するユーザの振動感受特性に基づき、各振動子の出力振動の振幅および遅延を制御する。
　例えば、情報処理装置１０は、ユーザの身体の部位毎の感度特性を予め記憶しておく。そして、各振動子が密着する部位が、ユーザの身体の左側であるか右側であるか、または大腿部であるか臀部であるかに応じて、振動定位処理部１２６ｃは異なる感度特性を用いる。
　このように、実際のユーザの振動感受特性に合った振幅の制御、つまり振動信号とユーザが感じる振動感覚との関係を考慮して振幅を制御することが可能となり、ユーザの振動の感じ方を設計における狙い通りのものに近付けることができる。
　また、振動感受特性は、振動子ごとの個体差とユーザごとの個人差とを考慮した特性としている。
　例えば、各振動子の入力信号と出力振動レベルの関係や、ユーザの体重や体調、あるいは姿勢等に応じて、振動感受特性を推定し、振動定位処理部１２６ｃは、この振動感受特性を用いて各振動子の振幅を制御する。
　これにより、振動子ごとの個体差と、ユーザごとに個人差が考慮された振動を提供することが可能になる。
　なお、ユーザのコンテンツ視聴時の姿勢状態については、ユーザ入力等による設定が難しい面がある。そこで、振動定位処理部１２６ｃは、ユーザがコンテンツ視聴時の姿勢状態において、前記振動子をキャリブレーション用に振動させて、ユーザの振動感受特性を測定する。
　例えば、情報処理装置１０は、ユーザに視聴姿勢を取るように指示した後、サンプル（ユーザの姿勢に対する振動感受特性のキャリブレーション用）のコンテンツを実際にユーザに視聴させ、振動子にキャリブレーション用振動を発生させる。そして、ユーザの感想または生体情報を基に、ユーザに視聴姿勢に関する振動感受特性補正値を推定する。そして、情報処理装置１０は、得られた振動感受特性補正値を記憶し、後の振動感受特性の算出処理に用いる。
　これにより、各ユーザのコンテンツ視聴時の姿勢状態にきめ細かく適合させた振動を提供することが可能になる。
　さらに、振動定位処理部１２６ｃは、パラメータ情報ＤＢ１３４から取得した振幅用強調係数を基に、シーンに合わせて全ての振動子の振幅を補正する。
　次に、触仮現運動の技術思想に基づく処理について、具体例を用いて、詳細に説明する。
　振動定位処理部１２６ｃは、有遅延側の点に対応する振動子、本例の場合、振動子５１＿ＲＬおよび振動子５１＿ＲＲの遅延時間（Δｔ：無遅延側の点に対応する振動子５１＿ＦＬおよび振動子５１＿ＦＲの振動タイミングからの遅延時間）を計算する（ステップＳ２５）。なお、無遅延側の点に対応する振動子５１＿ＦＬおよび振動子５１＿ＦＲのコンテンツにおける振動発生（同じ対象物体の音声発生）タイミングからの遅延時間は０とするが、コンテンツのシーンによっては無遅延側の点に対応する振動子５１＿ＦＬおよび振動子５１＿ＦＲの振動発生タイミングに遅延する、あるいは早くすることを行っても効果的である。
　遅延時間は所定の固定時間でも臨場感向上の効果はあるが、より効果的にするには、例えば次の式を用いて算出すればよい。
　遅延時間Δｔｉ　＝　ａｉ　・　ｙｉ　・　Ｙ　（ｉは各タイミングを示す）
　ここで、ａｉは遅延要否を示す値で遅延処理必要な場合は１、不要な場合は０となる。また、ｙｉは振動の強調係数でコンテンツの対象シーンにおける振動発生対象物体が発生する振動を適度に強調するための値である。例えば、振動を強く強調したい場面では強調係数ａｉは大きな値となり、遅延時間もその強調度に応じて長くし、その差異を感じやすくする。また、Ｙは振動が刺激感受点の点５３１と点５３２の間の距離を伝わるのに必要な時間の値が原理的な値となるが、適当な定数を用いるのが処理負荷を低減するには有利ある。なお、Ｙの定数としては、点５３１と点５３２の間の距離の中間値（振動子位置５３＿ＦＬと振動子位置５３＿ＲＬの距離と、振動子位置５３＿ＦＲと振動子位置５３＿ＲＬの距離との平均）や、感応試験等により適切と決定した値を用いれば良い。
　これら遅延要否値ａｉおよび強調係数ｙｉは、コンテンツの対象シーンにおける振動発生対象物体の状態に応じて決まる値で、例えば、コンテンツ画像の画像解析結果、コンテンツ音声（特に振動発生対象物の発生音声）解析結果、あるいはコンテンツの付加情報（予めコンテンツに制御用データとして付加しておく）等に基づき決定される。
　振動定位処理部１２６ｃは、この計算式を用いて各シーンでの遅延時間Δｔｉを算出し、各振動子５１に算出した遅延時間Δｔｉに基づいた各タイミングで対応する振動信号を出力して、各振動子５１を振動させる（ステップＳ２５）。
　例えば、上述の振動データ例において、算出した遅延時間Δｔｉが１秒であった場合は、以下のように各振動子が振動することになる。
　振動子５１＿ＦＬ：振動データ　０．３・ＶＤ、振動タイミング　０秒（コンテンツにおける対象シーンの再生タイミングからの遅延時間、以下の振動子も同様）
　振動子５１＿ＦＲ：振動データ　０．１・ＶＤ、振動タイミング　０秒
　振動子５１＿ＲＬ：振動データ　０．４・ＶＤ、振動タイミング　１秒
　振動子５１＿ＲＲ：振動データ　０．２・ＶＤ、振動タイミング　１秒
　これにより、ユーザは、コンテンツにおける対象シーンの再生タイミングで点５３１での振動を感じ、その１秒後に点５３２で振動を感じるので、振動源からの方向に沿った振動を感じることになる。従って、ユーザは振動源（振動発生物体）の定位感を適切に感じることができ、臨場感豊かなコンテンツ再生を楽しむことになる。
　次に振動子５１の上述の遅延駆動に関する変形例について説明する。上述の処理例では、振動定位処理部１２６ｃ（出力部１２６）は、無遅延側の点に対応する振動子から有遅延側の点に対応する振動子に、不連続に振動を移動するような処理を行ったが、本例では振動位置が徐々に移動する感覚をユーザに感じさせるようにする。なお、この処理もファントムセンセーションの技術思想に基づくものである。
　具体的には、振動定位処理部１２６ｃは、遅延時間Δｔの時間をかけて、無遅延側の点に対応する振動子５１＿ＦＬおよび振動子５１＿ＦＲの振幅を減衰させる。また、振動定位処理部１２６ｃは、遅延時間Δｔの時間をかけて、有遅延側の点に対応する振動子５１＿ＲＬおよび振動子５１＿ＲＲの振幅を増強させる。
　例えば、上述の振動データ例において、遅延時間Δｔｉが１秒であった場合、コンテンツにおける対象シーンの再生タイミングからのＴ秒（Ｔは遅延時間Δｔｉ（１秒）以下）後には以下のような振動データに基づき各振動子が振動することになる。
　振動子５１＿ＦＬ：振動データ　０．３・ＶＤ・（（１－Ｔ）／１）
　振動子５１＿ＦＲ：振動データ　０．１・ＶＤ・（（１－Ｔ）／１）
　振動子５１＿ＲＬ：振動データ　０．４・ＶＤ・（Ｔ／１）
　振動子５１＿ＲＲ：振動データ　０．２・ＶＤ・（Ｔ／１）
　なお、無遅延側の点に対応する振動子５１＿ＦＬおよび振動子５１＿ＦＲに対する減衰最終値を無音レベルではなく適度な弱音レベルとすることや、コンテンツにおける対象シーンの再生タイミングから遅延時間Δｔ経過前に減衰最終値とする制御も有効である。また、有遅延側の点に対応する振動子５１＿ＲＬおよび振動子５１＿ＲＲに対する振幅増強開始を無音レベルではなく適度な弱音レベルから行うことや、コンテンツにおける対象シーンの再生タイミングから所定時間（遅延時間Δｔ以下）経過後に減衰開始値とする制御も有効である。
　このように本実施形態によれば、ファントムセンセーションおよび触仮現運動の技術思想に基づき、振動源の位置感および振動の移動感をコンテンツの内容に応じてコンテンツ視聴ユーザに適切に感じさせることができるので、当該ユーザはコンテンツの臨場感豊かな再生を楽しむことができる。
　なお、これらの動作を概念化すると、「複数の振動子（振動子５１＿ＦＬおよび振動子５１＿ＦＲ）からなる第１振動子群における各振動子の振動レベルに基づき決まる第１合成振動位置（点５５１）と、複数の振動子（振動子５１＿ＲＬおよび振動子５１＿ＲＲ）からなる第２振動子群における各振動子の振動レベルに基づき決まる第１合成振動位置（点５５２）との位置関係(点５５１と点５５２とを結ぶ線)が、特定した前記振動源の方向成分（方向５２）と一致するように、前記各振動子の出力振動の振幅を制御し、
　前記振動源の方向成分に応じて前記各振動子の出力振動の遅延（振動子５１＿ＦＬおよび振動子５１＿ＦＲの振動タイミング（例えば、コンテンツでの振動発生から遅延０）と、振動子５１＿ＲＬおよび振動子５１＿ＲＲの振動タイミング（例えば、コンテンツでの振動発生から遅延Δｔ））を制御する。」、と言うことになる。
　次に、図１９を用いて、実施形態に係る情報処理装置１０が実行する処理手順について説明する。図１９は、情報処理装置１０が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、制御部１２０によって繰り返し実行される。
　図１９に示すフローチャートの処理は、情報処理システム１の電源オン状態で繰り返し実行される。処理が開始されると、ＸＲコンテンツ再生開始操作があるかどうか判断され、開始操作が検出されると（ステップＳ１０１、Ｙｅｓ）ステップＳ１０２の処理に移り、無ければ処理を終える（ステップＳ１０１、Ｎｏ）。
　そして、先ずＸＲコンテンツ設定処理を実行する（ステップＳ１０２）。なお、ここでのＸＲコンテンツ設定処理とは、例えば、ＸＲコンテンツ再生のための装置の各初期設定、ユーザによるＸＲコンテンツの選択等に関する各種処理が含まれる。
　つづいて、情報処理装置１０は、ＸＲコンテンツの再生を開始し（ステップＳ１０３）、再生中のＸＲコンテンツに対しシーン検出処理を行う（ステップＳ１０４）。つづいて、情報処理装置１０は、シーン検出処理の結果に対して優先順位設定処理を行い（ステップＳ１０５）、臨場感パラメータ抽出処理を実行する（ステップＳ１０６）。
　そして、情報処理装置１０は、臨場感パラメータ抽出処理の処理結果を反映させた各種振動データあるいは音声データの出力処理を実行する（ステップＳ１０７）。そして、情報処理装置１０は、ＸＲコンテンツが終了したか否かを判定し（ステップＳ１０８）、ＸＲコンテンツが終了したと判定した場合（ステップＳ１０８；Ｙｅｓ）、処理を終了する。
　また、情報処理装置１０は、ステップＳ１０８の判定において、ＸＲコンテンツが終了していないと判定した場合には（ステップＳ１０８；Ｎｏ）、再び、ステップＳ１０４の処理へ移行する。
　図２０を用いて、振動定位処理の手順を説明する。図２０は、振動定位処理の手順を示すフローチャートである。振動定位処理は、振動定位処理部１２６ｃ（制御部１２０）によって実行される処理に相当する。また、この処理は図１９で示した処理におけるステップＳ１０６、ステップＳ１０７の処理の一部として行われる。なお、各ステップの具体的詳細処理内容について前述した処理内容となる。
　まず、図２０に示すように、振動定位処理部１２６ｃは、音声（振動）の方向成分を特定する（ステップＳ２０１）。
　次に、振動定位処理部１２６ｃは、各振動子の個体差、ユーザの個人差、ユーザのコンテンツ視聴状態等によるユーザが感じる振動レベル差を補正するための補正値ＣＩを決定する（ステップＳ２０２）。なお、この補正値ＣＩは当該コンテンツ再生前（ユーザ着座時等）に予め求められ記憶されており、このステップＳ２０２では記憶された補正値ＣＩを読み出すことになる。
　続いて、振動定位処理部１２６ｃは、ファントムセンセーション技術思想に基づき、ステップＳ２０１で決定した音声の方向成分と各振動子の設置位置情報を用いて、各振動子の振動レベルを補正する補正値ＦＳを算出する（ステップＳ２０３）。
　そして、振動定位処理部１２６ｃは、ステップＳ２０２で決定した振動子の個体差等の影響を補正する補正値ＣＩと、ステップＳ２０３で算出したファントムセンセーション技術思想に基づく補正値ＦＳから（積算して）、各振動子に対する振動データを補正する補正値ＣＶを決定する。そして、コンテンツに基づき別途決定された振動データに対して、決定した各振動子の振動に対する補正値ＣＶで補正を施し（積算）、各振動子への出力データを決定する（ステップＳ２０４）。
　次に振動定位処理部１２６ｃは、触仮現運動の技術思想に基づき、各振動子の振動タイミング（各振動子への振動信号出力タイミング）を算出する。つまり、コンテンツのシーンにおける振動発生物体の振動発生タイミング（本実施形態では音声信号に基づき振動信号が生成されるので、音声発生タイミングとなる）からの遅延時間を算出する（ステップＳ２０５）。
　そして、振動定位処理部１２６ｃは、各振動子に対する振動データ、および振動タイミングのデータを出力用のデータとして提供し、出力部１２６は各振動子に出力信号を出力する（図１９のステップＳ１０７）。
　上述したように、実施形態に係る情報処理装置１０の振動定位処理部１２６ｃは、複数の振動子を備え、入力されたコンテンツにおける、振動源の方向成分を特定し、方向成分に基づき、各振動子の出力振動の振幅および遅延を制御する。
　このような制御により、情報処理装置１０は、複数の振動子の出力振動の振幅および遅延を調整することで、音源の定位感（位置感）および振動の伝達する感覚（振動の移動感）をユーザに与えることができる。つまり、情報処理装置１０は、各振動子における出力振動の振幅の関係で音源の定位感をユーザに与え、各振動子における出力振動のタイミングの違いで振動の移動感をユーザに与える。その結果、情報処理装置１０によれば、コンテンツにおける振動の感覚を臨場感豊かにユーザに提供することができる。
［第２の実施形態］
　第２の実施形態は、ファントムセンセーション技術思想に基づく補正値の算出処理を簡単にし、例えば比較的低速の演算処理装置（ＣＰＵ等）でも対応できるようにしたものである。
　概略的には、音声（振動）の方向成分を適当な数の領域単位で特定し（本実施例では８つの角度領域、つまり８段階に特定）、その後の補正値の算出を、各角度領域のモデル処理で求める、例えば各角度領域の制御値が記憶されたデータテーブルを用いる、あるいは各角度領域に対して設計された演算処理ルーチンを用いる等して処理を簡単にし、演算処理装置の処理負荷を低減したものである。
　図２２を用いて、事前に振幅および遅延時間を設定する方法を説明する。図２２は、振動の方向成分を決定する方法を示す図である。
　振動定位処理部１２６ｃ（制御部１２０）は、コンテンツにおける振動（本実施形態ではコンテンツにおける音声から推定）の方向成分が、ユーザ周囲を８分割した角度領域ｒ１～ｒ８のどの領域に属するか判定する（ステップＳ３１）。尚、角度領域を定めるデータは記憶部１３０に予め（設計時等）記憶されており、当該記憶されたデータを用いて振動の方向成分の角度領域が判定される。また、本実施形態では、ステップＳ３１に示すように正面の４５度の角度領域ｒ１を基準とする４５度毎の角度領域ｒ１～ｒ８が設定されている。
　そして、振動定位処理部１２６ｃは、振動の方向成分が属すると判定された角度領域の中心となる方向（ｄ１～ｄ８：代表方向と称する）を、ファントムセンセーション技術思想に基づく補正値の算出に用いる振動の方向データとして決定する。なお、この処理は、角度領域ｒ１～ｒ８と代表方向ｄ１～ｄ８の関係を示すデータテーブルを予め記憶部１３０に記憶しておき、当該データテーブルのデータを用いて照合する等の方法により実現できる。
　例えば、コンテンツ視聴ユーザの正面を０°として時計回りを正の角度で表記すると、領域ｒ１は－３０°から３０°の領域であり、その代表方向ｄ１は０°の方向である。また、領域ｒ２は３０°から６０°の領域であり、方向ｄ１は４５°の方向である。そして、例えば、振動の方向成分が４５°であったとすると、振動定位処理部１２６ｃは、その代表方向はｄ２と判定し、その後の処理に代表方向はｄ２が使用されることになる。
　そして、情報処理装置１０は、上記方法により決定された、振動の方向成分の代表方向データを用いて、図１７で示した方法と同等の信号処理を行う。この際、代表方向ｄは８種類しかないので、本実施形態ではこの８種類の各代表方向ｄ１～ｄ８について、予めファントムセンセーション技術思想に基づく補正値の算出しておき、記憶部１３０にデータテーブルとして記憶している。
　また、さらに触仮現運動の技術思想に基づく補正値も事前に算出しておき、その算出した補正値と、上述のようにして求めたファントムセンセーション技術思想に基づく補正値とに基づき算出される（例えば、振動レベルに対する補正値の積算）、統合した補正値を記憶部１３０にデータテーブルとして記憶している。この場合、ファントムセンセーション技術思想に基づく補正値のデータテーブルは省略できる。
　なお、統合した補正値は算出せず、ファントムセンセーション技術思想に基づく補正値はデータテーブルを用いて算出し、触仮現運動の技術思想に基づく補正値はデータテーブルを用いずに補正値を算出する方法で、それぞれの補正値で振動データを補正する方法も実施可能である。
　図２１は、ファントムセンセーション技術思想、および触仮現運動の技術思想に基づく補正値のデータテーブルの一例を示すデータテーブル構成図である。
　データテーブルは、振動子毎（５１ＦＬ、５１ＦＲ、５１ＲＬ、５１ＲＲ）、また代表方向毎（ｄ１～ｄ８）に、予め（設計時等）に算出された振動振幅に対する補正値と振動タイミング（遅延）に対する補正値が記憶されている。
　そして、振動定位処理部１２６ｃは、決定された代表方向ｄに対応する振幅及び遅延の補正値を各振動子５１に毎にデータテーブルから抽出し、振動データを補正する。
　例えば、代表方向が方向ｄ２の場合は、振動子５１ＦＬに対する振幅補正値は－２ｄｂ、遅延時間は０ｍｓ、また振動子５１ＦＲに対する振幅補正値は＋４ｄｂ、遅延時間は０ｍｓ、振動子５１ＲＬに対する振幅補正値は＋４ｄｂ、遅延時間は５０ｍｓ、振動子５１ＲＲに対する振幅補正値は－４ｄｂ、遅延時間は５０ｍｓとなる。そして、これら補正値により振動データが補正され、対応する振動信号が各振動子５１に出力される。
　なお、図２１に示したデータテーブルは、コンテンツ視聴状況により異なる要素、例えばユーザの感度やシートへの着座状態（座面の圧力分布）を補正の要素として除いたもの、またシート種別（振動子自体、あるいはその配置が異なる等）等を補正の要素として除いたものであるが、これらの変動要素をパラメータとして加えたデータテーブルとすることにより、これらの変動要素に対応した制御を行うことも可能となる。
　このように、第２の実施形態では、情報処理装置１０は、振動の方向成分が、予め定められた複数の角度領域のどの角度領域に属するか判定し、前記角度領域毎に予め設定されたモデル（図２１データテーブル）から、前記判定された方向成分の角度領域に対応するモデル（図２１データテーブルの該当する方向のデータ群）を選択し、前記選択されたモデルに基づき前記各振動子の出力振動の振幅および遅延を制御する。
　具体的には、モデルは、複数の角度領域毎に、振幅に対する振幅補正値と、遅延に対する遅延補正値が記憶されたデータテーブル（図２１データテーブル）を有する。情報処理装置１０は、方向成分の角度領域に対応するデータテーブルに記憶された各振動子ごとの振幅補正値と遅延補正値に基づき、各振動子の出力振動の振幅および遅延を制御する。
　従って、第２の実施形態では、振動の方向成分を用いた複雑な処理を行うことなく、振動の方向成分が属する角度領域に対応して予め生成されたモデル（データテーブル）を用いた処理で制御を行えるので、計算量を少なくする等、処理負荷を低減できる。
　ところで、上述した実施形態では、コンテンツがＸＲコンテンツである場合について説明したが、これに限定されるものではない。すなわち、コンテンツは、２Ｄの映像および音声、あるいは、映像のみ、または、音声のみであってもよい。
　さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
１　情報処理システム
３　表示装置
４　スピーカ
５　振動デバイス
１０　情報処理装置
３１　画像
１２１　コンテンツ生成部
１２２　レンダリング処理部
１２３　シーン検出部
１２３ａ　シーン判定部
１２３ｂ　条件設定部
１２４　優先順位設定部
１２４ａ　タイミング検出部
１２４ｂ　ルール設定部
１２５　パラメータ抽出部
１２５ａ　振動パラメータ抽出部
１２５ｂ　音声強調パラメータ抽出部
１２５ｃ　学習部
１２６　出力部
１２６ａ　音声強調処理部
１２６ｂ　音声振動変換処理部
１２６ｃ　振動定位処理部
１３１　ＸＲコンテンツＤＢ
１３２　シーン情報ＤＢ
１３３　優先順位情報ＤＢ
１３４　パラメータ情報ＤＢ
３１１、３１２　オブジェクト

Claims (10)

  1. 　ユーザにコンテンツに応じた振動を印加し、複数の振動子を備えた振動デバイスを制御する情報処理装置であって、
    　制御部を備え、
    　前記制御部は、
    　入力されたコンテンツにおける振動源の方向成分を特定し、
    　前記方向成分に基づき、前記各振動子の出力振動の振幅および遅延を制御する
    　情報処理装置。
  2. 　前記制御部は、
    　前記方向成分が、予め定められた複数の角度領域のどの角度領域に属するか判定し、
    　前記角度領域毎に予め設定されたモデルから、前記判定された方向成分の角度領域に対応するモデルを選択し、
    　前記選択されたモデルに基づき前記各振動子の出力振動の振幅および遅延を制御する
    　請求項１に記載の情報処理装置。
  3. 　前記モデルは、前記複数の角度領域毎に、振幅に対する振幅補正値と、遅延に対する遅延補正値と、が記憶されたデータテーブルを有し、
    　前記制御部は、
    　前記方向成分の角度領域に対応する前記データテーブルに記憶された振幅補正値と遅延補正値に基づき、前記各振動子の出力振動の振幅および遅延を制御する
    　請求項２に記載の情報処理装置。
  4. 　前記制御部は、
    　前記各振動子の配置に基づき、前記各振動子の出力振動の振幅および遅延を制御する
    　請求項１に記載の情報処理装置。
  5. 　前記制御部は、
    　前記各振動子の出力振動に対するユーザの振動感受特性に基づき、前記各振動子の出力振動の振幅および遅延を制御する
    　請求項１から４のいずれか１項に記載の情報処理装置。
  6. 　前記制御部は、
    　前記ユーザの振動感受特性を、前記振動子の特性とユーザの状態に基づき算出する
    　請求項５に記載の情報処理装置。
  7. 　前記制御部は、
    　ユーザがコンテンツ視聴時の姿勢状態において、前記振動子をキャリブレーション用に振動させて、ユーザの振動感受特性を測定する
    　請求項５に記載の情報処理装置。
  8. 　前記制御部は、
    　　複数の振動子からなる第１振動子群における各振動子の振動レベルに基づき決まる第１合成振動位置と、複数の振動子からなる第２振動子群における各振動子の振動レベルに基づき決まる第１合成振動位置との関係が、特定した前記振動源の方向成分と一致するように、前記各振動子の出力振動の振幅を制御し、
    　　前記振動源の方向成分に応じて前記各振動子の出力振動の遅延を制御する
    　請求項１に記載の情報処理装置。
  9. 　ＸＲコンテンツを再生する情報処理装置と、
    　前記情報処理装置から出力される映像信号に応じて映像を表示する表示装置と、
    　前記情報処理装置から出力される音声信号に応じて音声を発生させる音声出力デバイスと、
    　複数の振動子を備え、前記情報処理装置から出力される振動信号に応じた振動をユーザに印加する振動デバイスと
    　を備え、
    　前記情報処理装置の制御部は、
    　前記ＸＲコンテンツから、対象物から音声が発生しているシーンを検出し、
    　前記シーンに対応する振動パラメータであって、前記振動デバイスを制御する振動パラメータを抽出し、
    　前記対象物から発生する音声の信号を加工して得られた信号を、前記振動パラメータを用いて強調処理した信号と、前記ＸＲコンテンツにおける、前記振動デバイスに対する前記対象物の方向成分を特定し、前記方向成分に基づき、前記振動子のそれぞれの振幅および遅延を制御する信号と、を前記振動信号として前記振動デバイスへ出力し、
    　前記シーンに対応する音声処理に関する音声パラメータを抽出し、
    　前記音声パラメータを用いて強調処理した前記音声信号を、前記音声出力デバイスへ出力する
    　情報処理システム。
  10. 　複数の振動子を備え、ユーザにコンテンツに応じた振動を印加する振動デバイスを制御する情報処理方法であって、
    　入力されたコンテンツにおける振動源の方向成分を特定し、
    　前記方向成分に基づき、前記各振動子の出力振動の振幅および遅延を制御する信号を、前記振動デバイスへ出力する
    　処理をコンピュータが実行する情報処理方法。
PCT/JP2022/009472 2022-03-04 2022-03-04 情報処理装置、情報処理システムおよび情報処理方法 WO2023166721A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2022/009472 WO2023166721A1 (ja) 2022-03-04 2022-03-04 情報処理装置、情報処理システムおよび情報処理方法
CN202280064798.9A CN117980047A (zh) 2022-03-04 2022-03-04 信息处理装置、信息处理系统以及信息处理方法
JP2024504315A JPWO2023166721A5 (ja) 2022-03-04 情報処理装置、情報処理システム、情報処理方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/009472 WO2023166721A1 (ja) 2022-03-04 2022-03-04 情報処理装置、情報処理システムおよび情報処理方法

Publications (1)

Publication Number Publication Date
WO2023166721A1 true WO2023166721A1 (ja) 2023-09-07

Family

ID=87883445

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/009472 WO2023166721A1 (ja) 2022-03-04 2022-03-04 情報処理装置、情報処理システムおよび情報処理方法

Country Status (2)

Country Link
CN (1) CN117980047A (ja)
WO (1) WO2023166721A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008077631A (ja) * 2006-08-24 2008-04-03 Toyota Central R&D Labs Inc シート、車両用シート、及び車両用情報提示装置
US20110248837A1 (en) * 2010-04-08 2011-10-13 Disney Enterprises, Inc. Generating Virtual Stimulation Devices and Illusory Sensations Using Tactile Display Technology
JP2015121918A (ja) * 2013-12-24 2015-07-02 株式会社ニコン 振動装置及び電子機器
US20180059795A1 (en) * 2015-09-25 2018-03-01 Oculus Vr, Llc Haptic surface with damping apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008077631A (ja) * 2006-08-24 2008-04-03 Toyota Central R&D Labs Inc シート、車両用シート、及び車両用情報提示装置
US20110248837A1 (en) * 2010-04-08 2011-10-13 Disney Enterprises, Inc. Generating Virtual Stimulation Devices and Illusory Sensations Using Tactile Display Technology
JP2015121918A (ja) * 2013-12-24 2015-07-02 株式会社ニコン 振動装置及び電子機器
US20180059795A1 (en) * 2015-09-25 2018-03-01 Oculus Vr, Llc Haptic surface with damping apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AMEMIYA, TOMOHIRO: "Tactile Apparent Motion on Seat Pan Modulates Perceived Forward Velocity of Self-Motion", PROCEEDINGS OF THE ANNUAL CONFERENCE OF THE VIRTUAL REALITY SOCIETY OF JAPAN, VIRTUAL REALITY SOCIETY OF JAPAN, JAPAN, 18 September 2013 (2013-09-18) - 20 September 2013 (2013-09-20), Japan , pages 17 - 20, XP009549348, ISSN: 1349-5062 *
MARUYAMA, HIROTAKA; YAMADA, MITSUHO: "Study about detection of direction when vibrating a driving sheet of an automobile", IEICE TECHNICAL REPORT, vol. 118, no. 376 (IMQ2018-19), 14 December 2018 (2018-12-14), pages 21 - 26, XP009548825, ISSN: 0913-5685 *

Also Published As

Publication number Publication date
JPWO2023166721A1 (ja) 2023-09-07
CN117980047A (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
CN112567767B (zh) 用于交互式音频环境的空间音频
US10924875B2 (en) Augmented reality platform for navigable, immersive audio experience
KR101901908B1 (ko) 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치
JP6055657B2 (ja) ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム
US20200186912A1 (en) Audio headset device
JP2022538511A (ja) レガシーオーディオビジュアルメディアからの空間化された仮想音響シーンの決定
JP2003230199A (ja) バーチャルスピーカアンプ
JP6203003B2 (ja) 信号処理装置、信号処理方法およびプログラム
JP2022538714A (ja) 人工現実環境のためのオーディオシステム
US11200739B2 (en) Virtual scene
JP5860629B2 (ja) 音源定位制御プログラムおよび音源定位制御装置
WO2022038929A1 (ja) 情報処理方法、プログラム、及び、音響再生装置
WO2021187147A1 (ja) 音響再生方法、プログラム、及び、音響再生システム
WO2023166721A1 (ja) 情報処理装置、情報処理システムおよび情報処理方法
US20230098809A1 (en) Information processing apparatus, information processing system, and information processing method
WO2022038931A1 (ja) 情報処理方法、プログラム、及び、音響再生装置
US20240214757A1 (en) Method and device for controlling vibration motor, non-transitory computer-readable storage medium, and electronic device
CA3044260A1 (en) Augmented reality platform for navigable, immersive audio experience
Csapo et al. Usability and effectiveness of auditory sensory substitution models for the visually impaired
JP2023116109A (ja) 情報処理装置、情報処理システムおよび情報処理方法
WO2024079910A1 (ja) コンテンツ再生装置、振動制御信号生成装置、サーバ装置、振動制御信号生成方法、コンテンツ再生システム、及び設計支援装置
JP2023051202A (ja) 情報処理装置、情報処理システムおよび情報処理方法
JP2023051201A (ja) 情報処理装置、情報処理システムおよび情報処理方法
JP2023132236A (ja) 情報処理装置、音響再生装置、情報処理システムおよび情報処理方法および仮想音源生成装置
JP2023051203A (ja) 情報処理装置、情報処理システムおよび情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22929865

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280064798.9

Country of ref document: CN

Ref document number: 2024504315

Country of ref document: JP