[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2006030612A1 - コンテンツ生成装置およびコンテンツ生成方法 - Google Patents

コンテンツ生成装置およびコンテンツ生成方法 Download PDF

Info

Publication number
WO2006030612A1
WO2006030612A1 PCT/JP2005/015418 JP2005015418W WO2006030612A1 WO 2006030612 A1 WO2006030612 A1 WO 2006030612A1 JP 2005015418 W JP2005015418 W JP 2005015418W WO 2006030612 A1 WO2006030612 A1 WO 2006030612A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
content generation
data
content
generation method
Prior art date
Application number
PCT/JP2005/015418
Other languages
English (en)
French (fr)
Inventor
Yasushi Miyajima
Kosei Yamashita
Motoyuki Takai
Yoichiro Sako
Toshiro Terauchi
Toru Sasaki
Yuichi Sakai
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP05780942A priority Critical patent/EP1791111A4/en
Priority to US11/661,040 priority patent/US7960638B2/en
Publication of WO2006030612A1 publication Critical patent/WO2006030612A1/ja

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022—Electronic editing of analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/071—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for rhythm pattern analysis or rhythm style recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/081—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/111—Automatic composing, i.e. using predefined musical rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/125—Medley, i.e. linking parts of different musical pieces in one single piece, e.g. sound collage, DJ mix
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/295—Spatial effects, musical uses of multiple audio channels, e.g. stereo
    • G10H2210/305—Source positioning in a soundscape, e.g. instrument positioning on a virtual soundstage, stereo panning or related delay or reverberation changes; Changing the stereo width of a musical source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/311—Distortion, i.e. desired non-linear audio processing to change the tone colour, e.g. by adding harmonics or deliberately distorting the amplitude of an audio waveform
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/571—Chords; Chord sequences
    • G10H2210/576—Chord progression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/351—Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/371—Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature or perspiration; Biometric information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/371—Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature or perspiration; Biometric information
    • G10H2220/376—Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature or perspiration; Biometric information using brain waves, e.g. EEG
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/056—MIDI or other note-oriented file format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/081—Genre classification, i.e. descriptive metadata for classification or selection of musical pieces according to style
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541—Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
    • G10H2250/641—Waveform sampler, i.e. music samplers; Sampled music loop processing, wherein a loop is a sample of a performance that has been edited to repeat seamlessly without clicks or artifacts

Definitions

  • the present invention generates audio content data of a new music (audio content) using, for example, audio content data obtained by subdividing a music into music parts, bars, and the like as materials.
  • the present invention relates to an apparatus and a method.
  • the automatic music software as described above only generates notes one by one, or connects a predetermined material, and has a lot of listener power. ⁇ Excellent song " It is difficult to generate highly complete music (sound contents) that feels like this. In addition, it may be difficult for some users who are unfamiliar with a personal computer because the operation of the automatic music software that is activated on the personal computer is complicated or difficult to divide.
  • the present invention provides an apparatus and method that can easily generate new audio content with a high degree of completeness by using audio content data as a material in various modes. With the goal.
  • a content generation device of the present invention provides:
  • Material storage means for storing and holding a large number of audio content data used as a material; and additional data storage means for storing and holding additional data attached to each of the plurality of audio content data and having a function as index Z configuration information
  • Law storage means for storing and holding law information for use in configuration processing for extracting a large number of necessary audio content data power and constructing new audio content
  • the material storage means power is required via the additional data of the additional data storage means. It is characterized by comprising configuration processing means for extracting audio content data and performing configuration processing to generate new audio content.
  • configuration processing means for extracting audio content data and performing configuration processing to generate new audio content.
  • the configuration processing means based on one or both of the external information received through the receiving means and the law information stored in the law storage means, it is used as the material from the material storage means via the additional data.
  • a plurality of audio content data is extracted, and a series of audio content data that forms a new musical piece is constructed (generated) using the extracted audio content data, so that it can be used for IJ.
  • the music can be changed in real time by the user's interaction, and a large number of music can be generated even with a small amount of material. For this reason, it is possible to fundamentally change the way of enjoying music by repeatedly listening to the same recorded music like a conventional CD (Compact Disc), and to provide users with a new way of enjoying music.
  • a conventional CD Compact Disc
  • FIG. 1 is a diagram for explaining an outline of an apparatus and a method according to the present invention.
  • FIG. 2 is a block diagram for explaining a playback apparatus to which an embodiment of the present invention is applied.
  • FIG. 3 is a diagram for explaining a specific example of reconstruction processing.
  • FIG. 4A is a diagram for describing a specific example of the reconstruction process.
  • FIG. 4B is a diagram for explaining a specific example of the reconstruction process.
  • FIG. 4C is a diagram for explaining a specific example of the reconstruction process.
  • FIG. 4D is a diagram for explaining a specific example of the reconstruction process.
  • FIG. 5 is a diagram for explaining a specific example of the reconstruction process.
  • FIG. 6 is a diagram for explaining a specific example of the reconstruction process.
  • FIG. 7 is a diagram for explaining a specific example of the reconstruction process.
  • FIG. 8 is a diagram for explaining a part of information in the reconstruction law database.
  • FIG. 9 is a flowchart for explaining a new music reconfiguration process (generation process) performed in the playback apparatus shown in FIG. 2.
  • FIG. 1 is a block diagram for explaining the outline of a reproducing apparatus to which the apparatus and method according to the present invention are applied.
  • the playback device of this embodiment is, for example, a portable audio playback device.
  • the playback apparatus of this embodiment as shown in FIG. 1, has a large amount of material data 1 which is audio content data for generating (composing) music and predetermined reconstruction rule information (law information).
  • a reconstruction rule database 2 which is a database of the above and a reconstruction algorithm 3 which is a predetermined reconstruction processing procedure.
  • the material data 1 is the audio content data that can be used in the subdivided units by subdividing every predetermined unit, such as the musical instrument part unit or the bar unit constituting the music. Is.
  • the playback device of this embodiment includes external information such as environmental information such as temperature and humidity, heart rate of the user (user) of this playback device, biological information such as skin temperature, and operation input information from the user.
  • a reception unit 4 for receiving information is provided.
  • the playback device of this embodiment has a large number of information according to the reconstruction algorithm 3 based on various external information received through the receiving unit 4 and the law information in the reconstruction law database. Extract necessary material data from material data 1 and extract this material By reconstructing the data, new music (audio content) is generated (reconstructed) and played back for use.
  • FIG. 2 is a block diagram for explaining the reproducing apparatus of this embodiment.
  • the playback device of this embodiment is roughly provided with a control unit 10, a receiving unit 20, a storage device unit 30, a display device unit 40, and an output unit 50.
  • the control unit 10 is a microcomputer formed by being connected through a CPU (Central Processing Unit) 11, a ROM (Random Access Memory) 12, a RAM (Read Only Memory) 13 and a CPU bus 14. It is possible to perform various data processing such as controlling each part of the playback device in the form and generating a new piece of material data.
  • CPU Central Processing Unit
  • ROM Random Access Memory
  • RAM Read Only Memory
  • the reception unit 20 includes a biological information sensor 21, an A / D (Analog / Digital) conversion unit 22, an environmental information sensor 23, an AZD conversion unit 24, and an input device 25, and includes biological information, sensitivity information, and environmental information.
  • Various external information such as operation input information can be received, and the received external information can be supplied to the control unit 10.
  • the input device 25 receives an operation input from the user, and includes a key operation unit called a keyboard and the like, a pointing device such as a mouse, buttons, and a touch panel.
  • the storage device unit 30 stores and holds data and programs necessary for generating new music (audio content data). That is, the storage device unit 30 of the playback device of this embodiment is, for example, a hard disk drive, and the built-in hard disk includes a material data storage unit 31, a material database storage unit 32, a reconstruction law database storage unit 33, An algorithm-implemented program storage unit 34 and the like are provided and various information is stored and held.
  • the display device unit 40 includes, for example, display elements such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Organic Electroluminescence Panel), and a CRT (Cathode-Ray Tube).
  • the display element controller is provided for displaying image information such as various message information.
  • the output unit 50 includes an audio output device unit 51 and a DZA conversion unit 52.
  • the music corresponding to the newly generated (configured) audio content data The sound is emitted as sound.
  • the material data storage unit 31 of the storage device unit 30 stores a large number of audio content data serving as material data for composing new music.
  • the audio content data as the material data is formed by subdividing (by subdividing) the audio content data constituting the musical piece into musical instrument parts or measures as described above. Is.
  • the material data only the part part of a predetermined musical instrument is newly recorded, so that the material data can be formed independently and stored.
  • the material database storage unit 32 includes an identifier capable of specifying the material data stored in the material data storage unit 31, and additional data associated with each of a large number of material data. It is stored in correspondence.
  • the additional data in the material database storage unit 32 and each material data in the material data storage unit 31 are associated with each other by a predetermined identifier, so that the material data can be specified from the additional data or can be determined from the material data.
  • the additional data corresponding to the material data can be specified.
  • the reconstruction law database storage unit 33 indicates in what case and what material data is used and how to generate a new music piece by performing the reconstruction process.
  • Reconstruction law information (law information) is stored. Note that the word “re” in the word “reconstruction” used here means “can repeat” the composition of a new song that does not mean “same thing again”.
  • the algorithm implementation program storage unit 34 stores a program to be executed when processing for configuring a new musical piece is performed. The algorithm of this program Even so, you will be asked to make adjustments as to what material data and how it will be used.
  • the material data storage unit 31, the material database storage unit 32, the reconstruction law database storage unit are included in some storage device units (recording media). 33.
  • the algorithm implementation program storage unit 34 may be provided in a distributed manner. That is, the material data storage unit 31, the material database storage unit 32, the reconstruction law database storage unit 33, and the algorithm implementation program storage unit 34 may be provided in different storage units (recording media), or any number of them. These may be stored together in the same storage unit.
  • the control unit 10 when an audio playback instruction input from a user is received through the input device 25 connected to the control unit 10, the control unit 10 receives through the biological information sensor 21.
  • the biological information and the user movement information are supplied to the control unit 10 through the AZD conversion unit 22, and the environmental information received through the environmental information sensor 23 is supplied through the AZD conversion unit 24.
  • input information received by the user through the input device 25 is also supplied to the control unit 10.
  • the CPU 11 of the control unit 10 reads and executes the algorithm stored in the algorithm implementation program storage unit 34 of the storage device unit 30, and in accordance with this algorithm, attributes of the material, input information from the input device 25,
  • the necessary material data is extracted from the material data storage unit 31 while comparing external information such as input information from the biological information sensor 21 and the environmental information sensor 23 with the reconstruction law database, and this extracted material data (sound Content data) is reconstructed based on the above-described algorithm and the law information in the reconstruction law database storage unit 33 to generate a new musical piece.
  • a plurality of material data having the same additional data is extracted via the material database storage unit 32 and processed according to the law information of the reconstruction law database storage unit 33. By doing so, new music can be generated and played back.
  • the playback device of this embodiment uses the material database storage unit 32 and the reconstruction law database storage unit 33 to transmit the necessary material data, which is the main force of a large number of material data provided in its own storage device unit 30. Extract and reconstruct the law data Processing is performed according to the law information in the base storage unit 33 and the reconstruction algorithm, and a new musical piece (audio content) is generated (configured) so that it can be played back.
  • each of the audio content data as the material data has its characteristics. Additional data is added to represent
  • the additional data serves as an index for extracting target material data from a large number of material data.
  • This additional data power is stored and held in the material database storage unit 32 of the storage device unit 30 of the playback device shown in FIG. 2, and the target material data is extracted via this additional data to form a new musical composition. It can be used for Hereinafter, the additional data accompanying the audio content data as the material data will be described in detail.
  • Additional data can be broadly divided into (1) music information (music information) and time information of audio content data as material data, (2) human information of audio content data as material data, (3 ) Kansei information, (4) Environmental information, and (5) Biological information. Each of the additional data classified into these five will be explained.
  • the additional data in (1) is a correspondence between musical sound information of material data and time information indicating how much time it has.
  • the musical tone information is information about musical tone (sound) obtained by reproducing the material data. Specifically, the sound obtained by playing back the material data, scale (key), chord, tempo, beats per minute called BPM (Beats Per Minute), beat information (drum pattern) ), Time signature, number of measures, volume, note 'rest information, loop information, genre information, instrument information, regional information, etc.
  • the scale (key) is a characteristic of the music determined according to the position of the main sound of the C major scale or the major music such as C major and D major, and the chord is C, Am, Em7, etc. of It is a chord of a song. If the scale or code changes in the middle of the audio content data, which is material data, the changing position information / time information (offset information from the beginning of the data) is also included.
  • the tempo is the speed at which the music progresses
  • the BPM is the number of beats per minute as described above
  • the beat information is the drum rhythm pattern (drum pattern) here.
  • 120 beats per minute is expressed as 120 BPM.
  • rhythm patterns are positional information and time information (offset information of the leading force of data) where bass drum and snare drum attack sounds are included.
  • the time signature is the number of beats that form the basis of the rhythm that is a unit in the music, such as 2 beats, 3 beats, etc. For example, 3Z4 (3/4) beat, 4Z4 (4/4) It is expressed like a time signature.
  • the number of bars is information indicating the number of bars in the time signature described above, and is expressed as, for example, one bar or two bars.
  • the volume (peak, loudness) is the peak or intensity (level) of the sound volume, and is information that can be used to equalize variation in volume for each material data.
  • Note 'rest information is information that represents the notes and rests that make up the audio obtained by playing back material data described in MML (Music Macro Language) or MIDI signals, for example. Notes • Used to extract rest information.
  • the loop information indicates whether the material data such as Loop, OneShot, etc. is material that can be looped or expected to be played only once. It is. Material data that can be looped does not cause noise, tempo does not go wrong, and does not become unnaturally audible even if the end and beginning of the material data (audio content data) are connected seamlessly. It is.
  • the genre information is, for example, a value or a character string indicating the genre to which the material data belongs, such as jazz, Rock, Techno,.
  • the instrument information is information indicating the type of instrument used, such as a rhythm instrument (drum, percussion), guitar, bass, piano, etc. Pitch conversion is necessary for drum-type instruments and sound effects that do not have any scales (conversely, there are many cases), so this information is used for pitch conversion. It is possible to determine whether or not the material data has a capability. In addition, reconstruction It can also be used to determine the balance and type of musical instruments at the time of generation.
  • the area information is information representing an area when the material data is closely related to the area, for example, Indonesia, offshore, England, etc. For example, to distinguish material data of Indonesian gamelan music and material data of the offing scale.
  • the person information in (2) includes composer information, performer information, recorder information, and material group information.
  • the composer information indicates the composer of the melody obtained by reproducing the material data. This information can be used, for example, when collecting only material data of a specific composer to compose a new song.
  • This composer information is mainly information that can specify the composer, such as the name, stage name, and name of the composer. However, it is possible to include various information about the composer such as the name of the group to which the composer belongs, regional information indicating the place of origin and activity of the composer, and the age and sex of the composer. ⁇ ⁇ .
  • the performer information indicates the performer who actually played the melody obtained by reproducing the material data. This is useful when you want to collect material data of a performer and compose it as a song.
  • This performer information is also mainly information that can specify the performer such as the name and stage name of the performer. However, it is possible to include various information about the performer such as the group name to which the performer belongs, the region information indicating the performer's birthplace and activity area, and the age and sex of the performer. Good.
  • Recorder information is information of a recording engineer who recorded material data. This is useful when you want to collect only the material recorded by a recording engine and compose it as a song.
  • This recorder information is also mainly information that can specify the recorder such as the name and stage name of the recorder. However, the group name to which the recorder belongs is not limited to this. You can also include various information about the performer, such as the local information that shows the place of origin and activity of the recorder, and the age and gender of the recorder.
  • the material group information is information indicating a group of material data, such as an offshore folk song material, a percussion group, and so on.
  • the material data may be provided alone or as an archive of multiple materials.
  • the material group information is the ID or character string used to identify the group and which material data the material data was provided with. By using this material group information, it is possible to compose music using a specific material group.
  • Sensitivity information in (3) is added to classify material data according to human subjective sensibilities. For example, “brightness”, “sadness”, and other information about the sound obtained by playing back the material data indicate the impression that the sound will give to the listener. This is information indicating “I am suitable”, “I am suitable for intro”, “I am suitable for BGM (Background Music)”, and the like.
  • the sensitivity information includes, for example, a classification of impressions and feelings predetermined by the system, such as “bright! / ,: 7”, “sad ,: 8”, and scoring for the classification. It can be expressed in a way that it can be expressed, or it can be expressed by a free character string or keyword so that the system side or the user can interpret it! This additional data makes it possible to compose new music using only material data whose sensitivity information is “bright and energetic” or to use only material data whose sensitivity information power is sad ”. You can compose music.
  • the sensitivity information as described above is subjective.
  • the sensitivity information set by the provider of the material data in advance sensitivity information set as a value or a character string
  • the sensitivity information should be rewritten by the user who uses the material data.
  • the sensitivity information of each material data in the material database storage unit 32 can be changed through the input device 25 of the playback device. In this way, Kansei information that matches the user's Kansei can be set for each material data. It becomes ability.
  • the environmental information in (4) is information about the environment that the material data should be associated with, and is basically added by the material data provider based on the judgment. This environmental information can also be changed by the user who uses the material data in the same manner as the sensitivity information described above.
  • Environmental information in order to facilitate the description of the environmental information, the environmental information is classified into several power categories and described.
  • Environmental information can be broadly classified into five categories, for example, information on climate and time, information on movement, information on position, information on people, and other information.
  • the information about the climate 'time is an attribute having the voice power S obtained by reproducing the material data, and relates to the climate and time. Specifically, it relates to temperature, humidity, weather, wind speed, date, time, season, snow cover, and rainfall. For example, if the sound of a certain material data is an image of “summer sunny day and night”, “season: summer”, “weather: sunny”, “time: night” climate 'time information is added Is done. In addition, when the sound of a certain material data is related to “sultry night”, “temperature: relatively high”, “humidity: high”, “time: night”, etc., information on climate and time Will be added.
  • Information relating to movement is an attribute of the sound obtained by reproducing the material data, and relates to movement. Specifically, it relates to movement speed, acceleration, vibration, gravity change, and so on. For example, when the sound of a certain material data is “a violent rhythm with a running sensation”, it can be expressed by setting the moving speed and vibration parameters to appropriate values.
  • the information on the position is an attribute having sound power obtained by reproducing the material data, and relates to the position. Specifically, it relates to latitude, longitude, map information, surrounding object information, sea level, etc. For example, by using map information or surrounding object information, attributes such as “near the sea” or “shibuya system” can be added to the material data.
  • Information about a person is an attribute having sound power obtained by reproducing material data. , People (relationships) and organizations. Specifically, people who have a specific relationship
  • various information other than the information described above for example, various information such as age, odor, noise level, air pollution level, surrounding color, and the like can be considered as environmental information. For example, if the sound power S Indian melody is obtained by reproducing the material data, it is possible to add environmental information of “curry” as an odor.
  • the biometric information in (5) is added by the provider of the material data, which should be related to the sound obtained by reproducing the material data. To do. Specifically, sweating, heart rate, pulse wave, breathing, blink, eye movement, gaze time, pupil size, blood pressure, brain wave, body movement, posture, skin temperature, skin electrical resistance, microvibration (MV ), Myoelectric potential, blood oxygen saturation (SP02).
  • the heart rate, pulse wave, breathing, etc. are set low (small), and conversely, the sound of a certain material data is “ When “the heart is pounding” is imaged, the heart rate, pulse wave, respiration, etc. are set high (many). In addition to this, it may be necessary to lengthen the gaze time for voices with a sense of tension, or to make information indicating that the body movements are in a severe state in the case of voices that image intense exercise. Will be able to.
  • this biometric information can be changed by the user who uses the material data based on his / her own sense of subjectivity in the same manner as sensitivity information and environmental information.
  • personal information (3) sensitivity information, (4) environmental information, and (5) biometric information
  • the data is stored in the material database storage unit 32 in association with each material data stored in the material data storage unit 31.
  • each material data is added only when the corresponding additional data among the various additional data described above exists.
  • personal information is not added when the composer, performer, recorder, etc. are unknown.
  • Sensitivity information, environmental information, and biological information are not added if there is no applicable information.
  • FIG. 3 is a diagram for explaining the material data combining process.
  • the upper row shows the extracted material data A, B, C, and D waveforms
  • the lower row shows the waveform of the audio data generated by combining the material data A, B, C, and D.
  • the extracted individual material data A, B, C, D are combined so that they do not overlap in the time axis direction, and continuous audio data as shown in the lower part of Fig. 3
  • the process of obtaining (combination result X) is the material data combining process.
  • FIG. 4A is a diagram for explaining the tempo changing process of the material data.
  • the upper row is the waveform of the material data before the tempo change
  • the lower row is the waveform of the material data after the tempo change.
  • This tempo change is a process that changes only the tempo without changing the pitch, and the playback time is shortened but the pitch is not changed.
  • FIG. 4B is a diagram for explaining the process of changing the pitch of the material data.
  • This pitch change is a process in which only the pitch without changing the tempo is changed, and the playback time is the same.
  • FIG. 4C is a diagram for explaining the process of changing the volume of the material data.
  • the upper row is the waveform of the material data before the volume change
  • the lower row is the waveform of the material data after the volume change.
  • the example shown in Fig. 4C shows a case where the volume of the material data is gradually decreased and then the volume is gradually increased.
  • Other processes such as gradually increasing the volume and then gradually decreasing the volume, frequently increasing or decreasing the volume, or adjusting the volume to a predetermined level. It is.
  • FIG. 4D is a diagram for explaining processing for applying an effect to material data.
  • the top row is the waveform of the material data before applying the effect
  • the bottom row is the waveform of the material data after applying the effect.
  • the example shown in FIG. 4D is an example in which distortion is applied to the material data.
  • the effect processing is not limited to distortion, and various effect processing such as reverb, chorus, equalizer, low-pass filter (LPF) processing, and high-pass filter (HPF) processing can be applied.
  • the effect processing can be applied to the entire material data, or can be applied to a part of the material data.
  • FIG. 5 is a diagram for explaining pan setting change processing for material data.
  • the two waveforms shown in Fig. 5 are the left (L) channel and right (R) channel waveforms generated from the same material data. In this way, the pan setting is changed for the material to change the left / right balance of the sound source.
  • the pan setting can be changed entirely or partially in the material data.
  • FIG. 5 in the case of a so-called multi-channel such as a 4-channel force and a 5.1-channel force, taking the case of two left and right channels as an example, it is possible to adjust the spatial position of the sound image before and after, up and down To be done.
  • FIG. 6 is a diagram for explaining a skip (extraction) process of material data.
  • the upper row is the waveform of the material data before skipping
  • the lower row is the waveform of the material data after skipping.
  • skipping material data skips part of the material data. This is a process for extracting and using only necessary parts.
  • FIG. 7 is a diagram for explaining the material data combining process.
  • the upper four waveforms are the waveforms before composition of material data A, B, C, and D
  • the bottom waveform in Figure 6 synthesizes material data A, B, C, and D. This is about the audio data formed.
  • the composition of material data is a process of generating new audio data by superimposing a plurality of material data with the same time axis. This makes it possible to synthesize various musical instrument parts and vocal parts to generate ensembles.
  • the playback device of this embodiment is referred to based on various external information acquired through the receiving unit 20 and additional data in the material database storage unit 32, and is necessary for generating new music.
  • the information stored in the reconstruction law database storage unit 33 that provides information will be described.
  • music composition information that is a base of a newly generated music
  • external information that is input key information when extracting necessary material data
  • the external information is information received through the sensors 21 and 23 and the input device 25 of the receiving unit 20 of this embodiment as described above.
  • the music composition information serving as a base indicates the music composition that is the gist of the newly generated music, for example, information on chord progression and tempo.
  • This music structure A lot of information is prepared. For example, a lot of music composition information is prepared for various genres such as jazz, rock, pops, and ballad.
  • the music composition information can be selected at random by the control unit 10 of the playback device, or can be selected in response to an instruction input by the user input through the input device 25, Alternatively, selection can be made based on input information from the biological information sensor 21 and the environmental information sensor 23.
  • FIG. 8 is a diagram for explaining the relation information indicating the relation between the additional data of the reconstruction law database and the external information.
  • the material number is an identifier assigned to each of a large number of material data stored and held in the material data storage unit 31.
  • target material data can be specified from among a large number of material data stored in the material data storage unit 31.
  • the temperature attribute, body movement attribute, time attribute, and sensitivity attribute are additional data accompanying external information and material data used in this embodiment!
  • NZA (Not / Applicable)” means no corresponding data.
  • the body movement attribute is “10 or more”
  • the time attribute is “night”
  • the sensitivity attribute is “quiet” "
  • the material data with the material number 1 is selected.
  • the material data to be used is narrowed down based on other external information, etc. It is also possible to select material data from the additional data. For example, if the music composition information that is the base is a rock-like one, for example, material data of different genres such as Japanese folk songs are not selected based on the corresponding data in the material database storage unit 32. To be able to do so.
  • the information indicating the content of the reconstruction process is information for instructing how to process the material data for each material data as described below. This is information indicating specific processing contents such as, pitch change, volume change, effect application, pan setting change, material skip, and material combination.
  • Such various pieces of information are stored and held in advance in the reconstruction law database storage unit 33, and are referred to based on the above-described external information acquired by the playback device of this embodiment. It is possible to acquire configuration information, specify material data necessary to generate new music, and specify the processing method for the specified material data.
  • the playback device of this embodiment is a portable audio playback device, and is used outdoors, for example. In this case, it is assumed that the weather is fine and the user of this playback device is walking well. In addition, it is assumed that the playback device of this embodiment includes a temperature sensor and an acceleration sensor as the environment information sensor 23.
  • the control unit 10 of the playback device executes the processing shown in the flowchart of FIG. Then, the control unit 10 first acquires music composition information, which is information indicating the base music composition that is the essence of the newly generated music, from the reconstruction law database storage unit 33 (step S101), and generates the music to be generated. Determine the tempo of (step S102).
  • the music composition information acquired in step S101 has information power indicating, for example, the chord progression and tempo of the music.
  • This music composition information is not limited to one, and many recorded power S variations will increase.
  • the control unit 10 of the playback device may select at random, or information from the sensors 21 and 23 and user power from the input device 25 may be selected based on the input information.
  • the user can also switch between automatic selection and user instruction selection.
  • the control unit 10 starts a BPM (Beat Per Minutes) clock (step S103). This is also used to count the bar head
  • BPM Beat Per Minutes
  • the BPM clock is counted by the clock circuit provided in the control unit 10. In order to connect the material data naturally to the next power, it is important to musically separate them at the beginning of the bars.
  • the control unit 10 acquires inputs from the sensors 21 and 23.
  • an input of temperature sensor force is acquired (step S104), and then an input of acceleration sensor force is acquired (step S105).
  • the acceleration sensor input value in force step S105 which is the input value of the temperature sensor and the acceleration sensor, is subjected to processing such as an integral value or an average value for several seconds in the vicinity.
  • the user's explicit input using the force input device 25 or other switch that uses the information from the temperature sensor force and the information from the acceleration sensor is taken into consideration. Please do it.
  • the reconstruction law database storage unit 33 is referenced and material data suitable for the current temperature and momentum is retrieved and acquired (Ste S 106). That is, as described with reference to FIG. 8, the reconstruction law database storage unit 33 describes the relationship between the additional information of the material recorded in the material data storage unit 31 and the input key (external information). ing. Therefore, the material number shown in FIG. 8 is identified by searching for information based on the external information serving as the input key, and the target material is retrieved from the material data storage unit 31 based on the identified material number. Data will be read out.
  • the matching law of the material corresponding to a certain sensor value is simply used. It may be what is described, or it may be information that describes the state transition condition to another material group of the group that has grouped the material data! /.
  • the reconstruction law database storage unit 33 also describes the relationship between the reconstruction processing method such as combining and composition described above and the input key (external information). It describes whether to apply such signal processing. Then, the control unit 10 acquires information indicating the processing contents to be performed from the reconstruction rule database storage unit 33 (step S107), based on the acquired information, reconstruction signal processing (configuration processing) is performed on the material data acquired in step S106 (step S108).
  • step S108 it is not always necessary to follow only the information in the reconstruction law database storage unit 33.
  • random elements or probability elements are used to avoid monotonicity.
  • the reconstruction may have a noriation.
  • the processing contents are changed by the algorithm in this way, it becomes possible to generate new music effectively. In other words, a new song variation can be provided.
  • the reconfigured audio data after the signal processing is processed through the DZA conversion unit 52 and the audio output device unit (speaker unit) 51, and the audio corresponding to the reconfigured audio data is output to the audio output device unit.
  • the sound is emitted from 51 (step S109).
  • the reconstructed audio data is actually output once to a sufficiently large audio buffer and is played back so as not to be interrupted. This is because a series of the above processing at the beginning of a measure may cause the sound to break at the break of the measure.
  • the sound of the next measure is prepared behind the scene while a measure is being played. To be done.
  • step S110 determines whether or not the next processing target is the force at the beginning of the measure (step S110), and when determining that the next processing target is at the beginning of the measure, the processing from step S104 is performed. Repeat. If it is determined in step S110 that it is not the beginning of a measure, it is determined whether or not the user has received a stop request (step S111), and no stop request is received. If it is determined, the control unit 10 repeats the processing from step S110.
  • step S 110 If it is determined in step S 110 that a stop request has been accepted, the processing shown in FIG. 9 is terminated, and generation of a new music is terminated.
  • the playback device of this embodiment can generate new music at any time using a large amount of material data, play it back, and provide it to the user. To be. As a result, the user can reconstruct and listen to the new music according to the biometric information, the environmental information, and the input information of the user.
  • the user can enjoy listening to different music every time, and the user can By changing the reconstruction method according to the demands and conditions, it becomes possible to generate music that suits the situation.
  • creators can create a new business model that composes and sells various phrases as materials that can only be played using the conventional performance and recording methods of completing one song, creating opportunities for creators. Also spread.
  • the reconstruction law database and the reconstruction algorithm may be freely determined by the implementer of this device. By providing only these parts to the user, the material and its attributes can be output without any changes. The music being played will change. Conversely, the music output can be changed by replacing only the material without changing the reconstruction rule and algorithm. Therefore, it is possible to generate a virtually unlimited number of music compositions with a large number of materials, a large number of law bases, and algorithms.
  • the operation panel force user may explicitly select from a menu or input from a keyboard without using a sensor to acquire environmental information and biometric information.
  • the material data to be used is accessed to the reconstruction law database storage unit 33 based on the external information from the sensors 21 and 23, and this reconstruction law database.
  • the material data stored in the storage unit 33 and used for reconstructing a new audio content is extracted using the additional data.
  • the information of the material database storage unit 32 is referred to and one or more designated composers are created.
  • the user's material data may be extracted and used to generate a new audio content.
  • external information from sensors 21 and 23 and input device 25 were accepted.
  • the material database storage unit 32 can be accessed to extract necessary material data and generate new audio content using the extracted material data.
  • the reconstruction law database storage unit 33 As described above, by using one of the reconstruction law database storage unit 33 and the material database storage unit 32, it is possible to generate a new audio content.
  • the music stored in the reconstruction law database storage unit 32 may be used.
  • the music composition information corresponding to the user's instruction input may be used through the input device 25.
  • the reconstruction rule database storage unit 33 associates music composition information, material numbers, additional data to be used, and information indicating the content of reconstruction processing.
  • the music composition information and other information may be provided on different recording media.
  • the playback device of this embodiment reconstructs music from a recording medium in which music material is recorded by PCM or compression audio based on the material data and the additional data of the material. And will be able to play. As a result, even if the same material is used, a different piece of music can be generated each time it is played.
  • the phrase actually played by a human being is used as a unit, so the actual performance of the person can be felt.
  • each phrase is not automatically composed, and a phrase that is considered to be “good” by the sensitivity of the composer or composer is recorded. It is possible to surpass the limit of “not strong, but no phrase”. In other words, the personality of composers and performers can be preserved.
  • the audio content data as material data may be linear PCM data or compressed audio data compressed / compressed by various methods! Ma
  • the material data is composed of audio data such as linear PCM data and compressed audio data and additional data necessary for reconstruction.
  • the material data and the reconstruction database can be added, changed, deleted, partially exchanged, fully exchanged, etc. independently of each other.
  • the force described as using a hard disk as a recording medium is not limited to this.
  • various disk recording media such as an optical disk, a magneto-optical disk, and a magnetic disk, and various recording media such as a semiconductor memory may be used.
  • the material data and the reconstruction law database may be recorded on different recording media.
  • the playback device of the above-described embodiment has been described as being portable, the present invention is not limited to this. Of course, it can also be applied to a stationary playback device that is used at home.
  • a personal computer capable of executing this program can be used as a playback device according to the present invention, and the method according to the present invention can be performed on a personal computer. Can also be realized.
  • the power described as generating and playing back new audio content in real time is not limited to this.
  • control unit 10 uses the reconstruction algorithm and the reconstruction law database, and has been described as performing a reconstruction process using necessary material data. is not.
  • a DSP Digital Signal Processor
  • a DSP Digital Signal Processor for processing audio content data may be used for new audio content reconstruction processing.
  • usable biological information includes sweating, heartbeat, pulse wave, breathing, blink, eye movement, gaze time, pupil diameter, blood pressure, brain wave, body movement, Various things such as body position, skin temperature, skin electrical resistance, micro-neutralization, myoelectric potential, blood oxygen saturation It is expensive to provide a sensor capable of detecting each of them. For this reason, for example, only the body temperature sensor and the pulse wave sensor may be used, and it is of course possible to detect only some biological information and use the biological information.
  • available environmental information includes temperature, humidity, weather, wind speed, date, time, season, brightness, smell, sea level, snow cover, rainfall, noise level, air pollution level, latitude,
  • There are various things such as longitude, map information, surrounding color, surrounding object information, moving speed, acceleration, age, gravity change, vibration, human information, etc. Making all of them available is expensive and preferable. There may be no. Therefore, as in the playback apparatus of the above-described embodiment, for example, only the temperature sensor and the acceleration sensor may be provided to obtain usable environment information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　素材としての音声コンテンツデータを種々の態様で利用し、完成度の高い新しい音声コンテンツを簡単に生成することができるようにする。素材データとして用いられる多数の音声コンテンツデータが素材データ記憶部３１に予め用意される。素材データのそれぞれには、付加データが付随するようにされており、この付加データが素材データベース記憶部３２に記憶される。制御部１０において、受付部２０を通じて受け付けた外部情報と再構成法則データベース記憶部３３に記憶されている法則情報との一方あるいは両方に基づき、付加データを介して素材データ記憶部３１から必要な素材データが抽出され、これらから新たな楽曲が生成される。

Description

明 細 書
コンテンツ生成装置およびコンテンツ生成方法
技術分野
[0001] この発明は、例えば、楽曲を楽曲パート、小節などに細分ィ匕することにより得られる 音声コンテンツデータなどを素材として用いて、新たな楽曲（音声コンテンツ)の音声 コンテンツデータを生成するようにする装置、方法に関する。
背景技術
[0002] 昨今の携帯型のシリコンオーディオプレイヤーやハードディスク音楽プレイヤーの 台頭によって、数百〜数万曲の楽曲（音楽コンテンツ)を 1台の再生装置内部の記録 媒体に記録し、これを再生することができるようになり、ユーザーは自分の好みの楽 曲をすベて持ち出して、これをいつでも再生して聴けるようになった。
[0003] 数多くの楽曲を記録媒体に記録し、再生可能にしておくことで長時間音楽を楽しむ ことができ、また、再生順番をランダムに変更して再生するいわゆるシャッフル再生を 行うことで思いもよらな力つた曲順で楽曲を聴けるため飽きがきにくい。しかしながら、 これらのオーディオプレイヤ一は予め録音された楽曲を単純に再生するだけであり、 曲数は増えて 、るが 1曲 1曲につ 、て見れば、毎回同じ音声を再生して 、るにすぎな い。
[0004] 一方で、自動作曲ソフト（自動作曲プログラム）のようにユーザーが曲の雰囲気ゃ誕 生日などのシチュエーションを入力するだけで曲を作成してくれるコンピュータ用ソフ トウエアが存在する。例えば、後に記す特開 2002— 117069号公報には、データべ ース内の音楽アイテム（素材となる音声データ)から任意の長さの適切な音楽シーケ ンス (音声データの並び)を生成する方式が開示されて 、る。
[0005] このような、いわゆる自動作曲ソフトをパーソナルコンピュータを通じて利用すること によって、ユーザーは、簡単に、かつ、気軽に、独自の音声コンテンツを作成して再 生し、これを楽しむことができるようにされている。
[0006] し力しながら、上述したような自動作曲ソフトは、 1音ずつ音符を生成していくように したり、予め決められた素材を連結したりするだけであり、多くの聴取者力 ^優れた曲」 であると感じるような完成度の高い楽曲（音声コンテンツ）を生成することは難しい。ま た、パーソナルコンピュータにおいて起動される自動作曲ソフトに対する操作が複雑 であったり、分力り難かったりするために、パーソナルコンピュータに不慣れなユーザ 一にとつては利用し難いものもあると考えられる。
[0007] また、自動作曲ソフトの場合には、 MIDI (Musical Instrument Digital Interface)デ ータを用いて作曲を行うようにするものがほとんどであり、楽器音色のリアルさが不足 していたり、自然な人間の歌声を出すこができな力つたりするなどの制約が存在する 。そもそも、リアルさが増したとしても人間の演奏ではないとユーザーが分力つている 場合には感動が呼び起こされな 、場合が多 、。
[0008] 以上のことに鑑み、この発明は、素材としての音声コンテンツデータを種々の態様 で利用し、完成度の高い新しい音声コンテンツを簡単に生成することが可能な装置、 方法を提供することを目的とする。
発明の開示
[0009] 上記課題を解決するため、本発明のコンテンツ生成装置は、
素材として用いられる多数の音声コンテンツデータを記憶保持する素材記憶手段と 多数の前記音声コンテンツデータのそれぞれ毎に付随し、索引 Z構成情報として の機能を有する付加データを記憶保持する付加データ記憶手段と
を備えるとともに、
外部情報の入力を受け付ける受付手段と、
多数の前記音声コンテンツデータ力 必要なものを抽出して新たな音声コンテンツ を構成する構成処理時に用いる法則情報を記憶保持する法則記憶手段と
の一方あるいは両方を備え、
前記受付手段を通じて受け付けた前記外部情報と前記法則記憶手段の前記法則 情報との一方あるいは両方に基づ!、て、前記付加データ記憶手段の前記付加デー タを介して前記素材記憶手段力 必要な音声コンテンツデータを抽出するとともに構 成処理を行って、新たな音声コンテンツを生成する構成処理手段を備えることを特徴 とする。 [0010] この本発明のコンテンツ生成装置によれば、例えば、楽曲を構成する音声コンテン ッデータを、楽器パート、小節などに細分ィ匕するなどして形成され、素材として用いら れる多数の音声コンテンツデータが素材記憶手段に予め用意される。素材として用 いられる多数の音声コンテンツデータのそれぞれには、索引 Z構成情報としての機 能を有する付加データが付随するようにされており、この付加データが付加データ記 憶手段に記憶される。
[0011] そして、構成処理手段において、受付手段を通じて受け付けた外部情報と法則記 憶手段に記憶されている法則情報との一方あるいは両方に基づき、付加データを介 して素材記憶手段から素材として用いる複数の音声コンテンツデータが抽出され、こ れらを用いて新しい楽曲を形成する一連の音声コンテンツデータが構成される（生成 される）、これを禾 IJ用することができるよう〖こされる。
[0012] この発明によれば、予め用意される素材としての音声コンテンツデータを種々の態 様で利用することにより、完成度が高く新しい楽曲を簡単に生成し、これを利用できる ようにすることができる。また、外部情報などの変化に応じて、毎回、新しい楽曲を生 成してこれを利用できるようにすることができる。
[0013] また、ユーザーのインタラクションによってリアルタイムに楽曲を変化させたり、少な い素材力もでも数多くの楽曲を生成したりすることができる。このため、従来の CD (C ompact Disc)のように録音済みの同じ楽曲を繰り返し聴くという音楽の楽しみ方を根 底力 変化させ、新しい音楽の楽しみ方をユーザーに提供することができる。
図面の簡単な説明
[0014] [図 1]図 1は、この発明による装置、方法の概要を説明するための図である。
[図 2]図 2は、この発明の一実施の形態が適用された再生装置を説明するためのプロ ック図である。
[図 3]図 3は、再構成処理の具体例を説明するための図である。
[図 4A]図 4Aは、再構成処理の具体例を説明するための図である。
[図 4B]図 4Bは、再構成処理の具体例を説明するための図である。
[図 4C]図 4Cは、再構成処理の具体例を説明するための図である。
[図 4D]図 4Dは、再構成処理の具体例を説明するための図である。 [図 5]図 5は、再構成処理の具体例を説明するための図である。
[図 6]図 6は、再構成処理の具体例を説明するための図である。
[図 7]図 7は、再構成処理の具体例を説明するための図である。
[図 8]図 8は、再構成法則データベースの情報の一部について説明するための図で ある。
[図 9]図 9は、図 2に示した再生装置において行われる新たな楽曲の再構成処理 (生 成処理)を説明するためのフローチャートである。
発明を実施するための最良の形態
[0015] 以下、図を参照しながら、この発明による装置、方法の一実施の形態について説明 する。以下に説明する実施の形態においては、この発明による装置、方法を種々の 楽曲などの音声コンテンツデータを再生する音声再生装置（以下、単に再生装置と いう。 )に適用した場合を例にして説明する。
[0016] [再生装置の概要]
図 1は、この発明による装置、方法が適用された再生装置の概要を説明するための ブロック図である。この実施の形態の再生装置は、例えば携帯型の音声再生装置で ある。そして、この実施の形態の再生装置は、図 1に示すように楽曲を生成 (構成)す るための音声コンテンツデータである多数の素材データ 1と、予め決められる再構成 法則情報 (法則情報）のデータベースである再構成法則データベース 2と、予め決め られる再構成の処理手順である再構成アルゴリズム 3とを予め備えて 、る。ここで素 材データ 1は、楽曲を構成する楽器パート単位や小節単位などのように、所定の単位 毎に細分ィ匕することにより細分ィ匕された単位で利用可能になった音声コンテンツデ ータである。
[0017] また、この実施の形態の再生装置は、気温、湿度などといった環境情報、この再生 装置のユーザー (使用者)の心拍、皮膚温度などの生体情報、ユーザーからの操作 入力情報などの外部情報を受け付ける受付部 4を備えている。そして、この実施の形 態の再生装置は、再生時において、受付部 4を通じて受け付けた種々の外部情報と 再構成法則データベースの法則情報とに基づいて、さらに、再構成アルゴリズム 3に したがって、多数の素材データ 1から必要な素材データを抽出し、この抽出した素材 データを再構成処理することにより、新たな楽曲（音声コンテンツ)を生成 (再構成)し て、これを再生して利用できるようにするものである。
[0018] すなわち、既に完成された楽曲を記憶保持し、これを単に再生するものではなぐ 音声コンテンツデータである多数の素材データを記憶保持し、この多数の素材デー タの中から必要な素材データを抽出し、この抽出した素材データを再構成処理する ことによって、全く新 、楽曲を生成して再生することができるものである。
[0019] [再生装置の構成と動作]
次に、この実施の形態の再生装置の構成と、その動作について説明する。図 2は、 この実施の形態の再生装置を説明するためのブロック図である。図 2に示すように、こ の実施の形態の再生装置は、大きく分けると制御部 10、受付部 20、記憶装置部 30 、表示装置部 40、出力部 50を備えている。
[0020] 制御部 10は、 CPU (Central Processing Unit) 11、 ROM (Random Access Memory ) 12、 RAM (Read Only Memory) 13力 CPUバス 14を通じて接続されて形成された マイクロコンピュータであり、この実施の形態の再生装置の各部を制御したり、素材デ 一タカ 新たな楽曲を生成したりするなどの種々のデータ処理を行ったりすることが できるものである。
[0021] 受付部 20は、生体情報センサ 21、 A/D (Analog/Digital)変換部 22、環境情報セ ンサ 23、 AZD変換部 24、入力デバイス 25を備え、生体情報、感性情報、環境情報 、操作入力情報などの種々の外部情報を受け付けて、この受け付けた外部情報を制 御部 10に供給することができるものである。なお、入力デバイス 25は、ユーザーから の操作入力を受け付けるものであり、キーボードなどと呼ばれるキー操作部やマウス などのポインティングデバイス、ボタン、タツチパネルなどをも含むものである。
[0022] また、記憶装置部 30は、新たな楽曲（音声コンテンツデータ）を生成するために必 要になるデータやプログラムを記憶保持するものである。すなわち、この実施の形態 の再生装置の記憶装置部 30は、例えば、ハードディスクドライブであり、内蔵するハ ードディスクには、素材データ記憶部 31、素材データベース記憶部 32、再構成法則 データベース記憶部 33、アルゴリズム実装プログラム記憶部 34などを備え、種々の 情報を記憶保持している。 [0023] また、表示装置部 40は、例えば、 LCD (Liquid Crystal Display)、 PDP (Plasma Dis play Panel)、有機 EL (Organic Electro luminescence Panel)、 CRT (Cathode-Ray Tu be)等の表示素子と、当該表示素子のコントローラなどを備え、各種のメッセージ情報 などの画像情報を表示するものである。また、出力部 50は、音声出力装置部 51と、 DZA変換部 52とを備えたものであり、この実施の形態の再生装置において、新た に生成 (構成)された音声コンテンツデータに応じた楽曲を音声として放音するため のものである。
[0024] そして、この実施の形態の再生装置において、記憶装置部 30の素材データ記憶 部 31には、新たな楽曲を構成するための素材データとなる多数の音声コンテンツデ ータが記憶されている。ここで、素材データとなる音声コンテンツデータは、上述もし たように、楽曲を構成する音声コンテンツデータを、楽器パート毎や小節毎などに細 分ィ匕することにより（小分けすることにより）形成されるものである。もちろん、素材デー タとして、所定の楽器のパート部分のみを新たに録音するなど、素材データを独立し て形成し、これを記憶保持することもできるよう〖こされる。
[0025] また、素材データベース記憶部 32には、素材データ記憶部 31に記憶されている素 材データを特定することが可能な識別子と、多数の素材データのそれぞれ毎に付随 する付加データとが対応付けられて記憶されて 、る。素材データベース記憶部 32の 付加データと、素材データ記憶部 31の各素材データとは、予め決められた識別子に より、相互に関連付けられ、付加データから素材データを特定したり、素材データか らその素材データに対応する付加データを特定したりすることができるようにしている
[0026] また、再構成法則データベース記憶部 33には、どのような場合に、どのような素材 データを、どのように用いて、再構成処理することにより新たな楽曲を生成するかを示 す再構成法則情報 (法則情報)などが記憶されている。なお、ここで用いた再構成と いう文言の「再」の意味は、「同じものをふたたび」という意味ではなぐ新たな楽曲の 構成を「繰り返し行える」 t 、う意味である。
[0027] また、アルゴリズム実装プログラム記憶部 34には、新たな楽曲を構成する処理を行 う場合に実行されるプログラムが格納されて 、る。このプログラムのアルゴリズムにお いても、どのような場合に、どのような素材データを、どのように用いるかについて、変 更ゃ調整を行うこともできるよう〖こされる。
[0028] なお、ここでは記憶装置部 30は 1つしか示していないが、いくつかの記憶装置部（ 記録媒体）に素材データ記憶部 31、素材データベース記憶部 32、再構成法則デー タベース記憶部 33、アルゴリズム実装プログラム記憶部 34を分散させて設けるように してもよい。すなわち、素材データ記憶部 31、素材データベース記憶部 32、再構成 法則データベース記憶部 33、アルゴリズム実装プログラム記憶部 34のそれぞれを異 なる記憶装置部（記録媒体）に設けるようにしてもよいし、いくつかをまとめて同じ記憶 装置部に記憶させるようにしてもよい。
[0029] そして、この実施の形態の再生装置においては、制御部 10に接続された入力デバ イス 25を通じて、ユーザーからの音声再生指示入力を受け付けると、制御部 10は、 生体情報センサ 21を通じて受け付けた生体情報やユーザーの動き情報は、 AZD 変換部 22を通じて制御部 10に供給され、環境情報センサ 23を通じて受け付けた環 境情報は、 AZD変換部 24を通じて供給される。また、入力デバイス 25を通じて受け 付けたユーザー力もの入力情報も制御部 10に供給される。
[0030] 制御部 10の CPU11は、記憶装置部 30のアルゴリズム実装プログラム記憶部 34に 記憶されて 、るアルゴリズムを読み出して実行し、このアルゴリズムにしたがって素材 の属性、入力デバイス 25からの入力情報や生体情報センサ 21や環境情報センサ 2 3からの入力情報などの外部情報を再構成法則データベースと照らし合わせながら、 素材データ記憶部 31から必要な素材データを抽出し、この抽出した素材データ (音 声コンテンツデータ）を上述したアルゴリズムや再構成法則データベース記憶部 33 の法則情報に基づいて再構成処理することによって新たな楽曲を生成する。
[0031] なお、後述もするが、素材データベース記憶部 32を介して、同じ付加データを有す る複数の素材データを抽出し、これを再構成法則データベース記憶部 33の法則情 報にしたがって処理することにより、新たな楽曲を生成し、これを再生することもできる ようにされる。すなわち、この実施の形態の再生装置は、自己の記憶装置部 30に備 える多数の素材データの中力 必要となる素材データを、素材データベース記憶部 32や再構成法則データベース記憶部 33を介して抽出し、これを再構成法則データ ベース記憶部 33の法則情報や再構成アルゴリズムに応じて処理し、新しい楽曲（音 声コンテンツ)を生成 (構成）して、これを再生することができるようにして ヽる。
[0032] [付加データの詳細]
次に、この実施の形態の再生装置で用いられる素材データに付随する付加データ につ 、て説明する。予め素材データ記憶部 31に記憶保持されて 、る素材データを 柔軟に利用して、新たな楽曲を自由に生成するために、素材データとしての音声コン テンッデータのそれぞれにつ 、て、その素性を表すための付加データが付加される
[0033] 換言すれば、付加データは、多数の素材データの中から目的とする素材データを 抽出するための索引（インデックス）となるものである。この付加データ力 図 2に示し た再生装置の記憶装置部 30の素材データベース記憶部 32に記憶保持され、この付 加データを介して、目的とする素材データを抽出して、新たな楽曲の構成に利用する ことができるようにされる。以下、素材データとしての音声コンテンツデータに付随す る付加データについて詳述する。
[0034] 付加データは、大きく分けると、（1)素材データとしての音声コンテンツデータの楽 音情報 (楽曲情報)と時間情報、 (2)素材データとしての音声コンテンツデータの人 物情報、（3)感性情報、（4)環境情報、（5)生体情報がある。これら 5つに分類される 付加データのそれぞれにつ ヽて説明する。
[0035] (1)素材データとしての音声コンテンツデータの楽音情報と時間情報について
(1)の付加データは、素材データの楽音情報と、それがどれ位の時間的長さを有 するかを示す時間情報とが対応付けられたものである。楽音情報は、素材データを 再生することにより得られる楽音 (音声）についての情報である。具体的には、素材デ ータを再生することにより得られる音声についての、スケール (キー）、コード、テンポ 、 BPM (Beats Per Minute)と呼ばれる 1分間あたりの拍数、ビート情報（ドラムパター ン)、拍子、小節数、音量、音符'休符情報、ループ情報、ジャンル情報、楽器情報、 地域情報などの情報である。
[0036] ここで、スケール（キー）は、 Cメジャースケール、あるいは、ハ長調、ニ長調などの楽 曲の主音の位置に応じて決まる楽曲の特性であり、コードは、 C、 Am、 Em7などの 楽曲の和音（コード）である。これら、スケールやコードが素材データである音声コン テンッデータの途中で変化する場合には、その変化する位置情報 ·時間情報 (デー タの先頭からのオフセット情報)なども含められる。
[0037] テンポは、楽曲進行の速さであり、 BPMは、上述もしたようにように 1分間あたりの 拍の数であり、ビート情報は、ここではドラムのリズムパターン（ドラムパターン)である 。 BPMの場合、例えば、 1分間に 120拍であるときには、 120BPMなどと表現される 。また、リズムパターンとして、 バスドラム、スネアドラムのアタック音が入る位置情報' 時間情報 (データの先頭力 のオフセット情報)なども含められる。
[0038] 拍子は、 2拍子、 3拍子などのように楽曲においてひとまとまりとなるリズムの基礎を なす拍の数であり、例えば、 3Z4 (4分の 3)拍子、 4Z4 (4分の 4)拍子などのように 表現されるものである。小節数は、上述した拍子で何小節分になるのかを示す情報 であり、例えば、 1小節分、 2小節分などのように表現されるものである。
[0039] 音量（peak, loudness)は、音の大きさのピークや強さ（レベル）などであり、素材デー タごとの音量のばらつきを揃えるなどのために用いることができる情報である。音符' 休符情報は、例えば、 MML(Music Macro Language)や MIDI信号などで記述された 素材データを再生することにより得られる音声を構成する音符や休符を表す情報で あり、例えば、素材データの音符 ·休符の情報を抽出するために用いる。
[0040] ループ情報は、例えば、 Loop (ループ）、 OneShot (ワン.ショット）などの当該素材 データが、ループ可能な素材か、一度だけ演奏されることを期待しているものかを表 すものである。ループ可能な素材データは、当該素材データ (音声コンテンツデータ )の最後と最初を切れ目がないように繋いでも、ノイズが発生せず、テンポが狂わず、 聴覚的に不自然になることがないものである。
[0041] ジャンル情報は、例えば、ジャズ (Jazz)、ロック（Rock)、テクノ（Techno) · · ·などの素 材データが属するジャンルを示す値または文字列である。楽器情報は、例えば、リズ ム楽器（ドラム、パーカッション）、ギター、ベース、ピアノ…などの用いられている楽器 の種類を示す情報である。ドラム系の楽器や特に音階のない効果音の場合には、ピ ツチ変換をする必要がな 、（逆にしては 、けな 、場合が多 、)ため、この情報を元に ピッチ変換に適応をする素材データ力否かを決定することが可能となる。また、再構 成時の楽器のバランスや種類を決定する場合などにおいても用いることができる。
[0042] 地域情報は、例えば、インドネシア、 沖縛、イングランド…など、素材データが、ある 地域と密接に関連している場合に、その地域を表す情報である。例えば、インドネシ ァのガムラン音楽の素材データや沖縛音階の素材データなどを区別するためのもの である。
[0043] このような、各種の楽音情報とその継続時間を示す時間情報とを組み合わせて付 加データの一部とすることによって、各素材データがどのような音声をど; |1 ^立の時間 発するものである力 すなわち、各素材データの素性や性質を正確に把握し、適切 に処理することができるよう〖こされる。
[0044] (2)素材データとしての音声コンテンツデータの人物情報について
この（2)の人物情報には、作曲者情報、演奏者情報、録音者情報、素材グループ 情報などがある。作曲者情報は、素材データを再生することにより得られる旋律の作 曲者を示すものである。この情報は、特定の作曲者の素材データだけを集めて、新 たな楽曲を構成する場合などにおいて利用可能なものである。この作曲者情報は、 主には作曲者の氏名、芸名、筆名などの作曲者を特定することが可能な情報である 。しかし、これに限るものではなぐ作曲者が属するグループ名、作曲者の出身地や 活動地域などを示す地域情報、作曲者の年齢や性別など、作曲者に関する種々の 情報を含ませるようにしてもょ ヽ。
[0045] 演奏者情報は、素材データを再生することにより得られる旋律を実際に演奏した演 奏者を示すものである。ある演奏者の素材データだけを集めて曲として構成したい場 合などに利用可能である。この演奏者情報もまた、主には演奏者の氏名、芸名など の演奏者を特定することが可能な情報である。しかし、これに限るものではなぐ演奏 者が属するグループ名、演奏者の出身地や活動地域などを示す地域情報、演奏者 の年齢や性別など、演奏者に関する種々の情報を含ませるようにしてもよい。
[0046] 録音者情報は、素材データを録音した録音エンジニアの情報である。ある録音ェン ジユアが録音した素材だけを集めて曲として構成したい場合などに利用可能である。 この録音者情報についても、主には録音者の氏名、芸名などの録音者を特定するこ とが可能な情報である。しかし、これに限るものではなぐ録音者が属するグループ名 、録音者の出身地や活動地域などを示す地域情報、録音者の年齢や性別など、演 奏者に関する種々の情報を含ませるようにしてもよ 、。
[0047] 素材グループ情報は、例えば、沖縛民謡素材、パーカッショングループ · · ·などのよ うなひとまとまりとなる素材データのグループを示す情報である。すなわち、素材デー タは、単独で提供される場合もあるが、複数の素材のアーカイブとして提供される場 合もある。素材データがどの素材データと一緒に提供されたかと ヽぅグループを識別 するための IDもしくは文字列が素材グループ情報である。この素材グループ情報を 用いることにより、ある特定の素材群を用いた楽曲の構成が可能となる。
[0048] (3)感性情報について
(3)の感性情報は、素材データを人の主観的な感性によって分類するために付カロ するものである。素材データを再生することにより得られる音声についての、例えば、 「明る 、」、「悲し 、」などと 、つた当該音声が聴取者に与えるであろう印象を示す情 報や、「サビに向いている」、「イントロに向いている」、「BGM (Background Music)に 向 、て 、る」などを示す情報である。
[0049] なお、感性情報は、例えば、「明る!/、： 7」、「悲 、： 8」などのように、システムで予め 決められた印象や感じ方の分類とそれに対する点数付けのようにして表現するように してもよいし、また、自由な文字列やキーワードによって表現し、システム側やユーザ 一がそれを解釈できるようにしておくようにしてもよ!、。この付加データがあることで、 感性情報が「明るく元気な」である素材データだけを利用して新たな楽曲を構成した り、感性情報力 ^悲しい」である素材データだけを利用して新たな楽曲を構成したりす ることがでさる。
[0050] また、上述のような感性情報は主観的なものであり、例えば素材データの提供者が 前もって設定してぉ ヽた感性情報 (値や文字列として設定された感性情報)が、素材 データを実際に利用するユーザーにとってあてはまらない可能性がある。このため、 感性情報については、素材データを利用するユーザー自身が書き換えできるように しておく。つまり、素材データベース記憶部 32の各素材データの感性情報を再生装 置の入力デバイス 25を通じて変更できるようにしておく。このようにしておくことによつ て、ユーザーの感性に合致した感性情報を各素材データに対して設定することが可 能となる。
[0051] (4)環境情報について
(4)の環境情報は、その素材データが関連づけられるとよいであろう環境に関する 情報であり、基本的には素材データの提供者がその判断にぉ 、て付加するものであ る。この環境情報についても、上述した感性情報と同様に、素材データを利用するュ 一ザ一が変更することができるようにされる。
[0052] 以下においては、環境情報の説明を容易にするために、環境情報をいくつかの力 テゴリに分類しして説明する。環境情報は、例えば、気候 ·時間に関する情報、動き に関する情報、位置に関する情報、人物に関する情報、その他の情報というように、 大きく 5つのカテゴリに分類することができる。
[0053] 気候'時間に関する情報は、素材データを再生することにより得られる音声力 Sもつ 属性で、気候や時間に関するものである。具体的には、気温、湿度、天気、風速、日 付、時刻、季節、積雪量、降雨量などに関するものである。例えば、ある素材データ による音声が「夏の晴れた日の夜」をイメージするものである場合、「季節：夏」、「天気 ：晴れ」、「時刻：夜」という気候 '時間に関する情報が付加される。また、ある素材デー タによる音声が「蒸し暑い夜」と関連するものである場合、「気温:比較的に高い」、「 湿度：高い」、「時刻：夜」などと 、う気候 ·時間に関する情報が付加されることになる。
[0054] 動きに関する情報は、素材データを再生することにより得られる音声がもつ属性で、 動きに関するものである。具体的には、移動速度、加速度、振動、重力変化などに関 するものである。例えば、ある素材データによる音声が「疾走感がある激しいリズム」で ある場合などに、移動速度や振動のパラメータを適切な値に設定することで表現する ことが可能となる。
[0055] 位置に関する情報は、素材データを再生することにより得られる音声力もつ属性で 、位置に関するものである。具体的には、緯度、経度、地図情報、周囲の物体情報、 海抜などに関するものである。例えば、地図情報や周囲の物体情報を用いることによ つて、「海の近く」や「渋谷系」などの属性を素材データに対して付加することができる
[0056] 人物に関する情報は、素材データを再生することにより得られる音声力もつ属性で 、人物（の関係性)や団体に関するものである。具体的には、特定の関係にある人物
、団体などに関するものである。例えば、「恋人といるとき」、「家族といるとき」、「満員 電車の中で」というようなシチュエーションに関する情報を素材データに対して付加す ることがでさる。
[0057] その他の情報としては、上述した情報以外の種々の情報、例えば、月齢、匂い、騒 音レベル、大気汚染度、周辺の色などの様々な情報が環境情報として考えられる。 例えば、素材データを再生することにより音声力 Sインド風の旋律であれば、匂いとして 「カレー」の環境情報を付加しておくなどのことが考えられる。
[0058] なお、上述した種々の環境情報は、文字列により表現するようにしてもよいし、数値 化して表現するようにしてもょ ヽ。
[0059] (5)生体情報について
(5)の生体情報は、上述した環境情報と同じように、その素材データを再生すること により得られる音声に対して関連付けられるとよいであろう、生体情報に関する情報 を素材データの提供者が付加する。具体的には、発汗、心拍、脈波、呼吸、瞬目、眼 球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気 抵抗、マイクロバイブレーション (MV)、筋電位、血中酸素飽和度 (SP02)などの情報 である。
[0060] 例えば、ある素材データによる音声が「静かにしているとき」をイメージする場合には 、心拍、脈波、呼吸などが低く (少なく)設定され、逆に、ある素材データによる音声が 「心臓がどきどきしたとき」をイメージする場合には、心拍、脈波、呼吸などが高く（多く )設定される。この他、緊張感のある音声の場合に凝視時間を長くしたり、激しい運動 をイメージする音声の場合には、体動を激しい状態にあることを示す情報にしたりす るなどのことを行うことができるようにされる。
[0061] また、この生体情報についても、感性情報や環境情報と同様に、素材データを利用 するユーザーが自己の感覚 '主観に基づいて変更することができるようにされる。
[0062] このように、この実施の形態の再生装置においては、上述のような（1)素材データと しての音声コンテンツデータの楽音情報と時間情報、（2)素材データとしての音声コ ンテンッデータの人物情報、（3)感性情報、（4)環境情報、（5)生体情報が付加デ ータとして、素材データ記憶部 31に記憶されている各素材データと関連付けられて、 素材データベース記憶部 32に記憶されて 、る。
[0063] なお、各素材データには、上述した全ての付加データが必ず付加されなくてもよい 。各素材データに対しては、上述した種々の付加データのうち該当する付加データ が存在する場合にのみ付加するようにされる。例えば、人物情報などは、作曲者、演 奏者、録音者などが不明である場合には付加されない。また、感性情報、環境情報、 生体情報についても、該当する情報がない場合には付加されない。
[0064] そして、上述もしたように、各素材データに付随する付加データに基づ!/、て、新た な楽曲を構成する場合に必要な素材データを抽出することができるようにされる。
[0065] ifたな楽曲の生成 (再構成)方法につ!、て]
次に、この実施の形態の再生装置にお 、て行われる素材データを用いた新たな楽 曲の生成処理 (再構成処理)の種々の態様について、図 3〜図 7を参照しながら説明 する。新たな楽曲を生成 (再構成)する場合には、以下に説明するように、素材の結 合、テンポの変更、ピッチの変更、音量の変更、エフェクトの適用、パン設定の変更、 素材のスキップ (抽出）、素材の合成などの各処理を再構成法則にしたがって適用す ることによって新し 、楽曲を構成することができるようにされる。これらの各処理につ!ヽ て説明する。
[0066] 図 3は、素材データの結合処理について説明するための図である。図 3において、 上段が抽出された素材データ A、 B、 C、 Dの各波形であり、下段が素材データ A、 B 、 C、 Dを結合することにより生成した音声データの波形である。図 3の上段に示した ように、抽出した個々の素材データ A、 B、 C、 Dを時間軸方向に重なり合うことがない ように結合し、図 3の下段に示したように連続した音声データ (結合結果 X)を得るよう にする処理が素材データの結合処理である。
[0067] 図 4Aは、素材データのテンポの変更処理を説明するための図である。図 4Aにお いて、上段がテンポ変更前の素材データの波形であり、下段がテンポ変更後の当該 素材データの波形である。このテンポの変更はピッチは変更することなぐテンポのみ を変更するものであり、再生時間は短くなるが音程は変えないようにする処理である。
[0068] 図 4Bは、素材データのピッチの変更処理を説明するための図である。図 4Bにおい て、上段がピッチ変更前の素材データの波形であり、下段がピッチ変更後の当該素 材データの波形である。このピッチの変更はテンポは変更することなぐピッチのみを 変更するものであり、再生時間は同じである力 音程は変えられる処理である。
[0069] 図 4Cは、素材データの音量の変更処理を説明するための図である。図 4Cにおい て、上段が音量変更前の素材データの波形であり、下段が音量変更後の当該素材 データの波形である。この図 4Cに示した例は、素材データについて徐々に音量を下 げた後、音量を徐々に上げるようにした場合を示している。この他、音量を徐々に上 げるようにした後に、音量を徐々に下げるようにしたり、あるいは、音量を頻繁に上下 させたり、あるいは、音量を所定のレベルとなるようにしたりするなどの処理である。
[0070] 図 4Dは、素材データに対してエフェクトを適用する処理を説明するための図である 。図 4Dにおいて、上段がエフェクト適用前の素材データの波形であり、下段がェフエ タト適用後の当該素材データの波形である。この図 4Dに示した例は、素材データに 対してディストーションを掛けるようにした場合の例である。エフェクト処理は、ディスト ーシヨンに限るものではなぐリバーブ、コーラス、イコライザ、ローパスフィルタ（LPF) 処理、ハイパスフィルタ（HPF)処理などの種々のエフェクト処理を適用することが可 能である。また、エフェクト処理は、素材データの全体に適用することも可能であるし 、素材データの一部分に適用することもできる。
[0071] 図 5は、素材データに対するパン設定の変更処理を説明するための図である。図 5 に示した 2つの波形は、同じ素材データから生成した左 (L)チャンネルと右 (R)チヤ ンネルの波形である。このように、素材に対してパン設定を変更して、音源の左右バ ランスを変ィ匕させる。
[0072] この場合においても、素材データの全体あるいは部分的にパン設定を変更すること ができるようにされる。なお、図 5においては、左右 2チャンネルの場合を例にした力 4チャンネル、 5. 1チャンネルなどのいわゆるマルチチャンネルの場合には、音像の 前後、上下などの空間的位置を調整することができるようにされる。
[0073] 図 6は、素材データのスキップ (抽出）処理を説明するための図である。図 6におい て上段は、スキップ前の素材データの波形であり、下段はスキップ後の素材データの 波形である。すなわち、素材データのスキップは、素材データの一部分を読み飛ばし 、必要な部分のみを抽出して利用できるようにする処理である。
[0074] 図 7は、素材データの合成処理を説明するための図である。図 6において、上側 4 つの波形は、素材データ A、 B、 C、 Dの合成前のそれぞれの波形であり、図 6におい て最下段の波形が素材データ A、 B、 C、 Dを合成することによって形成した音声デー タについてのものである。このように、素材データの合成は、複数の素材データを時 間軸を同じにして重ね合わせて新たな音声データを生成する処理である。これによつ て、さまざまな楽器パートやボーカルパートを合成して合奏曲を生成するなどのことが できるようにされる。
[0075] そして、実際に素材データを用い新たな楽曲を生成する場合に、上述した各種の 処理を組み合わせ、また、 2つ以上の処理を同時に適用することにより、様々な楽曲 を生成することが可能となる。例えば、 5種類の楽器の音色 (音声)を録音することに より得られたそれぞれの素材データについて、テンポを「120」に揃えて、コードを「G コード」にし、ギター素材にディストーションをかけた後すベてを合成して、最後にエフ ェクト処理としてリバーブエフェクトをかける等と 、つた処理が可能となり、多数の素材 データを用いることによって、全く新し 、楽曲を生成することが可能となる。
[0076] [再構成法則データベースの内容]
次に、この実施の形態の再生装置が受付部 20を通じて取得する各種の外部情報 や素材データベース記憶部 32の付加データに基づ 、て参照され、新たな楽曲の生 成のために必要になる情報を提供する再構成法則データベース記憶部 33に記憶保 持される情報について説明する。
[0077] 再構成法則データベース記憶部 33には、後述もするように、新たに生成する楽曲 のベースとなる楽曲構成情報と、必要な素材データを抽出する場合の入力キー情報 となる外部情報と素材データに付随する付加データとの関係を示す関係情報および 外部情報などに基づいて選択可能とされる再構成処理内容を示す情報が記憶保持 されている。ここで外部情報は、上述もしたように、この実施の形態の受付部 20のセ ンサ 21, 23や入力デバイス 25を通じて受け付けた情報である。
[0078] そして、ベースとなる楽曲構成情報は、新たに生成する楽曲の骨子となる曲構成を 示すものであり、例えば、コード進行やテンポの情報力もなるものである。この楽曲構 成情報は多数用意されている。例えば、ジャズ調、ロック調、ポップス調、バラード調 など種々のジャンル毎に多数の楽曲構成情報が用意されている。この楽曲構成情報 は、例えば、再生装置の制御部 10がランダムに選択するようにすることもできるし、入 力デバイス 25を通じて入力されるユーザー力もの指示入力に応じて選択するように したり、あるいは、生体情報センサ 21や環境情報センサ 23からの入力情報に基づい て選択したりすることもできるようにされる。
[0079] また、上述した関係情報および再構成処理内容を示す情報のうち、関係情報は、 例えば、図 8に示すような情報として、再構成法則データベース記憶部 33に記憶保 持される。すなわち、図 8は、再構成法則データベースの付加データと外部情報との 関係を示す関係情報を説明するための図である。
[0080] 図 8において、素材番号は、素材データ記憶部 31に記憶保持されている多数の素 材データのそれぞれに付けられている識別子である。この識別子によって、素材デ ータ記憶部 31に記憶されている多数の素材データの内から目的とする素材データを 特定することができる。
[0081] 図 8において、気温属性、体動属性、時刻属性、感性属性は、この実施の形態に お!、て用いられる外部情報および素材データに付随する付加データである。また、 図 8において、「NZA (Not/Applicable)」は、該当データ無しを意味している。そして 、生体情報センサ 21、環境情報センサ 23、入力デバイス 25からの外部情報力 得ら れる属性情報のうち、体動属性が「10以上」、時刻属性が「夜」、感性属性が「静かな 」である場合には、素材番号が 1番の素材データが選択される。
[0082] もちろん、属性情報が一致する素材データは複数存在する場合もあるので、その中 力 他の外部情報などに基づいて用いる素材データを絞り込んだり、また、素材デー タベース記憶部 32の他の付加データから素材データを選択したりすることも行われる 。例えば、ベースとなる楽曲構成情報がロック調のものである場合には、例えば、日 本民謡などのジャンルの異なる素材データは素材データベース記憶部 32の該当デ ータに基づ 、て選択しな 、ようにすることができるようにされる。
[0083] また、再構成処理内容を示す情報は、以下に説明するように、各素材データ毎に、 その素材データをどのように処理するのかを指示する情報であり、結合、テンポ変更 、ピッチ変更、音量変更、エフェクト適用、パン設定の変更、素材のスキップ、素材の 結合などの具体的な処理内容を示す情報である。
[0084] このような種々の情報が、再構成法則データベース記憶部 33に予め記憶保持され ており、この実施の形態の再生装置が取得した上述の外部情報などに基づ 、て参照 し、楽曲構成情報を取得したり、新たな楽曲を生成するために必要な素材データを 特定したり、特定した素材データの処理方法を特定したりすることができるようにして いる。
[0085] たな楽曲の生成処理]
次に、上述したように構成されるこの実施の形態の再生装置において、新たな楽曲 を構成する場合の動作について図 9のフローチャートを参照しながら説明する。上述 もしたように、この実施の形態の再生装置は、携帯型の音声再生装置であり、例えば 屋外で使用されているものとする。この場合、天気は晴天であり、この再生装置のュ 一ザ一は、元気よく歩いているものとする。また、この実施の形態の再生装置は、環 境情報センサ 23として、気温センサ、加速度センサを内蔵しているものとする。
[0086] ユーザーがこの実施の形態の再生装置の電源を入れると、再生装置の制御部 10 は、図 9のフローチャートに示す処理を実行する。そして、制御部 10は、まず初めに 新たに生成する楽曲の骨子となるベースの曲構成を示す情報である楽曲構成情報 を再構成法則データベース記憶部 33より取得し (ステップ S101)、生成する楽曲の テンポを決定する (ステップ S 102)。
[0087] ステップ S101で取得される楽曲構成情報は、上述もしたように、例えば曲のコード 進行やテンポを示す情報力もなるものである。この楽曲構成情報は 1つに限らず多数 記録されている方力 Sバリエーションが増えることになる。この楽曲構成情報の選択は 種々の態様が考えられる。例えば、再生装置の制御部 10がランダムに選択するよう にしてもよいし、センサ 21、 23からの情報や入力デバイス 25からのユーザー力も入 力情報に基づいて選択するようにしてもよい。もちろん、自動選択とユーザーの指示 選択とをユーザーが切り換えることもできるようにされる。
[0088] 楽曲構成情報からテンポが決まると、制御部 10は BPM (Beat Per Minutes)クロック をスタートさせる (ステップ S 103)。これは小節の頭をカウントするために使用されるも のであり、図 2においては図示しなかったが、制御部 10に設けられる時計回路によつ て BPMクロックがカウントされる。素材データを次力も次へと自然につないでいくため には、音楽的に小節の頭で区切ってつないでいくことが大切である。
[0089] 次に、制御部 10は、センサ 21、 23からの入力を取得する。この実施の形態におい ては、まず、気温センサ力もの入力を取得し (ステップ S104)、続いて加速度センサ 力もの入力を取得する（ステップ S105)。この例では気温センサと加速度センサの入 力値である力 ステップ S105における加速度センサ入力値は近傍数秒間の積分値 または平均値などの処理が施されているものである。ここでは、外部情報として、温度 センサ力もの情報と加速度センサからの情報を用いるものとした力 入力デバイス 25 やその他のスィッチなどを使用したユーザーの明示的な入力を取得し、これを考慮 するようにしてちょい。
[0090] ステップ S 104、ステップ S 105においてセンサから取得した入力値をキーとして、再 構成法則データベース記憶部 33を参照し、現在の気温、運動量に適した素材デー タを検索して取得する (ステップ S 106)。すなわち、図 8を用いて説明したように、再 構成法則データベース記憶部 33には、素材データ記憶部 31に記録されて 、る素材 の付加情報と入力キー (外部情報）との関係が記述されている。そこで、入力キーとな る外部情報に基づいて、情報を検索することにより、図 8に示した素材番号を特定し、 この特定した素材番号に基づいて、素材データ記憶部 31から目的とする素材データ を読み出すことになる。
[0091] なお、再構成法則データベース記憶部 33に記憶保持される関係情報の具体的な 記述方式に関しては、図 8に示したように、単純にあるセンサの値に対応する素材の マッチング法則を記述するものであってもよいし、あるいは、素材データをグルーピン グしてあるグループの素材群力 別の素材グループへの状態遷移条件を記述するよ うにした情報であってもよ!/、。
[0092] 同様に、再構成法則データベース記憶部 33には、詳述した結合や合成などの再 構成処理方法と入力キー (外部情報）との関係も記述されており、素材データに対し てどのような信号処理をかけるべきかが記述されている。そして、制御部 10は、再構 成法則データベース記憶部 33から行うべき処理内容を示す情報を取得し (ステップ S 107)、この取得した情報に基づいて、ステップ S106において取得した素材データ に対して再構成信号処理 (構成処理)を行う（ステップ S 108)。
[0093] このステップ S108の処理においては、必ずしも再構成法則データベース記憶部 3 3の情報にのみ従う必要はなぐ実装するアルゴリズムによっては単調さを避けるため に乱数の要素や確率要素などを使用して再構成にノ リエーシヨンを持たせるようにし てもよい。またこのようにアルゴリズムによって処理内容に変化を持たせることは、効 果的に新たな楽曲の生成を行うことが可能となる。つまり、新たな楽曲のバリエーショ ンを持たせることができる。
[0094] そして、信号処理を終えた再構成済みの音声データは DZA変換部 52、音声出力 装置部 (スピーカ部） 51を通じて処理され、再構成済みの音声データに応じた音声 が音声出力装置部 51から放音される (ステップ S109)。なお、再構成済みの音声デ ータは、実際には十分大きな音声バッファにいったん出力され、途切れることがない ように再生処理されることになる。これは、小節の頭で一連の上記処理を行うと音声 が小節の区切りで途切れてしまう可能性があるからであり、ある小節が再生されてい る間に裏で次の小節の音声が準備するようにされる。
[0095] そして、制御部 10は、次の処理対象が小節の先頭になった力否かを判断し (ステツ プ S110)、小節の先頭になったと判断したときには、ステップ S 104からの処理を繰り 返す。また、ステップ S 110の判断処理において、小節の先頭ではないと判断したと きには、ユーザーからの停止要求を受け付けた力否かを判断し (ステップ S 111)、停 止要求は受け付けていないと判断したときには、制御部 10はステップ S 110からの処 理を繰り返すようにする。
[0096] また、ステップ S 110の判断処理において、停止要求を受け付けたと判断したときに は、この図 9に示す処理を終了し、新たな楽曲の生成を終了する。
[0097] このように、この実施の形態の再生装置は、多数の素材データを利用して、いつで も新しい楽曲を生成して、これを再生し、ユーザーに対して提供することができるよう にされる。これにより、ユーザーは、生体情報や環境情報、さらには、自己の入力情 報に応じた新たな楽曲を再構成してこれを聴取することができるようにされる。
[0098] また、ユーザーにとっては毎回異なる楽曲を聴く楽しみができ、またユーザーの要 求や状態にあわせて再構成方法を変えることでより状況に合った楽曲生成が可能と なる。一方、クリエータにとつては、 1曲を完成させるという従来の演奏、録音方法だけ でなぐ素材としてさまざまなフレーズを作曲して、これを録音して売るという新しいビ ジネスモデルができ、クリエータのチャンスも広がる。
[0099] また、音楽レーベル各社にとっても、低迷して!/、ると!/、われる既存の録音媒体だけ でなぐ素材が記録された媒体を売るというビジネスを新たに開拓できる。また、再生 装置を商品化するメーカーにとってみても、新たな音楽再生装置として高付加価値 の新カテゴリの商品として新たな巿場開拓ができる。つまり、この発明を用いることに より、新しい音楽を楽しむ文化が産まれ、ひいては音楽産業全体を活性ィ匕することが できる。
[0100] なお、再構成法則データベースおよび再構成アルゴリズムは本装置の実装者が自 由に決めてよく、これらの部分だけをユーザーに提供することによって、素材および その属性をいっさい変更することなく出力される楽曲が変化することになる。また逆に 、再構成法則とアルゴリズムを変更せずに素材だけを入れ換えることによつても、出 力される楽曲が変化する。したがって、数多くの素材と数多くの法則ベースとアルゴリ ズムによって実質無限の組合わせの楽曲生成が可能となる。
[0101] また、環境情報や生体情報の取得にセンサを使わずに、操作パネル力 ユーザー が明示的にメニューから選んだりキーボードから入力したりするなどしてもよい。
[0102] たなコンテンツの再構成方法の他の例にっ ヽて]
図 9を用いて説明した再構成方法の場合には、用いる素材データを、センサ 21、 2 3からの外部情報に基づいて、再構成法則データベース記憶部 33にアクセスし、こ の再構成法則データベース記憶部 33に記憶保持されて 、る付加データを用いて新 たな音声コンテンツの再構成に用いる素材データを抽出するようにした。しかし、これ に限るものではない。
[0103] 例えば、 1人以上の作曲者を指定して、新たな音声コンテンツを生成しょうとする場 合には、素材データベース記憶部 32の情報を参照して、指定された 1人以上の作曲 者の素材データを抽出し、これを用 、て新たな音声コンテンッを生成するようにして もよい。また、センサ 21、 23からの外部情報や入力デバイス 25を通じて受け付けた ユーザーからの指示入力に基づいて、素材データベース記憶部 32にアクセスし、必 要になる素材データを抽出し、これを用いて新たな音声コンテンツを生成することも できる。
[0104] このように、再構成法則データベース記憶部 33と素材データベース記憶部 32との うちのいずれか一方を用いることによって、新たな音声コンテンツを生成することが可 能である。この場合、どのような楽曲を新たに生成するのかを決めるための重要な情 報である楽曲構成情報については、再構成法則データベース記憶部 32に記憶され ているものを用いるようにしてもよいし、入力デバイス 25を通じて、ユーザーからの指 示入力に応じた楽曲構成情報を用いるようにしてもょ 、。
[0105] また、上述の実施の形態において、再構成法則データベース記憶部 33には、楽曲 構成情報、素材番号と利用対象の付加データと再構成処理内容を示す情報とが関 連付けられた情報が記憶されているものとして説明したが、楽曲構成情報と、その他 の情報とを別の記録媒体に設けるようにしてももちろんよ 、。
[0106] このように、この実施の形態の再生装置は、音楽の素材を PCMまたは圧縮オーデ ィォで記録した記録媒体から素材データおよびその素材の付加データをもとに楽曲 を再生時に再構成して再生することができるようにされる。これにより、同じ素材を使 用したとしても再生のたびに異なる楽曲を生成することができる。
[0107] また、 MIDIデータによる自動作曲と異なり、人間が実際に演奏したフレーズを 1単 位として素材ィ匕しているため、実際の人の演奏を感じることができる。さらに、各フレ ーズは自動的に作曲されるわけではなぐ演奏家、作曲家の感性で「よい」と思うフレ ーズを録音して 、るため、自動作曲ソフトのように「音楽としてお力しくはな 、がよ 、フ レーズでもない」という限界を超えることができる。いわば、作曲家、演奏家の個性を 残すことができるわけである。
[0108] これらの録音素材を再構成可能な情報とともに記録、再生することで柔軟かつ高音 質な楽曲を自動的に再構成することが可能となる。
[0109] [その他]
なお、素材データとしての音声コンテンツデータは、リニア PCMデータ、あるいは、 種々の方式でデータ圧縮された圧縮オーディオデータの!/、ずれであってもよ!/、。ま た、素材データは、リニア PCMデータや圧縮オーディオデータなどの音声データ実 体と再構成に必要な付加データにより構成されることになる。
[0110] また、上述もしたように、素材データと、再構成データベースとはそれぞれ独立に、 追加、変更、削除、一部交換、全部交換などを行うことができるようにされる。
[0111] また、上述した実施の形態においては、記録媒体としてハードディスクを用いている ものとして説明した力 これに限るものではない。光ディスク、光磁気ディスク、磁気デ イスクなどの各種のディスク記録媒体、半導体メモリーなどの種々の記録媒体を用い るようにしてももちろんよい。この場合、素材データと再構成法則データベースが異な る記録媒体に記録するようにされてももちろんよ 、。
[0112] また、上述した実施の形態の再生装置は、携帯型のものとして説明したが、これに 限るものではない。家庭などに据え置かれて利用される設置型の再生装置に適用す ることももちろん可會である。
[0113] また、図 9を用いて説明した処理をプログラム化することによって、このプログラムを 実行可能なパーソナルコンピュータをこの発明による再生装置とすることができ、また 、パーソナルコンピュータにおいて、この発明による方法を実現することもできる。
[0114] また、上述の実施の形態の再生装置においては、新たな音声コンテンツの生成と 再生とをリアルタイムで行うものとして説明した力 これに限るものではない。例えば、 新たな音声コンテンツを予め生成し、これを記憶媒体に記録しておき、この記録媒体 に記録された新たに生成された音声コンテンツを再生するようにすることももちろんで きる。
[0115] また、上述した実施の形態においては、制御部 10において、再構成アルゴリズム、 再構成法則データベースを用い、必要な素材データを用いた再構成処理を行うもの として説明した力 これに限るものではない。新たな音声コンテンツの再構成処理用 に、音声コンテンツデータの処理用の DSP (Digital Signal Processor)を用いるように してちよい。
[0116] また、上述もしたように、利用可能な生体情報としては、発汗、心拍、脈波、呼吸、 瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、 皮膚電気抵抗、マイクロノイブレーシヨン、筋電位、血中酸素飽和度など種々のもの があり、そのそれぞれを検出可能なセンサを設けることはコストがかかる。このため、 例えば、体温センサと脈波センサのみを用いるようにするなど、いくつかの生体情報 に絞って検出して、生体情報を利用するようにしてももちろんよい。
[0117] 同様に、利用可能な環境情報としては、気温、湿度、天気、風速、日付、時刻、季 節、明度、匂い、海抜、積雪量、降雨量、騒音レベル、大気汚染度、緯度、経度、地 図情報、周辺の色、周囲の物体情報、移動速度、加速度、月齢、重力変化、振動、 人物情報など種々のものがあり、その全部を利用可能にすることはコストがかかり好ま しくない場合もある。そこで、上述した実施の形態の再生装置のように、例えば、気温 センサと加速度センサのみを設け、これによつて利用可能な環境情報を得るようにし てももちろんよい。
[0118] また、上述のようにして自動的に生成 (再構成）された音声コンテンツについて、ュ 一ザ一が入力デバイス 25を通じて情報を入力することにより、再構成法則データべ ースの情報を修正、変更したり、あるいは、作成済みの音声コンテンツデータに対し て、手動でアレンジを施したりすることができるようにしておくことによって、ユーザー の好みに合った新たな音声コンテンツをより柔軟に生成することができるようになる。

Claims

請求の範囲
[1] 素材として用いられる多数の音声コンテンツデータを記憶保持する素材記憶手段と 多数の前記音声コンテンツデータのそれぞれ毎に付随し、索引 Z構成情報として の機能を有する付加データを記憶保持する付加データ記憶手段と
を備えるとともに、
外部情報の入力を受け付ける受付手段と、
多数の前記音声コンテンツデータ力 必要なものを抽出して新たな音声コンテンツ を構成する構成処理時に用いる法則情報を記憶保持する法則記憶手段と
の一方あるいは両方を備え、
前記受付手段を通じて受け付けた前記外部情報と前記法則記憶手段の前記法則 情報との一方あるいは両方に基づ!、て、前記付加データ記憶手段の前記付加デー タを介して前記素材記憶手段力 必要な音声コンテンツデータを抽出するとともに構 成処理を行って、新たな音声コンテンツを生成する構成処理手段を備えることを特徴 とするコンテンッ生成装置。
[2] 請求項 1に記載のコンテンツ生成装置であって、
前記付加データ記憶手段は、テンポ、スケール、コード、拍子、小節数、音量、音符 •休符列、ループ情報、ジャンル情報、楽器の種類、地域情報、作曲者情報、演奏者 情報、録音者情報、素材グループ情報、感性情報、生体情報、環境情報のうち少な くとも 1つ以上を含む前記付加データを記憶保持することを特徴とするコンテンツ生 成装置。
[3] 請求項 2に記載のコンテンツ生成装置であって、
前記付加データ記憶手段は、人間の気分、情動、感情を表現する数値または Zお よび文字列により記述された情報を前記感性情報として前記付加データに含めて記 憶保持することを特徴とするコンテンツ生成装置。
[4] 請求項 2に記載のコンテンツ生成装置であって、
前記付加データ記憶手段は、前記付加データに含まれる前記生体情報として、発 汗、心拍、脈波、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、 体動、体位、皮膚温度、皮膚電気抵抗、マイクロバイブレーション、筋電位、血中酸 素飽和度のうち少なくとも 1つ以上を記憶保持することを特徴とするコンテンツ生成装 置。
[5] 請求項 2に記載のコンテンツ生成装置であって、
前記付加データ記憶手段は、前記付加データに含まれる前記環境情報として、気 温、湿度、天気、風速、日付、時刻、季節、明度、匂い、海抜、積雪量、降雨量、騒音 レベル、大気汚染度、緯度、経度、地図情報、周辺の色、周囲の物体情報、移動速 度、加速度、月齢、重力変化、振動、人物情報、のうち少なくとも 1つ以上を記憶保持 することを特徴とするコンテンツ生成装置。
[6] 請求項 2に記載のコンテンツ生成装置であって、
前記付加データに含められる前記ジャンル情報、前記生体情報、前記感性情報、 前記環境情報のうちの 1つ以上についての変更指示入力を受け付ける変更指示入 力受付手段を備え、
前記ジャンル情報、前記生体情報、前記感性情報、前記環境情報のうちの 1っ以 上について任意に変更ができることを特徴とするコンテンツ生成装置。
[7] 請求項 1に記載のコンテンツ生成装置であって、
前記受付手段として、生体情報の検出受付手段と、環境情報の検出受付手段と、 ユーザーからの指示入力を受け付ける指示入力受付手段と、感性情報の入力を受 け付ける感性情報受付手段とのうちの 1つ以上を備えることを特徴とするコンテンツ 生成装置。
[8] 請求項 7に記載のコンテンツ生成装置であって、
前記生体情報の検出受付手段は、発汗、心拍、脈波、呼吸、瞬目、眼球運動、凝 視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、マイ クロバイブレーション、筋電位、血中酸素飽和度のうち少なくとも 1つ以上を検出して 受け付けることを特徴とするコンテンツ生成装置。
[9] 請求項 7に記載のコンテンツ生成装置であって、
前記感性情報受付手段により受け付けられる前記感性情報は、人間の気分、情動 、感情を表現する数値または Zおよび文字列により記述されて用いるようにされること を特徴とするコンテンツ生成装置。
[10] 請求項 7に記載のコンテンツ生成装置であって、
前記環境情報の検出受付手段は、気温、湿度、天気、風速、 日付、時刻、季節、明 度、匂い、海抜、積雪量、降雨量、騒音レベル、大気汚染度、緯度、経度、地図情報 、周辺の色、周囲の物体情報、移動速度、加速度、月齢、重力変化、振動、近くにい る人物情報、の少なくとも 1つ以上を検出して受け付けることを特徴とするコンテンツ 生成装置。
[11] 請求項 1に記載のコンテンツ生成装置であって、
前記構成処理手段は、素材としての音声コンテンツデータに対して、並べ替え、合 成、ピッチ変更、テンポ変更、音量変更、音質変更のうち少なくとも 1つ以上を行うこと を特徴とするコンテンツ生成装置。
[12] 請求項 1に記載のコンテンツ生成装置であって、
前記法則記憶手段にお!、ては、音楽構成情報と上記素材の付加データと上記受 付手段からの前記外部情報のうちの少なくとも 1つ以上を用いて、構成処理の内容を 決定する法則情報を記憶保持することを特徴とするコンテンツ生成装置。
[13] 請求項 1に記載のコンテンツ生成装置であって、
前記構成処理手段にぉ ヽて行われる音声コンテンツの構成処理に対応して、前記 構成処理手段により生成された音声コンテンッをリアルタイムに再生する再生処理手 段を備えたことを特徴とするコンテンツ生成装置。
[14] 請求項 1に記載のコンテンツ生成装置であって、
前記構成処理手段により生成された音声コンテンツを記憶保持する生成コンテンツ 記憶手段と、
前記生成コンテンツ保持手段に保持された音声コンテンツを再生する再生処理手 段と
を備えることを特徴とするコンテンツ生成装置。
[15] 素材として用いられる多数の音声コンテンツデータと、多数の前記音声コンテンツ データのそれぞれ毎に付随し索引 Z構成情報としての機能を有する付加データとを 記憶保持し、 外部力 受け付ける外部情報と、多数の前記音声コンテンツデータ力 必要なもの を抽出して新たな音声コンテンツを構成する構成処理時に用いる法則情報との一方 あるいは両方に基づ 、て、記憶保持されて 、る前記付加データを介して多数の前記 音声コンテンツデータ力 必要な音声コンテンツデータを抽出するとともに構成処理 を行って、新たな音声コンテンツを生成するコンテンツ生成方法。
[16] 請求項 15に記載のコンテンツ生成方法であって、
前記付加データは、テンポ、スケール、コード、拍子、小節数、音量、音符'休符列 、ループ情報、ジャンル情報、楽器の種類、地域情報、作曲者情報、演奏者情報、 録音者情報、素材グループ情報、感性情報、生体情報、環境情報のうち少なくとも 1 つ以上を含むことを特徴とするコンテンツ生成方法。
[17] 請求項 16に記載のコンテンツ生成方法であって、
前記付加データに含められる前記感性情報は、人間の気分、情動、感情を表現す る数値または Zおよび文字列により記述されることを特徴とするコンテンツ生成方法。
[18] 請求項 16に記載のコンテンツ生成方法であって、
前記付加データに含まれる前記生体情報は、発汗、心拍、脈波、呼吸、瞬目、眼球 運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵 抗、マイクロノイブレーシヨン、筋電位、血中酸素飽和度のうち少なくとも 1つ以上を 含むことを特徴とするコンテンツ生成方法。
[19] 請求項 16に記載のコンテンツ生成方法であって、
前記付加データに含まれる前記環境情報は、気温、湿度、天気、風速、日付、時刻 、季節、明度、匂い、海抜、積雪量、降雨量、騒音レベル、大気汚染度、緯度、経度 、地図情報、周辺の色、周囲の物体情報、移動速度、加速度、月齢、重力変化、振 動、人物情報、のうち少なくとも 1つ以上を含むことを特徴とするコンテンツ生成方法
[20] 請求項 16に記載のコンテンツ生成方法であって、
前記付加データに含められる前記ジャンル情報、前記生体情報、前記感性情報、 前記環境情報のうちの 1つ以上についての変更指示入力を受け付けて、
前記ジャンル情報、前記生体情報、前記感性情報、前記環境情報のうちの 1っ以 上について任意に変更ができることを特徴とするコンテンツ生成方法。
[21] 請求項 16に記載のコンテンツ生成方法であって、
前記外部情報として、生体情報と、環境情報と、感性情報と、ユーザーからの指示 入力情報との 1つ以上を含むことを特徴とするコンテンツ生成方法。
[22] 請求項 21に記載のコンテンツ生成方法であって、
前記生体情報は、発汗、心拍、脈波、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の 大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、マイクロバイブレーショ ン、筋電位、血中酸素飽和度のうち少なくとも 1つ以上を含むことを特徴とするコンテ ンッ生成方法。
[23] 請求項 21に記載のコンテンツ生成方法であって、
前記感性情報は、人間の気分、情動、感情を表現する数値または Zおよび文字列 により記述されることを特徴とするコンテンツ生成方法。
[24] 請求項 21に記載のコンテンツ生成方法であって、
前記環境情報は、気温、湿度、天気、風速、日付、時刻、季節、明度、匂い、海抜、 積雪量、降雨量、騒音レベル、大気汚染度、緯度、経度、地図情報、周辺の色、周 囲の物体情報、移動速度、加速度、月齢、重力変化、振動、近くにいる人物情報、の 少なくとも 1
つ以上を含むことを特徴とするコンテンツ生成方法。
[25] 請求項 15に記載のコンテンツ生成方法であって、
前記構成処理は、素材としての音声コンテンツデータに対して、並べ替え、合成、 ピッチ変更、テンポ変更、音量変更、音質変更のうち少なくとも 1つ以上を行うことを 特徴とするコンテンッ生成方法。
[26] 請求項 15に記載のコンテンツ生成方法であって、
前記法則情報は、音楽構成情報と上記素材の付加データと前記外部情報のうちの 少なくとも 1つ以上を用いて、構成処理の内容を指示するものであることを特徴とする コンテンツ生成方法。
[27] 請求項 15に記載のコンテンツ生成方法であって、
構成処理されて新たに生成された前記音声コンテンツをリアルタイムに再生するこ とを特徴とするコンテンツ生成方法。
請求項 15に記載のコンテンツ生成方法であって、
構成処理されて新たに生成された前記音声コンテンツをメモリーに記憶保持し、 前記メモリーに記憶保持された音声コンテンツを再生できるようにしたことを特徴と するコンテンツ生成方法。
PCT/JP2005/015418 2004-09-16 2005-08-25 コンテンツ生成装置およびコンテンツ生成方法 WO2006030612A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP05780942A EP1791111A4 (en) 2004-09-16 2005-08-25 DEVICE AND METHOD FOR CONTAINING CONTENT
US11/661,040 US7960638B2 (en) 2004-09-16 2005-08-25 Apparatus and method of creating content

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-269086 2004-09-16
JP2004269086A JP2006084749A (ja) 2004-09-16 2004-09-16 コンテンツ生成装置およびコンテンツ生成方法

Publications (1)

Publication Number Publication Date
WO2006030612A1 true WO2006030612A1 (ja) 2006-03-23

Family

ID=36059868

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/015418 WO2006030612A1 (ja) 2004-09-16 2005-08-25 コンテンツ生成装置およびコンテンツ生成方法

Country Status (6)

Country Link
US (1) US7960638B2 (ja)
EP (1) EP1791111A4 (ja)
JP (1) JP2006084749A (ja)
KR (1) KR20070059102A (ja)
CN (1) CN101014994A (ja)
WO (1) WO2006030612A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009092970A (ja) * 2007-10-10 2009-04-30 Yamaha Corp 素片検索装置およびプログラム
US7750228B2 (en) 2007-01-09 2010-07-06 Yamaha Corporation Tone processing apparatus and method
US9700333B2 (en) 2014-06-30 2017-07-11 Ethicon Llc Surgical instrument with variable tissue compression

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9818386B2 (en) 1999-10-19 2017-11-14 Medialab Solutions Corp. Interactive digital music recorder and player
JP2006084749A (ja) * 2004-09-16 2006-03-30 Sony Corp コンテンツ生成装置およびコンテンツ生成方法
FR2903804B1 (fr) * 2006-07-13 2009-03-20 Mxp4 Procede et dispositif pour la composition automatique ou semi-automatique d'une sequence multimedia.
JP5225847B2 (ja) * 2006-09-08 2013-07-03 パナソニック株式会社 情報処理端末、音楽情報生成方法、およびプログラム
JP4623028B2 (ja) * 2007-03-20 2011-02-02 ヤマハ株式会社 曲編集装置およびプログラム
WO2008062816A1 (fr) * 2006-11-22 2008-05-29 Yajimu Fukuhara Système de composition de musique automatique
JP5125084B2 (ja) * 2006-12-11 2013-01-23 ヤマハ株式会社 楽音再生装置
JP4613923B2 (ja) * 2007-03-30 2011-01-19 ヤマハ株式会社 楽音処理装置およびプログラム
JP5135982B2 (ja) * 2007-10-09 2013-02-06 ヤマハ株式会社 楽曲加工装置およびプログラム
JP2009244705A (ja) * 2008-03-31 2009-10-22 Brother Ind Ltd ピッチシフトシステムおよびプログラム
US8558100B2 (en) 2008-06-24 2013-10-15 Sony Corporation Music production apparatus and method of producing music by combining plural music elements
JP4651055B2 (ja) * 2008-06-24 2011-03-16 株式会社ソニー・コンピュータエンタテインメント 音楽生成装置、音楽生成方法、及びプログラム
JP4640463B2 (ja) 2008-07-11 2011-03-02 ソニー株式会社 再生装置、表示方法および表示プログラム
DE102008039967A1 (de) * 2008-08-27 2010-03-04 Breidenbrücker, Michael Verfahren zum Betrieb eines elektronischen Klangerzeugungsgerätes und zur Erzeugung kontextabhängiger musikalischer Kompositionen
WO2010041147A2 (en) * 2008-10-09 2010-04-15 Futureacoustic A music or sound generation system
KR20100089526A (ko) 2009-02-04 2010-08-12 삼성전자주식회사 생체 신호를 이용한 음악 생성 장치 및 그 방법
US20110184539A1 (en) * 2010-01-22 2011-07-28 Sony Ericsson Mobile Communications Ab Selecting audio data to be played back in an audio reproduction device
ITPG20120027A1 (it) * 2012-05-21 2013-11-22 Muusa Srl Sistema per la riproduzione di suoni associati a movimenti e relative tecniche di massaggio
JP2013246742A (ja) * 2012-05-29 2013-12-09 Azone Co Ltd 受動型出力装置及び出力データ生成システム
US8878043B2 (en) 2012-09-10 2014-11-04 uSOUNDit Partners, LLC Systems, methods, and apparatus for music composition
GB2506921B (en) 2012-10-14 2015-06-10 Gibbs Tech Ltd Enhanced steering
US8847054B2 (en) * 2013-01-31 2014-09-30 Dhroova Aiylam Generating a synthesized melody
US8927846B2 (en) * 2013-03-15 2015-01-06 Exomens System and method for analysis and creation of music
IES86526B2 (en) 2013-04-09 2015-04-08 Score Music Interactive Ltd A system and method for generating an audio file
JP6295583B2 (ja) * 2013-10-08 2018-03-20 ヤマハ株式会社 音楽データ生成装置および音楽データ生成方法を実現するためのプログラム
KR20150072597A (ko) * 2013-12-20 2015-06-30 삼성전자주식회사 멀티미디어 장치 및 이의 음악 작곡 방법, 그리고 노래 보정 방법
US10854180B2 (en) 2015-09-29 2020-12-01 Amper Music, Inc. Method of and system for controlling the qualities of musical energy embodied in and expressed by digital music to be automatically composed and generated by an automated music composition and generation engine
US9721551B2 (en) 2015-09-29 2017-08-01 Amper Music, Inc. Machines, systems, processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptions
FR3043242A1 (fr) * 2015-11-03 2017-05-05 Univ Grenoble I Joseph Fourier Dispositif de generation de sons musicaux dans une gamme non-harmonique : le dynalophone
US20170131965A1 (en) * 2015-11-09 2017-05-11 Jarno Eerola Method, a system and a computer program for adapting media content
US10349196B2 (en) * 2016-10-03 2019-07-09 Nokia Technologies Oy Method of editing audio signals using separated objects and associated apparatus
JP6492044B2 (ja) * 2016-10-28 2019-03-27 ロレアル ヒトケラチン物質の状態について使用者に知らせるための方法
CN111052221B (zh) * 2017-09-07 2023-06-23 雅马哈株式会社 和弦信息提取装置、和弦信息提取方法及存储器
GB201721061D0 (en) * 2017-12-15 2018-01-31 Pob Enterprises Ltd System for processing music
US10803843B2 (en) 2018-04-06 2020-10-13 Microsoft Technology Licensing, Llc Computationally efficient language based user interface event sound selection
US11127386B2 (en) * 2018-07-24 2021-09-21 James S. Brown System and method for generating music from electrodermal activity data
CN113302679A (zh) * 2019-01-23 2021-08-24 索尼集团公司 信息处理系统、信息处理方法和程序
CN111581402A (zh) * 2019-02-15 2020-08-25 北京京东尚科信息技术有限公司 内容测试素材的生成方法、系统、电子设备、存储介质
US11037538B2 (en) 2019-10-15 2021-06-15 Shutterstock, Inc. Method of and system for automated musical arrangement and musical instrument performance style transformation supported within an automated music performance system
US11024275B2 (en) 2019-10-15 2021-06-01 Shutterstock, Inc. Method of digitally performing a music composition using virtual musical instruments having performance logic executing within a virtual musical instrument (VMI) library management system
US10964299B1 (en) 2019-10-15 2021-03-30 Shutterstock, Inc. Method of and system for automatically generating digital performances of music compositions using notes selected from virtual musical instruments based on the music-theoretic states of the music compositions
WO2021163377A1 (en) 2020-02-11 2021-08-19 Aimi Inc. Music content generation
JP6736196B1 (ja) * 2020-03-06 2020-08-05 株式会社マスターマインドプロダクション 音声再生方法、音声再生システム、およびプログラム
US20240233777A1 (en) * 2021-05-26 2024-07-11 Sony Group Corporation Information processing apparatus, information processing method, information processing program, and information processing system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0313993A (ja) * 1989-06-13 1991-01-22 Ii P R Japan:Kk カーミュージックシンセサイザー
JPH05204387A (ja) * 1992-01-29 1993-08-13 Kawai Musical Instr Mfg Co Ltd 環境適応型音響発生装置
JPH08227297A (ja) * 1994-12-21 1996-09-03 Fujitsu Ltd サウンド・データのマッピング方法及び表示装置
JPH08248953A (ja) * 1995-03-07 1996-09-27 Ekushingu:Kk 音楽再生方法及び装置と、これらのための音楽データベースシステム及び音楽データベース
JP2002117069A (ja) * 2000-07-04 2002-04-19 Sony France Sa シーケンス生成方法
JP2002247697A (ja) * 2001-02-19 2002-08-30 Ad Step:Kk 環境オーディオ放送システムとその放送制御装置
JP2004086189A (ja) * 2002-07-02 2004-03-18 Matsushita Electric Ind Co Ltd 楽曲検索システム

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4399731A (en) * 1981-08-11 1983-08-23 Nippon Gakki Seizo Kabushiki Kaisha Apparatus for automatically composing music piece
US4926737A (en) * 1987-04-08 1990-05-22 Casio Computer Co., Ltd. Automatic composer using input motif information
EP0301790A3 (en) * 1987-07-24 1990-06-06 BioControl Systems, Inc. Biopotential digital controller for music and video applications
US4982643A (en) * 1987-12-24 1991-01-08 Casio Computer Co., Ltd. Automatic composer
US5451709A (en) * 1991-12-30 1995-09-19 Casio Computer Co., Ltd. Automatic composer for composing a melody in real time
JP3303617B2 (ja) * 1995-08-07 2002-07-22 ヤマハ株式会社 自動作曲装置
US5693902A (en) * 1995-09-22 1997-12-02 Sonic Desktop Software Audio block sequence compiler for generating prescribed duration audio sequences
US5627335A (en) * 1995-10-16 1997-05-06 Harmonix Music Systems, Inc. Real-time music creation system
US5990407A (en) * 1996-07-11 1999-11-23 Pg Music, Inc. Automatic improvisation system and method
JP3578464B2 (ja) * 1996-09-13 2004-10-20 株式会社日立製作所 自動作曲方法
US6121532A (en) * 1998-01-28 2000-09-19 Kay; Stephen R. Method and apparatus for creating a melodic repeated effect
JP3541706B2 (ja) * 1998-09-09 2004-07-14 ヤマハ株式会社 自動作曲装置および記憶媒体
JP3484986B2 (ja) * 1998-09-09 2004-01-06 ヤマハ株式会社 自動作曲装置、自動作曲方法および記憶媒体
JP3557917B2 (ja) * 1998-09-24 2004-08-25 ヤマハ株式会社 自動作曲装置および記憶媒体
JP3533974B2 (ja) * 1998-11-25 2004-06-07 ヤマハ株式会社 曲データ作成装置および曲データ作成プログラムを記録したコンピュータで読み取り可能な記録媒体
US7076737B2 (en) * 1998-12-18 2006-07-11 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
JP3533975B2 (ja) * 1999-01-29 2004-06-07 ヤマハ株式会社 自動作曲装置および記憶媒体
TW495735B (en) * 1999-07-28 2002-07-21 Yamaha Corp Audio controller and the portable terminal and system using the same
US7078609B2 (en) * 1999-10-19 2006-07-18 Medialab Solutions Llc Interactive digital music recorder and player
US6392133B1 (en) * 2000-10-17 2002-05-21 Dbtech Sarl Automatic soundtrack generator
US7176372B2 (en) * 1999-10-19 2007-02-13 Medialab Solutions Llc Interactive digital music recorder and player
DE60130822T2 (de) * 2000-01-11 2008-07-10 Yamaha Corp., Hamamatsu Vorrichtung und Verfahren zur Erfassung der Bewegung eines Spielers um interaktives Musikspiel zu steuern
US20010035087A1 (en) * 2000-04-18 2001-11-01 Morton Subotnick Interactive music playback system utilizing gestures
JP3620409B2 (ja) * 2000-05-25 2005-02-16 ヤマハ株式会社 携帯通信端末装置
FI20001592A (fi) * 2000-07-03 2002-04-11 Elmorex Ltd Oy Nuottipohjaisen koodin generointi
JP3666577B2 (ja) * 2000-07-18 2005-06-29 ヤマハ株式会社 コード進行修正装置、コード進行修正方法及び同装置に適用されるプログラムを記録したコンピュータ読取り可能な記録媒体
JP2002032078A (ja) * 2000-07-18 2002-01-31 Yamaha Corp 自動作曲装置、方法及び記録媒体
US6384310B2 (en) * 2000-07-18 2002-05-07 Yamaha Corporation Automatic musical composition apparatus and method
EP1193616A1 (en) * 2000-09-29 2002-04-03 Sony France S.A. Fixed-length sequence generation of items out of a database using descriptors
KR100401012B1 (ko) * 2000-12-15 2003-10-30 김연경 감정상태에 기초한 선곡기능을 가진 음악제공시스템 및 방법
EP1241588A3 (en) * 2001-01-23 2006-01-04 Matsushita Electric Industrial Co., Ltd. Audio information provision system
DE60237860D1 (de) * 2001-03-22 2010-11-18 Panasonic Corp Schallmerkmalermittlungsgerät, Schalldatenregistrierungsgerät, Schalldatenwiederauffindungsgerät und Verfahren und Programme zum Einsatz derselben
WO2002077853A1 (en) * 2001-03-27 2002-10-03 Tauraema Iraihamata Eruera Composition assisting device
US6822153B2 (en) * 2001-05-15 2004-11-23 Nintendo Co., Ltd. Method and apparatus for interactive real time music composition
US6984781B2 (en) * 2002-03-13 2006-01-10 Mazzoni Stephen M Music formulation
US7053291B1 (en) * 2002-05-06 2006-05-30 Joseph Louis Villa Computerized system and method for building musical licks and melodies
US7169996B2 (en) * 2002-11-12 2007-01-30 Medialab Solutions Llc Systems and methods for generating music using data/music data file transmitted/received via a network
EP1489765A3 (en) * 2003-06-17 2005-12-14 Matsuhita Electric Industrial Co., Ltd. Music selection apparatus and music delivery system
JP2006084749A (ja) * 2004-09-16 2006-03-30 Sony Corp コンテンツ生成装置およびコンテンツ生成方法
US7683252B2 (en) * 2005-11-23 2010-03-23 Microsoft Corporation Algorithm for providing music to influence a user's exercise performance
US7728214B2 (en) * 2005-11-23 2010-06-01 Microsoft Corporation Using music to influence a person's exercise performance
US20070137463A1 (en) * 2005-12-19 2007-06-21 Lumsden David J Digital Music Composition Device, Composition Software and Method of Use
FR2903804B1 (fr) * 2006-07-13 2009-03-20 Mxp4 Procede et dispositif pour la composition automatique ou semi-automatique d'une sequence multimedia.
US8101844B2 (en) * 2006-08-07 2012-01-24 Silpor Music Ltd. Automatic analysis and performance of music
US20090071315A1 (en) * 2007-05-04 2009-03-19 Fortuna Joseph A Music analysis and generation method
EP2175403A1 (en) * 2008-10-06 2010-04-14 Sap Ag Method, system and computer program product for composing and executing service processes

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0313993A (ja) * 1989-06-13 1991-01-22 Ii P R Japan:Kk カーミュージックシンセサイザー
JPH05204387A (ja) * 1992-01-29 1993-08-13 Kawai Musical Instr Mfg Co Ltd 環境適応型音響発生装置
JPH08227297A (ja) * 1994-12-21 1996-09-03 Fujitsu Ltd サウンド・データのマッピング方法及び表示装置
JPH08248953A (ja) * 1995-03-07 1996-09-27 Ekushingu:Kk 音楽再生方法及び装置と、これらのための音楽データベースシステム及び音楽データベース
JP2002117069A (ja) * 2000-07-04 2002-04-19 Sony France Sa シーケンス生成方法
JP2002247697A (ja) * 2001-02-19 2002-08-30 Ad Step:Kk 環境オーディオ放送システムとその放送制御装置
JP2004086189A (ja) * 2002-07-02 2004-03-18 Matsushita Electric Ind Co Ltd 楽曲検索システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7750228B2 (en) 2007-01-09 2010-07-06 Yamaha Corporation Tone processing apparatus and method
JP2009092970A (ja) * 2007-10-10 2009-04-30 Yamaha Corp 素片検索装置およびプログラム
US9700333B2 (en) 2014-06-30 2017-07-11 Ethicon Llc Surgical instrument with variable tissue compression

Also Published As

Publication number Publication date
JP2006084749A (ja) 2006-03-30
EP1791111A1 (en) 2007-05-30
EP1791111A4 (en) 2011-12-28
US20080288095A1 (en) 2008-11-20
CN101014994A (zh) 2007-08-08
KR20070059102A (ko) 2007-06-11
US7960638B2 (en) 2011-06-14

Similar Documents

Publication Publication Date Title
WO2006030612A1 (ja) コンテンツ生成装置およびコンテンツ生成方法
JP4306754B2 (ja) 楽曲データ自動生成装置及び音楽再生制御装置
US10790919B1 (en) Personalized real-time audio generation based on user physiological response
JP4713129B2 (ja) 音楽コンテンツの再生装置、音楽コンテンツの再生方法および音楽コンテンツおよびその属性情報の記録装置
JP3573288B2 (ja) キャラクタの表示制御装置、表示制御方法及び記録媒体
Vail The synthesizer: a comprehensive guide to understanding, programming, playing, and recording the ultimate electronic music instrument
KR101233800B1 (ko) 음악 콘텐츠의 재생장치 및 음악 콘텐츠 재생방법
CN102760426B (zh) 使用表示乐音生成模式的演奏数据搜索
JP2006171133A (ja) 楽曲データ再構成装置、楽曲データ再構成方法、音楽コンテンツ再生装置および音楽コンテンツ再生方法
TW200907929A (en) Interactive music training and entertainment system
US20020144587A1 (en) Virtual music system
Chau et al. The emotional characteristics of piano sounds with different pitch and dynamics
JP2004117632A (ja) プレイリスト生成装置、音楽再生装置、音楽配信システム及びその方法、プログラム、記録媒体
JP2007264569A (ja) 検索装置、制御方法及びプログラム
JP2007250053A (ja) コンテンツ再生装置およびコンテンツ再生方法
JP3716725B2 (ja) 音声処理装置、音声処理方法および情報記録媒体
Madison Properties of expressive variability patterns in music performances
JP2007256619A (ja) 評価装置、制御方法及びプログラム
Hynds et al. Innermost echoes: Integrating real-time physiology into live music performances
JP2007304489A (ja) 楽曲練習支援装置、制御方法及びプログラム
Plant Musical FAVORS: Reintroducing music to adult cochlear implant users
US12106743B1 (en) Beat player musical instrument
JP2000099014A (ja) 音楽自動採点装置、音楽自動採点モデル作成装置、音楽自動採点モデル作成方法、音楽自動採点方法、及び、記録媒体
JP2007233078A (ja) 評価装置、制御方法及びプログラム
Civit et al. FAIME: A Framework for AI-Assisted Musical Devices

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1093/DELNP/2007

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2005780942

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 200580030448.7

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 1020077005981

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2005780942

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11661040

Country of ref document: US