[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2015178078A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2015178078A1
WO2015178078A1 PCT/JP2015/057861 JP2015057861W WO2015178078A1 WO 2015178078 A1 WO2015178078 A1 WO 2015178078A1 JP 2015057861 W JP2015057861 W JP 2015057861W WO 2015178078 A1 WO2015178078 A1 WO 2015178078A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
situation
unit
recognition
Prior art date
Application number
PCT/JP2015/057861
Other languages
English (en)
French (fr)
Inventor
村田　誠
直樹 澁谷
純子 高林
裕士 瀧本
佐藤　浩司
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP19192341.6A priority Critical patent/EP3591577A1/en
Priority to CN201911113504.3A priority patent/CN110780707B/zh
Priority to US15/303,391 priority patent/US10311303B2/en
Priority to JP2016520969A priority patent/JP6558364B2/ja
Priority to EP15796082.4A priority patent/EP3147798A4/en
Priority to CN201580023469.XA priority patent/CN106462598A/zh
Publication of WO2015178078A1 publication Critical patent/WO2015178078A1/ja
Priority to US16/381,017 priority patent/US10853650B2/en
Priority to US16/676,477 priority patent/US11244163B2/en
Priority to US17/564,270 priority patent/US11763580B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • SNS social network services
  • the record of one's behavior to the social network service creates an article for the user to post and manages the social network service after attaching image data etc. to the article as necessary This is done by sending data to the management server. For this reason, it may happen that the user is overwhelmed with the current action and forgets to create an article for posting.
  • Patent Document 1 discloses a method of automatically recognizing a user's action and automatically generating an entertainment sentence based on the obtained recognition result. ing.
  • behavior patterns such as “slow walking” and “no wobbling motion” can be obtained as time-series data.
  • the behavior pattern obtained by this method mainly represents the user's actions and states performed in a relatively short time. For this reason, it is difficult to infer specific action contents such as “I bought at a department store today” or “I drank at a hotel restaurant yesterday” from the history of action patterns.
  • the individual behavior itself that forms the behavior pattern obtained by the method described in Patent Document 1 is not intended for the purpose of the user, a sentence generated based on the obtained behavior pattern Even if you post it on social network services, it won't be easy to write something that looks interesting later.
  • articles that appear interesting when posted on social network services are articles on various situations (contexts) surrounding the user, resulting from intricately intermingling individual actions performed by the user. Therefore, in order to further improve the convenience of the user regarding posting to social network services, the situation surrounding the user is recognized, and information representing the situation surrounding the user is automatically obtained based on the recognition result of the situation. It is desirable to realize a technology that can be generated.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a program capable of automatically generating information representing a user's situation.
  • the user environment information is included in the user environment information.
  • a recognition process for performing at least one analysis process of the position information, the image information, and the audio information at a predetermined time interval and recognizing the situation of the user by using the obtained analysis result on the user environment And at least the information representing the situation of the user using the recognition result of the situation by the recognition processing unit and the information representing the emotion of the user in the situation An information processing apparatus is provided that includes a situation candidate information generation unit that generates situation candidate information representing a candidate of a situation.
  • the user environment information is included in the user environment information. Analyzing at least one of the position information, the image information, and the audio information included at a predetermined time interval, and using the obtained analysis result regarding the user environment, recognizes the situation of the user And using the recognition result of the situation, a candidate for the situation of the user including at least information representing the situation of the user and information representing the emotion of the user in the situation. An information processing method is provided that includes generating the represented situation candidate information.
  • the user is based on the user environment information including at least one of position information indicating the position where the user exists, image information related to the user's environment, and audio information related to the environment.
  • the situation of the user is performed by performing analysis processing of at least one of the position information, the image information, and the audio information included in the environment information at a predetermined time interval, and using the obtained analysis result on the user environment.
  • Recognition processing function for recognizing the information, information representing the situation of the user using the recognition result of the situation by the recognition processing function, and information representing the emotion of the user in the situation
  • a situation candidate information generation function for generating situation candidate information that represents a candidate for the situation of the user, and a program for realizing It is subjected.
  • the user's situation is recognized using the analysis result regarding the user environment performed on the user environment information, and the user's situation is recognized using the obtained situation recognition result.
  • the situation candidate information representing the candidate of the situation where the user is placed, including at least the information representing the situation and the information representing the emotion of the user in the situation is generated.
  • FIG. 3 is a block diagram illustrating an example of a hardware configuration of an information processing apparatus according to an embodiment of the present disclosure.
  • FIG. 1 is an explanatory diagram schematically showing the overall configuration of the information processing system according to the present embodiment.
  • the information processing system includes one or a plurality of information processing apparatuses 10 connected to various networks 1 such as the Internet, a wireless communication network, a mobile communication network, and the like.
  • networks 1 such as the Internet, a wireless communication network, a mobile communication network, and the like.
  • N information processing apparatuses 10A to 10N (hereinafter sometimes collectively referred to as “information processing apparatus 10”) are connected to a network 1.
  • the number of information processing apparatuses 10 connected to the network 1 is not particularly limited.
  • An information posting server 3 that manages various information posting services such as a social network system is connected to the information processing system according to the present embodiment via a network 1.
  • various service providing servers 5 may be connected to the network 1, for example, a server that can acquire information about a place, a server that can acquire information about weather, and the like.
  • a server that can acquire information about a location include a GPS (Global Positioning System) server, a server that manages a wireless communication network, and a server that manages a mobile communication network.
  • GPS Global Positioning System
  • the information processing apparatus 10 can transmit and receive various types of information to and from the information posting server 3, the service providing server 5, and the like via the network 1.
  • the type of the information processing apparatus 10 is not particularly limited, and can be realized using a known device.
  • the information processing apparatus 10 may be a portable information terminal that can be carried by the user, such as a mobile phone, a smartphone, a tablet terminal, and a laptop computer.
  • the information processing apparatus 10 may be various cameras such as a digital camera, a camcorder, or the like.
  • the information processing apparatus 10 may be a wearable terminal such as glasses, a watch, various accessories, and the like.
  • the information processing apparatus 10 can also perform processing as described below in cooperation with the information processing server 20 such as various computers and various servers.
  • FIG. 2 is a block diagram schematically illustrating an example of the configuration of the information processing apparatus 10 according to the present embodiment.
  • the information processing apparatus 10 includes an information acquisition unit 101, a recognition processing unit 103, a situation candidate information generation unit 105, a display control unit 107, and a situation information transmission unit 109. And an information update unit 111, an external device cooperation unit 113, and a storage unit 115.
  • the information acquisition unit 101 is realized by, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), an input device, a communication device, a sensor, and the like.
  • the information acquisition unit 101 includes at least one of position information indicating a position where the user carrying the information processing apparatus 10 is present, image information regarding the user's environment, audio information regarding the user's environment, and the like. Acquire user environment information.
  • the information acquisition unit 101 acquires various types of position information, acquires various types of image information such as still images and moving images, and acquires audio information at predetermined time intervals.
  • the information acquisition unit 101 can acquire location information of the user using a GPS server, Wi-Fi, Cell ID, or the like.
  • the information acquisition unit 101 can acquire image information such as a still image or a moving image by using various cameras provided in the information processing apparatus 10. Further, the information acquisition unit 101 can acquire audio information using various microphones provided in the information processing apparatus 10.
  • the information acquisition unit 101 uses various biological sensors provided in the information processing apparatus 10 to check whether or not the user perspires, the user's body temperature and heartbeat, the user's body surface and biological components present in the body, and the like. Can also be acquired as user-specific biometric information.
  • the information acquisition unit 101 can also acquire various user environment information by transmitting and receiving data to and from various service providing servers 5 existing on the network 1.
  • the various user environment information acquired by the information acquisition unit 101 is output to the recognition processing unit 103 to be described later and used for various recognition processes by the recognition processing unit 103.
  • the information acquisition unit 101 recognizes the acquired position information, image information, and audio when a feature amount that characterizes the user's environment satisfies a predetermined condition by a recognition process in the recognition processing unit 103 described later.
  • Information etc. are preserve
  • various user environment information acquired by the information acquisition unit 101 includes a status candidate information generation unit 105, a display control unit 107, a status information transmission unit 109, information
  • the data is output to the update unit 111, the external device cooperation unit 113, and the like and used as appropriate.
  • the recognition processing unit 103 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like. Based on the user environment information acquired by the information acquisition unit 101, the recognition processing unit 103 performs at least one analysis process of position information, image information, audio information, and the like included in the user environment information at a predetermined time interval. . In addition, the recognition processing unit 103 performs a situation recognition process for recognizing the situation of the user by using the obtained analysis result regarding the user environment.
  • the recognition processing unit 103 includes, for example, an image analysis unit 121, a voice analysis unit 123, a place / behavior analysis unit 125, and a situation recognition unit 127, as schematically shown in FIG.
  • the image analysis unit 121 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the image analysis unit 121 analyzes the image information (that is, image data) acquired by the information acquisition unit 101, and recognizes a face, a landscape, a dish, various objects, and the like that exist in an image corresponding to the image data. Or classify image scenes.
  • this image analysis unit 121 further includes a face analysis unit 131, an image scene classification unit 133, a landscape recognition unit 135, a dish recognition unit 137, an object recognition unit 139, and the like.
  • the face analysis unit 131 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the face analysis unit 131 is a processing unit that recognizes whether a human face is included in an image corresponding to image data. By analyzing the image data as needed by the face analysis unit 131, a face detection feature value characterizing whether or not a face exists in the image is calculated. Further, when a face is present in the image, the face analysis unit 131 identifies an area corresponding to the face, who is a person corresponding to the recognized face, and the like. . When the face detection feature amount calculated by the face analysis unit 131 is equal to or greater than a predetermined threshold, image data to be recognized is stored in the storage unit 115 or the like.
  • the face analysis unit 131 can also specify the number, coordinates, and angle of faces, and can detect various attributes such as face detection score, face part position, presence / absence of smile, organism, age, race, etc. It can also be calculated as a feature amount.
  • the image scene classification unit 133 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the image scene classification unit 133 is a processing unit that classifies what kind of scene the image corresponding to the image data is. As the image data is analyzed by the image scene classification unit 133 as needed, a scene classification feature amount indicating what kind of scene the image is classified into is calculated. Further, the image scene classification unit 133 analyzes the image data as needed, so that the place where the user exists (for example, a workplace, a restaurant, etc.) and the situation (driving a car, watching TV, etc.) Is identified. When the scene classification feature amount calculated by the image scene classification unit 133 is equal to or greater than a predetermined threshold, the image data to be recognized is stored in the storage unit 115 or the like.
  • the landscape recognition unit 135 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the landscape recognition unit 135 is a processing unit that recognizes whether or not the image corresponding to the image data is an image of a landscape.
  • the landscape recognition unit 135 analyzes the image data as needed, thereby calculating a landscape detection feature amount that characterizes whether or not a landscape exists in the image.
  • the landscape recognition unit 135 identifies an area corresponding to the landscape or a location corresponding to the recognized landscape.
  • the landscape detection feature amount calculated by the landscape recognition unit 135 is equal to or greater than a predetermined threshold, the image data to be recognized is stored in the storage unit 115 or the like.
  • the landscape recognition unit 135 can also calculate a score as a beautiful landscape as a landscape detection feature amount.
  • the dish recognition unit 137 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the dish recognition unit 137 is a processing unit that recognizes whether or not a portion corresponding to a dish is included in an image corresponding to image data.
  • the dish recognition unit 137 analyzes the image data as needed to calculate a dish detection feature value that characterizes whether or not a dish exists in the image. If a dish exists in the image, the dish recognition unit 137 identifies an area corresponding to the dish, or recognizes a recognized dish category (for example, rice, miso soup, curry rice, pasta, cake). ... etc.).
  • the dish detection feature amount calculated by the dish recognition unit 137 is greater than or equal to a predetermined threshold, the image data to be recognized is stored in the storage unit 115 or the like.
  • the object recognition unit 139 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the object recognition unit 139 is a processing unit that recognizes various objects existing in an image corresponding to image data. As the image data is analyzed at any time by the object recognition unit 139, an object detection feature value that characterizes whether or not various objects are present in the image is calculated. Further, when an object is present in the image, the object recognition unit 139 specifies a region corresponding to the object or specifies the type of the recognized object. When the object detection feature amount calculated by the object recognition unit 139 is equal to or greater than a predetermined threshold, image data to be recognized is stored in the storage unit 115 or the like.
  • the processing results by the respective processing units as described above are output to the information acquisition unit 101, the voice analysis unit 123, the place / behavior analysis unit 125, and the situation recognition unit 127 as needed.
  • each processing unit may perform the image recognition process as described above by using the service providing server 5 that provides an image recognition service connected to the network 1.
  • the voice analysis unit 123 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the voice analysis unit 123 analyzes the voice information (that is, voice data) acquired by the information acquisition unit 101, classifies the voice data, and recognizes the contents of the voice data.
  • the voice analysis unit 123 further includes a voice classification unit 141, a voice recognition unit 143, and the like as shown in FIG.
  • the voice classification unit 141 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the voice classification unit 141 analyzes the voice data acquired by the information acquisition unit 101, and calculates a feature amount related to the voice data. More specifically, the voice classifying unit 141 determines whether the voice data is a conversation, a laughter, a cheer, a plosive (onomatopoeia), a sound representing applause like applause, or music. Audio data classification processing such as whether or not is performed.
  • Such voice data classification processing can be executed, for example, by referring to a voice analysis database or the like stored in advance in the storage unit 115 or by executing a voice analysis program or the like.
  • the voice classification unit 141 may also analyze the volume of the voice data, for example, convert the volume into a numerical value and output it. In addition, the voice classification unit 141 determines whether the voiced person is a man, a woman, or a child if the voice data is generated by a person such as a conversation or a laughter. Can also be analyzed. These analyzes can be performed, for example, by analyzing the amplitude of the corresponding waveform, the frequency of the audio data, etc. with reference to a spectrum representing the audio.
  • various feature amounts for example, conversation detection feature amount, laughter detection feature amount, cheer detection feature amount, onomatopoeia detection feature amount, music detection feature amount regarding the speech data calculated by the speech classification unit 141. , Etc.
  • a predetermined threshold value for example, conversation detection feature amount, laughter detection feature amount, cheer detection feature amount, onomatopoeia detection feature amount, music detection feature amount regarding the speech data calculated by the speech classification unit 141. , Etc.
  • audio data to be recognized is stored in the storage unit 115 or the like.
  • the voice recognition unit 143 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the voice recognition unit 143 analyzes the voice data by known voice recognition processing and language recognition processing, converts the contents of the voice data into text data, or recognizes the contents of the voice data itself. Thereby, the contents of the voice data and various words included in the voice data can be specified.
  • the processing results by the respective processing units as described above are output to the information acquisition unit 101, the image analysis unit 121, the place / behavior analysis unit 125, and the situation recognition unit 127 as needed.
  • the voice analysis unit 123 may perform the voice recognition process as described above by using the service providing server 5 that provides a voice recognition service connected to the network 1.
  • the place / behavior analysis unit 125 included in the recognition processing unit 103 will be described.
  • the place / behavior analysis unit 125 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the place / behavior analysis unit 125 analyzes the position information acquired by the information acquisition unit 101 and the output information from the acceleration sensor, etc., and determines the location where the user exists and the content of the action performed by the user. Identify.
  • the location / behavior analysis unit 125 further includes an action recognition unit 151, a location information acquisition unit 153, a weather information acquisition unit 155, and the like as shown in FIG.
  • the action recognition unit 151 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the behavior recognition unit 151 analyzes the position information acquired by the information acquisition unit 101 and the output information from the acceleration sensor and the like, and calculates a feature value that characterizes the user's behavior.
  • the action recognition unit 151 further uses the calculated feature amount to recognize the content of the action being performed by the user. Thereby, the action recognition unit 151 can determine whether the user is staying or moving, or what moving means the user is moving.
  • the action recognition unit 151 is walking, running, stationary, jumping, moving by elevator, moving by car, train or bicycle,... It is possible to grasp the user status such as.
  • FIG. 7 is an explanatory diagram schematically showing an example of behavior analysis processing.
  • the action recognition unit 151 first uses motion sensor data such as acceleration / gyro and performs known signal processing such as average, variance, frequency filter response, and the like on the sensor data, so that the feature amount is obtained from the sensor data. To extract.
  • the behavior recognition unit 151 uses known machine learning / pattern recognition techniques such as boosting method, neural network, hidden Markov model (HMM) method, etc. Vehicles can be recognized.
  • HMM hidden Markov model
  • the behavior recognition unit 151 uses image data and sound data (or analysis results by the image analysis unit 121 and the sound analysis unit 123) as shown in FIG. 7 in order to further improve the recognition accuracy. Also good.
  • the details of the behavior recognition processing as described above performed by the behavior recognition unit 151 are not particularly limited. For example, a known method as disclosed in JP 2010-198595 is used. Is possible. Moreover, the action recognition unit 151 may perform the action recognition process as described above by using the service providing server 5 that provides the action recognition service connected to the network 1.
  • the location information acquisition unit 153 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the location information acquisition unit 153 analyzes the position information acquired by the information acquisition unit 101 and the output information from the atmospheric pressure sensor etc. while using the service providing server 5 that provides the location acquisition service as necessary.
  • the location information representing the location where the user exists is acquired.
  • FIGS. 8 and 9. 8 and 9 are explanatory diagrams for explaining the location information acquisition process.
  • the location information acquisition unit 153 stores the location information acquired by the information acquisition unit 101 in the storage unit 115 (or various servers existing on the network 1) based on information representing latitude and longitude. Search the location database.
  • a private location database hereinafter abbreviated as “DB” for storing personal locations such as home, work, school, etc., restaurant, coffee shop, station,
  • DB private location database
  • public place DB stores public places such as stores and parks.
  • the location information acquiring unit 153 refers to the private location DB and the public location DB within the range of (latitude / longitude of the current location + several meters to several tens of meters) according to the latitude / longitude error. Then, a place candidate list as shown in FIG. 8 is generated. As shown in FIG. 8, the name of each place and the category are associated with the data representing each place.
  • the location information acquisition unit 153 may determine the altitude (more specifically, a floor such as a building) using the output from the atmospheric pressure sensor or the like, and narrow down the location candidate list. .
  • the location candidate list generated in this way is usually not uniquely determined in an urban area, but becomes a list of several to several tens as shown in FIG.
  • the location information acquisition unit 153 uses image data and audio data (or analysis results by the image analysis unit 121 and the audio analysis unit 123) as shown in FIG. 9 in order to recognize and confirm the location. To do.
  • the location information acquisition unit 153 uses a technique for classifying scenes from image data (for example, generating a discriminator using machine learning from a large amount of image data collected in advance), a restaurant, a coffee shop, a station, a store, etc. Classify scenes such as parks, homes, workplaces, and schools, and calculate the score of each scene.
  • the image scene classification may use depth / depth information as the feature amount in addition to the color / luminance.
  • the location information acquisition unit 153 classifies voice scenes such as conversation, laughter, and music using a technique for classifying voice (for example, collecting a sample in advance and generating a discriminator by machine learning). The score of the audio scene is calculated.
  • the location information acquisition unit 153 inputs the image scene classification score and the audio scene classification score to the location category discriminator. For example, when the “restaurant” is high in the image scene classification score and the “conversation” is high in the voice classification score, the place category discriminator is set as “restaurant” based on the result of statistical learning in advance. Determine.
  • the location information acquisition unit 153 cooperates with the image analysis unit 121 and the voice analysis unit 123 performing the same processing without performing the processing using the discriminator as described above,
  • the analysis results by 121 and the voice analysis unit 123 may be used as appropriate.
  • the location information acquisition unit 153 sorts the generated location candidate list using the determination result of the location category thus obtained.
  • the location determination result changes from “workplace” to “XX cafe”.
  • the location information acquisition unit 153 can acquire location information representing a location where the user exists.
  • the weather information acquisition unit 155 is realized by a CPU, a ROM, a RAM, a communication device, and the like, for example.
  • the weather information acquisition unit 155 uses the service providing server 5 (for example, a weather forecast providing server) that provides a weather information acquisition service or the like, and the weather, maximum temperature, minimum temperature, and precipitation probability of the place where the user exists.
  • Various weather information such as wind speed, humidity, and atmospheric pressure is acquired. Using the weather information acquired in this way, the place / behavior analysis unit 125 can improve the accuracy of the analysis processing to be performed.
  • the processing results by the respective processing units as described above are output to the information acquisition unit 101, the image analysis unit 121, the voice analysis unit 123, and the situation recognition unit 127 as needed.
  • the situation recognition unit 127 included in the recognition processing unit 103 will be described.
  • the situation recognition unit 127 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the situation recognition unit 127 recognizes the situation of the user by using various analysis results regarding the user environment obtained by the image analysis unit 121, the voice analysis unit 123, the place / behavior analysis unit 125, and the like.
  • the “user's situation” means “time”, “place” estimated by performing further recognition processing based on the analysis results regarding “time”, “place”, and “behavior”.
  • meals, shopping, work, meeting people, travel, play, sports, movement, housework, art appreciation, relaxation, sleep, etc. can be mentioned.
  • the situation recognition unit 127 uses the image analysis result, the voice analysis result, the time analysis result, the location analysis result, and the behavior analysis result to perform rule-based processing,
  • the user's situation is recognized by applying a method such as a sequence pattern recognition process.
  • the situation recognition unit 127 outputs information representing the situation recognition result to the situation candidate information generation unit 105 described later every time the situation of the user changes.
  • the situation recognition unit 127 can determine what kind of situation the current time is by using such time information and general prior knowledge. For example, if the day of interest is Monday to Friday, the day of interest can be identified as a weekday, and if it is Saturday or Sunday, it can be identified as a weekend. For example, if the time of interest is 6-11 o'clock, for example, it is determined that it is morning, if it is 12-15, it is determined that it is noon, and if it is 16-18, it is determined that it is evening. From 19 to 5 o'clock, it can be determined that it is night.
  • the situation recognizing unit 127 can also determine the user's usual action pattern based on the user's action history and determine the situation at the time specialized for the user. For example, based on the usual behavior pattern, it is determined that it is commuting time if it is 8:00 to 9:00 on Monday to Friday, and it is determined that it is working time if it is 9:00 to 18:00 on Monday to Friday. It can be judged that it is dinner time if it is ⁇ 21: 00.
  • the image analysis result shown in FIG. 10 can use the analysis result by the image analysis unit 121, and the voice analysis result shown in FIG. 10 can use the analysis result by the voice analysis unit 123. it can. Moreover, the place analysis result and the action analysis result shown in FIG. 10 can use the analysis result by the place / behavior analysis unit 125.
  • the rule-based process applies the IF-THEN rule to each analysis result related to “time”, “place”, and “behavior”, and This is a process for determining that the situation corresponding to the rule matched is the user's situation.
  • this rule-based processing for example, “If you are at work during work hours and are sitting, the user is“ working ””, “At a restaurant at noon, and cooking in the image data. If it exists, the user is “dining”, “If you are walking in the supermarket while you are home, the user is“ shopping ””, “far from the workplace If the user is in a remote place, the user can make a determination such as “traveling”.
  • the time-series pattern recognition process is a kind of machine learning technique such as a hidden Markov model method, and is a method suitable for temporal pattern modeling. It is.
  • a probability model that characterizes each situation is learned in advance using a large amount of learning data, and the input data to the situation recognition unit 127 is substituted into a pre-built probability model, so that the user's It is a method to recognize the situation.
  • the image scene classification result changes from “restaurant ⁇ dish ⁇ face” and the action recognition result changes from “stationary ⁇ stationary ⁇ stationary”.
  • the situation recognition unit 127 determines that the user is “mealing” based on the probability model.
  • the situation recognition unit 127 is based on the probability model. , It is determined that the user is “shopping”.
  • FIGS. 12A and 12B An example of the situation recognition result obtained in this way is shown in FIGS. 12A and 12B.
  • the various recognition results obtained by the recognition processing unit 103 are the analysis processing results obtained by the image analysis unit 121, the voice analysis unit 123, and the place / behavior analysis unit 125, and these analysis processes. It consists of situation recognition results (ie, high level contexts) obtained by combining the results.
  • Information representing the situation recognition results as shown in FIGS. 12A and 12B is output from the situation recognition unit 127 to the situation candidate information generation unit 105 as needed.
  • the situation candidate information generation unit 105 uses the situation recognition result obtained by the recognition processing unit 103 to include at least information representing the user's situation and information representing the user's emotion in the situation.
  • Situation candidate information representing a candidate for the situation is generated.
  • the situation candidate information generation processing by the situation candidate information generation unit 105 will be specifically described with reference to FIGS. 13 to 16.
  • the situation candidate information generated by the situation candidate information generation unit 105 includes at least text data including text data representing a situation and text data representing an emotion, as shown in FIG.
  • the situation candidate information generation unit 105 according to the present embodiment can generate an expression-rich and natural sentence by adding an expression representing emotion.
  • the situation candidate information may include image data and audio data used for analysis.
  • various data representing the situation where the user is placed may be attached.
  • the text data representing the situation automatically generated by the situation candidate information generation unit 105 is “what” and “what” for “when” and “where”. "”.
  • the information obtained from the time recognition result is applied to the part representing “when” in the text data representing the situation, and the information obtained from the place recognition result is applied to the part representing “where”. Is done.
  • information obtained from the face recognition result or voice recognition result is applied to the portion representing “who” in the text data representing the situation, and the portion representing “what” is obtained from the image analysis result. Applied information.
  • not only the information obtained from the action recognition result but also the information obtained from the situation recognition result that has been recognized in a composite manner is applied to the portion representing the “what” in the text data representing the situation.
  • the situation candidate information generation unit 105 appropriately uses the time recognition result to appropriately set the tense of the automatically generated text (ie, present tense, past tense, future tense, etc.). Can be selected.
  • the user environment analysis results and situation recognition results output from the recognition processing unit 103 include analysis results corresponding to so-called 5W1H such as “when”, “where”, “who”, “what”, and “what”. There may be cases where it does not exist. Therefore, as shown in FIG. 14B, the situation candidate information generation unit 105 may appropriately correct the automatically generated sentence to generate a natural sentence when some of the analysis results cannot be obtained. That's fine.
  • the information representing the emotion according to the present embodiment is generated by expressing the emotion felt by the user by simplifying it to N types and switching the sentence candidates according to the situation. Therefore, the situation candidate information generation unit 105 generates text data representing emotion using an emotion expression table as illustrated in FIG.
  • the emotion expression table shown in FIG. 15 the column direction of the table corresponds to emotions simplified to N types (in the case of FIG. 15, three types), and the row direction of the table corresponds to the situation recognition result. Yes.
  • the degree to which the emotion is simplified is not particularly limited, and may be set as appropriate, for example, as shown in FIG. FIG. 16 illustrates a case where the degree of emotion is classified into N types and a case where emotion types are classified into N types.
  • a minimum user input such as a user selecting N types of buttons, or a living body such as sweat, heartbeat, temperature sensor, etc.
  • Emotion sensing using a sensor makes it possible to appropriately generate a sentence reflecting the user's emotion at that time.
  • Such an emotion expression table can be prepared in advance by a known method. Further, the emotion expression table may be personalized using text posted by the user to the social network service, user's remarks, or the like.
  • the situation candidate information generation unit 105 generates situation candidate information based on the situation recognition result and the emotion expression table every time the situation surrounding the user changes by the above method. Thereafter, the situation candidate information generation unit 105 outputs the generated situation candidate information to the display control unit 107 to be presented to the user.
  • the display control unit 107 is realized by, for example, a CPU, ROM, RAM, output device, communication device, and the like.
  • the display control unit 107 provides various processing results including the situation candidate information output from the situation candidate information generation unit 105 to an output device such as a display provided in the information processing apparatus 10 or outside the information processing apparatus 10. Performs display control when displaying on an output device or the like.
  • the recognition result by the recognition processing unit 103 and the situation candidate information generated by the situation candidate information generation unit 105 are stored on the predetermined display screen. It will be displayed at any time in the area.
  • the user of the information processing apparatus 10 can grasp various processing results such as status candidate information automatically generated by the information processing apparatus 10 on the spot.
  • the status information transmission unit 109 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the situation information transmission unit 109 is information that provides a social network service, with the situation candidate information generated by the situation candidate information generation unit 105 selected by the user as the situation information representing the situation of the user. Send to posting server 3. Thereby, only the situation information that the user wants to post is posted to various social network services. As a result, the user can easily post information on the situation surrounding him without preparing himself.
  • the information update unit 111 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the information updating unit 111 is provided in the information processing apparatus 10 for expressing the emotion of the user included in the emotion expression table, the analysis result regarding the user environment by the recognition processing unit 103, the utterance or sentence expression made by the user, and Update using at least one of the outputs from the sensor.
  • FIG. 17 is a block diagram illustrating an example of a configuration of an information update unit included in the information processing apparatus according to the present embodiment.
  • the content of the situation candidate information automatically generated by the situation candidate information generation unit 105 has reality as if the user himself / herself created it.
  • the information update unit 111 includes at least a habit extraction unit 161 and an emotion expression personalization unit 167, and more preferably, a situation determination / situation recognition unit 163, an emotion determination / It further has at least one of the emotion recognition unit 165.
  • the wrinkle extraction unit 161 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the habit extraction unit 161 uses frequently used words and frequently used phrases from usual user statements based on remarks or sentence expressions made by the user (that is, the user's voice or speech converted into text, or sentences created by the user). User habits such as dialects and mustaches are extracted.
  • voice data acquired by a microphone provided in the information processing apparatus 10 voice data acquired by a microphone provided in the information processing apparatus 10, telephone conversation, or the like is used.
  • a text expression made by the user an email created by the user, a content posted to a social network service, or the like is used.
  • the method for extracting user habits from these data is not particularly limited, and various statistical processes, machine learning techniques, pattern recognition techniques, and the like may be applied as appropriate.
  • the information related to the user's habit extracted by the habit extraction unit 161 is output to the emotion expression personalization unit 167.
  • the situation determination / situation recognition unit 163 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the situation determination / situation recognition unit 163 uses the speech or sentence expression made by the user to determine the situation using a dictionary of appearance words for each situation registered in advance, or the analysis result on the user environment by the recognition processing unit 103 To recognize the situation.
  • the situation determination / situation recognition unit 163 can specify in what kind of situation (for example, during a meal, during work, etc.) the user is paying attention or expressing a sentence.
  • the situation determination / situation recognition unit 163 outputs information about the obtained situation to the emotion expression personalization unit 167.
  • the emotion expression personalization unit 167 which will be described later, can personalize emotions according to the situation acquired by the situation determination / situation recognition unit 163 in addition to the user's habit extracted by the habit extraction unit 161. It becomes.
  • the method for determining and recognizing the situation is not particularly limited, and a known method may be used, or by cooperating with the service providing server 5 connected to the network 1, Such determination / recognition processing may be performed. Further, the function of the situation determination / situation recognition unit 163 may be realized in cooperation with the recognition processing unit 103.
  • the emotion determination / emotion recognition unit 165 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the emotion determination / emotion recognition unit 165 uses a speech or sentence expression made by the user to determine an emotion using a dictionary of appearance words for each emotion registered in advance or from a sensor provided in the information processing apparatus 10.
  • the emotion is recognized by using the output (for example, the output related to perspiration, body temperature, heartbeat, etc. from the biosensor).
  • the emotion determination / emotion recognition unit 165 identifies what kind of emotion (for example, was happy or tired) when the remarked speech or sentence expression was focused on? be able to.
  • the emotion determination / emotion recognition unit 165 outputs information about the obtained emotion to the emotion expression personalization unit 167.
  • the emotion expression personalization unit 167 described later in addition to the user's habit extracted by the habit extraction unit 161, it is possible to personalize the emotion according to the emotion acquired by the emotion determination / emotion recognition unit 165. It becomes.
  • a well-known method may be used and by cooperating with the service provision server 5 connected to the network 1, Such determination / recognition processing may be performed.
  • the emotion expression personalization unit 167 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the emotion expression personalization unit 167 uses the information about the user's habits output from the habit extraction unit 161, preferably the information about the situation and emotions, and uses the emotion expression table described in the database regarding the emotion expression table. Customize. As a result, when only the information related to the user's habit output from the habit extracting unit 161 is used, the entire emotion expression table can be said based on knowledge such as “there is a habit of adding“ na ”to the ending”. Can be customized. Also, if you want to use more information about the situation and emotions, customize the wording of the entire emotional expression table based on knowledge such as “When you are happy during a meal, often use the expression“ Maji Umai! ”” be able to.
  • the external device cooperation unit 113 provided in the information processing apparatus 10 according to the present embodiment will be described.
  • the external device cooperation part 113 is implement
  • the external device cooperation unit 113 cooperates with other information processing apparatuses 10 that can communicate with each other to improve or share the generation result of the situation candidate information by the situation candidate information generation unit 105.
  • FIGS. 18 and 19 illustrates external device cooperation performed by the external device cooperation unit according to the present embodiment. It is explanatory drawing for demonstrating a process.
  • the external device cooperation unit 113 includes a grouping unit 171 and a cooperation processing unit 173 as shown in FIG.
  • the grouping unit 171 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the grouping unit 171 uses a face recognition result by the recognition processing unit 103, an address book or the like that is stored in the storage unit 115 or the like of the information processing apparatus 10 and that contains various information related to the user's acquaintances and friends.
  • the other information processing apparatuses 10 that exist together at the place where the information processing apparatus 10 exists are grouped. A plurality of users who have the information processing apparatus 10 sharing the place are likely to participate together in the same event (for example, participate in a dinner party). By grouping the information processing apparatuses 10, it is possible to efficiently improve and share the generation result of the situation candidate information generated by each information processing apparatus 10.
  • the cooperation processing unit 173 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the cooperation processing unit 173 improves accuracy and shares situation candidate information among the plurality of information processing apparatuses 10 grouped by the grouping unit 171.
  • the devices owned by Mr. A and Mr. B generated the situation recognition result “Eating udon”, whereas the device possessed by Mr. C is It is assumed that a situation recognition result of “eating“ ramen ”” is generated and the situation recognition is not performed for some reason on the device owned by Mr. D.
  • the external device cooperation unit 113 of each information processing apparatus 10 cooperates with each other, so that, for example, the recognition result of Mr. C's device is majority voted to improve the situation recognition accuracy as “eating“ Udon ”” Or providing situation recognition results that occupy a large number on Mr. D's device.
  • the cooperation processing unit 173 may not only share the text indicating the situation but also share image data and other various metadata.
  • the storage unit 115 is realized by, for example, a RAM or a storage device included in the information processing apparatus 10 according to the present embodiment.
  • the storage unit 115 stores various content data such as image data and audio data generated by the information processing apparatus 10.
  • the storage unit 115 also stores various object data displayed on the display screen.
  • the object data referred to here includes, for example, arbitrary parts constituting a graphical user interface (GUI) such as icons, buttons, and thumbnails.
  • GUI graphical user interface
  • the storage unit 115 stores various parameters, processing progresses, and various databases and programs that need to be saved when the information processing apparatus 10 according to the present embodiment performs some processing. Are recorded as appropriate.
  • the storage unit 115 can be freely used by the information acquisition unit 101, the recognition processing unit 103, the situation candidate information generation unit 105, the display control unit 107, the situation information transmission unit 109, the information update unit 111, the external device cooperation unit 113, and the like. It is possible to perform read / write processing.
  • each component described above may be configured using a general-purpose member or circuit, or may be configured by hardware specialized for the function of each component.
  • the CPU or the like may perform all functions of each component. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at the time of carrying out the present embodiment.
  • a computer program for realizing each function of the information processing apparatus according to the present embodiment as described above can be produced and installed in a personal computer or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • FIGS. 20A and 20B are explanatory diagrams for describing a modification of the information processing apparatus according to the present embodiment.
  • 20A and 20B illustrate only main components among the processing units included in the information processing apparatus 10 illustrated in FIG.
  • each processing unit of the information processing apparatus 10 according to the present embodiment is distributed to a plurality of devices. You may do it.
  • the functions of the information processing apparatus 10 are realized as a whole system by cooperation of a plurality of devices possessing each processing unit.
  • the recognition processing unit 103 and the situation candidate information generation unit 105 are connected to the network 1.
  • various types of information acquired by the information acquisition unit 101 of the information processing apparatus 10 are transmitted to the information processing server 20 via the network 1, and the information processing server 20 recognizes the recognition processing unit 103 and the situation.
  • the processing of the candidate information generation unit 105 is performed.
  • the information processing apparatus 10 includes an information analysis unit 121, a voice analysis unit 123, and a place that are information processing units 101 and a processing unit that analyzes the user environment among the recognition processing units 103.
  • a behavior analysis unit 125 is implemented.
  • the information processing server 20 connected to the network 1 includes a situation recognition unit 127 and a situation candidate information generation unit 105 in the recognition processing unit 103.
  • the information acquisition unit 101 of the information processing apparatus 10 acquires various types of information, and the image analysis unit 121, the voice analysis unit 123, and the place / behavior analysis unit 125 analyze the various types of information obtained.
  • information representing the analysis result of the user environment is generated.
  • Information representing the analysis result of the user environment is transmitted to the situation recognition unit 127 of the information processing server 20, and after the situation recognition processing is performed, the situation candidate information generation unit 105 generates situation candidate information.
  • FIG. 21 is an explanatory diagram for explaining an example of a display screen of the information processing apparatus according to the present embodiment.
  • an image captured by a camera or the like included in the information processing apparatus 10 is displayed as needed.
  • a region (feature amount score display region) for displaying a feature amount score related to the user environment generated as a result of execution by the recognition processing unit 103 and a situation recognition result are displayed Area (recognition result display area) is provided, and is controlled by the display control unit 107.
  • a face detection frame is displayed at a portion corresponding to the face, and when a dish or object exists, a dish / object detection frame is displayed.
  • the situation candidate information is generated by the situation candidate information generation unit 105 based on the recognition result generated by the recognition processing unit 103, the generated situation candidate information is displayed in the situation candidate information display area as needed.
  • the situation candidate information Since the situation candidate information is generated every time the user's situation changes, a plurality of the situation candidate information generated are displayed in the situation candidate information display area.
  • the display control unit 107 stratifies the situation candidate information display area or displays an object corresponding to the scroll bar as illustrated in FIG. It is preferable to let them.
  • the display control unit 107 may prevent the user from perceiving the feature amount score display area and the recognition result display area.
  • FIGS. 22A and 22B are explanatory diagrams for describing an example of a flow of status candidate information generation processing in the information processing apparatus according to the present embodiment.
  • a display screen as shown in FIG. 22A (a) is displayed, and for any social network service Check if you are willing to post information.
  • preparation for establishing a connection with the information posting server 3 that provides the corresponding social network service is made based on the selection result.
  • the information processing apparatus 10 is an accessory-type wearable terminal such as glasses or buttons worn by a user.
  • the information processing apparatus 10 acquires various image data and audio data.
  • the location information from the position acquisition sensor of the information processing apparatus 10 indicates that “the place where the user exists is a station”.
  • the status candidate information display area of the display screen the status candidate information “I am at XX station” is displayed and a posting icon for starting the posting process to the information posting server 3 is displayed.
  • the status information transmission unit 109 transmits the displayed status candidate information to the information posting server 3 as status information.
  • the recognition processing unit 103 starts recognition processing based on the obtained image information, and when a person is specified, the face detection frame and the recognition result are displayed as shown in the figure. Subsequently, when the situation recognition result by the situation recognition unit 127 is finished, as shown in FIG. 22A (d), the text “I am at XXX station with Mr. A”, the image data showing Mr. A, The situation candidate information associated with is generated.
  • the situation candidate information “I am at XX station” is generated in the situation candidate information display area. It will be.
  • the emotion selection icon When the emotion selection icon is operated by the user, as shown in (g) of FIG. 22B, the expression “Very delicious!” Which is a text representing the emotion is added. Further, when the name of the coffee shop is specified by the recognition processing unit 103, the description representing the place “XX station” in the past is changed to a more granular “XX cake shop”. Furthermore, the image data showing the cake is associated with the text data “Eating cake at the XX cake shop. Very delicious!”. The situation candidate information is automatically generated and accumulated as needed in such a flow.
  • the display control unit 107 can display a graphical keyboard for revising the recognition result (for example, the name “XX cake shop” or the recognition result of the object “cake”) on the display screen, The recognition result may be changed.
  • FIG. 23 is a flowchart illustrating an example of the flow of the information processing method according to the present embodiment.
  • step S101 when an application providing a function as described above is activated (step S101), user information such as position information, image information, audio information, and the like is constantly generated by the information acquisition unit 101. Obtained and output to the recognition processing unit 103.
  • the recognition processing unit 103 analyzes position information, image information, audio information, and the like acquired as needed (step S103), and performs a situation recognition process based on the obtained analysis result of the user environment (step S105). .
  • the situation recognition result generated by the situation recognition unit 127 is output to the situation candidate information generation unit 105.
  • the situation candidate information generation unit 105 generates situation candidate information by using at least the obtained situation recognition result (step S107).
  • the generated status candidate information is displayed on the display screen as needed by the display control unit 107 (step S109).
  • the information processing apparatus 10 determines whether or not a posting operation has been performed by the user (step S111). When the posting operation is not performed by the user, the information processing apparatus 10 returns to step S103 and continues to analyze the user environment information acquired as needed. On the other hand, when the posting operation is performed by the user, the situation information transmission unit 109 performs the posting process by transmitting the situation candidate information selected by the user to the information posting server 3 as the situation information (step S113). .
  • the information processing apparatus 10 determines whether or not the application has been terminated by the user (step S115). When the end operation is not performed by the user, the information processing apparatus 10 returns to step S103 and continues to analyze the user environment information acquired as needed. On the other hand, when the user performs an end operation, the information processing apparatus 10 ends the process.
  • FIG. 24 is a block diagram for describing a hardware configuration of the information processing apparatus 10 according to the embodiment of the present disclosure.
  • the information processing apparatus 10 mainly includes a CPU 901, a ROM 903, and a RAM 905.
  • the information processing apparatus 10 further includes a host bus 907, a bridge 909, an external bus 911, an interface 913, a sensor 914, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • a host bus 907 mainly includes a CPU 901, a ROM 903, and a RAM 905.
  • the information processing apparatus 10 further includes a host bus 907, a bridge 909, an external bus 911, an interface 913, a sensor 914, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 10 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 905 primarily stores programs used by the CPU 901, parameters that change as appropriate during execution of the programs, and the like. These are connected to each other by a host bus 907 constituted by an internal bus such as a CPU bus.
  • the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the sensor 914 is a detection unit such as a sensor that detects a user's movement or a sensor that acquires information indicating the current position.
  • a motion sensor such as a three-axis acceleration sensor including an acceleration sensor, a gravity detection sensor, a fall detection sensor, an angular velocity sensor, a camera shake correction sensor, a geomagnetic sensor, a GPS sensor, and the like.
  • the sensor 914 may be a detection unit that detects biological information unique to the user or various types of information used to acquire the biological information.
  • a detection means for example, a sensor for detecting the user's sweat, a sensor for detecting the user's body temperature and heartbeat, a sensor for detecting the body surface of the user and a biological component existing in the body, and the like can be given.
  • the sensor 914 may include various measuring devices such as a thermometer, an illuminometer, and a hygrometer in addition to the above-described ones.
  • the input device 915 is an operation means operated by the user such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever. Further, the input device 915 may be, for example, remote control means (so-called remote controller) using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA corresponding to the operation of the information processing device 10. 929 may be used. Furthermore, the input device 915 includes an input control circuit that generates an input signal based on information input by a user using the above-described operation means and outputs the input signal to the CPU 901, for example. The user of the information processing apparatus 10 can input various data and instruct a processing operation to the information processing apparatus 10 by operating the input device 915.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and display devices such as lamps, audio output devices such as speakers and headphones, printer devices, mobile phones, and facsimiles.
  • the output device 917 outputs results obtained by various processes performed by the information processing apparatus 10. Specifically, the display device displays results obtained by various processes performed by the information processing device 10 as text or images.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs the analog signal.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 10.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for the recording medium, and is built in or externally attached to the information processing apparatus 10.
  • the drive 921 reads information recorded on a removable recording medium 927 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 905.
  • the drive 921 can write a record on a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the removable recording medium 927 is, for example, a DVD medium, an HD-DVD medium, a Blu-ray medium, or the like.
  • the removable recording medium 927 may be a compact flash (registered trademark) (CompactFlash: CF), a flash memory, or an SD memory card (Secure Digital memory card). Further, the removable recording medium 927 may be, for example, an IC card (Integrated Circuit card) on which a non-contact IC chip is mounted, an electronic device, or the like.
  • CompactFlash CompactFlash: CF
  • flash memory a flash memory
  • SD memory card Secure Digital memory card
  • the removable recording medium 927 may be, for example, an IC card (Integrated Circuit card) on which a non-contact IC chip is mounted, an electronic device, or the like.
  • the connection port 923 is a port for directly connecting a device to the information processing apparatus 10.
  • Examples of the connection port 923 include a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, and the like.
  • As another example of the connection port 923 there are an RS-232C port, an optical audio terminal, an HDMI (High-Definition Multimedia Interface) port, and the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 is, for example, a communication card for a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or other communication devices.
  • the communication network 931 connected to the communication device 925 is configured by a wired or wireless network, and may be, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like. .
  • each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • the position information included in the user environment information based on the user environment information including at least one of position information indicating the position where the user exists, image information related to the user's environment, and audio information related to the environment, the image A recognition processing unit for performing analysis processing of at least one of the information and the voice information at a predetermined time interval, and using the obtained analysis result on the user environment, recognizing a situation of the user; Using the recognition result of the situation by the recognition processing unit, the information on the situation of the user, including at least information representing the situation of the user and information representing the emotion of the user in the situation A situation candidate information generating unit for generating situation candidate information representing candidates;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the recognition processing unit outputs information representing a recognition result of the situation to the situation candidate information generation unit every time the situation of the user changes.
  • the information processing apparatus according to (1) or (2), wherein the information representing the emotion of the user is generated using an emotion expression table provided in advance for each recognized situation.
  • the situation candidate information generation unit includes at least one of the image information and the audio information related to the situation of the user in the situation candidate information, any one of (1) to (3) Information processing apparatus described in one.
  • the recognition processing unit recognizes the situation by using a time series pattern recognition process based on a lapse of time of the analysis result or a rule base process based on a predetermined condition process, using an analysis result on the user environment.
  • the information processing apparatus according to any one of (5).
  • the information processing apparatus according to any one of (1) to (6), further including an information update unit configured to update using at least one of outputs from a sensor provided in the apparatus.
  • the position information included in the user environment information based on the user environment information including at least one of position information indicating the position where the user exists, image information related to the user's environment, and audio information related to the environment, the image Performing analysis processing of at least one of the information and the voice information at a predetermined time interval, and using the obtained analysis result on the user environment, recognizing the situation of the user;
  • a situation representing a candidate of the user's situation including at least information representing the situation of the user and information representing the emotion of the user in the situation using the recognition result of the situation Generating candidate information; Including an information processing method.
  • the position information included in the user environment information based on the user environment information including at least one of position information indicating the position where the user exists, image information related to the user's environment, and audio information related to the environment, the image A recognition processing function that performs analysis processing of at least one of the information and the voice information at a predetermined time interval and recognizes the situation of the user by using the obtained analysis result regarding the user environment;
  • the recognition processing function uses the result of recognition of the situation by the recognition processing function, the information on the situation of the user including at least information representing the situation of the user and information representing the emotion of the user in the situation
  • a situation candidate information generation function for generating situation candidate information representing candidates;

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザのおかれた状況を表わした情報を自動的に生成すること。 【解決手段】本開示に係る情報処理装置は、ユーザの存在する位置を表す位置情報、ユーザのおかれた環境に関する画像情報及び当該環境に関する音声情報の少なくとも何れかを含むユーザ環境情報に基づき、当該ユーザ環境情報に含まれる前記位置情報、前記画像情報及び前記音声情報の少なくとも何れかの解析処理を所定の時間間隔で行い、得られたユーザ環境に関する解析結果を利用して、ユーザのおかれた状況を認識する認識処理部と、前記認識処理部による前記状況の認識結果を利用して、前記ユーザのおかれた状況を表す情報と、当該状況における前記ユーザの感情を表す情報と、を少なくとも含む、ユーザのおかれた状況の候補を表した状況候補情報を生成する状況候補情報生成部と、を備える。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　近年、自分の行動を記録したり、自分の行動を特定多数、又は、不特定多数の人物に公開したりするためのツールとして、インターネットを利用したソーシャルネットワークサービス（Ｓｏｃｉａｌ　Ｎｅｔｗｏｒｋ　Ｓｅｒｖｉｃｅ：ＳＮＳ）等が普及している。
　ここで、ソーシャルネットワークサービスへの自身の行動の記録は、ユーザ自身が投稿するための記事を作成し、必要に応じて画像データ等を記事に添付したうえで、ソーシャルネットワークサービスを管理している管理サーバへとデータを送信することで行われる。そのため、現在行っている行動に夢中になって、投稿するための記事の作成を忘れてしまうなどといったことも生じうる。
　かかる状況を減らすために、例えば下記の特許文献１には、ユーザの行動を自動的に認識し、得られた認識結果に基づいて、エンターテインメント性のある文章を自動的に生成する方法が開示されている。
特開２００８－３６５５号公報
　上記特許文献１に記載の方法を用いることで、「のんびりした歩行」や「せわしない動作」といった行動パターンを、時系列のデータとして得ることができる。しかしながら、この方法で得られる行動パターンは、比較的短時間に行われるユーザの動作や状態を主に表現したものである。そのため、「今日はデパートで買い物をした」、「昨日はホテルのレストランで食事をした」等のような、具体的な行動内容を行動パターンの履歴から推察することは難しい。また、上記特許文献１に記載の方法で得られる行動パターンを形成する個々の行動自体は、ユーザが目的を持って行っているものではないため、得られた行動パターンに基づいて生成された文章をソーシャルネットワークサービスに投稿したとしても、後から見返してみて面白いと思えるような文章にはなりづらい。
　一方、ソーシャルネットワークサービスに投稿して面白いと思えるような記事は、ユーザが行った個々の行動が複雑に絡み合った結果生じた、ユーザを取り巻く様々な状況（コンテキスト）に関する記事である。そこで、ソーシャルネットワークサービスへの投稿に関してユーザの利便性を更に向上させるためには、ユーザを取り巻く状況を認識して、かかる状況の認識結果に基づいてユーザを取り巻く状況を表わした情報を自動的に生成可能な技術を実現することが望ましい。
　そこで、本開示では、ユーザのおかれた状況を表わした情報を自動的に生成することが可能な、情報処理装置、情報処理方法及びプログラムを提案する。
　本開示によれば、ユーザの存在する位置を表す位置情報、ユーザのおかれた環境に関する画像情報及び当該環境に関する音声情報の少なくとも何れかを含むユーザ環境情報に基づき、当該ユーザ環境情報に含まれる前記位置情報、前記画像情報及び前記音声情報の少なくとも何れかの解析処理を所定の時間間隔で行い、得られたユーザ環境に関する解析結果を利用して、ユーザのおかれた状況を認識する認識処理部と、前記認識処理部による前記状況の認識結果を利用して、前記ユーザのおかれた状況を表す情報と、当該状況における前記ユーザの感情を表す情報と、を少なくとも含む、ユーザのおかれた状況の候補を表した状況候補情報を生成する状況候補情報生成部と、を備える情報処理装置が提供される。
　また、本開示によれば、ユーザの存在する位置を表す位置情報、ユーザのおかれた環境に関する画像情報及び当該環境に関する音声情報の少なくとも何れかを含むユーザ環境情報に基づき、当該ユーザ環境情報に含まれる前記位置情報、前記画像情報及び前記音声情報の少なくとも何れかの解析処理を所定の時間間隔で行い、得られたユーザ環境に関する解析結果を利用して、ユーザのおかれた状況を認識することと、前記状況の認識結果を利用して、前記ユーザのおかれた状況を表す情報と、当該状況における前記ユーザの感情を表す情報と、を少なくとも含む、ユーザのおかれた状況の候補を表した状況候補情報を生成することと、を含む情報処理方法が提供される。
　また、本開示によれば、コンピュータに、ユーザの存在する位置を表す位置情報、ユーザのおかれた環境に関する画像情報及び当該環境に関する音声情報の少なくとも何れかを含むユーザ環境情報に基づき、当該ユーザ環境情報に含まれる前記位置情報、前記画像情報及び前記音声情報の少なくとも何れかの解析処理を所定の時間間隔で行い、得られたユーザ環境に関する解析結果を利用して、ユーザのおかれた状況を認識する認識処理機能と、前記認識処理機能による前記状況の認識結果を利用して、前記ユーザのおかれた状況を表す情報と、当該状況における前記ユーザの感情を表す情報と、を少なくとも含む、ユーザのおかれた状況の候補を表した状況候補情報を生成する状況候補情報生成機能と、を実現させるためのプログラムが提供される。
　本開示によれば、ユーザ環境情報に対して実施されたユーザ環境に関する解析結果を利用して、ユーザのおかれた状況が認識され、得られた状況の認識結果を利用して、ユーザのおかれた状況を表す情報と、当該状況におけるユーザの感情を表す情報と、を少なくとも含む、ユーザのおかれた状況の候補を表した状況候補情報が生成される。
　以上説明したように本開示によれば、ユーザのおかれた状況を表わした情報を自動的に生成することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理システムを説明するための説明図である。 同実施形態に係る情報処理装置の構成の一例を示したブロック図である。 同実施形態に係る情報処理装置が有する認識処理部の構成の一例を示したブロック図である。 同実施形態に係る認識処理部が有する画像解析部の構成の一例を示したブロック図である。 同実施形態に係る認識処理部が有する音声解析部の構成の一例を示したブロック図である。 同実施形態に係る認識処理部が有する場所・行動解析部の構成の一例を示したブロック図である。 同実施形態に係る認識処理部で実施される場所・行動解析処理について説明するための説明図である。 同実施形態に係る認識処理部で実施される場所・行動解析処理について説明するための説明図である。 同実施形態に係る認識処理部で実施される場所・行動解析処理について説明するための説明図である。 同実施形態に係る認識処理部で実施される状況認識処理について説明するための説明図である。 同実施形態に係る認識処理部で実施される状況認識処理について説明するための説明図である。 同実施形態に係る認識処理部における認識結果を説明するための説明図である。 同実施形態に係る認識処理部における認識結果を説明するための説明図である。 同実施形態に係る情報処理装置が有する状況候補情報生成部で実施される状況候補情報生成処理について説明するための説明図である。 同実施形態に係る状況候補情報生成部で実施される状況候補情報生成処理について説明するための説明図である。 同実施形態に係る状況候補情報生成部で実施される状況候補情報生成処理について説明するための説明図である。 同実施形態に係る状況候補情報生成部で実施される状況候補情報生成処理について説明するための説明図である。 同実施形態に係る状況候補情報生成部で実施される状況候補情報生成処理について説明するための説明図である。 同実施形態に係る情報処理装置が有する情報更新部の構成の一例を示したブロック図である。 同実施形態に係る情報処理装置が有する外部機器連携部の構成の一例を示したブロック図である。 同実施形態に係る外部機器連携部で実施される外部機器連携処理について説明するための説明図である。 同実施形態に係る情報処理装置の変形例について説明するための説明図である。 同実施形態に係る情報処理装置の変形例について説明するための説明図である。 同実施形態に係る情報処理装置の表示画面の一例を説明するための説明図である。 同実施形態に係る情報処理装置における状況候補情報生成処理の流れの一例を説明するための説明図である。 同実施形態に係る情報処理装置における状況候補情報生成処理の流れの一例を説明するための説明図である。 同実施形態に係る情報処理方法の流れの一例を示した流れ図である。 本開示の実施形態に係る情報処理装置のハードウェア構成の一例を示したブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．第１の実施の形態
　　１．１．情報処理システムについて
　　１．２．情報処理装置について
　　１．３．情報処理装置の変形例について
　　１．４．表示画面の一例について
　　１．５．状況候補情報の生成処理の流れの一例について
　　１．６．情報処理方法について
　２．情報処理装置のハードウェア構成について
（第１の実施形態）
＜情報処理システムについて＞
　まず、図１を参照しながら、本開示の第１の実施形態に係る情報処理装置を含む情報処理システムについて、簡単に説明する。図１は、本実施形態に係る情報処理システムの全体構成を模式的に示した説明図である。
　本実施形態に係る情報処理システムは、インターネット、無線通信ネットワーク、移動体通信網等といった各種のネットワーク１に接続された１又は複数の情報処理装置１０から構成される。図１に示した情報処理システムでは、ネットワーク１にＮ台の情報処理装置１０Ａ～１０Ｎ（以下、まとめて「情報処理装置１０」と称することもある。）が接続されている。ここで、ネットワーク１に接続されている情報処理装置１０の台数については、特に限定されるものではない。
　本実施形態に係る情報処理システムには、ネットワーク１を介して、ソーシャルネットワークシステム等の各種情報投稿サービスを管理する情報投稿サーバ３が接続されている。また、ネットワーク１には、例えば、場所に関する情報を取得可能なサーバや、天気に関する情報を取得可能なサーバ等といった、各種のサービス提供サーバ５が接続されていてもよい。例えば、場所に関する情報を取得可能なサーバの例としては、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）サーバや、無線通信ネットワークを管理するサーバや、移動体通信網を管理するサーバ等がある。
　本実施形態に係る情報処理装置１０は、ネットワーク１を介して、情報投稿サーバ３や、サービス提供サーバ５等と、各種情報の送受信を行うことが可能である。
　ここで、本実施形態に係る情報処理装置１０の種別については、特に限定されるものではなく、公知の機器を用いて実現することが可能である。例えば、情報処理装置１０は、携帯電話、スマートフォン、タブレット型端末、ノートパソコン等のような、ユーザが携帯可能な携帯情報端末であってもよい。また、情報処理装置１０は、デジタルカメラ等の各種カメラや、カムコーダ等であってもよい。また、情報処理装置１０は、メガネ、時計、各種アクセサリー等のような、ウェアラブル端末であってもよい。
　また、本実施形態に係る情報処理装置１０は、各種コンピュータや各種サーバ等といった情報処理サーバ２０と連携しながら、以下で説明するような処理を実施することも可能である。
　以上、図１を参照しながら、本実施形態に係る情報処理システムの構成について、簡単に説明した。
＜情報処理装置について＞
　次に、図２～図１９を参照しながら、本実施形態に係る情報処理装置１０について、詳細に説明する。
　まず、図２を参照しながら、本実施形態に係る情報処理装置１０の構成を説明する。図２は、本実施形態に係る情報処理装置１０の構成の一例を模式的に示したブロック図である。
　本実施形態に係る情報処理装置１０は、図２に示したように、情報取得部１０１と、認識処理部１０３と、状況候補情報生成部１０５と、表示制御部１０７と、状況情報送信部１０９と、情報更新部１１１と、外部機器連携部１１３と、記憶部１１５と、を主に備える。
○情報取得部１０１
　情報取得部１０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、入力装置、通信装置、センサ等により実現される。情報取得部１０１は、情報処理装置１０を携帯しているユーザの存在する位置を表す位置情報、ユーザのおかれた環境に関する画像情報、ユーザのおかれた環境に関する音声情報等の少なくとも何れかを含むユーザ環境情報を取得する。
　情報取得部１０１は、所定の時間間隔で、各種の位置情報を取得したり、静止画像や動画像のような各種画像情報を取得したり、音声情報を取得したりする。例えば、情報取得部１０１は、ＧＰＳサーバ、Ｗｉ－Ｆｉ、Ｃｅｌｌ　ＩＤ等を利用して、ユーザの存在する位置情報を取得することができる。また、情報取得部１０１は、情報処理装置１０に設けられた各種のカメラを利用して、静止画像や動画像のような画像情報を取得することができる。また、情報取得部１０１は、情報処理装置１０に設けられた各種のマイクを利用して、音声情報を取得することができる。
　また、情報取得部１０１は、情報処理装置１０に設けられている各種の生体センサを利用して、ユーザの発汗の有無、ユーザの体温や心拍、ユーザの体表や体内に存在する生体成分等を、ユーザ固有の生体情報として取得することもできる。
　なお、情報取得部１０１は、ネットワーク１上に存在する各種のサービス提供サーバ５とデータの送受信を行うことで、各種のユーザ環境情報を取得することも可能である。
　情報取得部１０１により取得された上記のような各種のユーザ環境情報は、後述する認識処理部１０３に随時出力されて、認識処理部１０３による各種の認識処理に利用される。また、情報取得部１０１は、後述する認識処理部１０３における認識処理により、ユーザのおかれた環境を特徴づける特徴量が所定の条件を満たした場合には、取得した位置情報や画像情報や音声情報等を、後述する状況候補情報の生成に利用する添付データとして記憶部１１５等に保存する。
　また、情報取得部１０１によって取得された各種のユーザ環境情報は、後述する認識処理部１０３及び記憶部１１５以外にも、状況候補情報生成部１０５、表示制御部１０７、状況情報送信部１０９、情報更新部１１１、外部機器連携部１１３等に出力され、適宜利用される。
○認識処理部１０３
　認識処理部１０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。認識処理部１０３は、情報取得部１０１によって取得されたユーザ環境情報に基づき、当該ユーザ環境情報に含まれる位置情報、画像情報及び音声情報等の少なくとも何れかの解析処理を所定の時間間隔で行う。また、認識処理部１０３は、得られたユーザ環境に関する解析結果を利用して、ユーザのおかれた状況を認識する状況認識処理を実施する。
　この認識処理部１０３は、図３に模式的に示したように、例えば、画像解析部１２１と、音声解析部１２３と、場所・行動解析部１２５と、状況認識部１２７と、を有する。
　画像解析部１２１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。画像解析部１２１は、情報取得部１０１により取得された画像情報（すなわち、画像データ）を解析して、画像データに対応する画像の中に存在する顔、風景、料理、各種物体等を認識したり、画像シーンを分類したりする。
　この画像解析部１２１は、図４に示したように、顔解析部１３１と、画像シーン分類部１３３と、風景認識部１３５、料理認識部１３７、物体認識部１３９等を更に有している。
　顔解析部１３１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。顔解析部１３１は、画像データに対応する画像の中に人物の顔が含まれているか否かを認識する処理部である。顔解析部１３１によって画像データが随時解析されることにより、画像の中に顔が存在しているか否かを特徴づける顔検出特徴量が算出される。また、画像の中に顔が存在していた場合には、顔解析部１３１は、顔に該当する領域を特定したり、認識した顔に該当する人物が誰であるか等を特定したりする。顔解析部１３１によって算出される顔検出特徴量が所定の閾値以上である場合に、認識対象とした画像データが、記憶部１１５等に格納される。その他にも、顔解析部１３１は、顔の数、座標、角度を特定することもできるし、顔検出スコア、顔パーツ位置、笑顔の有無、生物、年齢、人種等といった各種属性を顔検出特徴量として算出することもできる。
　画像シーン分類部１３３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。画像シーン分類部１３３は、画像データに対応する画像がどのようなシーンであるかを分類する処理部である。画像シーン分類部１３３によって画像データが随時解析されることにより、画像がどのようなシーンに分類されるかを示したシーン分類特徴量が算出される。また、画像シーン分類部１３３により画像データが随時解析されることで、ユーザが存在する場所（例えば、職場、飲食店等）や、状況（車を運転している、テレビを見ている等）が特定される。画像シーン分類部１３３によって算出されるシーン分類特徴量が所定の閾値以上である場合に、認識対象とした画像データが、記憶部１１５等に格納される。
　風景認識部１３５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。風景認識部１３５は、画像データに対応する画像が風景を撮像したものであるか否かを認識する処理部である。風景認識部１３５によって画像データが随時解析されることにより、画像の中に風景が存在しているか否かを特徴づける風景検出特徴量が算出される。また、画像の中に風景が存在していた場合には、風景認識部１３５は、風景に該当する領域を特定したり、認識した風景に該当する場所を特定したりする。風景認識部１３５によって算出される風景検出特徴量が所定の閾値以上である場合に、認識対象とした画像データが、記憶部１１５等に格納される。その他にも、風景認識部１３５は、美しい風景としてのスコアを風景検出特徴量として算出することもできる。
　料理認識部１３７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。料理認識部１３７は、画像データに対応する画像の中に料理に対応する部分が含まれているか否かを認識する処理部である。料理認識部１３７によって画像データが随時解析されることにより、画像の中に料理が存在しているか否かを特徴づける料理検出特徴量が算出される。また、画像の中に料理が存在していた場合には、料理認識部１３７は、料理に該当する領域を特定したり、認識した料理のカテゴリ（例えば、ご飯、味噌汁、カレーライス、パスタ、ケーキ・・・等）を特定したりする。料理認識部１３７によって算出される料理検出特徴量が所定の閾値以上である場合に、認識対象とした画像データが、記憶部１１５等に格納される。
　物体認識部１３９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。物体認識部１３９は、画像データに対応する画像の中に存在する様々な物体を認識する処理部である。物体認識部１３９によって画像データが随時解析されることにより、画像の中に各種の物体が存在しているか否かを特徴づける物体検出特徴量が算出される。また、画像の中に物体が存在していた場合には、物体認識部１３９は、物体に該当する領域を特定したり、認識した物体の種類を特定したりする。物体認識部１３９によって算出される物体検出特徴量が所定の閾値以上である場合に、認識対象とした画像データが、記憶部１１５等に格納される。
　以上説明したような各処理部による処理結果は、情報取得部１０１や、音声解析部１２３、場所・行動解析部１２５及び状況認識部１２７に対して、随時出力される。
　なお、以上説明したような各処理部で実施される各種の解析・認識処理の詳細な方法については、特に限定されるものではなく、例えば特開２０１０－１９１９３４号公報等に開示されているような、公知の方法を利用することが可能である。また、画像解析部１２１は、ネットワーク１上に接続されている、画像認識サービスを提供するサービス提供サーバ５を利用して、上記のような画像認識処理を行ってもよい。
　再び図３に戻って、本実施形態に係る認識処理部１０３が有する音声解析部１２３について説明する。
　音声解析部１２３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。音声解析部１２３は、情報取得部１０１により取得された音声情報（すなわち、音声データ）を解析して、音声データを分類したり、音声データの内容を認識したりする。
　この音声解析部１２３は、図５に示したように、音声分類部１４１及び音声認識部１４３等を更に有している。
　音声分類部１４１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。音声分類部１４１は、情報取得部１０１により取得された音声データを解析し、音声データに関する特徴量を算出する。より具体的には、音声分類部１４１は、音声データが、会話なのか、笑い声なのか、歓声なのか、破裂音（擬音語）なのか、拍手のような称賛を表す音なのか、音楽なのか等といった、音声データの分類処理を行う。このような音声データの分類処理は、例えば、記憶部１１５等に予め格納されている音声解析用データベース等を参照したり、音声解析用のプログラム等を実行したりすることで実行可能である。
　また、音声分類部１４１は、音声データの音量についても解析を行い、例えば音量を数値化して出力してもよい。また、音声分類部１４１は、音声データが会話や笑い声などのように、人間によって生じたものであれば、声を発した人物が、男性なのか、女性なのか、子供なのか、といった点についても解析を行うことが可能である。これらの解析は、例えば、音声を表したスペクトル等を参照して、該当する波形の振幅や、音声データの周波数等を解析することで行なうことが可能である。
　なお、音声分類部１４１によって算出される音声データに関する各種の特徴量（例えば、会話検出用特徴量、笑い声検出用特徴量、歓声検出用特徴量、擬音語検出用特徴量、音楽検出用特徴量・・・等）が所定の閾値以上となった場合に、認識対象とした音声データが、記憶部１１５等に格納される。
　音声認識部１４３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。音声認識部１４３は、音声データを公知の音声認識処理及び言語認識処理により解析して、音声データの内容をテキストデータ化したり、音声データの内容そのものを認識したりする。これにより、音声データの内容や、音声データに含まれる各種の単語を特定することができる。
　以上説明したような各処理部による処理結果は、情報取得部１０１や、画像解析部１２１、場所・行動解析部１２５及び状況認識部１２７に対して随時出力される。
　なお、以上説明したような各処理部で実施される各種の解析・認識処理の詳細な方法については、特に限定されるものではなく、例えば特開２０１０－１９１９３４号公報等に開示されているような、公知の方法を利用することが可能である。また、音声解析部１２３は、ネットワーク１上に接続されている、音声認識サービスを提供するサービス提供サーバ５を利用して、上記のような音声認識処理を行ってもよい。
　再び図３に戻って、本実施形態に係る認識処理部１０３が有する場所・行動解析部１２５について説明する。
　場所・行動解析部１２５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。場所・行動解析部１２５は、情報取得部１０１により取得された位置情報や、加速度センサ等からの出力情報を解析して、ユーザが存在している場所や、ユーザが行っている行動の内容を特定する。
　この場所・行動解析部１２５は、図６に示したように、行動認識部１５１、場所情報取得部１５３及び天気情報取得部１５５等を更に有している。
　行動認識部１５１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。行動認識部１５１は、情報取得部１０１により取得された位置情報や、加速度センサ等からの出力情報を解析して、ユーザの行動を特徴づける特徴量を算出する。また、行動認識部１５１は、算出した特徴量を更に利用して、ユーザが行っている行動の内容を認識する。これにより、行動認識部１５１は、ユーザが滞留しているのか、移動しているのか、といった判定や、ユーザどのような移動手段で移動しているのかといった判定を行うことができる。その結果、行動認識部１５１は、ユーザが歩いている、走っている、静止している、ジャンプしている、エレベータで移動している、車や電車や自転車で移動している、・・・等といったユーザの状態を把握することができる。
　行動認識部１５１で実施される行動認識処理の一例を、図７を参照しながら簡単に説明する。図７は、行動解析処理の一例を模式的に示した説明図である。
　行動認識部１５１は、まず、加速度・ジャイロ等のモーションセンサデータを利用し、かかるセンサデータに対して、平均、分散、周波数フィルタ応答等といった公知の信号処理を行うことで、センサデータから特徴量を抽出する。その上で、行動認識部１５１は、ブースティング法、ニューラルネットワーク、隠れマルコフモデル（Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ：ＨＭＭ）法等といった、公知の機械学習・パターン認識技術を利用して、人の動きや姿勢、乗り物等を認識することができる。
　また、行動認識部１５１は、認識精度を更に向上させるために、図７に示したように、画像データ及び音声データ（又は、画像解析部１２１や音声解析部１２３による解析結果）を利用してもよい。
　行動認識部１５１によって実施される上記のような行動認識処理の詳細は、特に限定されるものではなく、例えば特開２０１０－１９８５９５号公報に開示されているような、公知の方法を利用することが可能である。また、行動認識部１５１は、ネットワーク１上に接続されている、行動認識サービスを提供するサービス提供サーバ５を利用して、上記のような行動認識処理を行ってもよい。
　場所情報取得部１５３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。場所情報取得部１５３は、必要に応じて場所取得サービスを提供するサービス提供サーバ５等を利用しながら、情報取得部１０１により取得された位置情報や、気圧センサ等からの出力情報を解析して、ユーザの存在している場所を表わした場所情報を取得する。以下、場所情報取得部１５３で実施される場所情報の取得処理について、図８及び図９を参照しながら、具体的に説明する。図８及び図９は、場所情報の取得処理について説明するための説明図である。
　場所情報取得部１５３は、情報取得部１０１によって取得された場所情報のうち、緯度・経度を表わした情報を基にして、記憶部１１５（又は、ネットワーク１上に存在する各種サーバ）等に格納されている場所データベースを検索する。この場所データベースとしては、図８に示したように、自宅、職場、学校等の個人的な場所を格納するプライベート場所データベース（以下、「ＤＢ」と略記する。）と、レストラン、喫茶店、駅、店舗、公園等といった公的な場所を格納するパブリック場所ＤＢと、が存在することが好ましい。
　次に、場所情報取得部１５３は、緯度・経度の誤差に応じて、（現在地の緯度・経度＋半径数メートル～数十メートル）の範囲内で、プライベート場所ＤＢ及びパブリック場所ＤＢを参照しながら、図８に示したような場所候補リストを生成する。図８に示したように、各場所を表わすデータには、場所の名前とカテゴリとが関連付けられている。
　場所情報取得部１５３は、かかる場所候補リストを生成する際、気圧センサ等からの出力を用いて、高度（より詳細には、建物等のフロア）の判定を行い、場所候補リストを絞り込んでもよい。
　このようにして生成される場所候補リストは、都市部では通常一意には定まらず、図８に例示したように、数個から数十個のリストになる。
　次に、場所情報取得部１５３は、場所を認識・確定させるために、図９に示したように、画像データ及び音声データ（又は、画像解析部１２１や音声解析部１２３による解析結果）を利用する。
　例えば、場所情報取得部１５３は、画像データからシーンを分類する技術（例えば、事前に大量に収集した画像データから機械学習を用いて判別器を生成する等）によって、レストラン、喫茶店、駅、店舗、公園、自宅、職場、学校等のシーンを分類するとともに、各シーンのスコアを算出させる。この際に、画像シーン分類は、色・輝度以外にデプス・奥行き情報を特徴量として用いてもよい。また、場所情報取得部１５３は、音声を分類する技術（例えば、事前にサンプルを集めて機械学習により判別器を生成する等）によって、会話、笑い声、音楽などの音声シーンを分類するとともに、各音声シーンのスコアを算出させる。
　次に、場所情報取得部１５３は、画像シーン分類スコア及び音声シーン分類スコアを、場所カテゴリ判別器に入力する。かかる場所カテゴリ判別器は、例えば、画像シーン分類スコアで「レストラン」が高く、音声分類スコアの「会話」が高かった場合、事前に統計学習された結果を元に、場所カテゴリを「レストラン」と判別する。
　なお、場所情報取得部１５３は、上記のような判別器を利用した処理を行わずとも、同様の処理を実施している画像解析部１２１や音声解析部１２３と互いに連携して、画像解析部１２１及び音声解析部１２３による解析結果を適宜利用してもよい。
　このようにして得られた場所カテゴリの判別結果を利用して、場所情報取得部１５３は、生成した場所候補リストをソートする。図９に示した例では、場所の判別結果が、「職場」から「○○喫茶」へと変わることとなる。
　以上説明したような処理を行うことで、場所情報取得部１５３は、ユーザが存在する場所を表わした場所情報を取得することができる。
　再び図６に戻って、天気情報取得部１５５について簡単に説明する。
　天気情報取得部１５５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。天気情報取得部１５５は、天気情報取得サービスを提供するサービス提供サーバ５（例えば、天気予報提供サーバ）等を利用して、ユーザが存在している場所の天気、最高気温、最低気温、降水確率、風速、湿度、気圧等といった、各種の天気情報（気象情報）を取得する。このようにして取得された天気情報を利用して、場所・行動解析部１２５は、実施する解析処理の精度を高めることができる。
　以上説明したような各処理部による処理結果は、情報取得部１０１や、画像解析部１２１、音声解析部１２３及び状況認識部１２７に対して随時出力される。
　再び図３に戻って、本実施形態に係る認識処理部１０３が有する状況認識部１２７について説明する。
　状況認識部１２７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。状況認識部１２７は、画像解析部１２１、音声解析部１２３及び場所・行動解析部１２５等によって得られたユーザ環境に関する各種の解析結果を利用して、ユーザのおかれた状況を認識する。
　ここで、「ユーザのおかれた状況」とは、「時間」、「場所」及び「行動」に関する解析結果に基づいて更なる認識処理を行うことで推定される、「時間」、「場所」、「行動」が複合的に組み合わされたユーザの生活レベル行動を意味する。このような状況の一例として、例えば、食事、買い物、仕事、人と会う、旅行、遊び、スポーツ、移動、家事、芸術鑑賞、くつろぎ、睡眠、・・・等を挙げることができる。
　具体的には、状況認識部１２７は、図１０に模式的に示したように、画像解析結果、音声解析結果、時間解析結果、場所解析結果及び行動解析結果を利用し、ルールベース処理、時系列パターン認識処理等といった方法を適用することで、ユーザのおかれた状況を認識する。また、状況認識部１２７は、ユーザのおかれた状況が変化する毎に、後述する状況候補情報生成部１０５に対して、状況の認識結果を表わした情報を出力する。
　ここで、図１０に示した時間解析結果のうち、時刻に関する情報は、情報処理装置１０が保持している時間情報を参照することで得ることができる。また、状況認識部１２７は、かかる時間情報と、一般的な事前知識を用いることで、現在時刻がどのような状況であるかを判断することができる。例えば、着目している日が月曜日～金曜日であれば、着目している日をウィークデーと特定することができるし、土曜日・日曜日であれば、週末と特定することができる。また、着目している時刻が例えば６～１１時であれば朝であると判断し、１２～１５時であれば昼であると判断し、１６～１８時であれば夕方であると判断し、１９～翌５時であれば夜であると判断することができる。
　更に、状況認識部１２７は、ユーザの行動履歴に基づいてユーザの普段の行動パターンを特定し、ユーザに特化した時刻の状況を判断することも可能である。例えば、普段の行動パターンに基づき、月～金曜日の８～９時であれば通勤時間であると判断し、月～金曜日の９～１８時であれば勤務時間であると判断し、土曜日の２０～２１時であれば夕食時間であると判断することができる。
　また、図１０に示した画像解析結果は、画像解析部１２１による解析結果を利用することが可能であり、図１０に示した音声解析結果は、音声解析部１２３による解析結果を利用することができる。また、図１０に示した場所解析結果及び行動解析結果は、場所・行動解析部１２５による解析結果を利用することができる。
　ここで、状況認識部１２７が実施する状況認識処理のうち、ルールベース処理とは、「時間」、「場所」、「行動」に関する各解析結果に対して、ＩＦ－ＴＨＥＮルールを適用し、条件の合致したルールに該当する状況を、ユーザのおかれた状況であると判断する処理である。このルールベース処理に基づいて、例えば、「勤務時間中に職場にいて、座った状態にあれば、ユーザは『仕事』をしている」、「昼時にレストランにいて、画像データ中に料理が存在しているという状態にあれば、ユーザは『食事』をしている」、「帰宅中にスーパーマーケットの中を歩いていれば、ユーザは『買い物』をしている」、「勤務地から遠く離れた場所にいれば、ユーザは『旅行』をしている」等のように判断を行うことができる。
　また、状況認識部１２７が実施する状況認識処理のうち、時系列パターン認識処理とは、隠れマルコフモデル法等のような機械学習技術の一種であり、時間的なパターンのモデル化に適した手法である。この処理では、事前に大量の学習データを用いて、各状況を特徴づける確率モデルを学習させておき、状況認識部１２７への入力データを事前構築した確率モデルに代入することで、ユーザのおかれた状況を認識する手法である。
　この手法を用いると、例えば図１１に示したように、画像シーン分類結果が「レストラン→料理→顔」と推移するとともに、行動認識結果が「静止→静止→静止」と推移している場合には、状況認識部１２７は、確率モデルに基づいて、ユーザが「食事」をしていると判断する。また、画像シーン分類結果が「店舗→本→店舗」と推移するとともに、行動認識結果が「歩き→静止→歩き」と推移している場合には、状況認識部１２７は、確率モデルに基づいて、ユーザが「買い物」をしていると判断する。
　このようにして得られる状況認識結果の一例を、図１２Ａ及び図１２Ｂに示した。図１２Ａ及び図１２Ｂに示したように、認識処理部１０３で得られる各種の認識結果は、画像解析部１２１、音声解析部１２３及び場所・行動解析部１２５による各解析処理結果と、これら解析処理結果を組み合わせることで得られる状況認識結果（すなわち、ハイレベルコンテクスト）から構成されている。
　図１２Ａ及び図１２Ｂに示したような状況認識結果を表わす情報は、状況認識部１２７から状況候補情報生成部１０５へと随時出力される。
○状況候補情報生成部１０５
　再び図２に戻って、本実施形態に係る状況候補情報生成部１０５について、詳細に説明する。
　状況候補情報生成部１０５は、認識処理部１０３による状況の認識結果を利用して、ユーザのおかれた状況を表す情報と、当該状況におけるユーザの感情を表す情報と、を少なくとも含む、ユーザのおかれた状況の候補を表した状況候補情報を生成する。以下、図１３～図１６を参照しながら、状況候補情報生成部１０５による状況候補情報の生成処理について、具体的に説明する。
　状況候補情報生成部１０５によって生成される状況候補情報は、図１３にも示したように、状況を表わすテキストデータと、感情を表わすテキストデータから構成されるテキストデータを少なくとも含む。本実施形態に係る状況候補情報生成部１０５は、感情を表わす表現を付加することにより、表情豊かで自然な文章を生成することが可能となる。
　また、状況候補情報には、図１３にも示したように、解析に利用された画像データや音声データが含まれていてもよい。また、テキストデータ、画像データ、音声データ以外にも、ユーザがおかれた状況を表わす各種のデータが添付されていてもよい。
　ここで、状況候補情報生成部１０５が自動的に生成する、状況を表わすテキストデータは、図１４Ａに示したように、「『いつ』『どこ』で『だれ』と『なに』を『どうする』。」という文章で成り立っている。ここで、状況を表わすテキストデータのうち「いつ」を表わす部分には、時間認識結果から得られた情報が適用され、「どこ」を表わす部分には、場所認識結果から得られた情報が適用される。また、状況を表わすテキストデータのうち「だれ」を表わす部分には、顔認識結果や音声認識結果から得られた情報が適用され、「なに」を表わす部分には、画像解析結果から得られた情報が適用される。更に、状況を表わすテキストデータのうち「どうする」を表わす部分には、行動認識結果から得られた情報だけでなく、その後複合的に認識した状況認識結果から得られた情報が適用される。
　なお、情報投稿サーバ３への投稿を意図した文章を生成する場合、「いつ」に対応する時間認識結果は、それほど重要ではない場合が多い。そこで、「いつ」に対応する時間認識結果を文章中に適用するか否かについては、適宜判断すればよい。ただ、時間認識結果に着目することで、ある行動の前なのか、最中なのか、後なのかを把握できる場合がある。このような場合には、状況候補情報生成部１０５は、時間認識結果を利用して、自動生成する文章の時制（すなわち、現在形、過去形、未来形、完了形・・・等）を適切に選択することができる。
　認識処理部１０３から出力されるユーザ環境の解析結果や状況認識結果には、「いつ」、「どこ」、「だれ」、「なに」、「どうする」といった、いわゆる５Ｗ１Ｈに該当する解析結果が存在しない場合も生じうる。そこで、状況候補情報生成部１０５は、図１４Ｂに示したように、一部の解析結果が得られない場合には、自動生成する文章を適宜修正して、自然な文章を生成するようにすればよい。
　一方、本実施形態に係る感情を表わす情報は、ユーザの感じる感情をＮ種類に簡略化して表現するとともに、状況に応じて文章候補を切り替えることで生成される。そこで、状況候補情報生成部１０５は、感情を表わすテキストデータを、図１５に例示したような感情表現テーブルを用いて生成する。図１５に示した感情表現テーブルでは、表の列方向がＮ種類（図１５の場合は、３種類）に簡略化した感情に対応しており、表の行方向が状況認識結果に対応している。
　感情をどの程度まで簡略化するかについては、特に限定されるものではなく、例えば図１６に示したように、適宜設定すればよい。図１６では、感情の程度をＮ種類に分類した場合や、感情の種類をＮ種類に分類した場合を例示している。
　図１６に例示したように感情をＮ種類に簡略化することで、例えば、Ｎ種類のボタンをユーザが選択する等のような最小限のユーザ入力、又は、発汗、心拍、体温センサ等の生体センサを用いた感情センシングにより、ユーザのその時点での感情を反映した文章を、適切に生成することが可能となる。
　また、状況に応じて感情を表わす文章候補を切り替えることで、その状況に合わせた最適な表現を選択することが可能となり、自然な文章生成が可能となる。更に、図１５に示したように、ひとつの状況に対して複数の文章候補を割り当てることで、文章のバリエーションを増やすことも可能となる。文章のバリエーションが増えることで、ユーザの飽きにくい文章を生成することも可能となる。
　かかる感情表現テーブルは、公知の方法により事前に準備しておくことができる。また、感情表現テーブルは、ユーザがソーシャルネットワークサービスに投稿した文章や、ユーザの発言等を利用して、個人化してもよい。
　状況候補情報生成部１０５は、以上のような方法により、ユーザをとりまく状況が変化するごとに、状況認識結果や感情表現テーブルに基づいて状況候補情報を生成する。その後、状況候補情報生成部１０５は、生成した状況候補情報を表示制御部１０７に出力して、ユーザに提示させる。
○表示制御部１０７
　再び図２に戻って、本実施形態に係る情報処理装置１０が備える表示制御部１０７について説明する。
　表示制御部１０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、出力装置、通信装置等により実現される。表示制御部１０７は、状況候補情報生成部１０５から出力された、状況候補情報を含む各種の処理結果を、情報処理装置１０が備えるディスプレイ等の出力装置や情報処理装置１０の外部に設けられた出力装置等に表示する際の表示制御を行う。これにより、表示制御部１０７によって表示制御が行われている表示画面には、認識処理部１０３による認識結果や、状況候補情報生成部１０５により生成された状況候補情報が、所定の表示画面における所定の領域に随時表示されることとなる。情報処理装置１０のユーザは、情報処理装置１０によって自動的に生成された状況候補情報等といった各種の処理結果を、その場で把握することが可能となる。
○状況情報送信部１０９
　状況情報送信部１０９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。状況情報送信部１０９は、状況候補情報生成部１０５により生成された状況候補情報のうちユーザに選択されたものを、ユーザのおかれた状況を表した状況情報として、ソーシャルネットワークサービスを提供する情報投稿サーバ３に送信する。これにより、各種のソーシャルネットワークサービスには、ユーザが投稿を希望する状況情報のみが投稿されることとなる。その結果、ユーザは、自身をとりまく状況に関する情報を自身で準備することなく、簡便に投稿することが可能となる。
○情報更新部１１１
　情報更新部１１１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。情報更新部１１１は、感情表現テーブルに含まれるユーザの感情を表わす表現を、認識処理部１０３によるユーザ環境に関する解析結果、ユーザによってなされた発言又は文章表現、及び、情報処理装置１０に設けられたセンサからの出力の少なくとも何れかを利用して更新する。以下、図１７を参照しながら、本実施形態に係る情報更新部１１１の構成の一例について、簡単に説明する。図１７は、本実施形態に係る情報処理装置が有する情報更新部の構成の一例を示したブロック図である。
　本実施形態に係る情報処理装置１０では、状況候補情報生成部１０５が感情を表わすテキストデータの生成に利用する感情表現テーブルを、ユーザの発言内容を少なくとも用いることによって、ユーザ個人に特化した感情表現テーブルへとカスタマイズしていく。これにより、状況候補情報生成部１０５で自動的に生成される状況候補情報の内容が、あたかもユーザ自身が作成したかのようなリアリティのあるものとなる。
　かかる情報更新部１１１は、図１７に示したように、くせ抽出部１６１と、感情表現個人化部１６７と、を少なくとも有し、より好ましくは、状況判定／状況認識部１６３と、感情判定／感情認識部１６５の少なくとも何れかを更に有する。
　くせ抽出部１６１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。くせ抽出部１６１は、ユーザによってなされた発言又は文章表現（すなわち、ユーザの音声もしくは音声をテキスト化したもの、又は、ユーザが作成した文章）による普段のユーザ発言から、よく使う単語、よく使う言い回し、方言、口癖等といったユーザのくせを抽出する。
　ここで、くせ抽出に用いられるユーザの音声としては、情報処理装置１０に設けられたマイクが取得した音声データや、電話での会話等が用いられる。また、ユーザによってなされた文章表現としては、ユーザが作成したメールや、ソーシャルネットワークサービスへの投稿内容等が用いられる。
　これらのデータからユーザのくせを抽出する方法については、特に限定されるものではなく、各種の統計処理や、機械学習技術やパターン認識技術等を適宜適用すればよい。
　くせ抽出部１６１が抽出したユーザのくせに関する情報は、感情表現個人化部１６７へと出力する。
　状況判定／状況認識部１６３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。状況判定／状況認識部１６３は、ユーザによってなされた発言又は文章表現を利用し、予め登録した状況ごとの出現単語の辞書を用いて状況を判定したり、認識処理部１０３によるユーザ環境に関する解析結果を利用して、状況を認識したりする。これにより、状況判定／状況認識部１６３は、ユーザがどのような状況（例えば、食事中、仕事中等）において着目している発言又は文章表現をしたのかを特定することができる。状況判定／状況認識部１６３は、得られた状況に関する情報を感情表現個人化部１６７へと出力する。これにより、後述する感情表現個人化部１６７では、くせ抽出部１６１により抽出したユーザのくせに加えて、状況判定／状況認識部１６３が取得した状況に応じて、感情を個人化することが可能となる。
　なお、状況を判定したり、認識したりする方法については、特に限定されるものではなく、公知の方法を用いてもよいし、ネットワーク１に接続されたサービス提供サーバ５と連携することで、かかる判定／認識処理を実施してもよい。また、認識処理部１０３と連携して、状況判定／状況認識部１６３の機能を実現してもよい。
　感情判定／感情認識部１６５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。感情判定／感情認識部１６５は、ユーザによってなされた発言又は文章表現を利用し、予め登録した感情ごとの出現単語の辞書を用いて感情を判定したり、情報処理装置１０に設けられたセンサからの出力（例えば、生体センサからの発汗、体温、心拍等に関する出力）を利用して、感情を認識したりする。これにより、感情判定／感情認識部１６５は、着目している発言又は文章表現をした際にどのような感情を有していたのか（例えば、嬉しかったのか、疲れていたのか等）を特定することができる。感情判定／感情認識部１６５は、得られた感情に関する情報を感情表現個人化部１６７へと出力する。これにより、後述する感情表現個人化部１６７では、くせ抽出部１６１により抽出したユーザのくせに加えて、感情判定／感情認識部１６５が取得した感情に応じて、感情を個人化することが可能となる。
　なお、感情を判定したり、認識したりする方法については、特に限定されるものではなく、公知の方法を用いてもよいし、ネットワーク１に接続されたサービス提供サーバ５と連携することで、かかる判定／認識処理を実施してもよい。
　感情表現個人化部１６７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。感情表現個人化部１６７は、くせ抽出部１６１から出力されたユーザのくせに関する情報、好ましくは、状況や感情に関する情報を更に利用して、感情表現テーブルに関するデータベースに記載されている感情表現テーブルをカスタマイズする。これにより、くせ抽出部１６１から出力されたユーザのくせに関する情報のみを用いた場合には、「語尾に『な』を付ける癖がある」等といった知見に基づいて、感情表現テーブル全体の言い回しをカスタマイズすることができる。また、状況や感情に関する情報を更に利用する場合には、「食事中に嬉しいときは、『まじうまい！』という表現をよく使う」等といった知見に基づいて、感情表現テーブル全体の言い回しをカスタマイズすることができる。
○外部機器連携部１１３
　再び図２に戻って、本実施形態に係る情報処理装置１０が備える外部機器連携部１１３について説明する。
　外部機器連携部１１３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。外部機器連携部１１３は、相互に通信が可能な他の情報処理装置１０と連携して、状況候補情報生成部１０５による状況候補情報の生成結果の精度向上又は共有を行う。以下、図１８及び図１９を参照しながら、本実施形態に係る外部機器連携部１１３の構成の一例について、簡単に説明する。図１８は、本実施形態に係る情報処理装置が有する外部機器連携部の構成の一例を示したブロック図であり、図１９は、本実施形態に係る外部機器連携部で実施される外部機器連携処理について説明するための説明図である。
　この外部機器連携部１１３は、図１８に示したように、グループ化部１７１と、連携処理部１７３と、を有している。
　グループ化部１７１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。グループ化部１７１は、認識処理部１０３による顔認識結果や、情報処理装置１０の記憶部１１５等に格納されている、ユーザの知人・友人に関する各種情報が記載されたアドレス帳等を利用して、情報処理装置１０が存在している場所に共に存在している他の情報処理装置１０をグループ化する。場所を共有している情報処理装置１０を所持している複数のユーザは、同じイベントに対して一緒に参加している可能性が高い（例えば、食事会に参加している等）ため、これらの情報処理装置１０をグループ化することで、各情報処理装置１０で生成された状況候補情報の生成結果の精度向上や共有を、効率良く行うことが可能となる。
　連携処理部１７３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。連携処理部１７３は、グループ化部１７１によってグループ化された複数の情報処理装置１０間で、状況候補情報の精度向上や共有を図る。
　例えば、４人のユーザが食事をしている状況を想定する。この場合に、４人のユーザが所持している各情報処理装置１０は、同一の食事内容を様々な方向から撮像しているはずであるから、グループ化された情報処理装置１０間で情報のやり取りを行うことで、情報を共有したり、精度向上を図ったりすることが可能となる。
　例えば図１９に示したように、Ａさん及びＢさんが所持しているデバイスが「『うどん』を食べている」という状況認識結果を生成したのに対し、Ｃさんが所持しているデバイスは「『ラーメン』を食べている」という状況認識結果を生成し、Ｄさんが所持しているデバイスでは、何らかの事情で状況認識が行われなかったとする。この場合、各情報処理装置１０の外部機器連携部１１３が互いに連携することで、例えば、Ｃさんのデバイスの認識結果を、多数決によって、「『うどん』を食べている」と状況認識精度を向上させたり、Ｄさんのデバイスに多数を占める状況認識結果を提供できたりするようになる。
　この際、連携処理部１７３は、状況を表わすテキストの共有を図るだけでなく、画像データやその他各種のメタデータ等を共有するようにしてもよい。
○記憶部１１５
　再び図２に戻って、本実施形態に係る情報処理装置１０が備える記憶部１１５について説明する。
　記憶部１１５は、例えば本実施形態に係る情報処理装置１０が備えるＲＡＭやストレージ装置等により実現される。記憶部１１５には、情報処理装置１０によって生成された画像データや音声データ等といった、各種のコンテンツデータが格納される。また、記憶部１１５には、表示画面に表示される各種のオブジェクトデータが格納されている。ここで言うオブジェクトデータには、例えば、アイコン、ボタン、サムネイル等のグラフィカルユーザインターフェース（ＧＵＩ）を構成する任意のパーツ類が含まれる。
　また、記憶部１１５には、本実施形態に係る情報処理装置１０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。この記憶部１１５は、情報取得部１０１、認識処理部１０３、状況候補情報生成部１０５、表示制御部１０７、状況情報送信部１０９、情報更新部１１１、外部機器連携部１１３等が、自由にデータのリード／ライト処理を行うことが可能である。
　以上、本実施形態に係る情報処理装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
＜情報処理装置の変形例について＞
　次に、図２０Ａ及び図２０Ｂを参照しながら、以上説明したような本実施形態に係る情報処理装置１０の変形例について、簡単に説明する。図２０Ａ及び図２０Ｂは、本実施形態に係る情報処理装置の変形例について説明するための説明図である。なお、図２０Ａ及び図２０Ｂでは、図２に示した情報処理装置１０が備える各処理部のうち、主要なもののみを図示している。
　以上の説明では、本実施形態に係る情報処理装置１０が一つの筺体内に実現されている場合について説明したが、本実施形態に係る情報処理装置１０の各処理部は、複数の機器に分散していてもよい。この場合、各処理部を所持している複数の機器が互いに連携することによって、システム全体として情報処理装置１０の機能が実現されることとなる。
　例えば図２０Ａに示した例では、情報処理装置１０には情報取得部１０１のみが実装されており、認識処理部１０３及び状況候補情報生成部１０５は、ネットワーク１に接続されている情報処理サーバ２０に実装されている。図２０Ａに示した例では、情報処理装置１０の情報取得部１０１が取得した各種情報が、ネットワーク１を介して情報処理サーバ２０へと伝送され、情報処理サーバ２０により、認識処理部１０３及び状況候補情報生成部１０５の処理が実施されることとなる。
　また、図２０Ｂに示した例では、情報処理装置１０には、情報取得部１０１と、認識処理部１０３のうちユーザ環境を解析する処理部である、画像解析部１２１、音声解析部１２３及び場所・行動解析部１２５と、が実装されている。また、ネットワーク１に接続された情報処理サーバ２０には、認識処理部１０３のうち状況認識部１２７と、状況候補情報生成部１０５と、が実装されている。図２０Ｂに示した例では、情報処理装置１０の情報取得部１０１が各種情報を取得し、画像解析部１２１、音声解析部１２３及び場所・行動解析部１２５が、得られた各種情報を解析することで、ユーザ環境の解析結果を表わした情報を生成する。ユーザ環境の解析結果を表わした情報は、情報処理サーバ２０の状況認識部１２７へと伝送されて、状況認識処理が実施された後、状況候補情報生成部１０５により状況候補情報が生成される。
＜表示画面の一例について＞
　次に、図２１を参照しながら、本実施形態に係る情報処理装置１０の表示制御部１０７によって表示制御される表示画面の一例について、具体的に説明する。図２１は、本実施形態に係る情報処理装置の表示画面の一例を説明するための説明図である。
　表示制御部１０７によって制御される表示画面には、情報処理装置１０が備えるカメラ等によって撮像される画像が随時表示されている。また、表示画面の一部には、認識処理部１０３によって実施された結果生成される、ユーザ環境に関する特徴量スコアを表示するための領域（特徴量スコア表示領域）や、状況認識結果を表示するための領域（認識結果表示領域）が設けられ、表示制御部１０７によって制御される。また、表示画面に映し出された画像中に顔が存在する場合には、顔に該当する部分に顔検出枠が表示され、料理や物体が存在する場合には、料理／物体検出枠が表示される。更に、認識処理部１０３によって生成された認識結果に基づいて状況候補情報生成部１０５によって状況候補情報が生成されると、生成された状況候補情報は、状況候補情報表示領域に随時表示される。
　状況候補情報は、ユーザのおかれた状況が変化するごとに生成されるものであるため、生成された状況候補情報は、状況候補情報表示領域に複数表示されることとなる。表示制御部１０７は、生成された状況候補情報が複数存在することをユーザに示すために、図２１に例示したように、状況候補情報表示領域を階層化したり、スクロールバーに対応するオブジェクトを表示させたりすることが好ましい。
　また、表示制御部１０７は、特徴量スコア表示領域や認識結果表示領域は、ユーザに知覚させないようにしてもよい。
＜状況候補情報の生成処理の流れの一例について＞
　次に、図２２Ａ及び図２２Ｂを参照しながら、本実施形態に係る情報処理装置１０で実施される状況候補情報の生成処理の流れの一例について、簡単に説明する。図２２Ａ及び図２２Ｂは、本実施形態に係る情報処理装置における状況候補情報生成処理の流れの一例を説明するための説明図である。
　本実施形態に係る情報処理装置１０において、先だって説明したような機能を提供するアプリケーションが起動すると、図２２Ａの（ａ）に示したような表示画面が表示され、どのようなソーシャルネットワークサービスに対して、情報を投稿する意思があるかを確認する。ユーザが用いるアカウントを選択すると、選択結果に基づいて、該当するソーシャルネットワークサービスを提供する情報投稿サーバ３との間の接続を確立する準備が行われる。
　本実施形態に係る情報処理装置１０が、例えばユーザが身につけるメガネ型又はボタン等のアクセサリー型のウェアラブル端末であるとする。ユーザの移動に伴って、情報処理装置１０は各種の画像データや音声データを取得していく。ここで、図２２Ａの（ｂ）に示したように、情報処理装置１０の位置取得センサからの位置情報により、「ユーザの存在する場所が○○駅である」旨が明らかになったとする。かかる場合、表示画面の状況候補情報表示領域には、「○○駅にいます」という状況候補情報が表示されるとともに、情報投稿サーバ３への投稿処理を開始するための投稿アイコンが表示される。ユーザによって投稿アイコンが選択された場合には、状況情報送信部１０９によって、表示されている状況候補情報が、状況情報として情報投稿サーバ３へと送信される。
　次の瞬間に、図２２Ａの（ｃ）に示したように、カメラがある人物を捕らえたものとする。この場合、得られた画像情報に基づいて認識処理部１０３によって認識処理が開始し、人物が特定された時点で、図中に示したように顔検出枠と認識結果とが表示される。引き続き、状況認識部１２７による状況認識結果が終了すると、図２２Ａの（ｄ）に示したように、「Ａさんと○○駅にいます」というテキストと、Ａさんを写した画像データと、が関連付けられた状況候補情報が生成されることとなる。
　また、カメラの視野範囲からＡさんが居なくなると、図２２Ｂの（ｅ）に示したように、状況候補情報表示領域には、「○○駅にいます」という状況候補情報が生成されることとなる。
　その後、ユーザが移動して、ある喫茶店に入店し、ケーキを注文したものとする。注文したケーキが届けられ、カメラの視野範囲にケーキが存在するようになると、図２２Ｂの（ｆ）に示したように、「○○駅でケーキを食べています」という状況候補情報が表示されるとともに、情報投稿サーバ３への投稿処理を開始するための投稿アイコンが表示される。同時に、表示画面には感情選択アイコンが表示され、ユーザによって現在の感情が選択される。
　ユーザによって感情選択アイコンが操作されると、図２２Ｂの（ｇ）に示したように、感情を表わすテキストである「とても美味しい！」という表現が追記されることとなる。また、認識処理部１０３によって喫茶店の名称が特定されると、従来「○○駅」という場所を表わす記載が、より粒度の細かな「○○ケーキ店」へと変更されることとなる。更に、ケーキを写した画像データが、「○○ケーキ店でケーキを食べています。とても美味しい！」というテキストデータに関連付けられることとなる。状況候補情報は、このような流れで自動的に随時生成され、蓄積されていく。
　また、表示制御部１０７は、表示画面上に認識結果（例えば、「○○ケーキ店」という名称や、「ケーキ」という物体の認識結果）を改めるためのグラフィカルキーボードを表示可能なようにして、認識結果を変更できるようにしてもよい。
＜情報処理方法について＞
　次に、図２３を参照しながら、本実施形態に係る情報処理方法の流れの一例について、簡単に説明する。図２３は、本実施形態に係る情報処理方法の流れの一例を示した流れ図である。
　本実施形態に係る情報処理装置１０において、先だって説明したような機能を提供するアプリケーションが起動すると（ステップＳ１０１）、情報取得部１０１によって、位置情報、画像情報、音声情報等のユーザ環境情報が随時取得され、認識処理部１０３へと出力される。
　認識処理部１０３は、随時取得される位置情報・画像情報・音声情報等を解析して（ステップＳ１０３）、得られたユーザ環境の解析結果に基づいて、状況認識処理を実施する（ステップＳ１０５）。状況認識部１２７によって生成された状況認識結果は、状況候補情報生成部１０５へと出力される。
　状況候補情報生成部１０５は、得られた状況認識結果を少なくとも利用して、状況候補情報を生成する（ステップＳ１０７）。生成された状況候補情報は、表示制御部１０７によって、表示画面に随時表示される（ステップＳ１０９）。
　ここで、情報処理装置１０は、ユーザによって、投稿操作がなされたか否かを判断する（ステップＳ１１１）。ユーザによって投稿操作がなされなかった場合、情報処理装置１０は、ステップＳ１０３に戻って、随時取得されるユーザ環境情報の解析を継続する。一方、ユーザによって投稿操作がなされた場合、状況情報送信部１０９は、ユーザによって選択された状況候補情報を、状況情報として情報投稿サーバ３へと送信することにより、投稿処理を行う（ステップＳ１１３）。
　その後、情報処理装置１０は、ユーザによって、アプリケーションの終了操作がなされたか否かを判断する（ステップＳ１１５）。ユーザによって終了操作がなされなかった場合、情報処理装置１０は、ステップＳ１０３に戻って、随時取得されるユーザ環境情報の解析を継続する。一方、ユーザによって終了操作がなされた場合、情報処理装置１０は処理を終了する。
　以上、図２３を参照しながら、本実施形態に係る情報処理装置１０で実施される情報処理方法の流れについて、簡単に説明した。
（ハードウェア構成について）
　次に、図２４を参照しながら、本開示の実施形態に係る情報処理装置１０のハードウェア構成について、詳細に説明する。図２４は、本開示の実施形態に係る情報処理装置１０のハードウェア構成を説明するためのブロック図である。
　情報処理装置１０は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置１０は、更に、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、センサ９１４、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３および通信装置９２５を備える。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。
　ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
　センサ９１４は、ユーザの動きを検知するセンサや、現在位置を表す情報を取得するセンサ等の検出手段である。かかるセンサの一例として、加速度センサ、重力検知センサ、落下検出センサ等を含む３軸加速度センサ、角速度センサ、手振れ補正センサ、地磁気センサ等を含む３軸ジャイロセンサ等のモーションセンサや、ＧＰＳセンサ等を挙げることができる。また、センサ９１４は、ユーザに固有の生体情報、または、かかる生体情報を取得するために用いられる各種情報を検出する検出手段であってもよい。このような検出手段の一例として、例えば、ユーザの発汗を検知するセンサ、ユーザの体温や心拍を検知するセンサ、ユーザの体表や体内に存在する生体成分を検出するセンサ等を挙げることができる。さらに、センサ９１４は、上述のもの以外にも、温度計、照度計、湿度計などの様々な測定機器を備えていてもよい。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置１０の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、この入力装置９１５を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置９１７は、例えば、情報処理装置１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置１０が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
　ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種データなどを格納する。
　ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア、Ｂｌｕ－ｒａｙメディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、フラッシュメモリ、または、ＳＤメモリカード（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ　ｍｅｍｏｒｙ　ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ　ｃａｒｄ）または電子機器等であってもよい。
　接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０は、外部接続機器９２９から直接各種データを取得したり、外部接続機器９２９に各種データを提供したりする。
　通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
　以上、本開示の実施形態に係る情報処理装置１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの存在する位置を表す位置情報、ユーザのおかれた環境に関する画像情報及び当該環境に関する音声情報の少なくとも何れかを含むユーザ環境情報に基づき、当該ユーザ環境情報に含まれる前記位置情報、前記画像情報及び前記音声情報の少なくとも何れかの解析処理を所定の時間間隔で行い、得られたユーザ環境に関する解析結果を利用して、ユーザのおかれた状況を認識する認識処理部と、
　前記認識処理部による前記状況の認識結果を利用して、前記ユーザのおかれた状況を表す情報と、当該状況における前記ユーザの感情を表す情報と、を少なくとも含む、ユーザのおかれた状況の候補を表した状況候補情報を生成する状況候補情報生成部と、
を備える、情報処理装置。
（２）
　前記認識処理部は、ユーザのおかれた状況が変化する毎に、前記状況候補情報生成部に対して、前記状況の認識結果を表わした情報を出力する、（１）に記載の情報処理装置。
（３）
　前記ユーザの感情を表す情報は、認識された前記状況ごとに予め設けられた感情表現テーブルを利用して生成される、（１）又は（２）に記載の情報処理装置。
（４）
　前記状況候補情報生成部は、前記ユーザのおかれた状況に関連する前記画像情報及び前記音声情報の少なくとも何れか一方を、前記状況候補情報に含める、（１）～（３）の何れか１つに記載の情報処理装置。
（５）
　前記認識処理部による認識結果と、前記状況候補情報生成部により生成された前記状況候補情報を所定の表示画面における所定の領域に表示させる表示制御部を更に備える、（１）～（４）の何れか１つに記載の情報処理装置。
（６）
　前記認識処理部は、前記ユーザ環境に関する解析結果を利用して、当該解析結果の時間経過に基づく時系列パターン認識処理、又は、所定の条件処理に基づくルールベース処理により、前記状況を認識する、（１）～（５）の何れか１つに記載の情報処理装置。
（７）
　認識された前記状況ごとに予め設けられた感情表現テーブルに含まれるユーザの感情を表わす表現を、前記認識処理部によるユーザ環境に関する解析結果、ユーザによってなされた発言又は文章表現、及び、前記情報処理装置に設けられたセンサからの出力の少なくとも何れかを利用して更新する情報更新部を更に備える、（１）～（６）の何れか１つに記載の情報処理装置。
（８）
　相互に通信が可能な他の前記情報処理装置と連携して、前記状況候補情報生成部による前記状況候補情報の生成結果の精度向上又は共有を行う外部機器連携部を更に備える、（１）～（７）の何れか１つに記載の情報処理装置。
（９）
　前記状況候補情報生成部により生成された前記状況候補情報のうち前記ユーザに選択されたものを、ユーザのおかれた状況を表した状況情報として、ソーシャルネットワークサービスを提供する情報投稿サーバに送信する状況情報送信部を更に備える、（１）～（８）の何れか１つに記載の情報処理装置。
（１０）
　前記情報処理装置は、ユーザが携帯する携帯情報端末、又は、ユーザが身につけるウェアラブル端末である、（１）～（９）の何れか１つに記載の情報処理装置。
（１１）
　ユーザの存在する位置を表す位置情報、ユーザのおかれた環境に関する画像情報及び当該環境に関する音声情報の少なくとも何れかを含むユーザ環境情報に基づき、当該ユーザ環境情報に含まれる前記位置情報、前記画像情報及び前記音声情報の少なくとも何れかの解析処理を所定の時間間隔で行い、得られたユーザ環境に関する解析結果を利用して、ユーザのおかれた状況を認識することと、
　前記状況の認識結果を利用して、前記ユーザのおかれた状況を表す情報と、当該状況における前記ユーザの感情を表す情報と、を少なくとも含む、ユーザのおかれた状況の候補を表した状況候補情報を生成することと、
を含む、情報処理方法。
（１２）
　コンピュータに、
　ユーザの存在する位置を表す位置情報、ユーザのおかれた環境に関する画像情報及び当該環境に関する音声情報の少なくとも何れかを含むユーザ環境情報に基づき、当該ユーザ環境情報に含まれる前記位置情報、前記画像情報及び前記音声情報の少なくとも何れかの解析処理を所定の時間間隔で行い、得られたユーザ環境に関する解析結果を利用して、ユーザのおかれた状況を認識する認識処理機能と、
　前記認識処理機能による前記状況の認識結果を利用して、前記ユーザのおかれた状況を表す情報と、当該状況における前記ユーザの感情を表す情報と、を少なくとも含む、ユーザのおかれた状況の候補を表した状況候補情報を生成する状況候補情報生成機能と、
を実現させるためのプログラム。
　　　１　　ネットワーク
　　　３　　情報投稿サーバ
　　　５　　サービス提供サーバ
　　１０　　情報処理装置
　　２０　　情報処理サーバ
　１０１　　情報取得部
　１０３　　認識処理部
　１０５　　状況候補情報生成部
　１０７　　表示制御部
　１０９　　状況情報送信部
　１１１　　情報更新部
　１１３　　外部機器連携部
　１１５　　記憶部

Claims (12)

  1. 　ユーザの存在する位置を表す位置情報、ユーザのおかれた環境に関する画像情報及び当該環境に関する音声情報の少なくとも何れかを含むユーザ環境情報に基づき、当該ユーザ環境情報に含まれる前記位置情報、前記画像情報及び前記音声情報の少なくとも何れかの解析処理を所定の時間間隔で行い、得られたユーザ環境に関する解析結果を利用して、ユーザのおかれた状況を認識する認識処理部と、
    　前記認識処理部による前記状況の認識結果を利用して、前記ユーザのおかれた状況を表す情報と、当該状況における前記ユーザの感情を表す情報と、を少なくとも含む、ユーザのおかれた状況の候補を表した状況候補情報を生成する状況候補情報生成部と、
    を備える、情報処理装置。
  2. 　前記認識処理部は、ユーザのおかれた状況が変化する毎に、前記状況候補情報生成部に対して、前記状況の認識結果を表わした情報を出力する、請求項１に記載の情報処理装置。
  3. 　前記ユーザの感情を表す情報は、認識された前記状況ごとに予め設けられた感情表現テーブルを利用して生成される、請求項２に記載の情報処理装置。
  4. 　前記状況候補情報生成部は、前記ユーザのおかれた状況に関連する前記画像情報及び前記音声情報の少なくとも何れか一方を、前記状況候補情報に含める、請求項２に記載の情報処理装置。
  5. 　前記認識処理部による認識結果と、前記状況候補情報生成部により生成された前記状況候補情報を所定の表示画面における所定の領域に表示させる表示制御部を更に備える、請求項１に記載の情報処理装置。
  6. 　前記認識処理部は、前記ユーザ環境に関する解析結果を利用して、当該解析結果の時間経過に基づく時系列パターン認識処理、又は、所定の条件処理に基づくルールベース処理により、前記状況を認識する、請求項１に記載の情報処理装置。
  7. 　認識された前記状況ごとに予め設けられた感情表現テーブルに含まれるユーザの感情を表わす表現を、前記認識処理部によるユーザ環境に関する解析結果、ユーザによってなされた発言又は文章表現、及び、前記情報処理装置に設けられたセンサからの出力の少なくとも何れかを利用して更新する情報更新部を更に備える、請求項１に記載の情報処理装置。
  8. 　相互に通信が可能な他の前記情報処理装置と連携して、前記状況候補情報生成部による前記状況候補情報の生成結果の精度向上又は共有を行う外部機器連携部を更に備える、請求項１に記載の情報処理装置。
  9. 　前記状況候補情報生成部により生成された前記状況候補情報のうち前記ユーザに選択されたものを、ユーザのおかれた状況を表した状況情報として、ソーシャルネットワークサービスを提供する情報投稿サーバに送信する状況情報送信部を更に備える、請求項１に記載の情報処理装置。
  10. 　前記情報処理装置は、ユーザが携帯する携帯情報端末、又は、ユーザが身につけるウェアラブル端末である、請求項１に記載の情報処理装置。
  11. 　ユーザの存在する位置を表す位置情報、ユーザのおかれた環境に関する画像情報及び当該環境に関する音声情報の少なくとも何れかを含むユーザ環境情報に基づき、当該ユーザ環境情報に含まれる前記位置情報、前記画像情報及び前記音声情報の少なくとも何れかの解析処理を所定の時間間隔で行い、得られたユーザ環境に関する解析結果を利用して、ユーザのおかれた状況を認識することと、
    　前記状況の認識結果を利用して、前記ユーザのおかれた状況を表す情報と、当該状況における前記ユーザの感情を表す情報と、を少なくとも含む、ユーザのおかれた状況の候補を表した状況候補情報を生成することと、
    を含む、情報処理方法。
  12. 　コンピュータに、
    　ユーザの存在する位置を表す位置情報、ユーザのおかれた環境に関する画像情報及び当該環境に関する音声情報の少なくとも何れかを含むユーザ環境情報に基づき、当該ユーザ環境情報に含まれる前記位置情報、前記画像情報及び前記音声情報の少なくとも何れかの解析処理を所定の時間間隔で行い、得られたユーザ環境に関する解析結果を利用して、ユーザのおかれた状況を認識する認識処理機能と、
    　前記認識処理機能による前記状況の認識結果を利用して、前記ユーザのおかれた状況を表す情報と、当該状況における前記ユーザの感情を表す情報と、を少なくとも含む、ユーザのおかれた状況の候補を表した状況候補情報を生成する状況候補情報生成機能と、
    を実現させるためのプログラム。
     
PCT/JP2015/057861 2014-05-22 2015-03-17 情報処理装置、情報処理方法及びプログラム WO2015178078A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
EP19192341.6A EP3591577A1 (en) 2014-05-22 2015-03-17 Information processing apparatus, information processing method, and program
CN201911113504.3A CN110780707B (zh) 2014-05-22 2015-03-17 信息处理设备、信息处理方法与计算机可读介质
US15/303,391 US10311303B2 (en) 2014-05-22 2015-03-17 Information processing apparatus, information processing method, and program
JP2016520969A JP6558364B2 (ja) 2014-05-22 2015-03-17 情報処理装置、情報処理方法及びプログラム
EP15796082.4A EP3147798A4 (en) 2014-05-22 2015-03-17 Information processing device, information processing method, and program
CN201580023469.XA CN106462598A (zh) 2014-05-22 2015-03-17 信息处理设备、信息处理方法与程序
US16/381,017 US10853650B2 (en) 2014-05-22 2019-04-11 Information processing apparatus, information processing method, and program
US16/676,477 US11244163B2 (en) 2014-05-22 2019-11-07 Information processing apparatus, information processing method, and program
US17/564,270 US11763580B2 (en) 2014-05-22 2021-12-29 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-106276 2014-05-22
JP2014106276 2014-05-22

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/303,391 A-371-Of-International US10311303B2 (en) 2014-05-22 2015-03-17 Information processing apparatus, information processing method, and program
US16/381,017 Continuation US10853650B2 (en) 2014-05-22 2019-04-11 Information processing apparatus, information processing method, and program

Publications (1)

Publication Number Publication Date
WO2015178078A1 true WO2015178078A1 (ja) 2015-11-26

Family

ID=54553755

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/057861 WO2015178078A1 (ja) 2014-05-22 2015-03-17 情報処理装置、情報処理方法及びプログラム

Country Status (5)

Country Link
US (4) US10311303B2 (ja)
EP (2) EP3591577A1 (ja)
JP (3) JP6558364B2 (ja)
CN (3) CN110083303A (ja)
WO (1) WO2015178078A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017138930A (ja) * 2016-02-05 2017-08-10 Kddi株式会社 他端末からの情報を用いて自端末のユーザ状態を判定する端末、システム、プログラム及び方法
CN107924482A (zh) * 2015-06-17 2018-04-17 情感爱思比株式会社 情感控制系统、系统及程序
JP2018136710A (ja) * 2017-02-21 2018-08-30 沖電気工業株式会社 音声取引システムおよび連携制御装置
KR20180111467A (ko) * 2017-03-31 2018-10-11 삼성전자주식회사 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법
JP2019096251A (ja) * 2017-11-28 2019-06-20 日本電信電話株式会社 行動セグメント抽出装置及び方法
JP2019117529A (ja) * 2017-12-27 2019-07-18 トヨタ自動車株式会社 情報提供装置
WO2019172087A1 (ja) * 2018-03-08 2019-09-12 ソニー株式会社 情報処理装置、端末機器、情報処理方法、およびプログラム
CN110431514A (zh) * 2017-01-19 2019-11-08 三星电子株式会社 用于情境驱动智能的系统和方法
US10603793B2 (en) 2016-10-07 2020-03-31 Fanuc Corporation Work assisting system including machine learning unit
KR20200037435A (ko) * 2017-08-31 2020-04-08 스냅 인코포레이티드 머신 러닝 분류들에 기초한 디바이스 위치
WO2020071409A1 (ja) * 2018-10-02 2020-04-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報提供方法
CN111753580A (zh) * 2019-03-27 2020-10-09 北京外号信息技术有限公司 光通信装置的识别方法和相应的电子设备
WO2021172039A1 (ja) * 2020-02-28 2021-09-02 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2021240651A1 (ja) * 2020-05-26 2021-12-02 日本電気株式会社 情報処理装置、制御方法及び記憶媒体
WO2022149465A1 (ja) * 2021-01-08 2022-07-14 コニカミノルタ株式会社 解析装置、解析システム、解析プログラム、および解析方法
WO2024062913A1 (ja) * 2022-09-20 2024-03-28 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565229B2 (en) 2018-05-24 2020-02-18 People.ai, Inc. Systems and methods for matching electronic activities directly to record objects of systems of record
CN104809116B (zh) * 2014-01-24 2018-10-19 腾讯科技（深圳）有限公司 一种收藏内容的方法、装置及终端
CN106102846A (zh) * 2014-03-19 2016-11-09 索尼公司 信息处理设备、信息处理方法及记录介质
US9760809B2 (en) * 2014-10-20 2017-09-12 Bae Systems Information And Electronic Systems Integration Inc. Systems and methods for multi-factor image recognition
KR20170009037A (ko) * 2015-07-15 2017-01-25 삼성전자주식회사 영상 컨텐츠 제공 장치 및 영상 컨텐츠 제공 방법
KR20180006137A (ko) * 2016-07-08 2018-01-17 엘지전자 주식회사 단말기 및 그 제어 방법
US10671840B2 (en) * 2017-05-04 2020-06-02 Intel Corporation Method and apparatus for person recognition using continuous self-learning
JP7073640B2 (ja) * 2017-06-23 2022-05-24 カシオ計算機株式会社 電子機器、感情情報取得システム、プログラム及び感情情報取得方法
JP7243625B2 (ja) * 2017-11-15 2023-03-22 ソニーグループ株式会社 情報処理装置、及び情報処理方法
CN108307043A (zh) * 2017-12-28 2018-07-20 努比亚技术有限公司 语音消息转换方法、移动终端及计算机可读存储介质
JP7469044B2 (ja) * 2018-01-23 2024-04-16 ソニーグループ株式会社 情報処理装置、情報処理方法、および記録媒体
KR102584459B1 (ko) 2018-03-22 2023-10-05 삼성전자주식회사 전자 장치 및 이의 인증 방법
US11463441B2 (en) 2018-05-24 2022-10-04 People.ai, Inc. Systems and methods for managing the generation or deletion of record objects based on electronic activities and communication policies
US11924297B2 (en) 2018-05-24 2024-03-05 People.ai, Inc. Systems and methods for generating a filtered data set
CN110188886B (zh) * 2018-08-17 2021-08-20 第四范式（北京）技术有限公司 对机器学习过程的数据处理步骤进行可视化的方法和系统
EP3785140A1 (en) * 2018-12-20 2021-03-03 Google LLC Map search recommendation system based on image content analysis driven geo-semantic index
US11417236B2 (en) * 2018-12-28 2022-08-16 Intel Corporation Real-time language learning within a smart space
KR102715161B1 (ko) 2019-11-28 2024-10-08 삼성전자주식회사 영상 복원 방법 및 장치
CN111243742B (zh) * 2020-01-14 2023-08-25 中科海微(北京)科技有限公司 一种能够分析儿童用眼习惯的智能眼镜
KR102451299B1 (ko) * 2020-09-03 2022-10-06 고려대학교 세종산학협력단 동물의 상황인지를 통한 캡션 생성 시스템
JP7262004B2 (ja) * 2020-10-01 2023-04-21 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置、および、プログラム
US11783573B2 (en) * 2020-12-21 2023-10-10 Halliburton Energy Services, Inc. Contextual information displayable on wearable devices based on images captured during wellsite operations
JP7275175B2 (ja) * 2021-03-01 2023-05-17 株式会社Ｎｔｔドコモ 情報処理装置
JP7203132B2 (ja) * 2021-03-01 2023-01-12 株式会社Ｎｔｔドコモ 情報処理装置
WO2023063596A1 (ko) * 2021-10-15 2023-04-20 머지리티 주식회사 사물 기반의 이미지 분석 서비스를 제공하기 위한 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006259641A (ja) * 2005-03-18 2006-09-28 Univ Waseda 音声認識装置及び音声認識用プログラム
JP2011053776A (ja) * 2009-08-31 2011-03-17 Nippon Telegr & Teleph Corp <Ntt> ストーリー生成システム、方法、およびプログラム
JP2011081431A (ja) * 2009-10-02 2011-04-21 Sony Corp 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007193824A (ja) 2000-04-13 2007-08-02 Fujifilm Corp 画像処理方法
US7921036B1 (en) * 2002-04-30 2011-04-05 Videomining Corporation Method and system for dynamically targeting content based on automatic demographics and behavior analysis
US7319780B2 (en) * 2002-11-25 2008-01-15 Eastman Kodak Company Imaging method and system for health monitoring and personal security
JP4507992B2 (ja) * 2005-06-09 2010-07-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5041202B2 (ja) 2006-06-20 2012-10-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP4891802B2 (ja) * 2007-02-20 2012-03-07 日本電信電話株式会社 コンテンツ検索・推薦方法、コンテンツ検索・推薦装置およびコンテンツ検索・推薦プログラム
US8223374B2 (en) * 2008-06-27 2012-07-17 Kabushiki Kaisha Toshiba Maintenance system of image forming apparatus and maintenance method of the same
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
JP5326910B2 (ja) 2009-01-20 2013-10-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5649808B2 (ja) 2009-01-28 2015-01-07 ソニー株式会社 情報処理装置、情報処理方法、プログラム
WO2011152844A1 (en) * 2010-06-01 2011-12-08 Hewlett-Packard Development Company, L.P. Image clustering using a personal clothing model
US8655889B2 (en) * 2010-12-10 2014-02-18 Microsoft Corporation Autonomous mobile blogging
JP5708278B2 (ja) * 2011-06-08 2015-04-30 ソニー株式会社 情報処理装置および情報処理方法
WO2012176317A1 (ja) * 2011-06-23 2012-12-27 サイバーアイ・エンタテインメント株式会社 画像認識システムを組込んだ関連性検索によるインタレスト・グラフ収集システム
US20130038756A1 (en) 2011-08-08 2013-02-14 Samsung Electronics Co., Ltd. Life-logging and memory sharing
JP2013101450A (ja) * 2011-11-08 2013-05-23 Sony Corp 情報処理装置及び方法、並びにプログラム
US9087273B2 (en) 2011-11-15 2015-07-21 Facebook, Inc. Facial recognition using social networking information
US20130129142A1 (en) * 2011-11-17 2013-05-23 Microsoft Corporation Automatic tag generation based on image content
JP5579202B2 (ja) 2012-01-16 2014-08-27 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP6221107B2 (ja) 2012-02-09 2017-11-01 株式会社ニコン 制御装置及びプログラム
WO2013120851A1 (en) * 2012-02-13 2013-08-22 Mach-3D Sàrl Method for sharing emotions through the creation of three-dimensional avatars and their interaction through a cloud-based platform
JP2014038429A (ja) 2012-08-14 2014-02-27 Zenrin Datacom Co Ltd 画像処理装置、画像処理方法および画像処理プログラム
JP2014081770A (ja) 2012-10-16 2014-05-08 Sony Corp 端末装置、端末制御方法、情報処理装置、情報処理方法、およびプログラム
US9565149B2 (en) * 2012-11-05 2017-02-07 Phoji, Llc Media messaging methods, systems, and devices
US10402407B2 (en) * 2013-06-17 2019-09-03 Lenovo (Singapore) Pte. Ltd. Contextual smart tags for content retrieval
CN103390336A (zh) * 2013-06-27 2013-11-13 江苏梦兰神彩科技发展有限公司 一种具有自动发布微博的环境数据采集仪器
US9355123B2 (en) * 2013-07-19 2016-05-31 Nant Holdings Ip, Llc Fast recognition algorithm processing, systems and methods
CN103442199A (zh) * 2013-09-25 2013-12-11 上海云视科技有限公司 紧急状态下自动录音录像的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006259641A (ja) * 2005-03-18 2006-09-28 Univ Waseda 音声認識装置及び音声認識用プログラム
JP2011053776A (ja) * 2009-08-31 2011-03-17 Nippon Telegr & Teleph Corp <Ntt> ストーリー生成システム、方法、およびプログラム
JP2011081431A (ja) * 2009-10-02 2011-04-21 Sony Corp 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924482A (zh) * 2015-06-17 2018-04-17 情感爱思比株式会社 情感控制系统、系统及程序
JP2017138930A (ja) * 2016-02-05 2017-08-10 Kddi株式会社 他端末からの情報を用いて自端末のユーザ状態を判定する端末、システム、プログラム及び方法
US10603793B2 (en) 2016-10-07 2020-03-31 Fanuc Corporation Work assisting system including machine learning unit
CN110431514A (zh) * 2017-01-19 2019-11-08 三星电子株式会社 用于情境驱动智能的系统和方法
JP2018136710A (ja) * 2017-02-21 2018-08-30 沖電気工業株式会社 音声取引システムおよび連携制御装置
KR20180111467A (ko) * 2017-03-31 2018-10-11 삼성전자주식회사 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법
KR102651253B1 (ko) * 2017-03-31 2024-03-27 삼성전자주식회사 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법
KR102324699B1 (ko) * 2017-08-31 2021-11-10 스냅 인코포레이티드 머신 러닝 분류들에 기초한 디바이스 위치
KR20200037435A (ko) * 2017-08-31 2020-04-08 스냅 인코포레이티드 머신 러닝 분류들에 기초한 디바이스 위치
US12039648B2 (en) 2017-08-31 2024-07-16 Snap Inc. Device location based on machine learning classifications
US11803992B2 (en) 2017-08-31 2023-10-31 Snap Inc. Device location based on machine learning classifications
JP2019096251A (ja) * 2017-11-28 2019-06-20 日本電信電話株式会社 行動セグメント抽出装置及び方法
JP2019117529A (ja) * 2017-12-27 2019-07-18 トヨタ自動車株式会社 情報提供装置
US11069372B2 (en) 2017-12-27 2021-07-20 Toyota Jidosha Kabushiki Kaisha Information providing apparatus
JP7094486B2 (ja) 2017-12-27 2022-07-04 トヨタ自動車株式会社 情報提供装置
WO2019172087A1 (ja) * 2018-03-08 2019-09-12 ソニー株式会社 情報処理装置、端末機器、情報処理方法、およびプログラム
US11330408B2 (en) 2018-03-08 2022-05-10 Sony Corporation Information processing apparatus, terminal device, and information processing method
JPWO2020071409A1 (ja) * 2018-10-02 2021-09-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報提供方法
JP7462567B2 (ja) 2018-10-02 2024-04-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報提供方法
WO2020071409A1 (ja) * 2018-10-02 2020-04-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報提供方法
CN111753580A (zh) * 2019-03-27 2020-10-09 北京外号信息技术有限公司 光通信装置的识别方法和相应的电子设备
WO2021172039A1 (ja) * 2020-02-28 2021-09-02 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2021240651A1 (ja) * 2020-05-26 2021-12-02 日本電気株式会社 情報処理装置、制御方法及び記憶媒体
JPWO2021240651A1 (ja) * 2020-05-26 2021-12-02
JP7420242B2 (ja) 2020-05-26 2024-01-23 日本電気株式会社 情報処理装置、制御方法及びプログラム
WO2022149465A1 (ja) * 2021-01-08 2022-07-14 コニカミノルタ株式会社 解析装置、解析システム、解析プログラム、および解析方法
WO2024062913A1 (ja) * 2022-09-20 2024-03-28 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム

Also Published As

Publication number Publication date
US20200074179A1 (en) 2020-03-05
JP2019220194A (ja) 2019-12-26
CN110780707B (zh) 2024-05-24
CN110083303A (zh) 2019-08-02
US20170032186A1 (en) 2017-02-02
CN110780707A (zh) 2020-02-11
JP6558364B2 (ja) 2019-08-14
US11763580B2 (en) 2023-09-19
JP6777201B2 (ja) 2020-10-28
US10311303B2 (en) 2019-06-04
EP3147798A1 (en) 2017-03-29
CN106462598A (zh) 2017-02-22
US11244163B2 (en) 2022-02-08
US10853650B2 (en) 2020-12-01
US20220122355A1 (en) 2022-04-21
EP3591577A1 (en) 2020-01-08
US20190236368A1 (en) 2019-08-01
EP3147798A4 (en) 2018-01-17
JP2019207720A (ja) 2019-12-05
JPWO2015178078A1 (ja) 2017-04-20

Similar Documents

Publication Publication Date Title
JP6777201B2 (ja) 情報処理装置、情報処理方法及びプログラム
AU2018220034B2 (en) Intelligent automated assistant for media exploration
CN107491929B (zh) 数据驱动的自然语言事件检测和分类
CN107491285B (zh) 智能设备仲裁和控制
US11922934B2 (en) Generating response in conversation
JP5904021B2 (ja) 情報処理装置、電子機器、情報処理方法、及びプログラム
US20170160813A1 (en) Vpa with integrated object recognition and facial expression recognition
CN107480161A (zh) 用于媒体探究的智能自动化助理
CN107493374A (zh) 具有数字助理的应用集成
CN108292203A (zh) 基于设备间对话通信的主动协助
CN106164962A (zh) 基于用户的显式声明的个性化推荐
US20230336694A1 (en) Tagging Characteristics of an Interpersonal Encounter Based on Vocal Features
US20200159487A1 (en) Customizing content delivery through cognitive analysis
CN104823433B (zh) 在语义上融合上下文推断
CN105893771A (zh) 一种信息服务方法和装置、一种用于信息服务的装置
US9811535B1 (en) Creating social network groups
US20200234187A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15796082

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016520969

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15303391

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015796082

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015796082

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE