[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2015125375A1 - 情報処理装置、制御方法、プログラム、およびシステム - Google Patents

情報処理装置、制御方法、プログラム、およびシステム Download PDF

Info

Publication number
WO2015125375A1
WO2015125375A1 PCT/JP2014/081776 JP2014081776W WO2015125375A1 WO 2015125375 A1 WO2015125375 A1 WO 2015125375A1 JP 2014081776 W JP2014081776 W JP 2014081776W WO 2015125375 A1 WO2015125375 A1 WO 2015125375A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
control unit
unit
display
past data
Prior art date
Application number
PCT/JP2014/081776
Other languages
English (en)
French (fr)
Inventor
小野　秀行
倉田　雅友
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/117,492 priority Critical patent/US9992451B2/en
Priority to JP2016503947A priority patent/JP6439788B2/ja
Priority to CN201480075289.1A priority patent/CN105981375B/zh
Priority to EP14883408.8A priority patent/EP3110141A4/en
Publication of WO2015125375A1 publication Critical patent/WO2015125375A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Definitions

  • the present disclosure relates to an information processing apparatus, a control method, a program, and a system.
  • Patent Document 1 discloses a technique for visually presenting environmental sounds to a user more effectively when the user is wearing a head-mounted display and viewing content.
  • the display unit corresponding to the lens part is a transmissive type, it can always be worn without any trouble in daily life.
  • such an HMD is worn on a daily basis, and the sound collecting unit and the imaging unit provided in the HMD continuously record the surroundings of the user and the life log can be accessed by the user (including the cloud). Can also be accumulated.
  • the data accumulated on the storage also stores a group of information (documents, images, website link information, etc.) clipped by a user on an information processing device such as a smartphone or tablet terminal. obtain.
  • the user may recall the past memories related to the conversation person. For example, past mail exchanges with the interlocutor, past meeting contents with the interlocutor, and the like.
  • the present disclosure proposes an information processing apparatus, a control method, a program, and a system that can share past data related to a conversation person with the conversation person.
  • a display control unit that controls to display past data related to a recognized interlocutor on a display unit arranged in front of the user's eyes, and sharing between the past data and others is set.
  • An information processing apparatus is provided that includes a sharing setting control unit that performs control.
  • control is performed so that past data related to a recognized dialog person is displayed on a display unit disposed in front of the user's eyes, and control is performed so as to set sharing of the past data with others.
  • a control method is proposed.
  • a display control unit that controls a computer to display past data related to a recognized dialogue person on a display unit arranged in front of the user's eyes, and sharing the past data with others
  • a program for functioning as a shared setting control unit that controls to set up the.
  • a server that stores past data of each user, a wearable device that is mounted on the user's head and has a display unit that is arranged in front of the user's eyes, and that has been acquired from the server.
  • a user terminal comprising: a display control unit that controls to display past data related to a conversation person on the display unit; and a sharing setting control unit that controls to set sharing with others of the past data;
  • a system comprising:
  • the information sharing system according to the present embodiment is a user terminal realized by an HMD (Head Mounted Display) 1 that is an example of a wearable device worn on a user's head, a smartphone, a tablet terminal, and the like. 2 and cloud storage 3.
  • HMD Head Mounted Display
  • the HMD 1, the user terminal 2, and the cloud storage 3 can be wirelessly / wired connected to each other and can transmit and receive data.
  • the wireless LAN Local Area Network
  • Wi-Fi Wireless Fidelity (registered trademark)
  • infrared communication Bluetooth (registered trademark) or the like can be used for connection.
  • the cloud storage 3 can be connected to the HMD 1 and the user terminal 2 via an AP (access point) connected to the network.
  • the life log of the user A and the information group (documents, photos, links thereof, etc.) clipped by the user A on the user terminal 2a are saved in any storage (for example, the cloud storage 3) to which the user A has access authority.
  • any storage for example, the cloud storage 3
  • the HMD 1a displays information related to the user B of the conversation person on the display unit of the HMD 1a (display unit 12 shown in FIG. 2B) to the user A by using, for example, the user A's line of sight as an upper left trigger.
  • Information related to the user B of the conversation person is, for example, the exchange of past mails with the user B, the contents of past meetings with the conversation person, and the like.
  • the moving image data 400 most recently transmitted from the user B is displayed on the upper left of the field of view 120 of the user A via the display unit 12 of the HMD 1a as shown in FIG.
  • the moving image data 400 is acquired from the cloud storage 3 via the user terminal 2a and displayed on the display unit 12 of the HMD 1a under the control of the user terminal 2a.
  • the HMD 1a may present a plurality of pieces of information related to the user B, and may be selected by a line-of-sight operation or a pointing operation by the user A, a flick operation on the user terminal 2a, or the like.
  • the user A instructs sharing setting of the moving image data 400.
  • the sharing instruction of the moving image data 400 is notified from the user terminal 2a to the user terminal 2b, and the user terminal 2b controls to display the moving image data 400 on the display unit 12 of the HMD 1b worn by the user B.
  • the user terminal 2b controls the moving image data 400 to be displayed above the user A in the field of view 122 of the user B via the display unit 12, as shown in FIG.
  • the user B can visually recognize the past data (recollection data) that the user A recalls, and discuss it after sharing the memory.
  • the user B can reproduce the shared moving image data 400 or copy it to his / her storage by a line-of-sight operation, a pointing operation, a flick operation on the user terminal 2b, or the like.
  • FIGS. 2A and 2B are diagrams illustrating an example of an appearance of the HMD 1 according to the present embodiment from each direction.
  • the HMD 1 according to the present embodiment has a hat-shaped structure, and even if heavy objects are concentrated on the front part of the main body, the load of the device is distributed over the entire head. , The user's burden can be reduced.
  • the HMD 1 is branched into a main body part 101 including most parts including a display system, a forehead support part 102 projecting from the upper surface of the main body part 101, and an upper band 104 and a lower band 105. It consists of a head band and left and right headphones 110.
  • a display unit 12 and a circuit board are accommodated in the main body unit 101.
  • a nose pad portion 103 is formed below the main body portion 101 so as to follow the back of the nose.
  • an imaging lens 14 a is provided in front of the main body 101 of the HMD 1.
  • the imaging lens 14a is realized by, for example, an omnidirectional camera lens or a fisheye lens, and is provided externally or embedded in the HMD1.
  • the HMD 1 can shoot around 180 to 360 degrees.
  • the image acquired with the fisheye lens is used after distortion correction. It is also possible to take an image of 360 degrees around by providing a plurality of imaging lenses in an array.
  • the installation position of the imaging lens 14a is not limited to the example shown in FIG. 2A.
  • an imaging lens 14b realized by an omnidirectional camera lens or a fisheye lens is provided on the upper surface of the main body 101. May be.
  • imaging lenses 14c and 14d may be provided in the left and right temple portions, respectively. In this case, it is used after correcting the captured images of 180 degrees left and right captured by the imaging lenses 14c and 14d to an image of 360 degrees.
  • the head band is made of a soft but non-stretchable material such as nylon or polypropylene, and the upper band 104 is soft and bends along the head to support the load when worn, but it is difficult to stretch and the HMD1 falls Can be prevented.
  • the lower band 105 is made of a stretchable material such as silicon rubber or elastomer, but can be integrated with the upper band 104 by two-color molding of different materials.
  • the display unit 12 of the HMD 1 is configured to be arranged in a pair for the left eye and the right eye immediately before the user's eyes in the mounted state. On the display unit 12, for example, a captured image of the real space captured by the imaging lens 14a is displayed.
  • a plurality of microphones 130 that collect external sounds are arranged on the front and left and right sides.
  • an imaging lens 15a for detecting the user's line of sight is provided inward.
  • the HMD 1 may be formed of a mounting unit that is generally a spectacle type or a head mounted type. At least in the present embodiment, the display unit 12 is provided in front of the user's eyes. Good.
  • the display unit 12 may be a transmissive type, and the display unit 12 is brought into a through state, that is, a transparent or translucent state by the HMD 1, so that the user can use the display unit 12 in the through state to enter the real space. Therefore, even if the HMD 1 is always worn like glasses, there is no problem in normal life. In this case, in addition to a pair of display units 12 corresponding to both eyes, a configuration in which one display unit 12 is provided corresponding to one eye may be employed.
  • the left and right headphones 110 may not be stereo speakers, but only one may be provided to be worn only on one ear. Furthermore, a configuration without the headphones 110 is also conceivable. In the internal configuration example described below (see FIG. 4), a configuration without the headphones 110 (audio output unit) is shown.
  • FIG. 4 is a block diagram illustrating an internal configuration example of the HMD 1 according to the present embodiment.
  • the HMD 1 includes a control unit 10, a communication unit 11, a display unit 12, a sound collection unit 13, an imaging unit 14, a line-of-sight detection unit 15, and a storage unit 16.
  • the control unit 10 includes, for example, a microcomputer including a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a nonvolatile memory, and an interface unit, and controls each configuration of the HMD 1.
  • a microcomputer including a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a nonvolatile memory, and an interface unit, and controls each configuration of the HMD 1.
  • the control unit 10 controls the data acquired by the sound collection unit 13, the imaging unit 14, and the line-of-sight detection unit 15 to be transmitted to the user terminal 2 or the cloud storage 3 via the communication unit 11, for example.
  • the control unit 10 controls to display data on the display unit 12 in accordance with an instruction received from the user terminal 2 via the communication unit 11.
  • the communication unit 11 transmits / receives data to / from an external device.
  • the communication unit 11 wirelessly connects to the user terminal 2 via Wi-Fi or Bluetooth (registered trademark), and transmits and receives data.
  • the display unit 12 displays image data according to control by the control unit 10. Specifically, the display unit 12 according to the present embodiment displays past data related to the talker at the upper left as viewed from the wearer.
  • the sound collection unit 13 includes, for example, a microphone array 130 as illustrated in FIG. 2A, a microphone amplifier unit and an A / D converter that amplifies a sound signal obtained by the microphone array 130, and the sound data is controlled by the control unit 10. Output to.
  • the audio data output from the sound collection unit 13 may be output to the control unit 10 via an audio signal processing unit (not shown) that performs processing such as noise removal and sound source separation on the audio data.
  • the audio signal processing may be performed by the control unit 10.
  • the imaging unit 14 photoelectrically captures imaging light obtained by the lens system including the imaging lens 14a, a diaphragm, a zoom lens, and a focus lens, a drive system that causes the lens system to perform a focus operation and a zoom operation, and the lens system. It has a solid-state image sensor array that generates image signals by conversion.
  • the solid-state imaging device array may be realized by, for example, a CCD (Charge Coupled Device) sensor array or a CMOS (Complementary Metal Oxide Semiconductor) sensor array.
  • the line-of-sight detection unit 15 has a function of detecting the wearer's line-of-sight position, and outputs the detection result to the control unit 10.
  • the line-of-sight detection unit 15 is realized by an imaging unit having an imaging lens 15a (see FIG. 2B) provided inward.
  • the line-of-sight detection unit 15 performs a process of recognizing the center point of the pupil based on the captured image of the user's eyeball, and detects the line-of-sight position.
  • Storage unit 16 stores a program for executing various processes by the control unit 10.
  • the internal configuration of the HMD 1 has been described above.
  • the configuration of the HMD 1 shown in FIG. 4 is an example, and the configuration of the HMD 1 is not limited to this.
  • the HMD 1 may further include an illumination unit, an audio output unit, and the like.
  • FIG. 5 is a block diagram illustrating a configuration example of the user terminal 2 according to the present embodiment.
  • the user terminal 2 includes a control unit 20, a communication unit 21, an operation unit 22, a display unit 23, and a storage unit 24.
  • the control unit 20 is configured by, for example, a microcomputer including a CPU, a ROM, a RAM, a nonvolatile memory, and an interface unit, and controls each configuration of the user terminal 2. Further, as shown in FIG. 5, the control unit 20 functions as a life log acquisition control unit 210, a speaker recognition unit 220, a search control unit 230, a display control unit 240, a sharing setting control unit 250, and a language processing unit 260. To do.
  • the life log acquisition control unit 210 controls to continuously store the situation around the user. Specifically, for example, the life log acquisition control unit 210 receives audio data and image data acquired by the sound collection unit 13 and the imaging unit 14 of the HMD 1 from the HMD 1 and stores them in the storage unit 24 or the cloud storage 3. Control as follows.
  • the speaker recognition unit 220 recognizes a conversation person based on voice data and image data transmitted from the HMD 1. Specifically, for example, the speaker recognition unit 220 performs sound source separation on the sound data, and separates the mixed sound data for each sound source. Thereby, the speaker recognition unit 220 can separate the voice data into environmental sound, user A's own utterance sound, conversation person (user B) utterance sound, and the like. In addition, the speaker recognition unit 220 performs an analysis process on each individual sound data separated from the sound source, and generates direction data indicating the direction of the sound source that emits the individual sound and distance data indicating the distance to the sound source. Also good.
  • the direction and distance of the sound source are the direction and distance with reference to the sound collection unit 13 such as the microphone array of the HMD 1 that picks up the sound.
  • the speaker recognition part 220 recognizes a speaker, when individual audio
  • the speaker recognizing unit 220 refers to a captured image (image data) at the time of obtaining voice data, and a person (face) at a position matching the direction data indicating the direction of the sound source and / or the distance data indicating the distance. Image) as a speaker, and the speaker is identified by face recognition processing.
  • the speaker recognition unit 220 can also identify a speaker based on a feature amount of speech obtained by analyzing individual speech data determined to be speech sound.
  • the search control unit 230 has a function of searching for information (past data) related to the talker recognized by the speaker recognition unit 220. Specifically, the search control unit 230 makes a search request to the storage unit 24 that is the cloud storage 3 or the local storage.
  • the search range in the cloud storage 3 is a storage area accessible by the user, such as a continuously accumulated life log, a document group saved as a clip, data transmitted / received to / from others, etc. Retrieved from The search control unit 230 can search past data related to the interlocutor based on the metadata associated with the past data during the search. Further, the search control unit 230 may search the past data related to the conversation person against the current date and time, the place, and the current schedule information of the user. For example, the search control unit 230 searches for material used in a past meeting of a meeting in which the user is present, from past data related to the conversation person.
  • the display control unit 240 can also perform display control of the display unit 12 of the HMD 1 in addition to display control of the display unit 23 of the user terminal 2.
  • the display control unit 240 controls the display unit 12 of the HMD 1 to display information (past data) related to the conversation person searched by the search control unit 230.
  • the display control unit 240 transmits information related to the conversation person and a display instruction to the HMD 1 via the communication unit 21.
  • the sharing setting control unit 250 controls sharing settings with others of past data. Specifically, when the user is permitted to share with the interlocutor, the sharing setting control unit 250 transmits past data that is permitted to be shared to the user terminal of the interrogator, and also sends the data to the cloud storage 3. Share notifications to them.
  • the language processing unit 260 performs language analysis processing on the voice data acquired by the sound collection unit 13 of the HMD 1 and transmitted from the HMD 1, and extracts keywords such as instructions and nouns.
  • the extracted keyword is presented to the user as a search keyword candidate of past data related to the interlocutor.
  • the communication unit 21 transmits / receives data to / from an external device.
  • the communication unit 21 can be connected to the HMD 1 and the cloud storage 3 via Wi-Fi or Bluetooth (registered trademark) or the like to transmit and receive data.
  • the operation unit 22 receives an operation input by a user and outputs the received input information to the control unit 20.
  • the operation unit 22 is realized by a touch sensor that accepts an operation input to the display screen in addition to buttons and switches.
  • the display unit 23 displays a predetermined display screen according to the control of the display control unit 240 of the control unit 20.
  • the display unit 23 is realized by, for example, an LCD (Liquid Crystal Display) or an OLED (Organic Light-Emitting Diode).
  • the storage unit 24 stores a program for the control unit 20 to execute various processes.
  • life logs, document groups, and the like are stored in the cloud storage 3, but may be stored in the storage unit 24, which is an example of local storage.
  • the user terminal 2 is not limited to the smartphone shown in FIG. 1, and may be a mobile phone terminal, a PDA (Personal Digital Assistant), a PC (Personal Computer), a tablet terminal, or the like.
  • PDA Personal Digital Assistant
  • PC Personal Computer
  • FIG. 6 is a block diagram illustrating a configuration example of the cloud storage 3 according to the present embodiment.
  • the cloud storage 3 includes a control unit 30, a communication unit 31, a metadata generation unit 33, and a storage unit 34.
  • the control unit 30 is configured by, for example, a microcomputer including a CPU, a ROM, a RAM, a nonvolatile memory, and an interface unit, and controls each configuration of the cloud storage 3.
  • the control unit 30 has a function of searching the storage unit 34 for past data related to the conversation person in response to a request from the user terminal 2.
  • the control unit 30 acquires audio data, image data, document groups, and the like stored in the storage unit 34 and sends them to the metadata generation unit 33, and converts the metadata generated by the metadata generation unit 33 into audio data. Control is performed so that the data is stored in the storage unit 34 in association with the data.
  • the communication unit 31 transmits / receives data to / from an external device.
  • the communication unit 31 can connect to the user terminal 2 and the HMD 1 via a network and transmit / receive data.
  • the metadata generation unit 33 analyzes audio data, image data (moving image / still image), document group, and the like stored in the storage unit 34, and generates (extracts) metadata. For example, the metadata generation unit 33 performs recording / recording date / time, recording / recording location, subject / speaker identification information obtained by face recognition / speech recognition, subject / speaker (sound source) for image data and sound data. Direction data / distance data, access authority (user name), speech recognition, text data, etc. are generated as metadata.
  • the metadata generation unit 33 uses the date / time of modification, the date / time of modification, information associated with the user's schedule (for example, meeting name, participants / participants, etc.), content details (for example, title) for the document group (text data). Etc. are generated as metadata.
  • the storage unit 34 stores a life log (audio data, image data, etc.) transmitted from each user terminal 2, a document group, schedule information of each user, and the like.
  • the data stored in the storage unit 34 is routinely browsed, added, and deleted by a user having access authority.
  • the access right is set for each data stored in the storage unit 34 and can be set as private data for each user. Further, in accordance with an instruction from a user having access rights, access to the target data may be permitted (shared) by other users, or the target data may be made public to a predetermined group of users.
  • FIG. 7 is a sequence diagram showing a life log saving process according to the present embodiment.
  • step S103 the operation unit 22 of the user terminal 2 accepts a log start operation by the user.
  • step S106 the operation unit 22 outputs a log start instruction to the control unit 20, and the control unit 20 transmits the log start instruction to the HMD 1 via the communication unit 21.
  • step S109 the control unit 10 of the HMD 1 performs life logger activation processing (life log saving start).
  • FIG. 8 is a sequence diagram showing an operation process during activation of the life logger.
  • the control unit 10 of the HMD 1 uses the sound data collected by the sound collection unit 13 and the image data (still image / moving image) imaged by the imaging unit 14 as life. Get as a log.
  • step S129 the control unit 10 transmits the acquired life log (sound data, image data) to the user terminal 2 via the communication unit 11.
  • step S132 the control unit 20 of the user terminal 2 functions as the life log acquisition control unit 210, and transmits the life log received from the HMD 1 to the cloud storage 3.
  • step S135 the control unit 30 of the cloud storage 3 stores the life log received from the user terminal 2 via the communication unit 31 in a storage area accessible to the user in the storage unit 34.
  • steps S123 to S135 described above are repeated during the life logger activation.
  • the user's surroundings and surrounding sounds are acquired by a 360-degree camera (an example of the imaging unit 14) realized by an omnidirectional camera or a fisheye lens, or a microphone array (an example of the sound collection unit 13). It can be always accumulated in the cloud storage 3 as a life log.
  • user data stored in the cloud storage 3 is not limited to audio data and image data, and includes, for example, a document group (text data).
  • the data stored in the cloud storage 3 is not limited to the life log.
  • data voice data, image data, text data registered by flicking on the user terminal 2, data transmitted / received with other users, Also includes schedule information and the like.
  • FIG. 9 is a sequence diagram showing metadata generation processing according to this embodiment.
  • step S146 the control unit 30 of the cloud storage 3 acquires various data (also referred to as content data) from the storage unit.
  • step S149 the control unit 30 transfers the content data acquired from the storage unit 34 to the metadata generation unit 33 and issues an instruction to generate metadata.
  • step S152 the metadata generation unit 33 analyzes the content data and extracts the metadata. Specifically, as described above, for image data and audio data, recording / recording date / time, subject / speaker identification information, text data, and the like are generated as metadata. Date / time, modification date / time, information associated with the user's schedule, and the like are generated as metadata.
  • step S ⁇ b> 155 the metadata generation unit 33 transfers the extracted metadata to the control unit 30.
  • step S158 the control unit 30 associates the content data with the metadata.
  • step S161 the associated metadata is stored in the storage unit 34.
  • FIG. 10 is a sequence diagram illustrating a recollection application activation process according to the present embodiment.
  • attendees are wearing HMDs 1 that can use the present system in a meeting.
  • the attendees of the conference include user A and user B.
  • the attendees and speakers of the conference are automatically recognized based on the analysis results of the sound data and the image data acquired by the sound collection unit 13 and the imaging unit 14 provided in each HMD 1.
  • the user terminal 2 activates the recollection application using the movement of the user's line of sight as a trigger.
  • the control unit 10 of the HMD 1 acquires audio data collected from the sound collection unit 13 and image data captured from the imaging unit 14. To get.
  • the sound collection unit 13 collects a conversation during the conference, and the imaging unit 14 images a conference participant around the user.
  • step S179 the control unit 10 controls the acquired data to be transmitted to the user terminal 2 via the communication unit 11.
  • step S182 the control unit 20 of the user terminal 2 functions as the speaker recognition unit 220, analyzes data (voice data, image data) acquired from the HMD 1 via the communication unit 21, and performs a real-time speaker. Recognize. Thereby, for example, the user B can be recognized as the user A's interactor. Further, the above steps S173 to S182 are repeated, and the change of the speaker can be recognized.
  • step S185 the control unit 10 of the HMD 1 acquires the gaze detection data of the wearer detected by the gaze detection unit 15.
  • step S188 the control unit 10 controls the line-of-sight detection data to be transmitted to the user terminal 2 via the communication unit 11.
  • step S191 the control unit 20 of the user terminal 2 determines whether or not the user's line of sight is directed to the upper left based on the line-of-sight detection data received from the HMD 1 via the communication unit 21.
  • the control unit 20 activates the recollection application in step S194.
  • the line of sight is known to turn to the left.
  • the recollection application is triggered by the user's line of sight turning to the upper left. To do.
  • step S197 the control unit 20 functions as the display control unit 240 and controls the HMD 1 to display the recollection information (past data related to the conversation person).
  • the recollection information is acquired from the cloud storage 3, and the recollection information search process will be described later.
  • step S200 the control unit 10 of the HMD 1 controls the display unit 12 to display the recollection information in accordance with an instruction from the user terminal 2.
  • step S201 the display part 12 of HMD1 displays recollection information according to control of the control part 10.
  • FIG. 11 is the field of view of the user wearing the HMD 1 when the recollection application is activated, and when the display unit 12 of the HMD 1 does not transmit as shown in FIG. A captured image of the landscape is displayed. Further, in the case of a type through which the display unit 12 is transmissive, such as a glasses-type see-through HMD, the user can see the scenery in front of the real space through the transmissive display unit 12. As described above, in this system, since speaker recognition is continuously performed during the conference, as shown in FIG. 10, a display indicating who is the speaker is a front captured image on the display unit 12 of the HMD 1. Or it is displayed superimposed on the scenery in the real space.
  • the present system that has continuously detected the line of sight activates the recollection application.
  • the HMD 1 displays, for example, a balloon image 42 in the upper left of the user's field of view according to the control of the user terminal 2, and past data related to the interrogator retrieved from the cloud storage 3 in the balloon image 42.
  • the material groups 421 to 423 are displayed.
  • the activation trigger of the recollection application is not limited to this, and may be an explicit activation operation by the user, for example.
  • the past data material groups 421 to 423 (recollection information) to be searched are related to the speaker by automatically selecting the speaker.
  • the present embodiment is not limited to this, for example, user operation It may be past data of other participants arbitrarily selected by.
  • FIG. 12 is a sequence diagram illustrating past data search processing according to the present embodiment.
  • step S194 shown in FIG. 12 the process of the same step of the operation process shown in FIG. At this time, it is assumed that the speaker is already recognized in step S182.
  • step S194-1 the control unit 20 functions as the search control unit 230 and sends a search request for information related to the recognized speaker (for example, user B) to the cloud storage 3 via the communication unit 21. To do.
  • step S194-2 the control unit 30 of the cloud storage 3 searches the storage unit 34 for related information.
  • the control unit 30 provides the past materials of the main conference in which the user B is attending and the general materials shared by the user B to others.
  • the material used when the user B and the user A have spoken before, the content of the conversation with the user B, and the like are searched.
  • the control unit 30 searches for these materials with reference to metadata of various content data stored in the storage unit 34. For example, in the life log, the recognition result of the person or the talker who was around at that time is linked as the metadata, so the voice data and image data when the user B is present are extracted as the search result.
  • the contents of the mail transmitted and received by the user A before and after the time when the user B was found from the life log, the accessed URL, and the like may be extracted as the search results.
  • step S194-3 the control unit 30 transmits the content data searched from the storage unit 34 to the user terminal 2 as a search result via the communication unit 31.
  • step S197 the control unit 20 of the user terminal 2 functions as the display control unit 240 and instructs the HMD 1 to display the recollection information (see the same step in FIG. 10).
  • the search processing according to this embodiment has been described above.
  • the user narrows down arbitrary materials and browses the desired materials. be able to.
  • the narrowing-down operation may be performed by flicking, tapping operation, or the like from the operation unit 22 (for example, a touch panel) of the user terminal 2 at hand of the user.
  • the balloon image 42 and past data material groups 421 to 423 are also displayed on the display unit 23 of the user terminal 2, and the narrowing-down operation on the user terminal 2 is reflected on the display unit 12 of the HMD 1.
  • FIG. 13 is a diagram for explaining the case of browsing the material group by flicking.
  • the user A when a plurality of materials are displayed as past data in the balloon image 42, the user A performs a flick operation to the left and right with the finger 5 a, so that another material group arranged in parallel is displayed.
  • the past data material groups 421 to 423 are displayed in the balloon image 42.
  • other data groups when other data groups are arranged side by side, they cannot all be displayed in the balloon image 42. Therefore, the user browses other material groups by flicking.
  • FIG. 14 is a diagram for explaining the case of browsing the contents of individual materials.
  • a breakdown of the material group 422 can be displayed by tapping, for example, the material group 422 among the material groups 421 to 423.
  • materials 422-1 to 422-3 are displayed as a breakdown of the material group 422
  • the user taps the desired material 422-2 to display the contents of the material 422-2. Can be made.
  • the present embodiment is not limited to this, and may be performed by gesture input such as pointing.
  • a gesture such as pointing is imaged by the imaging unit 14 provided in the HMD 1 and is accepted as a gesture input by analyzing the captured image.
  • a captured image of a hand or a finger may be superimposed on the display screen of the HMD 1.
  • Keyword search processing In the search processing described above, past data related to a speaker (or a person arbitrarily designated by the user) is searched and the user performs a narrowing operation.
  • the present embodiment is not limited to this, and the speaker is not limited to this.
  • the material may be narrowed down using keywords extracted from the conversation.
  • FIG. 15 is a sequence diagram illustrating a keyword display control process.
  • step S203 the control unit 10 of the HMD 1 acquires a conversation (sound data) with the speaker from the sound collection unit 13, and transmits it to the user terminal 2 in the next step S206.
  • step S209 the control unit 20 of the user terminal 2 functions as the language processing unit 260, performs language processing on the sound data received from the HMD 1 via the communication unit 21, and performs keywords such as nouns and instruction words. To extract.
  • control unit 20 functions as the speaker recognition unit 220 and performs speaker recognition on the sound data received from the HMD 1 via the communication unit 21.
  • step S215 the control unit 20 controls the keyword extracted from the conversation with the speaker to be transmitted from the communication unit 21 to the HMD1.
  • step S218, the control unit 10 of the HMD 1 controls the display unit 12 to display the keyword transmitted from the user terminal 2 via the communication unit 11 in the vicinity of the corresponding speaker.
  • step S221 the display unit 12 of the HMD 1 performs control so that the keywords extracted from the conversation with the speaker are displayed near the speaker.
  • FIG. 16 is a diagram for explaining a display example of keywords according to the present embodiment.
  • the example shown in FIG. 16 is the user's field of view through the display unit 12 of the HMD 1, and “Mr. B, speaker” is displayed near the user B who is the recognized speaker.
  • a balloon image 42 is displayed on the upper left.
  • the keyword group 43 extracted from the conversation with the user B is displayed by the keyword display control process described above, as shown in FIG. Since the keyword display control process is continuously performed in real time during the meeting, the sequentially extracted keywords are displayed as shown in FIG.
  • the selection operation may be performed by a tap operation or the like from the operation unit 22 of the user terminal 2 or may be a gesture input such as pointing.
  • FIG. 17 a case where selection is performed by a tap operation from the operation unit 22 of the user terminal 2 will be described.
  • FIG. 17 is a sequence diagram showing keyword selection and search processing according to this embodiment. As shown in FIG. 17, first, in step S ⁇ b> 233, the operation unit 22 of the user terminal 2 accepts the selection of the keyword “that document”.
  • step S236 the operation unit 22 outputs the detected keyword selection content (the keyword “that material” has been selected) to the control unit 20.
  • step S239 the control unit 20 functions as the search control unit 230, and generates a specific search word for searching for the keyword “that document”. For example, from that document, materials used in the past by the speaker at the current conference, and materials used when the speaker talks to members who are participating in the current conference, etc. Therefore, the name of the current conference, the names of all the participants, and the like are generated as specific search words.
  • step S ⁇ b> 242 the control unit 20 sends a material candidate information acquisition request to the cloud storage 3 via the communication unit 21 based on the generated search word.
  • step S245 the control unit 30 of the cloud storage searches the candidate material information from the storage unit 34 based on the search word in response to a request from the user terminal 2.
  • the control unit 30 refers to metadata associated with the content data stored in the storage unit 34 and searches for past materials and the like of a predetermined meeting.
  • step S248 the control unit 30 transmits the search result to the user terminal 2.
  • step S251 the control unit 20 of the user terminal 2 sends an instruction to the HMD 1 to display the material candidate information of “that material” based on the search result.
  • step S254 the control unit 10 of the HMD 1 controls to display the material candidate information on the display unit 12 in accordance with an instruction from the user terminal 2.
  • the control unit 10 may control to display the material candidate information in the balloon image displayed by starting the recollection application.
  • FIG. 18 is a diagram showing an example of a keyword search result display screen.
  • the keyword group 43 extracted during the conversation with the user B is displayed, when the user selects “that document”, as shown in the lower part of FIG.
  • a candidate material group 440 (search result) presumed to be “that document” is displayed.
  • FIG. 19 is a diagram for explaining the target material estimation process.
  • the process illustrated in FIG. 19 is executed by the control unit 20 of the user terminal 2, for example.
  • DB (database)” illustrated in FIG. 19 corresponds to, for example, the storage unit 24 of the user terminal 2.
  • step S260 the control unit 20 recognizes the face of a person in the vicinity based on the captured image transmitted from the HMD 1 (for example, the captured image in all directions of the HMD 1).
  • the HMD 1 for example, the captured image in all directions of the HMD 1.
  • user A and user B are included in the attendees of the conference.
  • the processing of the user terminal 2 possessed by the user A will be described.
  • step S262 the control unit 20 specifies a speaker (here, user A or user B) based on the audio data and / or the captured image transmitted from the HMD 1.
  • a speaker here, user A or user B
  • step S264 the control unit 20 performs speech recognition / language analysis on all conversations between the user A and the user B, labels the keywords for each user, and stores them in the DB (storage unit 24).
  • the labeling by the control unit 20 is not limited to that based on voice recognition, and is performed based on all recognition results such as image (still image / moving image) recognition, action recognition, and the like.
  • an example of labeled keywords stored in the DB is shown in Table 1 below.
  • step S266 the control unit 20 determines an instruction word such as “that / this” from the conversation. For example, the control unit 20 determines the instruction word “that” from the conversation that the user A is “where is that”.
  • step S268 the control unit 20 starts analyzing the content corresponding to the determined instruction word.
  • step S270 the control unit 20 analyzes the labels of the conversation before and after the determined instruction word “that” and extracts keywords. For example, from a conversation such as “Person used at the meeting with Mr. C at the end of the year is in J's folder” by User B, “People: Mr. A, Mr. B, Mr. C”, “Time: Keywords such as “End of Year”, “Place: Meeting Room”, “Content Contents: Meeting Contents, Lunch Conversation” are extracted.
  • step S272 the control unit 20 matches the extracted “keyword” with the metadata of each content data, and extracts content data (meeting materials, photos, videos, etc.) corresponding to “that”. To do.
  • the content data associated with the metadata is acquired from the cloud storage 3 and temporarily stored in the storage unit 24 of the user terminal 2.
  • FIG. 20 an example of the “that” candidate list by matching is shown in FIG. As shown in FIG. 20, “that” candidates 1 to 3 are listed by matching the metadata of each content data with the extracted keywords.
  • step S274 the control unit 20 displays “that” candidates 1 to 3 in order of priority (in descending order of matching) on the display unit 12 of the HMD 1 in the upper left as viewed from the user A. Control to present in the balloon image. In addition, when performing selection operation from the user terminal 2, it controls so that the candidates 1-3 are similarly displayed on the display part 23 of the user terminal 2.
  • step S276 among the “that” candidates 1 to 3 displayed on the display unit 12 of the HMD 1, the correct material is selected by the user A and the correct answer is shown.
  • the candidates 1 to 3 are disclosed to the user B by the sharing setting described later, the correct material may be selected by the user B and the correct answer may be indicated.
  • the control unit 20 of the user terminal 2 expands the metadata of “that” candidate (content data) indicating the correct answer by feedback learning.
  • FIG. 21 is a diagram for explaining expansion of metadata by feedback learning. As shown in FIG. 21, for example, when “XX.ppt” is correct, the metadata of the content data includes “time: end of year”, “person: Mr. C”, “others: folder of J”, etc. Keywords are added as metadata.
  • the candidate material is estimated and presented based on the remarks of the user A or the user B participating in the conversation.
  • the present embodiment is not limited to this, for example, the conversation so far It is also possible to present material candidates to those who have not participated in.
  • a description will be given with reference to FIG.
  • FIG. 22 is a diagram for explaining a process of presenting material candidates to non-participants in a conversation.
  • the control unit 20 of the user terminal 2 displays the faces of persons around in accordance with a captured image transmitted from the HMD 1 (for example, an omnidirectional captured image of the HMD 1). recognize.
  • the attendees of the conference include user A, user B, and user C.
  • the processing of the user terminal 2 possessed by the user C will be described.
  • step S282 the control unit 20 specifies a speaker (here, user A or user B) based on the audio data and / or the captured image transmitted from the HMD 1. At this time, the user C is not participating in the conversation and is outside the conversation.
  • a speaker here, user A or user B
  • step S284 the control unit 20 performs speech recognition / language analysis on all conversations between the user A and the user B performed around the user C, labels the keywords for each user, and stores the DB (storage unit 24). Save to.
  • step S286 even when the user A speaks to the user C who has not participated in the conversation, "What happened to that?" The instruction word “that” is determined.
  • step S288 the control unit 20 starts analyzing the content corresponding to the determined instruction word.
  • step S290 the control unit 20 analyzes the conversation labels before and after the determined instruction word “that” and extracts keywords.
  • the control unit 20 in the user terminal 2 of the user C analyzes the conversation around the user C and labels the keywords. It is possible to extract keywords from conversations up to the time of speaking.
  • step S292 the control unit 20 matches the extracted “keyword” with the metadata of each content data, and extracts content data (meeting materials, photos, videos, etc.) corresponding to “that”. To do.
  • step S294 the control unit 20 displays a plurality of “that” candidates in the order of priority (in descending order of matching) on the display unit 12 of the HMD 1 and displayed on the upper left as viewed from the user C. Control to present in the image. At this time, the control unit 20 may also present a keyword extracted from the conversation between the user A and the user B.
  • step S296 the correct material is selected by the user C from among a plurality of “that” candidates displayed on the display unit 12 of the HMD 1 and the correct answer is indicated.
  • the correct material may be selected by the user A or the user B and the correct answer may be indicated.
  • the control unit 20 of the user terminal 2 expands the metadata of “that” candidate (content data) indicating the correct answer by feedback learning.
  • the user terminal 2 analyzes the surrounding conversation even when the user is not participating in the conversation, and when the instruction word is extracted from the spoken conversation, It is possible to estimate candidate materials based on the keywords that have been analyzed and labeled, and present them to the user.
  • FIG. 23 is a sequence diagram showing the sharing process according to the present embodiment.
  • the operation unit 22 of the user terminal 2a possessed by the user A accepts the sharing setting of the past data to the user B.
  • the sharing setting operation is performed by selecting sharing setting buttons 425 and 426 displayed corresponding to past data to be shared. Note that the sharing setting button 425 is selected when sharing only with the user B who is a conversation person, and the sharing setting button 426 is selected when sharing with all the attendees.
  • step S316 the operation unit 22 of the user terminal 2a outputs to the control unit 20 that the sharing setting operation for the user B has been detected.
  • step S319 the control unit 20 notifies the cloud storage 3 that the designated material (in the example shown in FIG. 24, “material 2 of this conference by Mr. B”) is shared with the user B.
  • step S322 the control unit 30 of the cloud storage 3 performs control so that the shared flag is set in the designated material stored in the area where the user A of the storage unit 34 has the access authority.
  • step S325 the control unit 20 of the user terminal 2a transmits the designated material to the user terminal 2b possessed by the user B set to be shared.
  • step S328 the user terminal 2b instructs the shared material transmitted from the user terminal 2a to be displayed on the HMD 1b attached to the user B.
  • step S331 the HMD 1b displays the material shared from the user A at a position corresponding to the user A on the display screen (for example, overhead of the user A) according to the instruction of the user terminal 2b.
  • FIG. 25 shows an example of a material presentation screen shared from the user A to the user B.
  • FIG. 25 illustrates the field of view (display screen by the display unit 12) of the user B wearing the HMD 1b.
  • the material shared from the user A to the user B is presented in the balloon image 42a displayed above the user A.
  • the user B can intuitively grasp past data that the user A is currently recalling.
  • the user B can expand the past data in the balloon image 42a above the user A and browse the contents, or can copy the past data to his storage area. The copy of the shared material will be described later.
  • the present embodiment since the past data recollected by the user can be shared with other users, a more meaningful discussion can be performed.
  • the material (content data) shared from the user terminal 2a to the user terminal 2b is transmitted, but the present embodiment is not limited to this.
  • the control unit 30 of the cloud storage 3 may transmit the shared material to the user terminal 2b of the user B set to be shared. .
  • FIG. 26 is a sequence diagram showing a shared material copy process according to the present embodiment.
  • a case where operation is performed from the operation unit 22 of the user terminal 2b will be described as an example.
  • step S343 the operation unit 22 of the user terminal 2b accepts a shared material copy operation.
  • step S346 the operation unit 22 outputs to the control unit 20 that a copy operation has been detected.
  • step S349 the control unit 20 instructs the cloud storage 3 to copy the designated material to a storage area accessible by the user B.
  • step S352 the control unit 30 of the cloud storage 3 copies the shared material stored in the storage unit 34 in the area accessible by the user A and set with the sharing flag to the area accessible by the user B. To do.
  • step S358 the control unit 20 of the user terminal 2b controls the shared material that has been copied to be displayed in the balloon image of the user B on the display screen of the HMD1.
  • step S361 the HMD 1b displays the shared material that has been copied in the balloon image displayed at the upper left when viewed from the user B, so that the user intuitively understands that the shared material has been copied. it can.
  • FIG. 27 is a diagram for explaining a shared material copy operation.
  • dragging can be started by long-tapping the shared material in the balloon image 42a displayed above the head of the user A with the finger 5b.
  • the user moves the long-tapped shared material to the area of the balloon image 44 displayed on the upper left and drops it in the balloon image 44.
  • the copy operation of the shared material is completed, and the shared material is copied to a storage area accessible to the user B in the storage unit 34 of the cloud storage 3.
  • the same screen as the display unit 12 of the HMD 1 is displayed on the display unit 23 of the user terminal 2, and the screen change according to the tap operation or flick operation received from the operation unit 22 This is reflected on the display unit 12.
  • this embodiment is not limited to the operation input from the operation part 22 of the user terminal 2, It is also possible to perform gesture input, such as pointing.
  • the information sharing system can visually share the past data related to the conversation person with the conversation person, so that the meeting can be performed more meaningfully.
  • the past data related to the conversation is triggered when the user performs an operation of recalling the past memory based on the detection of the line of sight (when the line of sight moves to the upper left). As a result, the convenience of this system is improved.
  • the information sharing system can present the past data desired by the user more accurately by estimating the candidate material (past data) based on the content of the conversation with the interlocutor.
  • a computer program for causing hardware such as the CPU, ROM, and RAM incorporated in the HMD 1, user terminal 2, or cloud storage 3 described above to exhibit the functions of the HMD 1, user terminal 2, or cloud storage 3 is also available. Can be created.
  • a computer-readable storage medium storing the computer program is also provided.
  • information related to the user B of the conversation person is presented by using the line of sight of the person wearing the HMD 1a as a trigger, but the present embodiment is not limited to this.
  • predetermined information may be presented when the line of sight moves to the lower left, upper right, lower right, or the like.
  • the line of sight is directed to the left when the right brain is used has been described, but one left brain is responsible for logic, reality, and language, and includes “fictional events” and “ It is known that the left brain, which is a logical brain, is used so that there is no breakdown or contradiction in the construction of “image” and “lie”, and the line of sight is directed to the opposite right. Therefore, in the present embodiment, it is also possible to present an imaginary story that has been automatically constructed using the movement of the line of sight of the wearer of the HMD 1a as a trigger.
  • the information related to the user B who is a conversation person is extracted and the extracted information is partially changed.
  • Information (fictional event) is presented to the user A.
  • information related to a meal between the user C and the user A who appeared in the dialogue is extracted as information related to the user B who is a dialogue person
  • the information is extracted from the user C and the user A.
  • the lunch meeting is performed with the user D and displayed on the display unit 12 of the HMD 1a.
  • the wearer's line of sight moves to the upper left
  • the past data is presented as it is
  • the past data is partially changed and processed to present information.
  • Information according to the needs of the wearer can be presented to further improve convenience. Note that there are individual differences in the direction in which the line of sight moves when constructing a fictional event or lie, so when the line of sight moves to the lower right, upper left, lower left, etc., the predetermined information should be presented. May be.
  • the information sharing system according to the present embodiment can be realized without including the user terminal 2.
  • the control unit 10 of the HMD 1 or the control unit 30 of the cloud storage 3 executes each function of the control unit 20 of the user terminal 2 shown in FIG.
  • content data such as life log is not limited to the cloud storage 3 but may be a local storage such as the user terminal 2 or a user's personal PC (personal computer).
  • a display control unit that controls to display past data related to the recognized dialogue person on a display unit arranged in front of the user's eyes;
  • a sharing setting control unit that controls to set sharing with the other person of the past data;
  • An information processing apparatus comprising: (2)
  • the information processing apparatus includes: The information processing apparatus according to (1), further comprising: a search control unit that controls to search past data related to the interlocutor based on metadata associated with past data stored in a storage unit. .
  • the information processing apparatus searches for past data related to a keyword extracted from a conversation.
  • the said search control part searches the candidate material of the said instruction word as said past data by matching the keyword before and behind the instruction word extracted from conversation, and the metadata linked
  • the display control unit performs control to display the past data when the detected user's line-of-sight position moves to a predetermined range and performs a recollection operation. Any one of (1) to (5) The information processing apparatus according to item. (7) The information processing apparatus according to any one of (1) to (6), wherein the display control unit controls to display past data shared and set by a conversation person.
  • (10) Computer A display control unit that controls to display past data related to the recognized dialogue person on a display unit arranged in front of the user's eyes; A sharing setting control unit that controls to set sharing with the other person of the past data; Program to function as (11) A server for storing past data of each user; A wearable device that has a display unit that is mounted on the user's head and arranged in front of the user's eyes; A display control unit that controls the display unit to display past data acquired from the server and related to the recognized dialog person; A user terminal comprising: a sharing setting control unit that controls to set sharing with the other person of the past data; A system comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】対話者に関連する過去データを対話者と共有することが可能な情報処理装置、制御方法、プログラム、およびシステムを提供する。 【解決手段】認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御する表示制御部と、前記過去データの他者との共有を設定するよう制御する共有設定制御部と、を備える、情報処理装置。

Description

情報処理装置、制御方法、プログラム、およびシステム
　本開示は、情報処理装置、制御方法、プログラム、およびシステムに関する。
　近年、頭部に装着されるウェアラブル装置であるＨＭＤ（ヘッドマウンドディスプレイ）に関する様々な技術が提案されている。例えば、下記特許文献１では、ユーザがヘッドマウントディスプレイを装着してコンテンツを視聴している場合に、より効果的にユーザに対して環境音を視覚的に提示する技術が開示されている。
　また、メガネ型のＨＭＤであって、レンズ部分に相当する表示部が透過型の場合、日常生活に支障なく常に装着することができる。また、このようなＨＭＤを日常的に装着し、ＨＭＤに設けられた収音部や撮像部でユーザの周囲を継続的に記録してライフログをユーザがアクセス可能なストレージ上（クラウドを含む）に蓄積することもできる。
　また、ストレージ上に蓄積されるデータには、ライフログの他、ユーザがスマートフォンやタブレット端末等の情報処理装置で日頃からクリップした情報群（ドキュメント、画像、Ｗｅｂサイトのリンク情報等）も保存され得る。
特開２０１１－２５０１００号公報
　ここで、ユーザが、現実空間での会議やＴＶ会議で対話者と場を共有している際に、対話者に関連する過去の記憶を思い返すことがある。例えば、対話者との過去のメールのやり取りや、対話者との過去の会議の内容等である。
　また、思い浮かべた過去の記憶を対話者と共有することができれば、より快適に議論を行うことができる。
　しかしながら、上述した従来技術では、このようなニーズは何ら考慮されていなかった。
　そこで、本開示では、対話者に関連する過去データを対話者と共有することが可能な情報処理装置、制御方法、プログラム、およびシステムを提案する。
　本開示によれば、認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御する表示制御部と、前記過去データの他者との共有を設定するよう制御する共有設定制御部と、を備える、情報処理装置を提案する。
　本開示によれば、認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御することと、前記過去データの他者との共有を設定するよう制御することと、を含む、制御方法を提案する。
　本開示によれば、コンピュータを、認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御する表示制御部と、前記過去データの他者との共有を設定するよう制御する共有設定制御部と、として機能させるための、プログラムを提案する。
　本開示によれば、各ユーザの過去データを格納するサーバと、ユーザの頭部に装着され、前記ユーザの眼前に配置される表示部を有するウェアラブル装置と、前記サーバから取得した、認識された対話者に関連する過去データを、前記表示部に表示するよう制御する表示制御部と、前記過去データの他者との共有を設定するよう制御する共有設定制御部と、を有するユーザ端末と、を備える、システムを提案する。
　以上説明したように本開示によれば対話者に関連する過去データを対話者と共有することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報共有システムの概要について説明するための図である。 本実施形態によるＨＭＤの一方向からの外観の一例を示す図である。 本実施形態によるＨＭＤの他方向からの外観の一例を示す図である。 本実施形態によるＨＭＤに設けられる撮像部の設置場所について補足するための図である。 本実施形態によるＨＭＤの内部構成例を示すブロック図である。 本実施形態によるユーザ端末の構成例を示すブロック図である。 本実施形態によるクラウドストレージの構成例を示すブロック図である。 本実施形態によるライフログの保存処理を示すシーケンス図である。 ライフロガー起動中の動作処理を示すシーケンス図である。 本実施形態によるメタデータ生成処理を示すシーケンス図である。 本実施形態による回想アプリケーションの起動処理を示すシーケンス図である。 本実施形態による回想アプリケーション起動時におけるＨＭＤを介した視界の変化を説明するための図である。 本実施形態による過去データの検索処理を示すシーケンス図である。 フリック操作で資料群を閲覧する場合について説明するための図である。 個別の資料の中身を閲覧する場合について説明するための図である。 キーワードの表示制御処理を示すシーケンス図である。 キーワードの表示例を説明するための図である。 本実施形態によるキーワード選択および検索処理を示すシーケンス図である。 キーワード検索の結果表示画面の一例を示す図である。 対象資料の推定処理を説明するための図である。 マッチングに基づく「あれ」候補一覧の一例を示す図である。 フィードバック学習によるメタデータの拡充を説明するための図である。 会話の非参加者に対して資料候補を提示する処理を説明するための図である。 本実施形態による共有処理を示すシーケンス図である。 共有設定操作について説明するための図である。 ユーザＡからユーザＢに共有された資料の提示画面の一例を示す図である。 本実施形態による共有資料のコピー処理を示すシーケンス図である。 共有資料のコピー操作について説明するための図である。 共有資料の閲覧について説明するための図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報共有システムの概要
　２．基本構成
　　２－１．ＨＭＤの構成
　　２－２．ユーザ端末の構成
　　２－３．クラウドストレージの構成
　３．動作処理
　　３－１．ライフログの保存処理
　　３－２．メタデータ生成処理
　　３－３．起動処理
　　３－４．検索処理
　　３－５．キーワード検索処理
　　３－６．共有処理
　　３－７．共有資料のコピー処理
　４．まとめ
　　＜＜１．本開示の一実施形態による情報共有システムの概要＞＞
　まず、本開示の一実施形態による情報共有システムの概要について図１を参照して説明する。図１に示すように、本実施形態による情報共有システムは、ユーザの頭部に装着されるウェアラブル装置の一例であるＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）１と、スマートフォンやタブレット端末等により実現されるユーザ端末２と、クラウドストレージ３を含む。
　ＨＭＤ１、ユーザ端末２、およびクラウドストレージ３は、互いに無線／有線接続し、データの送受信を行うことが可能である。例えば、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信方式により接続され得る。また、クラウドストレージ３は、ＨＭＤ１およびユーザ端末２と、ネットワークに接続されたＡＰ（アクセスポイント）を介して接続し得る。
　　（背景）
　ここで、ユーザＡとユーザＢが、現実空間での会議やＴＶ会議等で場を共有している場合、対話者に関連する過去の記憶、例えば過去の会議の内容等を思い返すことがあるが、正確な資料内容まで思い返すことは困難である。また、このように思い浮かべた過去の記憶を対話者と共有することができれば、より快適に議論を行うことができるが、上述した従来技術では、思い浮かべた過去の記憶（回想データ）を共有することについて何ら考慮されていなかった。
　そこで、本実施形態では、ユーザが他者と場を共有している際に思い起こした対話者に関連する過去データ（回想データ）を対話者と視覚的に共有することができる。
　例えば、日頃からユーザＡのライフログや、ユーザＡがユーザ端末２ａでクリップした情報群（書類、写真、そのリンクなど）が、ユーザＡがアクセス権限を持つあらゆるストレージ（例えばクラウドストレージ３）に保存されていることを前提として以下のステップが行われる。
　まず、図１に示すように、ＨＭＤ１ａ、１ｂをそれぞれ装着したユーザＡとユーザＢが同席、もしくはテレビ会議などで場を共有して議論を行っている場合に、ユーザＡが過去の記憶を思い返す動作を行うと、対話者のユーザＢに関連する情報がユーザＡに提示される。一般的に、人間は過去の記憶を思い返す際、過去のことを絵画的・図形的に頭の中に描き、それを描写するため感覚脳である右脳を使うので、視線は逆の左上に向くことが知られている。そこで、ＨＭＤ１ａは、例えばユーザＡの視線が左上に向いたことをトリガとして、対話者のユーザＢに関連する情報をＨＭＤ１ａの表示部（図２Ｂに示す表示部１２）に表示してユーザＡに提示する。
　対話者のユーザＢに関連する情報は、例えば、ユーザＢとの過去のメールのやり取りや、対話者との過去の会議の内容等である。ここでは、例えばユーザＢから直近で送信された動画データ４００が、図１に示すように、ＨＭＤ１ａの表示部１２を介したユーザＡの視界１２０の左上に表示される。なお動画データ４００は、クラウドストレージ３からユーザ端末２ａを介して取得され、ユーザ端末２ａの制御によりＨＭＤ１ａの表示部１２に表示される。また、ＨＭＤ１ａは、ユーザＢに関連する情報を複数提示し、ユーザＡによる視線操作や指さし操作、ユーザ端末２ａでのフリック操作等により選択させてもよい。
　次いで、提示されている動画データ４００を対話者と共有したい場合、ユーザＡは動画データ４００の共有設定を指示する。これにより、動画データ４００の共有指示がユーザ端末２ａからユーザ端末２ｂに通知され、ユーザ端末２ｂは、ユーザＢが装着しているＨＭＤ１ｂの表示部１２に動画データ４００を表示するよう制御する。この際、ユーザ端末２ｂは、図１に示すように、動画データ４００が、表示部１２を介したユーザＢの視界１２２においてユーザＡの頭上に表示されるよう制御する。これにより、ユーザＢはユーザＡが思い返している過去のデータ（回想データ）を視覚的に認識して、記憶を共有した上で議論することができる。
　また、ユーザＢは、視線操作や指さし操作、ユーザ端末２ｂでのフリック操作等により、共有された動画データ４００を再生したり、自分のストレージにコピーしたりすることができる。
　以上、本開示の一実施形態による情報共有システムの概要について説明した。続いて、本開示による情報共有システムに含まれるＨＭＤ１、ユーザ端末２、およびクラウドストレージ３の基本構成について図２～図５を参照して説明する。
　　＜＜２．基本構成＞＞
　　＜２－１．ＨＭＤの構成＞
　まず、ユーザの頭部に装着されるＨＭＤ１の外観および内部構成について、図２～図３を参照して説明する。
　　（２－１－１．外観構成）
　図２Ａおよび図２Ｂは、本実施形態によるＨＭＤ１の各方向からの外観の一例を示す図である。図２Ａおよび図２Ｂに示すように、本実施形態によるＨＭＤ１は、帽子形状の構造を有し、本体の前部に重量物が集中していても、装置の荷重を頭部全体に分散させて、ユーザの負担を軽減して装着することができる。具体的には、ＨＭＤ１は、表示系統を含む大部分の部品を含んだ本体部１０１と、本体部１０１の上面から突設した額当て部１０２と、上バンド１０４及び下バンド１０５に分岐されるヘッド・バンドと、左右のヘッドフォン１１０からなる。本体部１０１内には、表示部１２や回路基板が収容される。また、本体部１０１の下方には、鼻背に倣うように鼻当て部１０３が形設されている。
　また、ＨＭＤ１の本体部１０１の前方には、撮像レンズ１４ａが設けられる。撮像レンズ１４ａは、例えば全天球カメラレンズまたは魚眼レンズにより実現され、ＨＭＤ１に外付けまたは埋め込みで設けられる。これにより、ＨＭＤ１は、周囲１８０度～３６０度を撮影することができる。なお魚眼レンズで取得した画像は、歪み補正を行った上で利用される。また、撮像レンズをアレイ状に複数設けて周囲３６０度を撮影することも可能である。
　また、撮像レンズ１４ａの設置位置は図２Ａに示す例に限定されず、例えば図３左に示すように、全天球カメラレンズまたは魚眼レンズにより実現される撮像レンズ１４ｂを、本体部１０１上面に設けてもよい。若しくは、図３右に示すように、左右のこめかみ部分にそれぞれ撮像レンズ１４ｃ、１４ｄを設けてもよい。この場合、撮像レンズ１４ｃ、１４ｄで撮像された左右１８０度ずつの撮像画像を３６０度の画像に補正した上で利用される。
　ヘッド・バンドは、例えばナイロンやポリプロピレンなどの柔らかいが伸縮しない素材で製作され、上バンド１０４は、柔らかさを持ち、装着時には荷重を支えるために頭に沿って曲がるが、伸びにくく、ＨＭＤ１の落下を防止することができる。また、下バンド１０５は、シリコン・ゴムやエラストマーのような伸縮可能な素材で構成されるが、異種材の２色成形により、上バンド１０４と一体部品とすることができる。
　また、ＨＭＤ１の表示部１２は、装着状態において、ユーザの両眼の直前に左眼用と右眼用の一対で配置される構成となっている。表示部１２には、例えば撮像レンズ１４ａで撮像された現実空間の撮像画像が表示される。
　また、ＨＭＤ１の本体部１０１には、前方および左右に、外部音声を収音する複数のマイクロホン１３０（マイクアレー１３０とも称す）が配置される。
　さらに、ＨＭＤ１の本体部１０１内側における表示部１２付近には、ユーザの視線を検出するための撮像レンズ１５ａが内側に向けて設けられる。
　以上、ＨＭＤ１の外観構成について具体的に説明したが、図２Ａ、図２Ｂに示すＨＭＤ１の装着部分の構造（額当て部１０２、上バンド１０４、および下バンド１０５）は一例であって、ＨＭＤ１をユーザが装着するための構造は多様に考えられる。ＨＭＤ１は、一般に眼鏡型、あるいは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部１２が設けられていればよい。
　また、表示部１２は透過型であってもよく、ＨＭＤ１により表示部１２がスルー状態、即ち透明または半透明の状態とされることで、ユーザは、スルー状態の表示部１２を介して現実空間を視認できるので、ＨＭＤ１を眼鏡のように常時装着していても通常の生活には支障がない。この場合、表示部１２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。
　また、左右のヘッドフォン１１０は、ステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。さらに、ヘッドフォン１１０を備えない構成も考えられる。以下に説明する内部構成例（図４参照）では、ヘッドフォン１１０（音声出力部）を備えない構成が示される。
　　（２－１－２．内部構成）
　続いて、本実施形態によるＨＭＤ１の内部構成について図４を参照して説明する。図４は、本実施形態によるＨＭＤ１の内部構成例を示すブロック図である。図４に示すように、ＨＭＤ１は、制御部１０、通信部１１、表示部１２、収音部１３、撮像部１４、視線検出部１５、および記憶部１６を有する。
　（制御部１０）
　制御部１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、ＨＭＤ１の各構成を制御する。
　本実施形態による制御部１０は、例えば収音部１３、撮像部１４、および視線検出部１５で取得したデータを、通信部１１を介してユーザ端末２またはクラウドストレージ３に送信するよう制御する。また、制御部１０は、通信部１１を介してユーザ端末２から受信した指示に従って、表示部１２にデータを表示するよう制御する。
　（通信部１１）
　通信部１１は、外部機器との間でのデータの送受信を行う。例えば通信部１１は、Ｗｉ－ＦｉまたはＢｌｕｅｔｏｏｔｈ（登録商標）等によりユーザ端末２と無線接続し、データの送受信を行う。
　（表示部１２）
　表示部１２は、制御部１０による制御に従って、画像データを表示する。具体的には、本実施形態による表示部１２は、装着者から見て左上に対話者に関連する過去データを表示する。
　（収音部１３）
　収音部１３は、例えば図２Ａに示すようなマイクアレー１３０と、マイクアレー１３０で得られた音声信号を増幅処理するマイクアンプ部やＡ／Ｄ変換器を有し、音声データを制御部１０に出力する。また、収音部１３から出力される音声データは、音声データに対してノイズ除去、音源分離等の処理を行う音声信号処理部（不図示）を介して制御部１０に出力されてもよいし、制御部１０により音声信号処理が行われてもよい。
　（撮像部１４）
　撮像部１４は、撮像レンズ１４ａ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
　（視線検出部１５）
　視線検出部１５は、装着者の視線位置を検出する機能を有し、検出結果を制御部１０に出力する。具体的には、例えば視線検出部１５は、内側に向けて設けられた撮像レンズ１５ａ（図２Ｂ参照）を有する撮像部により実現される。この場合、視線検出部１５は、撮像されたユーザの眼球の撮像画像に基づいて瞳孔の中心点を認識する処理を行い、視線位置を検出する。
　（記憶部１６）
　記憶部１６は、制御部１０による各種処理を実行するためのプログラムが格納される。
　以上、ＨＭＤ１の内部構成について説明した。なお図４に示すＨＭＤ１の構成は一例であって、ＨＭＤ１の構成はこれに限定されない。例えばＨＭＤ１は、さらに照明部、音声出力部等を有していてもよい。
　　＜２－２．ユーザ端末の構成＞
　図５は、本実施形態によるユーザ端末２の構成例を示すブロック図である。図５に示すように、ユーザ端末２は、制御部２０、通信部２１、操作部２２、表示部２３、および記憶部２４を有する。
　（制御部２０）
　制御部２０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、ユーザ端末２の各構成を制御する。また、制御部２０は、図５に示すように、ライフログ取得制御部２１０、話者認識部２２０、検索制御部２３０、表示制御部２４０、共有設定制御部２５０、および言語処理部２６０として機能する。
　ライフログ取得制御部２１０は、ユーザの周囲の状況を継続的に記憶するよう制御する。具体的には、例えばライフログ取得制御部２１０は、ＨＭＤ１の収音部１３、撮像部１４で取得された音声データ、画像データをＨＭＤ１から受信して、記憶部２４またはクラウドストレージ３に格納するよう制御する。
　話者認識部２２０は、ＨＭＤ１から送信される音声データ、画像データに基づいて、対話者を認識する。具体的には、例えば話者認識部２２０は、音声データに対して音源分離を行い、混合されている音声データを音源毎に分離する。これにより、話者認識部２２０は、音声データを、環境音や、ユーザＡ自身の発話音、対話者（ユーザＢ）の発話音等に分離することができる。また、話者認識部２２０は、音源分離した各個別音声データに対して解析処理を行って、個別音声を発する音源の方向を示す方向データと、音源までの距離を示す距離データを生成してもよい。ここで、音声の音源の方向および距離は、その音声を収音したＨＭＤ１のマイクアレー等の収音部１３を基準とした方向および距離である。そして、話者認識部２２０は、個別音声データが発話音である場合、発話者の認識を行う。具体的には、話者認識部２２０は、音声データ取得時の撮像画像（画像データ）を参照し、音源の方向を示す方向データおよび／または距離を示す距離データに合致する位置の人物（顔画像）を話者として認識し、顔認識処理により話者を識別する。また、話者認識部２２０は、発話音と判断された個別音声データを分析して得た音声の特徴量に基づいて話者を識別することも可能である。
　検索制御部２３０は、話者認識部２２０により認識された対話者に関連する情報（過去データ）を検索する機能を有する。具体的には、検索制御部２３０は、クラウドストレージ３、またはローカルストレージである記憶部２４に対して検索要求を行う。ここで、クラウドストレージ３において検索される範囲は、ユーザがアクセス可能な記憶領域であって、継続的に蓄積されたライフログや、クリップ等して保存したドキュメント群、他者と送受信したデータ等から検索される。検索制御部２３０は、検索の際、過去データに関連付けられたメタデータに基づいて対話者に関連する過去データを検索し得る。また、検索制御部２３０は、対話者に関連する過去データのうち、現在日時、場所、ユーザの現在のスケジュール情報と照らし合わせて、検索してもよい。例えば、検索制御部２３０は、対話者に関連する過去データのうち、現在ユーザが出席している会議の過去の会議で利用された資料を検索する。
　表示制御部２４０は、ユーザ端末２の表示部２３の表示制御の他、ＨＭＤ１の表示部１２の表示制御も行い得る。例えば表示制御部２４０は、検索制御部２３０により検索された対話者に関連する情報（過去データ）を、ＨＭＤ１の表示部１２に表示するよう制御する。具体的には、表示制御部２４０は、通信部２１を介して、対話者に関連する情報と、表示指示をＨＭＤ１に送信する。
　共有設定制御部２５０は、過去データの他者との共有設定の制御を行う。具体的には、共有設定制御部２５０は、ユーザが対話者への共有が許可された場合、対話者のユーザ端末に対して共有が許可された過去データを送信し、また、クラウドストレージ３に対して共有通知を行う。
　言語処理部２６０は、ＨＭＤ１の収音部１３で取得され、ＨＭＤ１から送信された音声データに対して言語解析処理を行い、指示語や名詞等のキーワード抽出を行う。抽出されたキーワードは、対話者に関連する過去データの検索キーワードの候補としてユーザに提示される。
　（通信部２１）
　通信部２１は、外部機器との間でのデータの送受信を行う。例えば通信部２１は、Ｗｉ－ＦｉまたはＢｌｕｅｔｏｏｔｈ（登録商標）等によりＨＭＤ１、およびクラウドストレージ３と接続し、データの送受信を行うことができる。
　（操作部２２）
　操作部２２は、ユーザによる操作入力を受け付け、受け付けた入力情報を制御部２０に出力する。操作部２２は、ボタン、スイッチ等の他、表示画面への操作入力を受け付けるタッチセンサにより実現される。
　（表示部２３）
　表示部２３は、制御部２０の表示制御部２４０の制御にしたがって、所定の表示画面を表示する。表示部２３は、例えばＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等により実現される。
　（記憶部２４）
　記憶部２４は、制御部２０が各種処理を実行するためのプログラム等を記憶する。また、本実施形態では、ライフログやドキュメント群等がクラウドストレージ３に格納されているが、ローカルストレージの一例である記憶部２４に格納されていてもよい。
　以上、ユーザ端末２の構成例について具体的に説明した。なおユーザ端末２は、図１に示すスマートフォンに限定されず、携帯電話端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、タブレット端末等であってもよい。
　　＜２－３．クラウドストレージの構成＞
　図６は、本実施形態によるクラウドストレージ３の構成例を示すブロック図である。図６に示すように、クラウドストレージ３は、制御部３０、通信部３１、メタデータ生成部３３、および記憶部３４を有する。
　（制御部３０）
　制御部３０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、クラウドストレージ３の各構成を制御する。例えば、制御部３０は、ユーザ端末２からの要求に応じて、対話者に関連する過去データを記憶部３４から検索する機能を有する。また、制御部３０は、記憶部３４に記憶されている音声データや画像データ、ドキュメント群等を取得してメタデータ生成部３３に送り、メタデータ生成部３３で生成されたメタデータを、音声データ等にそれぞれ関連付けて記憶部３４に格納するよう制御する。
　（通信部３１）
　通信部３１は、外部機器との間でのデータの送受信を行う。例えば通信部３１は、ネットワークを介して、ユーザ端末２、およびＨＭＤ１と接続し、データの送受信を行うことができる。
　（メタデータ生成部３３）
　メタデータ生成部３３は、記憶部３４に記憶される音声データ、画像データ（動画／静止画）、ドキュメント群等を解析し、メタデータを生成（抽出）する。例えば、メタデータ生成部３３は、画像データや音声データについて、録音／録画日時、録音／録画場所、顔認識／音声認識により得られた被写体／話者の識別情報、被写体／話者（音源）の方向データ・距離データ、アクセス権限者（ユーザ名）、音声認識、テキスト化データ等をメタデータとして生成する。また、メタデータ生成部３３は、ドキュメント群（テキストデータ）について、利用日時、改変日時、ユーザのスケジュールとの紐付け情報（例えば会議名、参加者／同席者等）、コンテンツ内容（例えばタイトル）等をメタデータとして生成する。
　（記憶部３４）
　記憶部３４は、各ユーザ端末２から送信されたライフログ（音声データ、画像データ等）や、ドキュメント群、各ユーザのスケジュール情報等を記憶する。また、記憶部３４に記憶されているデータは、アクセス権限を有するユーザにより日常的に閲覧、追加・削除などの操作がなされる。
　記憶部３４に記憶されているデータには各々アクセス権が設定され、各ユーザのプライベートなデータとして設定され得る。また、アクセス権を有するユーザの指示に従って、対象データに対するアクセスを他ユーザに許可される場合（共有される場合）や、所定グループのユーザに対して対象データがパブリックにされる場合もある。
　以上、本実施形態による情報共有システムに含まれる各装置の構成について詳細に説明した。続いて、本実施形態による情報共有システムの動作処理について説明する。
　　＜＜３．動作処理＞＞
　　＜３－１．ライフログの保存処理＞
　まず、情報共有システムに含まれるクラウドストレージ３に日常的に蓄積されるユーザのライフログの保存処理について図７を参照して説明する。図７は、本実施形態によるライフログの保存処理を示すシーケンス図である。
　図７に示すように、ステップＳ１０３において、ユーザ端末２の操作部２２は、ユーザによるログ開始操作を受け付ける。
　次いで、ステップＳ１０６において、操作部２２はログ開始指示を制御部２０に出力し、制御部２０は、通信部２１を介してＨＭＤ１にログ開始指示を送信する。
　次に、ステップＳ１０９において、ＨＭＤ１の制御部１０は、ライフロガーの起動処理（ライフログの保存開始）を行う。
　続いて、ライフロガーの起動処理後の動作処理について図８を参照して説明する。図８は、ライフロガー起動中の動作処理を示すシーケンス図である。図８に示すように、ステップＳ１２３およびＳ１２６において、ＨＭＤ１の制御部１０は、収音部１３で収音された音データや、撮像部１４で撮像された画像データ（静止画／動画）をライフログとして取得する。
　次に、ステップＳ１２９において、制御部１０は、取得したライフログ（音データ、画像データ）を、通信部１１を介してユーザ端末２に送信する。
　次いで、ステップＳ１３２において、ユーザ端末２の制御部２０は、ライフログ取得制御部２１０として機能し、ＨＭＤ１から受信したライフログをクラウドストレージ３に送信する。
　次に、ステップＳ１３５において、クラウドストレージ３の制御部３０は、通信部３１を介してユーザ端末２から受信したライフログを、記憶部３４におけるユーザがアクセス可能な記憶領域に格納する。
　以上説明したステップＳ１２３～Ｓ１３５の処理は、ライフロガー起動中において繰り返し行われる。これにより、ユーザの周囲の状況や周囲の音声を、全天球カメラや魚眼レンズで実現された３６０度カメラ（撮像部１４の一例）や、マイクアレー（収音部１３の一例）で取得し、常時ライフログとしてクラウドストレージ３に蓄積することができる。
　なお、クラウドストレージ３に蓄積されるユーザのデータは、音声データや画像データに限定されず、例えばドキュメント群（テキストデータ）も含まれる。
　また、クラウドストレージ３に蓄積されるデータは、ライフログに限定されず、例えばユーザ端末２でフリック操作して登録したデータ（音声データ、画像データ、テキストデータ）や、他ユーザと送受信したデータ、およびスケジュール情報等も含まれる。
　　＜３－２．メタデータ生成処理＞
　次に、クラウドストレージに蓄積されている各種データのメタデータ生成について図９を参照して説明する。図９は、本実施形態によるメタデータ生成処理を示すシーケンス図である。
　図９に示すように、まず、ステップＳ１４６において、クラウドストレージ３の制御部３０は、記憶部３４から各種データ（コンテンツデータとも称す）を取得する。
　次に、ステップＳ１４９において、制御部３０は、記憶部３４から取得したコンテンツデータをメタデータ生成部３３に転送すると共に、メタデータの生成指示を出す。
　次いで、ステップＳ１５２において、メタデータ生成部３３は、コンテンツデータを解析してメタデータを抽出する。具体的には、上述したように、画像データや音声データについては、録音／録画日時、被写体／話者の識別情報、テキスト化データ等がメタデータとして生成され、また、ドキュメント群については、利用日時、改変日時、ユーザのスケジュールとの紐付け情報等がメタデータとして生成される。
　次に、ステップＳ１５５において、メタデータ生成部３３は、抽出したメタデータを制御部３０に転送する。
　続いて、ステップＳ１５８において、制御部３０は、コンテンツデータとメタデータを関連付ける。
　そして、ステップＳ１６１において、関連付けたメタデータを記憶部３４に格納する。
　　＜３－３．起動処理＞
　次に、本実施形態による対話者に関連する過去データを表示する処理（以下、回想アプリケーションとも称す）の起動について、図１０を参照して説明する。図１０は、本実施形態による回想アプリケーションの起動処理を示すシーケンス図である。なお、ここでは、会議の場面で出席者がそれぞれ本システムを利用可能なＨＭＤ１を装着している状況を想定する。また、会議の出席者には、ユーザＡおよびユーザＢが含まれる。
　また、本システムでは、各々のＨＭＤ１に設けられている収音部１３および撮像部１４により取得された音声データおよび画像データの解析結果に基づいて、会議の出席者や発言者等が自動認識される。これにより、例えばユーザＡの前でユーザＢが話している際、ユーザＡのＨＭＤ１ａまたはユーザ端末２ａでは、目の前にいる人物がユーザＢであることと、ユーザＢが話者であることが明示される。このような状況において、本実施形態によるユーザ端末２は、ユーザの視線の動きをトリガとして回想アプリケーションを起動する。
　具体的には、図１０に示すように、まずステップＳ１７３、Ｓ１７６において、ＨＭＤ１の制御部１０は、収音部１３から収音された音声データを取得し、撮像部１４から撮像された画像データを取得する。収音部１３は、会議中の会話を収音し、撮像部１４は、ユーザの周囲に居る会議参加者を撮像している。
　次に、ステップＳ１７９において、制御部１０は、通信部１１を介して、取得データをユーザ端末２に送信するよう制御する。
　次いで、ステップＳ１８２において、ユーザ端末２の制御部２０は、話者認識部２２０として機能し、通信部２１を介してＨＭＤ１から取得したデータ（音声データ、画像データ）を解析してリアルタイムで話者認識を行う。これにより、例えばユーザＡの対話者としてユーザＢを認識することができる。また、上記ステップＳ１７３～Ｓ１８２は繰り返し行われ、話者の変更も認識され得る。
　次に、ステップＳ１８５において、ＨＭＤ１の制御部１０は、視線検出部１５により検出された装着者の視線検出データを取得する。
　次いで、ステップＳ１８８において、制御部１０は、通信部１１を介して、視線検出データをユーザ端末２に送信するよう制御する。
　次に、ステップＳ１９１において、ユーザ端末２の制御部２０は、通信部２１を介してＨＭＤ１から受信した視線検出データに基づいて、ユーザの視線が左上を向いたか否かを判断する。
　続いて、ユーザの視線が左上を向いたと判断した場合（Ｓ１９１／Ｙｅｓ）、ステップＳ１９４において、制御部２０は、回想アプリケーションを起動する。上述したように、一般的に人間は過去の記憶を思い返す際、視線が左に向くことが知られているので、ここでは一例としてユーザの視線が左上に向いたことをトリガとして回想アプリケーションを起動する。
　次いで、ステップＳ１９７において、制御部２０は、表示制御部２４０として機能し、ＨＭＤ１に対して回想情報（対話者に関連する過去データ）を表示するよう制御する。なお回想情報はクラウドストレージ３から取得するが、当該回想情報の検索処理については後述する。
　次に、ステップＳ２００において、ＨＭＤ１の制御部１０は、ユーザ端末２からの指示に従って、表示部１２に対して回想情報を表示するよう制御する。
　そして、ステップＳ２０１において、ＨＭＤ１の表示部１２は、制御部１０の制御に従って、回想情報を表示する。
　以上、回想アプリケーションの起動処理について説明した。ここで、回想アプリケーション起動時におけるＨＭＤ１を介した視界の変化（表示例）について図１１を参照して説明する。
　図１１に示す例は、回想アプリケーション起動時におけるＨＭＤ１を装着しているユーザの視界であって、ＨＭＤ１の表示部１２が図２に示すように透過しない場合、撮像部１４により撮像された前方の風景の撮像画像が表示される。また、メガネ型シースルーＨＭＤ等、表示部１２が透過するタイプの場合、ユーザは透過した表示部１２を介して実空間の前方の風景が見える。上述したように、本システムでは会議中継続的に話者認識が行われるので、図１０上に示すように、誰が話者であるかを示す表示が、ＨＭＤ１の表示部１２において前方の撮像画像または実空間の風景に重畳表示される。
　そして、ユーザが相手ユーザと議論しながら過去の記憶を思い返す際、ユーザの視点４０が自然に左上に移動すると、継続的に視線検出を行っていた本システムは回想アプリケーションを起動する。回想アプリケーションが起動すると、ＨＭＤ１は、ユーザ端末２の制御に従って、例えばユーザの視界の左上に吹き出し画像４２を表示し、吹き出し画像４２内に、クラウドストレージ３から検索された対話者に関連する過去データの資料群４２１～４２３を表示する。これにより、ユーザが過去の記憶を思い返そうとすると、自動的にクラウドストレージ３から検索されたデータが表示されるので、ユーザは過去のデータを確認した上でより有意義に議論を行うことができる。
　なお、ここではトリガとして視線移動を用いたが、回想アプリケーションの起動トリガはこれに限定されず、例えばユーザによる明示的な起動操作等であってもよい。また、検索される過去データの資料群４２１～４２３（回想情報）は、話者を自動選択して当該話者に関連するものであるが、本実施形態はこれに限定されず、例えばユーザ操作により任意に選択された他の参加者の過去データであってもよい。
　　＜３－４．検索処理＞
　続いて、本実施形態による過去データ（回想情報）の検索処理について図１２を参照して説明する。図１２は、本実施形態による過去データの検索処理を示すシーケンス図である。
　図１２に示すステップＳ１９４において、図１０に示す動作処理の同ステップの処理、すなわちユーザ端末２の制御部２０による回想アプリケーションの起動処理が行われる。この際、上記ステップＳ１８２において、話者は既に認識されている状態を想定する。
　次に、ステップＳ１９４－１において、制御部２０は、検索制御部２３０として機能し、認識された話者（例えばユーザＢ）に関連する情報の検索要求を、通信部２１を介してクラウドストレージ３に対して行う。
　次いで、ステップＳ１９４－２において、クラウドストレージ３の制御部３０は、記憶部３４から関連情報の検索を行う。この際、制御部３０は、例えば話者と認識されたユーザＢに関連する情報として、ユーザＢが出席している本会議の過去の資料や、ユーザＢが他者に共有している資料全般、ユーザＢとユーザＡが以前話していた時に利用した資料、ユーザＢとの会話の内容等を検索する。具体的には、制御部３０は、記憶部３４に記憶されている各種コンテンツデータのメタデータを参照してこれらの資料を検索する。例えば、ライフログには、その時周囲に居た人物や対話者の認識結果がメタデータとして紐付けられているので、ユーザＢと一緒に居た時の音声データや画像データが検索結果として抽出される。また、ライフログから判明するユーザＢと一緒に居た時刻の前後にユーザＡが送受信したメールの内容や、アクセスしたＵＲＬ等が検索結果として抽出されてもよい。
　次に、ステップＳ１９４－３において、制御部３０は、記憶部３４から検索したコンテンツデータを、通信部３１を介して、検索結果としてユーザ端末２に送信する。
　そして、ステップＳ１９７において、ユーザ端末２の制御部２０は、表示制御部２４０として機能し、ＨＭＤ１に対して回想情報の表示指示を行う（図１０の同ステップ参照）。
　以上、本実施形態による検索処理について説明した。なお検索結果が複数ある場合、図１０に示すように、吹き出し画像４２内に複数の過去データの資料群４２１～４２３が表示されるので、ユーザは任意の資料を絞り込んで所望の資料を閲覧することができる。以下、図１３、図１４を参照して資料の絞り込みについて説明する。絞り込み操作は、ユーザの手元にあるユーザ端末２の操作部２２（例えばタッチパネル）からフリック、タップ操作等により行ってもよい。この場合、ユーザ端末２の表示部２３にも吹き出し画像４２および過去データの資料群４２１～４２３が表示され、ユーザ端末２での絞り込み操作がＨＭＤ１の表示部１２にも反映される。
　図１３は、フリック操作で資料群を閲覧する場合について説明するための図である。図１３に示すように、過去データとして複数の資料が吹き出し画像４２内に表示されている場合、ユーザＡは、指５ａで左右にフリック操作を行うことで、並列して並ぶ他の資料群を閲覧することができる。例えば、図１３に示す例では過去データの資料群４２１～４２３が吹き出し画像４２内に表示されているが、さらに他の資料群が並んでいる場合、吹き出し画像４２内には全て表示され得ないので、ユーザはフリック操作により他の資料群を閲覧する。
　図１４は、個別の資料の中身を閲覧する場合について説明するための図である。図１４上に示すように、各資料群４２１～４２３のうち、例えば資料群４２２をタップして資料群４２２の内訳を表示させることができる。次いで、図１４中央に示すように、資料群４２２の内訳として資料４２２－１～４２２－３が表示されると、ユーザは所望の資料４２２－２をタップして資料４２２－２の中身を表示させることができる。
　そして、図１４下に示すように、資料４２２－２の中身が展開されると、ユーザは上下左右のフリック操作により資料４２２－２をスクロールさせて閲覧することができる。
　以上、資料の絞り込み操作をユーザ端末２の操作部２２から行う場合について説明したが、本実施形態はこれに限定されず、例えば指さし等のジェスチャー入力で行ってもよい。指さし等のジェスチャーは、ＨＭＤ１に設けられた撮像部１４により撮像され、撮像画像の解析によりジェスチャー入力として受け付けられる。また、ジェスチャー入力の際、手や指の撮像画像がＨＭＤ１の表示画面に重畳表示されてもよい。
　　＜３－５．キーワード検索処理＞
　以上説明した検索処理では、話者（またはユーザが任意に指定した人物）に関連する過去データが検索され、ユーザが絞り込み操作を行っているが、本実施形態はこれに限定されず、話者との会話から抽出したキーワードを用いて資料の絞り込みが行われてもよい。
　　（３－５－１．キーワード表示）
　まず、図１５～図１８を参照して抽出したキーワードの表示と資料の絞り込みについて説明する。図１５は、キーワードの表示制御処理を示すシーケンス図である。
　図１５に示すように、ステップＳ２０３において、ＨＭＤ１の制御部１０は、収音部１３から話者との会話（音データ）を取得し、次のステップＳ２０６において、ユーザ端末２に送信する。
　次いで、ステップＳ２０９において、ユーザ端末２の制御部２０は、言語処理部２６０として機能し、通信部２１を介してＨＭＤ１から受信した音データに対して言語処理を行い、名詞や指示語等のキーワードを抽出する。
　また、ステップＳ２１２において、制御部２０は、話者認識部２２０として機能し、通信部２１を介してＨＭＤ１から受信した音データに対して話者認識を行う。
　次に、ステップＳ２１５において、制御部２０は、話者との会話から抽出したキーワードを、通信部２１からＨＭＤ１に送信するよう制御する。
　次いで、ステップＳ２１８において、ＨＭＤ１の制御部１０は、ユーザ端末２から通信部１１を介して送信されたキーワードを、表示部１２において、対応する話者付近に表示するよう制御する。
　そして、ステップＳ２２１において、ＨＭＤ１の表示部１２は、話者との会話から抽出されたキーワードを話者付近に表示するよう制御する。
　以上説明したキーワードの表示制御は会議中にリアルタイムで継続的に行われる。ここで、キーワードの表示例について図１６を参照して説明する。図１６は、本実施形態によるキーワードの表示例について説明するための図である。図１６に示す例は、ＨＭＤ１の表示部１２を介したユーザの視界であって、認識された話者であるユーザＢ付近には、「Ｂさん、話者」と表示される。また、回想アプリケーションが起動すると、吹き出し画像４２が左上に表示される。そして、上述したキーワード表示制御処理により、図１６に示すように、ユーザＢとの会話から抽出されたキーワード群４３が表示される。かかるキーワード表示制御処理は、会議中にリアルタイムで継続的に行われるので、図１６に示すように、順次抽出されたキーワードが表示される。
　　（３－５－２．キーワードの選択と検索処理）
　続いて、表示されたキーワードの選択と検索処理について図１７を参照して説明する。図１６を参照して上述したようにキーワード群４３が表示された場合、ユーザは検索したいキーワードを選択する。選択操作は、ユーザ端末２の操作部２２からタップ操作等により行ってもよいし、指さし等のジェスチャー入力であってもよい。図１７に示すシーケンス図では、一例としてユーザ端末２の操作部２２からタップ操作により選択する場合について説明する。
　図１７は、本実施形態によるキーワード選択および検索処理を示すシーケンス図である。図１７に示すよう、まず、ステップＳ２３３において、ユーザ端末２の操作部２２は、キーワード「あの資料」の選択を受け付ける。
　次に、ステップＳ２３６において、操作部２２は検出したキーワード選択の内容（キーワード「あの資料」を選択したこと）を制御部２０に出力する。
　次いで、ステップＳ２３９において、制御部２０は、検索制御部２３０として機能し、キーワード「あの資料」を検索する際の具体的な検索ワードを生成する。例えば、「あの資料」からは、話者が今開かれている会議で過去に使った資料や、話者が今開かれている会議に参加しているメンバーと話したときに使った資料等が推定されるので、現在行われている会議の名称や、参加者全員の氏名等が具体的な検索ワードとして生成される。
　続いて、ステップＳ２４２において、制御部２０は、生成した検索ワードに基づいて、資料候補情報取得要求を、通信部２１を介してクラウドストレージ３に対して行う。
　次に、ステップＳ２４５において、クラウドストレージの制御部３０は、ユーザ端末２からの要求に応じて、検索ワードに基づき、資料候補情報を記憶部３４から検索する。この際、制御部３０は、記憶部３４に格納されているコンテンツデータに紐付けられているメタデータを参照し、所定の会議の過去の資料等を検索する。
　次いで、ステップＳ２４８において、制御部３０は、検索結果をユーザ端末２に送信する。
　次に、ステップＳ２５１において、ユーザ端末２の制御部２０は、検索結果に基づいて、「あの資料」の資料候補情報を表示するようＨＭＤ１に対して指示を送る。
　そして、ステップＳ２５４において、ＨＭＤ１の制御部１０は、ユーザ端末２からの指示に従って、資料候補情報を表示部１２に表示するよう制御する。この際、制御部１０は、回想アプリケーション起動により表示された吹き出し画像の中に、資料候補情報を表示するよう制御してもよい。以下、図１８を参照して説明する。
　図１８は、キーワード検索の結果表示画面の一例を示す図である。図１８上に示すように、ユーザＢとの会話中に抽出されたキーワード群４３が表示されている場合に、ユーザが「あの資料」を選択すると、図１８下に示すように、吹き出し画像４２内に「あの資料」と推定される資料候補群４４０（検索結果）が表示される。このように、本実施形態では、会話中に抽出されたキーワードに基づいて絞り込み検索を行うことができる。
　　（３－５－３．検索資料の推定処理）
　上述した検索処理では、会話から抽出した名詞または指示語からキーワードを一つ選択して対象資料の検索を行っているが、本実施形態はこれに限定されず、選択されたキーワードが登場した会話の前後の会話に基づいて、より正確に対象資料を推定することもできる。以下、図１９～図２２を参照して具体的に説明する。
　図１９は、対象資料の推定処理を説明するための図である。図１９に示す処理は、例えばユーザ端末２の制御部２０により実行される。また、図１９に示す「ＤＢ（データベース）」は、例えばユーザ端末２の記憶部２４が相当する。
　まず、ステップＳ２６０において、制御部２０は、ＨＭＤ１から送信された撮像画像（例えばＨＭＤ１の全方向の撮像画像）に基づいて、周囲に居る人物の顔を認識する。ここで、会議の出席者にはユーザＡ、ユーザＢが含まれる。また、ここでは、一例としてユーザＡが所持するユーザ端末２の処理として説明する。
　次に、ステップＳ２６２において、制御部２０は、ＨＭＤ１から送信された音声データおよび／または撮像画像に基づいて、話者（ここでは、ユーザＡまたはユーザＢ）を特定する。
　次いで、ステップＳ２６４において、制御部２０は、ユーザＡとユーザＢの会話を全て音声認識・言語解析し、ユーザ毎にキーワードをラベル化し、ＤＢ（記憶部２４）に保存する。なお、制御部２０によるラベル化は、音声認識に基づくものに限定されず、例えば画像（静止画／動画）認識、行動認識等全ての認識結果に基づいて行う。ここで、ＤＢに保存されるラベル化されたキーワードの一例を下記表１に示す。
Figure JPOXMLDOC01-appb-T000001
　次いで、ステップＳ２６６において、制御部２０は、会話中から「あれ・これ」といった指示語を判別する。例えば、制御部２０は、ユーザＡが「あれってどこだっけ」という会話から、指示語「あれ」を判別する。
　次に、ステップＳ２６８において、制御部２０は、判別した指示語に相当する内容の解析を開始する。
　具体的には、ステップＳ２７０において、制御部２０は、判別した指示語「あれ」の前後の会話のラベルを解析し、キーワードを抽出する。例えば、ユーザＢによる「年末最後のＣさんとの会議で使った『あれ』はＪのフォルダに入っているよ」といった会話から、「人：Ａさん・Ｂさん・Ｃさん」、「時間：年末最後」、「場所：会議室」、「コンテンツ内容：会議内容、お昼の会話」といったキーワードが抽出される。
　次いで、ステップＳ２７２において、制御部２０は、抽出された「キーワード」と、各コンテンツデータのメタデータとをマッチングして、「あれ」に相当するコンテンツデータ（会議資料、写真、動画等）を抽出する。メタデータが紐付けられたコンテンツデータは、クラウドストレージ３から取得されて、ユーザ端末２の記憶部２４に一時的に格納される。ここで、マッチングによる「あれ」候補一覧の一例を図２０に示す。図２０に示すように、各コンテンツデータのメタデータと、抽出されたキーワードのマッチングにより、「あれ」候補１～３が挙げられる。
　次に、ステップＳ２７４において、制御部２０は、「あれ」候補１～３を、優先度順（マッチング度の高い順）に、ＨＭＤ１の表示部１２において、ユーザＡから見て左上に表示される吹き出し画像内で提示するよう制御する。なお、ユーザ端末２から選択操作を行う場合は、ユーザ端末２の表示部２３にも同様に候補１～３を表示するよう制御する。
　そして、ステップＳ２７６において、ＨＭＤ１の表示部１２に表示された「あれ」候補１～３のうち、ユーザＡにより正しい資料が選択され、正解が示される。また、候補１～３が、後述する共有設定によりユーザＢに公開された場合、ユーザＢにより正しい資料が選択され、正解が示される場合もある。正しい資料が選択されると、ユーザ端末２の制御部２０は、正解が示された「あれ」候補（コンテンツデータ）のメタデータをフィードバック学習により拡充する。図２１は、フィードバック学習によるメタデータの拡充を説明するための図である。図２１に示すように、例えば「○○．ｐｐｔ」が正解だった場合、当該コンテンツデータのメタデータに、「時間：年末最後」、「人：Ｃさん」「その他：Ｊのフォルダ」等のキーワードがメタデータとして追加される。
　以上説明した推定処理では、会話に参加しているユーザＡまたはユーザＢの発言に基づいて候補資料を推定して提示しているが、本実施形態はこれに限定されず、例えばそれまでの会話に参加していなかった者に対しても資料候補を提示することも可能である。以下、図２２を参照して説明する。
　図２２は、会話の非参加者に対して資料候補を提示する処理を説明するための図である。図２２に示すように、まず、ステップＳ２８０において、ユーザ端末２の制御部２０は、ＨＭＤ１から送信された撮像画像（例えばＨＭＤ１の全方向の撮像画像）に基づいて、周囲に居る人物の顔を認識する。ここで、会議の出席者にはユーザＡ、ユーザＢ、ユーザＣが含まれる。また、ここでは、一例としてユーザＣが所持するユーザ端末２の処理として説明する。
　次に、ステップＳ２８２において、制御部２０は、ＨＭＤ１から送信された音声データおよび／または撮像画像に基づいて、話者（ここでは、ユーザＡまたはユーザＢ）を特定する。この時、ユーザＣは会話に参加しておらず、会話の外にいる。
　次いで、ステップＳ２８４において、制御部２０は、ユーザＣの周りで行われているユーザＡとユーザＢの会話を全て音声認識・言語解析し、ユーザ毎にキーワードをラベル化し、ＤＢ（記憶部２４）に保存する。
　次に、ステップＳ２８６において、制御部２０は、会話に参加していないユーザＣに対してユーザＡが「そういえば、『あれ』ってどうなったの？」と話しかけてきた場合でも、会話から指示語「あれ」を判別する。
　次いで、ステップＳ２８８において、制御部２０は、判別した指示語に相当する内容の解析を開始する。
　具体的には、ステップＳ２９０において、制御部２０は、判別した指示語「あれ」の前後の会話のラベルを解析し、キーワードを抽出する。上述したように、ユーザＣが会話に参加していない間も、ユーザＣのユーザ端末２における制御部２０は、ユーザＣの周りの会話を解析してキーワードをラベル化しているので、ユーザＡが話しかけてきた時までの会話からもキーワードを抽出することが可能である。
　次いで、ステップＳ２９２において、制御部２０は、抽出された「キーワード」と、各コンテンツデータのメタデータとをマッチングして、「あれ」に相当するコンテンツデータ（会議資料、写真、動画等）を抽出する。
　次に、ステップＳ２９４において、制御部２０は、複数の「あれ」候補を、優先度順（マッチング度の高い順）に、ＨＭＤ１の表示部１２において、ユーザＣから見て左上に表示される吹き出し画像内で提示するよう制御する。この際、制御部２０は、ユーザＡとユーザＢの会話から抽出されたキーワードを併せて提示してもよい。
　そして、ステップＳ２９６において、ＨＭＤ１の表示部１２に表示された複数の「あれ」候補のうち、ユーザＣにより正しい資料が選択され、正解が示される。また、複数の候補が、後述する共有設定によりユーザＡ、ユーザＢに公開された場合、ユーザＡまたはユーザＢにより正しい資料が選択され、正解が示される場合もある。正しい資料が選択されると、ユーザ端末２の制御部２０は、正解が示された「あれ」候補（コンテンツデータ）のメタデータをフィードバック学習により拡充する。
　以上説明したように、本実施形態によるユーザ端末２は、ユーザが会話に参加していない間も周囲の会話を解析することで、話しけられた会話から指示語が抽出された場合に、それまでの会話を解析してラベル化したキーワードに基づいて候補資料を推定し、ユーザに提示することが可能である。
　　＜３－６．共有処理＞
　続いて、回想アプリケーションの起動により、ユーザに提示された過去データ（候補資料）を他ユーザと共有する場合について、図２３～図２５を参照して説明する。また、ここでは、一例としてユーザＡがユーザＢに過去データを共有する場合を想定する。
　図２３は、本実施形態による共有処理を示すシーケンス図である。図２３に示すように、まず、ステップＳ３１３において、ユーザＡが所持するユーザ端末２ａの操作部２２は、過去データのユーザＢへの共有設定を受け付ける。共有設定の操作は、例えば図２４に示すように、共有したい過去データに対応して表示される共有設定ボタン４２５、４２６を選択することにより行われる。なお対話者であるユーザＢのみに共有する場合は共有設定ボタン４２５を選択し、同席者全員に共有する場合は共有設定ボタン４２６を選択する。
　次に、ステップＳ３１６において、ユーザ端末２ａの操作部２２は、ユーザＢへの共有設定操作を検出した旨を制御部２０に出力する。
　次いで、ステップＳ３１９において、制御部２０は、指定の資料（図２４に示す例では、「Ｂさんによるこの会議の資料２」）をユーザＢに共有する旨をクラウドストレージ３に通知する。
　次に、ステップＳ３２２において、クラウドストレージ３の制御部３０は、記憶部３４のユーザＡがアクセス権限を有する領域に格納された指定の資料に共有フラグをセットするよう制御する。
　また、ステップＳ３２５において、ユーザ端末２ａの制御部２０は、共有設定されたユーザＢが所持するユーザ端末２ｂに対して、指定の資料を送信する。
　次に、ステップＳ３２８において、ユーザ端末２ｂは、ユーザ端末２ａから送信された共有資料を、ユーザＢに装着されるＨＭＤ１ｂで表示するよう指示する。
　そして、ステップＳ３３１において、ＨＭＤ１ｂは、ユーザ端末２ｂの指示に従って、ユーザＡから共有された資料を、表示画面においてユーザＡに対応する位置（例えばユーザＡの頭上）に表示する。ここで、ユーザＡからユーザＢに共有された資料の提示画面の一例を図２５に示す。図２５では、ＨＭＤ１ｂを装着したユーザＢの視界（表示部１２による表示画面）を図示する。
　図２５に示すように、ユーザＡの頭上に表示される吹き出し画像４２ａ内に、ユーザＡからユーザＢに対して共有された資料が提示される。これにより、ユーザＢは、ユーザＡが現在思い返している過去データを直感的に把握することができる。また、ユーザＢは、当該過去データをユーザＡの頭上の吹き出し画像４２ａ内で展開して中身を閲覧することもできるし、また、自分の記憶領域にコピーすることもできる。共有資料のコピーについては後述する。
　以上説明したように、本実施形態によれば、ユーザが思い返した過去データを他ユーザにも共有することができるので、より有意義な議論を行うことができる。なお、図２３を参照した共有処理では、ユーザ端末２ａからユーザ端末２ｂに共有する資料（コンテンツデータ）を送信しているが、本実施形態はこれに限定されない。例えば、クラウドストレージ３の記憶部３４において共有フラグがセットされた場合に、クラウドストレージ３の制御部３０が、共有設定されたユーザＢのユーザ端末２ｂに対して、共有資料を送信してもよい。
　　＜３－７．共有資料のコピー処理＞
　次に、共有資料のコピー処理について図２６～図２８を参照して説明する。ここでは、一例としてユーザＡがユーザＢに共有した資料（過去データ）のコピーについて説明する。コピー操作は、ユーザ端末２の操作部２２からドラッグ・ドロップ操作等により行ってもよいし、指さし等のジェスチャー入力であってもよい。
　図２６は、本実施形態による共有資料のコピー処理を示すシーケンス図である。図２６に示すシーケンス図では、一例としてユーザ端末２ｂの操作部２２から操作する場合について説明する。
　図２６に示すように、まず、ステップＳ３４３において、ユーザ端末２ｂの操作部２２は、共有資料のコピー操作を受け付ける。
　次に、ステップＳ３４６において、操作部２２は、コピー操作を検出した旨を制御部２０に出力する。
　次いで、ステップＳ３４９において、制御部２０は、指定の資料をユーザＢがアクセス可能な記憶領域にコピーするよう、クラウドストレージ３に対して指示する。
　次に、ステップＳ３５２において、クラウドストレージ３の制御部３０は、記憶部３４のユーザＡがアクセス可能な領域に記憶され、共有フラグがセットされた共有資料を、ユーザＢがアクセス可能な領域にコピーする。
　また、ステップＳ３５８において、ユーザ端末２ｂの制御部２０は、コピー操作された共有資料をＨＭＤ１の表示画面において、ユーザＢの吹き出し画像内に表示するよう制御する。
　そして、ステップＳ３６１において、ＨＭＤ１ｂは、コピー操作された共有資料を、ユーザＢから見て左上に表示した吹き出し画像内に表示することで、ユーザは、共有資料がコピーされたことを直感的に把握できる。
　以上説明した共有資料のコピー操作は、例えば図２７に示すように、ドラッグ・ドロップ操作により行うことができる。図２７は、共有資料のコピー操作について説明するための図である。
　図２７上に示すように、ユーザＡの頭上に表示された吹き出し画像４２ａ内の共有資料を指５ｂでロングタップすることでドラッグを開始することができる。ユーザは、ロングタップした共有資料を、左上に表示される自身の吹き出し画像４４の領域に移動させ、吹き出し画像４４内にドロップする。これにより、共有資料のコピー操作が完了し、共有資料はクラウドストレージ３の記憶部３４においてユーザＢがアクセス可能な記憶領域にコピーされる。
　続いて、コピーした共有資料の閲覧について図２８を参照して説明する。図２８上に示すように、ユーザＢが吹き出し画像４４内にコピーした共有資料をタップすると、図２８下に示すように、共有資料の中身が展開され、画面全体に重畳表示される。ユーザは、フリック操作等で共有資料の中身をスクロールさせて閲覧することができる。
　なお、図２８に示す例では、ユーザ端末２の表示部２３にＨＭＤ１の表示部１２と同様の画面が表示され、操作部２２から受け付けたタップ操作やフリック操作に応じた画面変化が、ＨＭＤ１の表示部１２に反映される。また、本実施形態はユーザ端末２の操作部２２からの操作入力に限定されず、指さし等のジェスチャー入力を行うことも可能である。
　　＜＜４．まとめ＞＞
　上述したように、本開示の実施形態による情報共有システムは、対話者に関連する過去データを、対話者と視覚的に共有することができるので、会議をより有意義に行うことができる。また、本実施形態による情報共有システムは、対話者に関連する過去データは、例えば視線検出に基づいてユーザが過去の記憶を思い返す動作を行った場合（視線位置が左上に移動した場合）をトリガとして自動的に提示することで、本システムの利便性を向上させる。
　また、本実施形態による情報共有システムは、対話者との会話の内容に基づいて候補資料（過去データ）を推定することで、より正確にユーザが所望する過去データを提示することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述したＨＭＤ１、ユーザ端末２、またはクラウドストレージ３に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、ＨＭＤ１、ユーザ端末２、またはクラウドストレージ３の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、上述した実施形態では、一例としてＨＭＤ１ａを装着する者の視線が左上に移動したことをトリガとして対話者のユーザＢに関連する情報を提示しているが、本実施形態はこれに限定されない。すなわち、過去の記憶を思い返す際に視線がどの方向に移動するかは個人差があるので、視線が左下、右上、または右下等に移動した場合に所定の情報を提示してもよい。
　また、上述した実施形態では、右脳が使われる際に視線が左に向く事例を挙げたが、一方の左脳は、論理・現実的・言語を司るものであって、「架空の出来事」や「イメージ」、「嘘」を構築する際に、話に破綻や矛盾がないよう論理脳である左脳が使われ、視線は逆の右に向くことが知られている。そこで、本実施形態では、ＨＭＤ１ａの装着者の視線が右上に移動したことをトリガとして、自動的に構築した架空の話を提示することも可能である。
　例えばＨＭＤ１ａを装着するユーザＡがユーザＢと対話している際に、ユーザＡの視線が右上に向くと、対話者であるユーザＢに関連する情報を抽出するとともに、抽出した情報を一部変更した情報（架空の出来事）をユーザＡに提示する。具体的には、例えば対話者であるユーザＢに関連する情報として、対話の中に登場したユーザＣとユーザＡとの会食に関する情報が抽出された場合、当該情報を、ユーザＣとユーザＡとユーザＤとで行ったランチミーティングに変更してＨＭＤ１ａの表示部１２に表示する。このように、本実施形態では、装着者の視線が左上に移動した場合は過去データをそのまま提示し、右上に移動した場合は過去データを一部変更して加工した情報を提示することで、装着者のニーズに応じた情報を提示し、利便性をさらに向上させることができる。なお、架空の出来事や嘘を構築する際に視線がどの方向に移動するかは個人差があるので、視線が右下、左上、または左下等に移動した場合に所定の情報を提示するようにしてもよい。
　さらに、本実施形態による情報共有システムは、ユーザ端末２を含まなくとも実現され得る。この場合、ＨＭＤ１の制御部１０、または、クラウドストレージ３の制御部３０が、図４に示すユーザ端末２の制御部２０の各機能を実行する。
　また、ライフログ等のコンテンツデータが蓄積されるのはクラウドストレージ３に限定されず、例えば、ユーザ端末２や、ユーザ個人のＰＣ（パーソナルコンピュータ）等のローカルストレージであってもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御する表示制御部と、
　前記過去データの他者との共有を設定するよう制御する共有設定制御部と、
を備える、情報処理装置。
（２）
　前記情報処理装置は、
　前記対話者に関連する過去データを、記憶部に記憶されている過去データに関連付けられたメタデータに基づいて検索するよう制御する検索制御部をさらに備える、前記（１）に記載の情報処理装置。
（３）
　前記検索制御部は、現在日時、場所、またはユーザの現在のスケジュール情報を参照して過去データを検索する、前記（２）に記載の情報処理装置。
（４）
　前記検索制御部は、会話から抽出したキーワードに関連する過去データを検索する、前記（２）または（３）に記載の情報処理装置。
（５）
　前記検索制御部は、会話から抽出した指示語の前後のキーワードと、過去データに関連付けられたメタデータのマッチングにより、前記指示語の候補資料を前記過去データとして検索する、前記（４）に記載の情報処理装置。
（６）
　前記表示制御部は、検出されたユーザの視線位置が所定範囲に移動して回想動作を行った際に、前記過去データを表示するよう制御する、前記（１）～（５）のいずれか１項に記載の情報処理装置。
（７）
　前記表示制御部は、対話者から共有設定された過去データを表示するよう制御する、前記（１）～（６）のいずれか１項に記載の情報処理装置。
（８）
　前記表示制御部は、前記過去データを、共有設定を行った対話者に対応する位置に表示するよう制御する、前記（７）に記載の情報処理装置。
（９）
　認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御することと、
　前記過去データの他者との共有を設定するよう制御することと、
を含む、制御方法。
（１０）
　コンピュータを、
　認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御する表示制御部と、
　前記過去データの他者との共有を設定するよう制御する共有設定制御部と、
として機能させるための、プログラム。
（１１）
　各ユーザの過去データを格納するサーバと、
　ユーザの頭部に装着され、前記ユーザの眼前に配置される表示部を有するウェアラブル装置と、
　前記サーバから取得した、認識された対話者に関連する過去データを、前記表示部に表示するよう制御する表示制御部と；
　前記過去データの他者との共有を設定するよう制御する共有設定制御部と；を有するユーザ端末と、
を備える、システム。
　１、１ａ、１ｂ　　ＨＭＤ
　１０１　　本体部
　１０２　　額当て部
　１０３　　鼻当て部
　１０４　　上バンド
　１０５　　下バンド
　１１０　　ヘッドフォン
　１０　　制御部
　１１　　通信部
　１２　　表示部
　１３　　収音部
　１４　　撮像部
　１４ａ～１４ｄ　　撮像レンズ
　１５　　視線検出部
　１６　　記憶部
　１３０　　マイクロホン（マイクアレー）
　２、２ａ、２ｂ　　ユーザ端末
　２０　　制御部
　２１０　　ライフログ取得制御部
　２２０　　話者認識部
　２３０　　検索制御部
　２４０　　表示制御部
　２５０　　共有設定制御部
　２６０　　言語処理部
　２１　　通信部
　２２　　操作部
　２３　　表示部
　２４　　記憶部
　３　　クラウドストレージ
　３０　　制御部
　３１　　通信部
　３３　　メタデータ生成部
　３４　　記憶部
　４０　　視点
　４２　　吹き出し画像
　４２１～４２３　　資料群
　５ａ、５ｂ　　指
　４２５、４２６　　共有設定ボタン

Claims (11)

  1. 　認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御する表示制御部と、
    　前記過去データの他者との共有を設定するよう制御する共有設定制御部と、
    を備える、情報処理装置。
  2. 　前記情報処理装置は、
    　前記対話者に関連する過去データを、記憶部に記憶されている過去データに関連付けられたメタデータに基づいて検索するよう制御する検索制御部をさらに備える、請求項１に記載の情報処理装置。
  3. 　前記検索制御部は、現在日時、場所、またはユーザの現在のスケジュール情報を参照して過去データを検索する、請求項２に記載の情報処理装置。
  4. 　前記検索制御部は、会話から抽出したキーワードに関連する過去データを検索する、請求項２に記載の情報処理装置。
  5. 　前記検索制御部は、会話から抽出した指示語の前後のキーワードと、過去データに関連付けられたメタデータのマッチングにより、前記指示語の候補資料を前記過去データとして検索する、請求項４に記載の情報処理装置。
  6. 　前記表示制御部は、検出されたユーザの視線位置が所定範囲に移動して回想動作を行った際に、前記過去データを表示するよう制御する、請求項１に記載の情報処理装置。
  7. 　前記表示制御部は、対話者から共有設定された過去データを表示するよう制御する、請求項１に記載の情報処理装置。
  8. 　前記表示制御部は、前記過去データを、共有設定を行った対話者に対応する位置に表示するよう制御する、請求項７に記載の情報処理装置。
  9. 　認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御することと、
    　前記過去データの他者との共有を設定するよう制御することと、
    を含む、制御方法。
  10. 　コンピュータを、
    　認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御する表示制御部と、
    　前記過去データの他者との共有を設定するよう制御する共有設定制御部と、
    として機能させるための、プログラム。
  11. 　各ユーザの過去データを格納するサーバと、
    　ユーザの頭部に装着され、前記ユーザの眼前に配置される表示部を有するウェアラブル装置と、
    　前記サーバから取得した、認識された対話者に関連する過去データを、前記表示部に表示するよう制御する表示制御部と；
    　前記過去データの他者との共有を設定するよう制御する共有設定制御部と；を有するユーザ端末と、
    を備える、システム。
PCT/JP2014/081776 2014-02-18 2014-12-01 情報処理装置、制御方法、プログラム、およびシステム WO2015125375A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/117,492 US9992451B2 (en) 2014-02-18 2014-12-01 Information processing device, control method, and system
JP2016503947A JP6439788B2 (ja) 2014-02-18 2014-12-01 情報処理装置、制御方法、プログラム、およびシステム
CN201480075289.1A CN105981375B (zh) 2014-02-18 2014-12-01 信息处理设备、控制方法、程序和系统
EP14883408.8A EP3110141A4 (en) 2014-02-18 2014-12-01 Information processing apparatus, control method, program, and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014028426 2014-02-18
JP2014-028426 2014-02-18

Publications (1)

Publication Number Publication Date
WO2015125375A1 true WO2015125375A1 (ja) 2015-08-27

Family

ID=53877904

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/081776 WO2015125375A1 (ja) 2014-02-18 2014-12-01 情報処理装置、制御方法、プログラム、およびシステム

Country Status (5)

Country Link
US (1) US9992451B2 (ja)
EP (1) EP3110141A4 (ja)
JP (1) JP6439788B2 (ja)
CN (1) CN105981375B (ja)
WO (1) WO2015125375A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018173790A1 (ja) * 2017-03-22 2018-09-27 ソニー株式会社 画像処理装置および方法、並びにプログラム
JPWO2018124036A1 (ja) * 2016-12-26 2019-04-11 株式会社坪田ラボ 表示システム、電子機器及び照明システム
JP2019061557A (ja) * 2017-09-27 2019-04-18 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP2019176436A (ja) * 2018-03-29 2019-10-10 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
JP2019180078A (ja) * 2018-03-30 2019-10-17 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
JP2019531551A (ja) * 2016-10-04 2019-10-31 フェイスブック，インク． パーソナルスペースを有する共有３次元ユーザインタフェース
JP2020042292A (ja) * 2017-06-26 2020-03-19 Ｆａｉｒｙ Ｄｅｖｉｃｅｓ株式会社 音声情報処理システム、音声情報処理システムの制御方法、音声情報処理システムのプログラム及び記録媒体
US11183185B2 (en) 2019-01-09 2021-11-23 Microsoft Technology Licensing, Llc Time-based visual targeting for voice commands

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10212517B1 (en) * 2016-03-02 2019-02-19 Meta Company Head-mounted display system with a surround sound system
US10684674B2 (en) * 2016-04-01 2020-06-16 Facebook Technologies, Llc Tracking portions of a user's face uncovered by a head mounted display worn by the user
US11302317B2 (en) * 2017-03-24 2022-04-12 Sony Corporation Information processing apparatus and information processing method to attract interest of targets using voice utterance
JP6859807B2 (ja) * 2017-03-31 2021-04-14 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
US11782669B2 (en) 2017-04-28 2023-10-10 Microsoft Technology Licensing, Llc Intuitive augmented reality collaboration on visual data
EP3650984B1 (en) * 2017-06-06 2022-10-26 Maxell, Ltd. Mixed reality display system
US10437601B2 (en) * 2017-06-30 2019-10-08 Microsoft Technology Licensing, Llc Centralized memory management for multiple device streams
US11086597B2 (en) * 2017-11-06 2021-08-10 Google Llc Methods and systems for attending to a presenting user
GB2569605A (en) * 2017-12-21 2019-06-26 Sita Inf Networking Computing Usa Inc System, device and method for processing data
US11480801B1 (en) 2018-12-07 2022-10-25 Meta Platforms, Inc. Facial interface assemblies for head-mounted displays and related systems and methods
US11475634B2 (en) 2020-07-02 2022-10-18 Meta Platforms Technologies, Llc Generating an extended-reality lobby window for communication between networking system users
US11831814B2 (en) * 2021-09-03 2023-11-28 Meta Platforms Technologies, Llc Parallel video call and artificial reality spaces
US11921970B1 (en) 2021-10-11 2024-03-05 Meta Platforms Technologies, Llc Coordinating virtual interactions with a mini-map

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281618A (ja) * 2006-04-03 2007-10-25 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2010061265A (ja) * 2008-09-02 2010-03-18 Fujifilm Corp 人物検索登録システム
JP2012137902A (ja) * 2010-12-27 2012-07-19 Zenrin Datacom Co Ltd 情報蓄積編集装置
JP2012249164A (ja) * 2011-05-30 2012-12-13 Nikon Corp 電子カメラ、通信システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080004955A1 (en) * 2006-06-28 2008-01-03 Microsoft Corporation Use of business heuristics and data to optimize online advertisement and marketing
JP4433057B2 (ja) * 2008-01-30 2010-03-17 ソニー株式会社 クライアント装置、サーバ装置、会合設定システム及び会合設定方法
US20100223345A1 (en) * 2009-03-02 2010-09-02 Microsoft Corporation Communications application having conversation and meeting environments
AU2011220382A1 (en) * 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
JP2011250100A (ja) 2010-05-26 2011-12-08 Sony Corp 画像処理装置および方法、並びにプログラム
US8707186B2 (en) * 2010-06-25 2014-04-22 Avaya Inc. Conference recap and recording
US20120019557A1 (en) * 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
WO2012027577A2 (en) * 2010-08-26 2012-03-01 Tarik Taleb System and method for creating multimedia content channel customized for social network
CN201903695U (zh) * 2010-08-31 2011-07-20 夏翔 无线物联网眼镜
US20120084192A1 (en) * 2010-09-30 2012-04-05 Bank Of America Corporation System and Method for Coordinated Sales and Implementation of Financial Products
US8918197B2 (en) * 2012-06-13 2014-12-23 Avraham Suhami Audio communication networks
US9330499B2 (en) * 2011-05-20 2016-05-03 Microsoft Technology Licensing, Llc Event augmentation with real-time information
US9497249B2 (en) * 2011-08-08 2016-11-15 Sony Corporation Information processing apparatus, information processing method, program, and information processing system
US9153195B2 (en) * 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
US20130080264A1 (en) * 2011-09-09 2013-03-28 Dennoo Inc. Methods and systems for bidding and acquiring advertisement impressions
TWI482108B (zh) * 2011-12-29 2015-04-21 Univ Nat Taiwan To bring virtual social networks into real-life social systems and methods
US9197911B2 (en) * 2012-02-16 2015-11-24 Gopop.tv Method and apparatus for providing interaction packages to users based on metadata associated with content
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
JP5377708B2 (ja) * 2012-05-11 2013-12-25 株式会社東芝 データ処理システム、データ処理方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281618A (ja) * 2006-04-03 2007-10-25 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2010061265A (ja) * 2008-09-02 2010-03-18 Fujifilm Corp 人物検索登録システム
JP2012137902A (ja) * 2010-12-27 2012-07-19 Zenrin Datacom Co Ltd 情報蓄積編集装置
JP2012249164A (ja) * 2011-05-30 2012-12-13 Nikon Corp 電子カメラ、通信システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3110141A4 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019531551A (ja) * 2016-10-04 2019-10-31 フェイスブック，インク． パーソナルスペースを有する共有３次元ユーザインタフェース
US11216152B2 (en) 2016-10-04 2022-01-04 Meta Platforms, Inc. Shared three-dimensional user interface with personal space
JPWO2018124036A1 (ja) * 2016-12-26 2019-04-11 株式会社坪田ラボ 表示システム、電子機器及び照明システム
US11308670B2 (en) 2017-03-22 2022-04-19 Sony Corporation Image processing apparatus and method
WO2018173790A1 (ja) * 2017-03-22 2018-09-27 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2020042292A (ja) * 2017-06-26 2020-03-19 Ｆａｉｒｙ Ｄｅｖｉｃｅｓ株式会社 音声情報処理システム、音声情報処理システムの制御方法、音声情報処理システムのプログラム及び記録媒体
US11194535B2 (en) 2017-09-27 2021-12-07 Fujifilm Business Innovation Corp. Information processing apparatus, information processing system, and non-transitory computer readable medium storing program
JP7056055B2 (ja) 2017-09-27 2022-04-19 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
JP2019061557A (ja) * 2017-09-27 2019-04-18 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP2019176436A (ja) * 2018-03-29 2019-10-10 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
JP7095361B2 (ja) 2018-03-29 2022-07-05 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
JP2019180078A (ja) * 2018-03-30 2019-10-17 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
JP7210892B2 (ja) 2018-03-30 2023-01-24 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
US11183185B2 (en) 2019-01-09 2021-11-23 Microsoft Technology Licensing, Llc Time-based visual targeting for voice commands

Also Published As

Publication number Publication date
JP6439788B2 (ja) 2018-12-19
EP3110141A1 (en) 2016-12-28
JPWO2015125375A1 (ja) 2017-03-30
US20160353062A1 (en) 2016-12-01
CN105981375A (zh) 2016-09-28
EP3110141A4 (en) 2017-09-27
US9992451B2 (en) 2018-06-05
CN105981375B (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
JP6439788B2 (ja) 情報処理装置、制御方法、プログラム、およびシステム
US11792577B2 (en) Differential amplification relative to voice of speakerphone user
US11825012B2 (en) Server, client terminal, control method, and storage medium
JP7056055B2 (ja) 情報処理装置、情報処理システム及びプログラム
KR102184272B1 (ko) 글래스 타입 단말기 및 이의 제어방법
JP6094190B2 (ja) 情報処理装置および記録媒体
US20210318749A1 (en) Information processing system, information processing method, and program
US20160026871A1 (en) Obtaining information from an environment of a user of a wearable camera system
US9798517B2 (en) Tap to initiate a next action for user requests
EP3497695A1 (en) Word flow annotation
US20230045237A1 (en) Wearable apparatus for active substitution
JP2014085796A (ja) 情報処理装置およびプログラム
JP6096654B2 (ja) 画像の記録方法、電子機器およびコンピュータ・プログラム
US20230005471A1 (en) Responding to a user query based on captured images and audio
Chen et al. Lisee: A headphone that provides all-day assistance for blind and low-vision users to reach surrounding objects
JP2020113981A (ja) 補聴器システム
EP3304528A1 (en) Augmented reality systems and methods to access optical information
US11736874B2 (en) Systems and methods for transmitting audio signals with varying delays
US20220172736A1 (en) Systems and methods for selectively modifying an audio signal based on context
US11606508B1 (en) Enhanced representations based on sensor data
US20240330362A1 (en) System and method for generating visual captions
US20240231558A9 (en) Digital assistant interactions in extended reality
KR20170093631A (ko) 적응적 컨텐츠 출력 방법
KR20150041401A (ko) 전자 기기 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14883408

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016503947

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15117492

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2014883408

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014883408

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE