[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20150119493A - Method and apparatus for generating mood-based haptic feedback - Google Patents

Method and apparatus for generating mood-based haptic feedback Download PDF

Info

Publication number
KR20150119493A
KR20150119493A KR1020157027967A KR20157027967A KR20150119493A KR 20150119493 A KR20150119493 A KR 20150119493A KR 1020157027967 A KR1020157027967 A KR 1020157027967A KR 20157027967 A KR20157027967 A KR 20157027967A KR 20150119493 A KR20150119493 A KR 20150119493A
Authority
KR
South Korea
Prior art keywords
mood
haptic
user
portable device
remote
Prior art date
Application number
KR1020157027967A
Other languages
Korean (ko)
Other versions
KR101655055B1 (en
Inventor
쟝 마누엘 크루즈-헤르남데즈
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20150119493A publication Critical patent/KR20150119493A/en
Application granted granted Critical
Publication of KR101655055B1 publication Critical patent/KR101655055B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F17/30002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6027—Methods for processing data by generating or executing the game program using adaptive systems learning from user actions, e.g. for skill level adjustment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Cardiology (AREA)
  • Psychiatry (AREA)
  • Educational Technology (AREA)
  • Physiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Developmental Disabilities (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

무드-기반 햅틱 피드백을 생성하는 방법 및 장치가 개시된다. 햅틱 시스템은 감지 디바이스, 디지털 처리 유닛, 및 햅틱 발생기를 포함한다. 일 실시예에서, 감지 디바이스는 하나 이상의 센서들에 의해 수집된 무드 정보에 따라 사용자의 모달리티들을 검출하도록 구성되고, 사용자의 모달리티들에 응답하여 감지 신호를 발행할 수 있다. 디지털 처리 유닛은 감지 신호에 따라 사용자의 컨디션을 식별하고 사용자의 컨디션에 응답하여 햅틱 신호를 제공할 수 있다. 일 양태에서, 사용자의 컨디션은 사용자의 무드 및/또는 사용자의 심리적인 컨디션들을 나타낸다. 햅틱 발생기는 햅틱 신호에 따라 햅틱 피드백을 생성한다.A method and apparatus for generating mood-based haptic feedback is disclosed. The haptic system includes a sensing device, a digital processing unit, and a haptic generator. In one embodiment, the sensing device is configured to detect the user's modalities according to the mood information collected by the one or more sensors, and may issue a sensing signal in response to the user's modalities. The digital processing unit may identify the user's condition according to the sensed signal and provide a haptic signal in response to the condition of the user. In one aspect, the condition of the user represents the mood of the user and / or the psychological conditions of the user. The haptic generator generates haptic feedback according to the haptic signal.

Description

무드-기반 햅틱 피드백을 생성하기 위한 방법 및 장치{METHOD AND APPARATUS FOR GENERATING MOOD-BASED HAPTIC FEEDBACK}[0001] METHOD AND APPARATUS FOR GENERATING MOOD-BASED HAPTIC FEEDBACK [0002]

본 발명의 예시적인 실시예(들)는 전자 통신 분야에 관한 것이다. 보다 구체적으로는, 본 발명의 예시적인 실시예(들)는 햅틱 피드백들을 이용하는 통신들에 관한 것이다.Exemplary embodiment (s) of the present invention pertain to the field of electronic communications. More specifically, the exemplary embodiment (s) of the present invention relates to communications using haptic feedbacks.

컴퓨터-기반 시스템들, 기구들, 현금 자동 입출금기들(ATM), POS(point of sale) 단말기들 등이 더 유행하게 됨에 따라, 인간-머신 인터페이스의 이용의 용이함은 더욱 더 중요하게 되고 있다. 그러한 인터페이스들은 직관적으로 동작되어야 하고 거의 또는 어떠한 사용자 트레이닝도 요구하지 않아야 하며 따라서 이들은 거의 누구든지에 의해 이용될 수 있다. 키보드들, 마우스, 조이스틱들, 및 터치 스크린들과 같은 다수의 종래의 사용자 인터페이스 디바이스들이 시장에서 가용하다. 주지되어 있는 더 직관적이고 대화형의 인터페이스 디바이스들 중 하나는 터치 스크린 또는 터치 패드일 수 있는 터치 민감성 패널이다. 터치 스크린은 터치 민감성 입력 패널 및 표시 디바이스를 포함하고, 사용자의 터치에 민감하고 사용자가 보고 "터치"할 수 있는 컨텐트를 표시하는 패널을 통해 사용자에게 머신 인터페이스를 제공한다.As computer-based systems, appliances, ATMs, point of sale (POS) terminals and the like become more prevalent, the ease of use of the human-machine interface is becoming increasingly important. Such interfaces must operate intuitively and require little or no user training, and so they can be used by almost anyone. Many conventional user interface devices such as keyboards, mice, joysticks, and touch screens are available in the market. One of the more intuitive and interactive interface devices known is the touch sensitive panel, which can be a touch screen or touch pad. The touch screen includes a touch sensitive input panel and a display device and provides a machine interface to the user through a panel that is sensitive to the user's touch and displays content that the user can "see" and "touch".

키보드, 음성 및 터치 스크린과 같은 종래의 인간-머신 인터페이스들은 통상적으로 인터페이스 조작 동안에 시각적 지원 또는 바라봄(look)을 요구한다. 예를 들면, 사용자가 터치 스크린 상에서 선택(들)을 입력하는 경우에, 사용자는 터치될 위치를 바라보고/보거나 식별할 필요가 있다. 또한, 사용자가 마우스를 조작할 때, 사용자는 클릭 버튼을 누르기 이전에 스크린 상에서 아이콘의 움직임을 볼 필요가 있다.Conventional human-machine interfaces, such as keyboards, voice and touch screens, typically require visual assistance or look during interface manipulation. For example, when the user enters selection (s) on the touch screen, the user needs to view / view or identify the location to be touched. Also, when the user manipulates the mouse, the user needs to see the movement of the icon on the screen prior to pressing the click button.

종래의 인간-머신 인터페이스들에 있어서의 문제점은, 인간-머신 인터페이스의 조작 동안에 종종 시각적 지원이 가용하지 않다는 점이다. 예를 들면, 트럭 운전자 또는 조종사는 종종 운전 또는 비행시에 그의 시각을 유지할 필요가 있고, 따라서 입력/선택 조작 동안에 인터페이스 디바이스를 볼 수 없다. 또한, 작업자는 시끄러운 환경에서는 가청 명령들을 들을 수 없을 수 있다.A problem with conventional human-machine interfaces is that visual support is often not available during manipulation of the human-machine interface. For example, a truck driver or pilot often needs to keep his or her time at the time of driving or flying, and thus can not see the interface device during an input / selection operation. In addition, the operator may not be able to hear audible commands in a noisy environment.

본 발명의 실시예(들)는 무드-기반 햅틱 피드백을 생성할 수 있는 햅틱 시스템 및 그 제조 방법을 포함한다. 햅틱 시스템은 감지 디바이스, 디지털 처리 유닛, 및 햅틱 발생기를 포함한다. 일 실시예에서, 감지 디바이스는 하나 이상의 센서들에 의해 수집된 무드 정보에 따라 사용자의 모달리티들(modalities)을 검출하도록 구성되고, 사용자의 모달리티들에 응답하여 감지 신호를 발행할 수 있다. 디지털 처리 유닛은 감지 신호에 따라 사용자의 컨디션을 식별하고 사용자의 컨디션에 응답하여 햅틱 신호를 제공할 수 있다. 사용자의 컨디션은, 일 양태에서, 사용자의 무드 또는 사용자의 심리적인 컨디션들을 나타낸다. 햅틱 발생기는 햅틱 신호에 따라 햅틱 피드백을 생성한다.The embodiment (s) of the present invention include a haptic system capable of generating mood-based haptic feedback and a method of making the same. The haptic system includes a sensing device, a digital processing unit, and a haptic generator. In one embodiment, the sensing device is configured to detect the user's modalities according to the mood information collected by the one or more sensors, and may issue a sensing signal in response to the user's modalities. The digital processing unit may identify the user's condition according to the sensed signal and provide a haptic signal in response to the condition of the user. The user's condition, in one aspect, represents the mood of the user or the psychological conditions of the user. The haptic generator generates haptic feedback according to the haptic signal.

본 발명의 예시적인 실시예(들)의 추가적인 특징들 및 이점들은 이하에 제시되는 상세한 설명, 도면들 및 청구항들로부터 명백하게 될 것이다.Additional features and advantages of the exemplary embodiment (s) of the present invention will become apparent from the detailed description, drawings, and claims set forth below.

본 발명의 예시적인 실시예(들)는 이하에 제공되는 상세한 설명 및 본 발명의 다양한 실시예들의 첨부된 도면들로부터 더 완전하게 이해될 것이나, 이들은 본 발명을 특정 실시예들로 제한하려는 것이 아니라 단지 설명 및 이해를 위한 것이다.
도 1은 본 발명의 일 실시예에 따른 무드-기반 햅틱 감각을 생성할 수 있는 햅틱 시스템을 예시하는 도이다.
도 2는 본 발명의 일 실시예에 따라 무드-기반 햅틱 시스템을 갖는 자동차 환경의 예시적인 어플리케이션을 예시하는 도이다.
도 3은 본 발명의 일 실시예에 따라 무드-기반 햅틱 시스템을 갖는 비디오 게임 환경에서의 예시적인 어플리케이션을 예시하는 도이다.
도 4는 본 발명의 일 실시예에 따라 다른 디바이스들과 통신할 수 있는 무드-기반 햅틱 시스템을 예시하고 있다.
도 5는 본 발명의 일 실시예에 따라 무드-기반 햅틱 정보를 처리할 수 있는 처리 디바이스를 예시하고 있다.
도 6은 본 발명의 일 실시예에 따라 무드-기반 햅틱 피드백을 제공하는 프로세스를 예시하는 플로우차트이다.BRIEF DESCRIPTION OF THE DRAWINGS Exemplary embodiments (s) of the present invention will be more fully understood from the detailed description provided below and the accompanying drawings of various embodiments of the invention, but are not intended to limit the invention to specific embodiments But is for explanation and understanding only.
1 is a diagram illustrating a haptic system capable of generating a mood-based haptic sensation in accordance with an embodiment of the present invention.
2 illustrates an exemplary application of an automotive environment having a mood-based haptic system in accordance with an embodiment of the present invention.
3 illustrates an exemplary application in a video game environment having a mood-based haptic system in accordance with an embodiment of the invention.
Figure 4 illustrates a mood-based haptic system capable of communicating with other devices in accordance with an embodiment of the present invention.
Figure 5 illustrates a processing device capable of processing mood-based haptic information in accordance with an embodiment of the present invention.
Figure 6 is a flow chart illustrating a process for providing mood-based haptic feedback in accordance with one embodiment of the present invention.

본 발명의 실시예들은 본 명세서에서 휴대용 햅틱 디바이스를 이용하여 하나 이상의 이벤트들에 응답하여 무드-기반 햅틱 피드백을 제공하기 위한 방법, 시스템 및 장치의 맥락에서 기재된다.Embodiments of the present invention are described herein in the context of a method, system and apparatus for providing mood-based haptic feedback in response to one or more events using a portable haptic device.

본 기술분야의 통상의 기술자들이라면, 본 발명의 이하의 상세한 설명은 단지 예시적인 것에 불과하고 어떤 식으로든 제한하려는 것이 아니라는 것을 잘 알고 있을 것이다. 본 발명의 다른 실시예들은 본 개시의 이점을 갖는 그러한 숙련자들에게 용이하게 제공될 것이다. 이제, 첨부된 도면들에 예시된 바와 같은 본 발명의 예시적인 실시예들의 구현들을 상세하게 참조할 것이다. 동일한 참조 부호들(또는 번호들)은 도면들 및 이하의 상세한 설명들 전체에 걸쳐 동일하거나 유사한 부분들을 지칭하는데 이용될 것이다.Those of ordinary skill in the art will appreciate that the following detailed description of the invention is merely exemplary in nature and is in no way intended to be limiting. Other embodiments of the invention will be readily apparent to those skilled in the art having the benefit of this disclosure. Reference will now be made in detail to implementations of exemplary embodiments of the invention as illustrated in the accompanying drawings. The same reference numerals (or numbers) will be used to refer to the same or similar parts throughout the drawings and the following detailed description.

명료성을 위해, 여기에 기재된 구현들의 모든 표준 하드웨어 및 루틴 특징들의 전부가 도시되고 기재되는 것은 아니다. 물론, 임의의 그러한 실제 구현의 개발 시에, 어플리케이션- 및 비즈니스-관련 제약들과의 호환성과 같이, 개발자의 특정 목표들을 달성하기 위해 다수의 구현-특정적 결정들이 이루어질 필요가 있고, 이들 특정 목표들은 구현에 따라 그리고 개발자에 따라 가변될 것이라는 것은 자명하다. 더구나, 그러한 개발 노력은 복잡하고 시간-소비적일 수 있지만, 그럼에도 불구하고 본 개시의 이점을 갖는 본 기술분야의 통상의 기술자들에 대해서는 엔지니어링의 루틴한 업무일 것이라는 것이 이해될 것이다.For clarity, not all of the standard hardware and routine features of the implementations described herein are shown and described. Of course, in the development of any such actual implementation, a number of implementation-specific decisions need to be made to achieve the developer's specific goals, such as compatibility with application- and business-related constraints, It will be obvious that they will vary depending on the implementation and the developer. Moreover, it will be appreciated that such development efforts may be complex and time-consuming, but nevertheless will be a routine task of engineering for those of ordinary skill in the art having the benefit of this disclosure.

본 발명의 실시예(들)는 무드-기반 햅틱 피드백을 생성할 수 있는 햅틱 시스템 및 그 제조 방법을 포함한다. 햅틱 시스템은 감지 디바이스, 디지털 처리 유닛, 및 햅틱 발생기를 포함한다. 감지 디바이스는, 일 실시예에서, 사용자의 모달리티들을 나타내는 무드 정보를 감지하는 센서들을 채용하고, 후속적으로 사용자의 모달리티들에 따라 감지 신호를 발행한다. 감지 신호(들)의 수신 시, 디지털 처리 유닛은 사용자의 컨디션 또는 무드를 식별한다. 사용자의 컨디션에 따라 햅틱 신호를 생성한 후, 햅틱 발생기는 햅틱 신호에 응답하여 햅틱 피드백을 생성한다.The embodiment (s) of the present invention include a haptic system capable of generating mood-based haptic feedback and a method of making the same. The haptic system includes a sensing device, a digital processing unit, and a haptic generator. The sensing device, in one embodiment, employs sensors that sense mood information indicative of the user's modalities and subsequently issues a sensing signal in accordance with the user's modalities. Upon receipt of the sensing signal (s), the digital processing unit identifies the condition or mood of the user. After generating the haptic signal according to the user's condition, the haptic generator generates the haptic feedback in response to the haptic signal.

도 1은 본 발명의 일 실시예에 따라 무드-기반 햅틱 센세이션을 생성할 수 있는 햅틱 시스템을 예시하는 도(100)이다. 도(100)는 제1 휴대용 디바이스(102), 통신 네트워크(104), 및 제2 휴대용 디바이스(106)를 포함한다. 일 실시예에서, 휴대용 디바이스들(102 및 106)은 무선 통신 네트워크, 인터넷, 개인 영역 네트워크, 로컬 영역 네트워크, 대도시 영역 네트워크, 와이드 영역 네트워크 등과 같은 하나 이상의 통신 네트워크들을 포함할 수 있는 네트워크(104)를 통해 서로와 통신할 수 있다. 유의할 점은, 본 발명의 예시적인 실시예의 기저 개념은 추가적인 블록들이 도(100)에 추가되거나 이로부터 제거되는 경우라도 변경되지 않을 것이라는 점이다.Figure 1 is a drawing 100 illustrating a haptic system capable of generating a mood-based haptic sensation in accordance with an embodiment of the present invention. The diagram 100 includes a first portable device 102, a communication network 104, and a second portable device 106. In one embodiment, the portable devices 102 and 106 include a network 104 that may include one or more communication networks such as a wireless communication network, the Internet, a personal area network, a local area network, a metropolitan area network, a wide area network, Lt; / RTI > It should be noted that the underlying concept of the exemplary embodiment of the present invention is that even if additional blocks are added to or removed from the diagram 100, they will not change.

일 실시예에서, 휴대용 디바이스(102)는 무드-기반 햅틱 디바이스(112), 감지 디바이스(114), 및 햅틱 발생기(128)를 포함한다. 디스플레이(108), 키보드(110) 및 안테나(116)와 같은 추가 컴포넌트들이 디바이스(102)에 추가될 수 있다. 유의할 점은, 휴대용 디바이스(102)는 모바일 폰, 개인용 디지털 보조장치("PDA"), 셀룰러 폰, 휴대용 컴퓨터, 햅틱 시계, 햅틱 목걸이, 등일 수 있다는 점이다. 한편, 휴대용 디바이스(106)는 무드-기반 햅틱 디바이스(122), 감지 디바이스(124), 및 햅틱 발생기(130)를 포함한다. 마찬가지로, 디스플레이(118), 키보드(120) 및 안테나(126)와 같은 추가 컴포넌트들이 휴대용 디바이스(106)에 추가될 수도 있다. 휴대용 디바이스(102 및 106)는 동일하거나 상이한 디바이스들일 수 있지만, 이들이 모두 무드-기반 햅틱 디바이스들을 구비하고 있는 한 서로 통신할 수 있다.In one embodiment, the portable device 102 includes a mood-based haptic device 112, a sensing device 114, and a haptic generator 128. Additional components, such as display 108, keyboard 110 and antenna 116, may be added to device 102. It should be noted that the portable device 102 may be a mobile phone, a personal digital assistant ("PDA"), a cellular phone, a portable computer, a haptic watch, a haptic necklace, Meanwhile, the portable device 106 includes a mood-based haptic device 122, a sensing device 124, and a haptic generator 130. Likewise, additional components such as display 118, keyboard 120, and antenna 126 may be added to portable device 106. The portable devices 102 and 106 may be the same or different devices, but they can communicate with each other as long as they all have mood-based haptic devices.

일 실시예에서, 감지 디바이스(114)는 사용자와 관련된 무드 정보를 감지하고 수집하도록 구성된 복수의 센서들을 포함한다. 예를 들면, 감지 디바이스(114)는 사용자의 얼굴 표정들, 음성 피치들(pitches) 및/또는 사용자의 바이오메트릭스를 포함하고 이들로 제한되지 않는 다양한 모달리티들 또는 사용자의 무드 상태들을 통해 무드 정보를 검출하고/하거나 수집하는 센서들을 채용한다. 사용자의 무드 상태들의 서브세트인 바이오메트릭스는 몸 온도, 몸 습도 또는 땀, 심장 펄스 또는 맥박수, 호흡 리듬들, 몸 자세, 손 동작들 또는 움직임들, 등을 더 포함한다. 무드 정보를 획득한 후, 휴대용 디바이스(102 또는 106)와 함께 보드 상에 있을 수 있는 디지털 처리 유닛은 수집된 무드 정보에 기초하여 사용자의 현재 무드 및/또는 심리적 컨디션(들)을 식별한다. 사용자의 무드에 관련된 정보는 후속적으로 사용자 자신이거나 또는 사용자와 상호작용하고 있는 사람(들)일 수 있는 이해관계가 있는 당사자들에게 포워딩된다. 예를 들면, 2명의 사람들이 셀룰러 폰들을 통해 이야기하고 있는 경우에, 어느 한 당사자는 무드-기반 햅틱 메커니즘을 통해 다른 사람의 무드를 감지할 수 있다.In one embodiment, the sensing device 114 includes a plurality of sensors configured to sense and collect mood information associated with a user. For example, the sensing device 114 may include various moods including, but not limited to, facial expressions of the user, voice pitches and / or biometrics of the user, or mood information through the user ' Sensing and / or collecting sensors. The biometric, which is a subset of the user's mood states, further includes body temperature, body humidity or sweat, heart pulse or pulse rate, respiratory rhythms, body posture, hand movements or movements, After acquiring the mood information, the digital processing unit, which may be on-board with the portable device 102 or 106, identifies the user's current mood and / or psychological condition (s) based on the collected mood information. The information related to the user's mood is subsequently forwarded to the interested parties who may be the user himself or the person (s) interacting with the user. For example, if two people are talking through cellular phones, either party can sense another's mood through a mood-based haptic mechanism.

대안적으로, 감지 디바이스(114)는 주위 컨디션들을 검출하는 센서들을 또한 포함한다. 예를 들면, 감지 디바이스(114)는 날씨 온도, 습도, 조명, 대기압 등과 같은 환경들과 관련된 주위 정보를 수집한다. 감지 디바이스(114) 및/또는 무드-기반 햅틱 디바이스(112)는 무드 정보와 함께 주위 정보를 이용하여 사용자의 무드를 평가한다. 유의할 점은, 주위 정보가 사용자가 적대적 또는 호의적 환경에 있는지 여부를 나타낼 수 있다는 점이다.Alternatively, the sensing device 114 also includes sensors for detecting ambient conditions. For example, the sensing device 114 collects ambient information related to environments such as weather temperature, humidity, lighting, atmospheric pressure, and the like. The sensing device 114 and / or the mood-based haptic device 112 use ambient information together with the mood information to evaluate the user's mood. Note that the ambient information may indicate whether the user is in a hostile or benign environment.

동작 시에, 도 1에 도시되지 않은 사용자 A는 휴대용 디바이스(102)를 이용하여 휴대용 디바이스(106)를 통해 사용자 B와 이야기하거나 통신한다. 감지 디바이스(114)를 통해 사용자 A의 무드를 감지한 경우에, 무드-기반 햅틱 디바이스(112)는 사용자 A의 무드 정보를 네트워크(104)를 통해 휴대용 디바이스(106)에게 전송한다. 무드 정보의 수신 후에, 햅틱 발생기(130)는 사용자 A의 무드를 나타내는 햅틱 피드백을 생성하여 사용자 B에게 전송한다. 마찬가지로, 사용자 A는 또한 동일하거나 유사한 방식으로 햅틱 발생기(128)를 통해 사용자 B의 무드를 감지할 수 있다.In operation, user A, not shown in Fig. 1, speaks or communicates with user B via portable device 106 using portable device 102. [ Based haptic device 112 transmits the mood information of user A to the portable device 106 via the network 104 when the mood-based haptic device 112 senses the mood of the user A through the sensing device 114. [ After receiving the mood information, the haptic generator 130 generates haptic feedback representing the mood of the user A and sends it to the user B. Similarly, user A may also sense the mood of user B via haptic generator 128 in the same or similar manner.

환경 컨디션들뿐만 아니라 사람 무드의 상이한 양태들을 검출할 수 있는 진보된 감지 기술들의 출현으로, 높은 정확도를 갖는 인간 행동들 및/또는 심리적 컨디션들에 대한 인공 지능 또는 컴퓨터 평가가 더욱 더 달성가능하게 되고 있다. 예를 들면, 정교한 신호 처리 유닛은 이미지, 음성 및 바이오메트릭스 정보를 처리하여, 사람 또는 사용자의 무드 또는 물리적 컨디션을 나타내는 다량의 무드 정보 또는 속성들을 생성할 수 있다. 일단 무드 정보가 처리되면, 무드 정보의 관점에서 햅틱 피드백이 생성되고, 여기에서 햅틱 피드백은 사용자, 및/또는 사용자와 상호작용하는 커뮤니티에게 전송될 수 있다. 휴대용 디바이스(102 또는 106)는 핸드헬드 디바이스, 착용가능한 컴퓨터 디바이스, 또는 다양한 모달리티들로부터 사용자의 무드를 식별할 수 있는 다른 주변 디바이스(surrounding device)들일 수 있다. 휴대용 디바이스(102)는 원격 로케이션 주위에 또는 그 위에서 무드-기반 햅틱 피드백을 사용자(들)에게 제공할 수 있다.With the advent of advanced sensing techniques that can detect not only environmental conditions but also different aspects of the human mood, artificial intelligence or computer evaluation of human actions and / or psychological conditions with higher accuracy becomes more achievable have. For example, a sophisticated signal processing unit may process image, audio, and biometric information to generate a large amount of mood information or attributes that represent the mood or physical condition of a person or user. Once the mood information is processed, haptic feedback is generated in terms of mood information, where haptic feedback can be sent to the user, and / or the community interacting with the user. The portable device 102 or 106 may be a handheld device, a wearable computer device, or other surrounding devices capable of identifying a user's mood from various modalities. The portable device 102 may provide mood-based haptic feedback to the user (s) around or above the remote location.

일례에서, 사용자의 무드를 감지하기 위해, 얼굴 표정들을 검출하기 위한 감지 기술, 음성 분석 및/또는 바이오메트릭스 감지가 채용될 수 있다. 감지 기술은 예를 들면 비디오 카메라를 이용하여 사용자의 얼굴 표정들을 관찰할 수 있다. 특정 얼굴 표정들로부터, 사용자의 감정 상태가 비디오 기록들로부터 유추될 수 있다. 유의할 점은, 사람의 감정적 마음 상태를 유추하기 위해 얼굴 이미지들을 분석하는 기술이 성숙되어 있고 가용하다는 점이다. 또한, 유의할 점은, 비디오 카메라(들)은 폰 또는 PDS 상의 카메라와 같은 디바이스와 일반적으로 가용하다는 점이다.In one example, a sensing technique, speech analysis and / or biometric sensing to detect facial expressions may be employed to detect a user's mood. The sensing technique can, for example, use a video camera to observe the user's facial expressions. From certain facial expressions, the emotional state of the user can be deduced from the video records. It should be noted that the technique of analyzing facial images to approximate a person's emotional state of mind is mature and available. It should also be noted that the video camera (s) are generally available with devices such as a camera on a phone or PDS.

감지 기술은 또한 음성 분석을 기록하고/하거나 용이하게 하는 다양한 사운드 또는 오디오 센서들을 채용할 수 있다. 유의할 점은, 폰에서 이야기하는 동안에 음성 주파수 및 음성 세기가 사용자의 무드를 유추할 수 있다는 점이다. 바이오메트릭스 감지를 위해, 사용자의 무드 또는 컨디션들을 나타내는 몸 온도, 습도(또는 땀), 호흡 리듬, 및/또는 심장 펄스를 측정하는데 상이한 센서들이 이용될 수 있다. 예를 들면, 햅틱 손목 밴드 또는 목걸이는 시간에 걸친 무드를 예측할 뿐만 아니라 열 펄스를 감지하는데 이용될 수 있다.The sensing technique may also employ a variety of sound or audio sensors that record and / or facilitate voice analysis. Note that voice frequency and speech strength can infer the user's mood while talking on the phone. For biometric sensing, different sensors may be used to measure body temperature, humidity (or sweat), respiratory rhythm, and / or cardiac pulse indicative of the user's mood or conditions. For example, a haptic wristband or necklace can be used to sense heat pulses as well as predict mood over time.

어플리케이션들에 따라, 목표로하는 무드-기반 햅틱 피드백을 생성하는데 상이한 모달리티들이 이용될 수도 있다. 예를 들면, 폰을 통해 이야기하는 동안에 친구와 행복한 마음 상태를 공유하는 경우에, 한 사용자의 폰으로부터 다른 사용자의 폰으로 행복한 무드 또는 즐거운 마음 상태를 신호하는(signalizing) 햅틱 큐들을 전송함으로써 친교가 증가될 수 있다. 셀 폰 상에서 다이얼링하거나 이야기하는 동안에 사용자의 감정적 상태를 캡쳐하기 위해, 예를 들면, 셀 폰 상의 디지털 카메라 또는 비디오 카메라가 캡쳐하고, 그리고나서 캡쳐된 무드 정보 또는 얼굴 표정들을 호출되는 사용자에게 송신하는데 이용될 수 있다.Depending on the applications, different modalities may be used to generate the targeted mood-based haptic feedback. For example, when sharing a happy state of mind with a friend while talking through a phone, sending a haptic cue that signals a happy mood or joyful mood from one user's phone to another user's phone, Can be increased. For example, a digital camera or video camera on a cell phone captures and then uses the captured mood information or facial expressions to transmit to a called user to capture the emotional state of the user while dialing or talking on the cell phone .

다시 도 1을 참조하면, 햅틱 시스템은 휴대용 디바이스들(102 및 106)을 포함하고, 여기에서 각 휴대용 디바이스는 하나 이상의 센서들 및 액튜에이터들(actuators)을 더 포함한다. 센서들 및 액튜에이터들은, 일 양태에서, 동일한 디바이스 상에 구성될 수 있다. 센서들은 사용자의 컨디션들을 검출하는데 이용되는 한편, 액튜에이터들은 사용자의 컨디션들에 따라 햅틱 피드백을 제공하는데 이용된다. 예를 들면, 맥박수 센서는 사용자의 맥박수를 감지할 수 있는데 대해, 온도 센서는 사용자의 몸 온도를 측정한다. 맥박수 및 몸 온도와 같은 검출된 정보가 후속하여 처리되고, 현재의 사용자의 무드를 나타내는 일련의 햅틱 피드백이 생성된다. 유의할 점은, 햅틱 피드백이라는 용어는 촉각 효과, 촉각 피드백, 햅틱 효과, 힘 피드백, 진동촉각 피드백, 햅틱 큐들, 등으로 지칭될 수 있다는 점이다.Referring again to FIG. 1, the haptic system includes portable devices 102 and 106, wherein each portable device further includes one or more sensors and actuators. Sensors and actuators, in one aspect, may be configured on the same device. The sensors are used to detect the conditions of the user, while the actuators are used to provide haptic feedback according to the user's conditions. For example, a pulse rate sensor can sense a user's pulse rate, while a temperature sensor measures a user's body temperature. Detected information such as pulse rate and body temperature is subsequently processed and a series of haptic feedbacks representing the mood of the current user is generated. Note that the term haptic feedback can be referred to as a tactile effect, tactile feedback, haptic effect, force feedback, vibrotactile feedback, haptic cues, and the like.

무드-기반 햅틱 디바이스는 이들 사이에서 무선 네트워크(104)를 통해 통신할 수 있다. 무선 통신 네트워크는 로컬 무선 주파수들, 블루투스, 셀룰러(GPRS, CDMA, GSM, CDPD, 2.5G, 3G, 등), 울트라-광대역(UWB), WiMax, ZigBee 및/또는 다른 애드-혹/메시 무선 네트워크 기술들을 포함할 수 있다. 전력 소비를 감소하기 위해, 디바이스(102 또는 106)는 신호 세기를 증폭하여 전력을 보존하는 릴레이 스테이션을 이용할 수도 있다. 예를 들면, 릴레이 스테이션은 다른 사용자들에 의해 이용되는 다른 햅틱 디바이스로부터 햅틱 신호들을 수신하여, 전력 및 커버리지를 보존할 수 있다.The mood-based haptic device may communicate between them via the wireless network 104. [ The wireless communication network may include local radio frequencies, Bluetooth, cellular (GPRS, CDMA, GSM, CDPD, 2.5G, 3G, etc.), Ultra-Wideband (UWB), WiMax, ZigBee and / ≪ / RTI > To reduce power consumption, the device 102 or 106 may use a relay station that amplifies the signal strength to conserve power. For example, the relay station may receive haptic signals from other haptic devices used by other users to conserve power and coverage.

디바이스(102 또는 106)는 또한 포커 플레이어들, 수구 선수들, 또는 투어 중인 사이클 선수들과 같은 개인 또는 팀 스포츠들에서 운동선수의 무드 컨디션을 식별하는데 이용될 수도 있다. 예를 들면, 디바이스(102)는 사이클 선수들 중 하나에게 가속하거나 감속하도록 통지하여 검출된 무드 또는 심리적 정보에 따라 팀 성과를 개선할 수 있다. 유의할 점은, 디바이스(102)는 또한 정신 병원에서 정신적으로 불안정한 환자들을 모니터링하는 것과 같은 다른 어플리케이션들에 이용될 수도 있다는 점이다.The device 102 or 106 may also be used to identify athlete's mood condition in individual or team sports, such as poker players, water polo players, or cyclists on tour. For example, the device 102 may be notified to accelerate or decelerate to one of the cyclists to improve team performance in accordance with the detected mood or psychological information. It should be noted that the device 102 may also be used in other applications such as monitoring mentally unstable patients in a mental hospital.

일 실시예에서, 햅틱 시스템은 복수의 유닛들을 포함할 수 있고, 여기에서 일부 유닛들은 사용자의 무드를 감지하기 위해 가슴, 손목, 발 등에 위치될 수 있다. 햅틱 발생기(128)는 예를 들면 상이한 레벨들의 무드 변동들(swings)에 대해 상이한 레벨들의 세기들로 햅틱 큐들 또는 햅틱 경고 신호들을 생성할 수 있다. 예를 들면, 햅틱 발생기(128)는 사용자가 약간 우울한 경우에 미약한(minor) 햅틱 큐를 생성하고, 사용자가 흥분한 경우에 강력한 햅틱 큐를 생성한다. 유의할 점은, 사용자의 심리적 컨디션들을 나타내는데 촉각 피드백을 이용하는 것이 섬세하고, 신중하며 비-방해적인 통신 방법일 수 있다는 점이다.In one embodiment, the haptic system may include a plurality of units, wherein some of the units may be located on the chest, wrist, feet, or the like to sense the user's mood. The haptic generator 128 may generate haptic cues or haptic alert signals at different levels of intensity, for example, for mood swings of different levels. For example, the haptic generator 128 generates a minor haptic queue when the user is somewhat depressed and generates a strong haptic queue if the user is excited. It should be noted that using tactile feedback to represent the user's psychological conditions can be a delicate, deliberate and non-intrusive communication method.

감지 디바이스(114) 및 햅틱 발생기(128)는 단일 디바이스에 결합되거나 제조될 수 있다. 예를 들면, 진동촉각 피드백 또는 햅틱 피드백은 압전(piezo) 재료, 형상 기억 합금(shape memory alloy)("SMA"), 편심 회전 물질(eccentric rotating mass)("ERM"), 또는 선형 공진 액튜에이터("LRA"), 등을 통해 제공될 수 있다. 일 실시예에서, 압전 재료는 감지 기능들 및 액튜에이팅 기능 양쪽 모두를 수행하는데 이용될 수 있다.The sensing device 114 and the haptic generator 128 may be combined or fabricated into a single device. For example, vibrotactile feedback or haptic feedback may be applied to a piezoelectric material, a shape memory alloy ("SMA"), an eccentric rotating mass ("ERM "), or a linear resonant actuator "LRA"), and the like. In one embodiment, the piezoelectric material can be used to perform both sensing and actuation functions.

압전 재료와 같은 일부 햅틱 재료들은 진동촉각 효과를 제공할뿐만 아니라 감지하는 물리적 속성을 가지고 있다. 예를 들면, 압전 재료는 그 물리적 형태가 압력으로 인해 변형되는 경우에 압력을 검출했다는 것을 나타내는 전류를 방전한다. 압전 재료의 치수는 5밀리미터 x 5밀리미터와 같은 비교적 작은 크기로 감소될 수 있다. 일 실시예에서, 압전 재료들은 석영(SiO2)과 같은 결정들 및/또는 세라믹들을 포함한다. 전위가 압전 재료에 인가되는 경우에, 이는 그 원래 형태로부터 확장된 형태로 변형된다. 압전 재료는 전위가 제거되자마자 원래의 상태로 복귀할 수 있다. 그러나, 압전 재료는 눌려지고 있는 경우에 전류를 방출한다. 결과적으로, 압전 재료는 눌러지고 있는 경우에 입력을 검출할 수 있다. 압전 재료는, LRA, ERM 및 SMA와 같은 다른 재료들 또는 디바이스들로 대체되는 경우에 센서/액튜에이터의 유사한 기능들이 수행될 수 있다. 일례에서, SMA는 전위가 제거된 후에, 일정 시간 주기 동안 그 변형된 형태를 유지할 수 있다. 유의할 점은, 본 발명의 실시예의 기저 개념은 압전 액튜에이터들 이외의 재료들이 채용되는 경우라도 변경되지 않는다는 점이다.Some haptic materials, such as piezoelectric materials, have physical properties that not only provide a vibrotactile effect but also sense it. For example, a piezoelectric material discharges a current indicating that it has detected pressure when its physical form is deformed due to pressure. The dimensions of the piezoelectric material can be reduced to a relatively small size, such as 5 millimeters by 5 millimeters. In one embodiment, the piezoelectric materials include crystals and / or ceramics such as quartz (SiO 2 ). When a dislocation is applied to the piezoelectric material, it is deformed from its original shape to its expanded shape. The piezoelectric material can return to its original state as soon as the potential is removed. However, the piezoelectric material emits current when pressed. As a result, the piezoelectric material can detect the input when it is being pressed. Similar functions of the sensor / actuator can be performed when the piezoelectric material is replaced with other materials or devices such as LRA, ERM and SMA. In one example, the SMA can maintain its deformed shape for a period of time after dislocation is removed. It should be noted that the basic concept of the embodiment of the present invention is not changed even when materials other than the piezoelectric actuators are employed.

무드-기반 햅틱 피드백을 채용하는 장점은, 호출자들 사이에서 무드 정보를 송신하는 통신 채널을 본질적으로 생성하고 있다는 점이다. 무드-기반 햅틱 시스템은 복수의 당사자들 사이의 대화들, 팀 스포츠, 군사 작전, 심문들(interrogations), 환자 모니터링, 등과 같은 다양한 어플리케이션들에 적용될 수 있다.The advantage of employing mood-based haptic feedback is that it essentially creates a communication channel for transmitting mood information between the callers. The mood-based haptic system can be applied to a variety of applications such as conversations among a plurality of parties, team sports, military operations, interrogations, patient monitoring, and the like.

도 2는 본 발명의 일 실시예에 따라 무드-기반 햅틱 시스템을 갖는 자동차의 예시적인 어플리케이션을 예시하는 도(200)이다. 도(200)는 자동차(202) 및 네트워크(204)를 포함하고, 여기에서 자동차(202)는 무드-기반 햅틱 디바이스(208)를 구비하는 핸들(206)을 더 포함한다. 유의할 점은, 추가적인 디바이스들 및 블록들이 도(200)에 추가되거나 도(200)로부터 제거되더라도 본 발명의 예시적인 실시예의 기저 개념은 변경되지 않는다는 점이다.2 is a drawing 200 illustrating an exemplary application of a vehicle having a mood-based haptic system in accordance with one embodiment of the present invention. The diagram 200 includes a car 202 and a network 204 wherein the car 202 further includes a handle 206 having a mood-based haptic device 208. It should be noted that even if additional devices and blocks are added to or removed from the diagram 200, the underlying concept of the exemplary embodiment of the present invention is not changed.

일 실시예에서, 자동차(202)는 도 2에 도시되지 않은 감지 디바이스, 햅틱 발생기, 및 무드 처리 유닛을 포함하고, 여기에서 햅틱 발생기는 무드-기반 햅틱 디바이스(208)와 통합될 수 있다. 운전자의 무드 컨디션을 검출하는 경우에, 햅틱 발생기는 운전자의 피로, 조심성, 산만함 및/또는 음주 레벨을 나타내는 다양한 햅틱 피드백들을 생성할 수 있다. 햅틱 발생기는 운전자의 스트레스를 경감시키거나 운전자를 깨우기 위해 운전자의 시트를 진동시킬 수 있다. 예를 들면, 핸들(206)은 무드-기반 햅틱 디바이스(208)를 활성화시킴으로써 운전자에게 그가 너무 피곤해서 차량을 계속해서 조작할 수 없다는 것을 상기시키기 위한 진동촉각 피드백을 생성한다. 대안적으로, 햅틱 발생기는 또한 운전자의 육체적 컨디션(또는 유효성)을, 가족 구성원들, 회사 직원, 고속도로 경찰, 등과 같은 이해관계가 있는 당사자들에게 브로드캐스팅할 수도 있다. 유의할 점은, 마찬가지의 무드-기반 햅틱 시스템이 기차, 항공, 및/또는 해운 산업계들에 적용될 수 있다는 점이다.In one embodiment, automobile 202 includes a sensing device, a haptic generator, and a mood processing unit, not shown in FIG. 2, wherein the haptic generator may be integrated with the mood-based haptic device 208. In the case of detecting the mood condition of the driver, the haptic generator may generate various haptic feedbacks indicative of the driver ' s fatigue, cautiousness, distraction and / or drinking level. The haptic generator may vibrate the driver's seat to alleviate driver's stress or wake the driver. For example, the handle 206 generates a vibrotactile feedback to remind the driver that by activating the mood-based haptic device 208 he is too tired to continue to operate the vehicle. Alternatively, the haptic generator may also broadcast the driver ' s physical condition (or effectiveness) to interested parties such as family members, company employees, highway police, and the like. It should be noted that similar mood-based haptic systems may be applied to the train, aerospace, and / or shipping industries.

동작 동안에, 자동차(202)의 감지 디바이스는 운전자로부터 땀, 얼굴 표정, 음성, 심장 박동, 등과 같은 감지된 입력들을 판독한다. 감지된 입력들을 처리한 후, 무드 처리 유닛은 감지된 입력들에 따라 운전자의 마음 상태, 무드, 감정 등을 유추한다. 운전자의 무드 컨디션을 식별하는 경우에, 햅틱 발생기는 운전자의 현재 무드를 나타내는 햅틱 피드백을 생성한다.During operation, the sensing device of the vehicle 202 reads sensed inputs from the driver such as sweat, facial expressions, voice, heartbeat, and the like. After processing the sensed inputs, the mood processing unit inferences the driver ' s mind state, mood, emotion, etc. according to sensed inputs. In the case of identifying the mood condition of the driver, the haptic generator generates haptic feedback representing the current mood of the driver.

일 양태에서, 무드-기반 햅틱 디바이스(208)는 동일한 사용자의 마음 상태 또는 무드(슬픔에서 기쁨까지)를 변경하도록 구성된다. 더구나, 디바이스(208)는 특정 유형의 햅틱 피드백을 제공함으로써 사용자의 현재 마음 상태 또는 동일한 사용자의 무드(이완 상태, 높은 집중 상태)를 유지하는데 이용될 수 있다. 또한, 디바이스(208)는 동일한 햅틱 효과를 제3자 개인 또는 네트워크 그룹과 같은 복수의 개인들에게 송신할 수 있다.In one aspect, the mood-based haptic device 208 is configured to change the mood or mood of the same user (from sadness to joy). Moreover, the device 208 can be used to maintain the current mood state of the user or the mood (relaxed state, high concentration state) of the same user by providing a specific type of haptic feedback. In addition, the device 208 may transmit the same haptic effect to a plurality of individuals, such as a third party individual or a network group.

도 3은 본 발명의 일 실시예에 따라 무드-기반 햅틱 시스템을 구비하는 비디오 게임 환경에서 예시적인 어플리케이션을 예시하는 도(250)이다. 도(250)는 터미널(256), 게임 콘솔(252), 및 게임 컨트롤러(254)를 포함하고, 여기에서 무드-기반 햅틱 컨트롤러(258-260)는 게임 콘솔(252) 및 컨트롤러(260)에 배치된다. 유의할 점은, 본 발명의 예시적인 실시예의 기저 개념은 추가 디바이스들 또는 블록들이 도(250)에 추가되거나 도(250)로부터 제거되는 경우라도 변경되지 않을 것이라는 점이다.FIG. 3 is a diagram 250 illustrating an exemplary application in a video game environment having a mood-based haptic system, in accordance with an embodiment of the invention. Figure 250 includes a terminal 256, a game console 252 and a game controller 254 wherein the mood-based haptic controller 258-260 is connected to the game console 252 and the controller 260 . It should be noted that the underlying concept of the exemplary embodiment of the present invention is that even if additional devices or blocks are added to or removed from the diagram 250,

게임용 디바이스에 대해, 일 실시예에서, 게임은 플레이어의 무드 또는 감정에 따라 난이도 또는 환경 레벨에 적응할 수 있다. 예를 들면, 무드-기반 햅틱 컨트롤러(258 또는 260)의 감지 디바이스가 릴랙스된 플레이어(예를 들면, 낮은 습도)를 감지하는 경우에, 게임 콘솔은 게임을 더 어려운 레벨 또는 상이한 게임 이벤트로 자동적으로 증가시킨다. 대안적으로, 무드-기반 햅틱 컨트롤러(258 또는 260)의 감지 디바이스가 긴장되거나 흥분된 무드(예를 들면, 높은 습도)를 감지하는 경우, 게임 콘솔은 더 쉬운 레벨 또는 상이한 게임 이벤트로 게임을 조정한다. 다시 말해서, 게임 콘솔은 사용자가 게임을 플레이할 때 얼마나 "차분한"지를 모니터링하고 결정할 수 있다.For a gaming device, in one embodiment, the game may adapt to difficulty or environmental levels depending on the mood or emotion of the player. For example, if the sensing device of the mood-based haptic controller 258 or 260 detects a relaxed player (e. G., Low humidity), the game console may automatically move the game to a more difficult level or a different game event . Alternatively, if the sensing device of the mood-based haptic controller 258 or 260 senses a tense or excited mood (e.g., high humidity), the game console adjusts the game to an easier level or a different game event . In other words, the game console can monitor and determine how "calm" the user is when playing the game.

대안 실시예에서, 무드-기반 햅틱 시스템은 또한 작업 관련 환경 또는 설정에서 효율을 증가시키는데 이용될 수도 있다. 예를 들면, 제조 조립 라인의 속도는 무드-기반 햅틱 시스템에 의해 검출된 작업자들의 무드에 따라 조정될 수 있다.In an alternative embodiment, the mood-based haptic system may also be used to increase efficiency in a task-related environment or setting. For example, the speed of the manufacturing assembly line may be adjusted according to the mood of workers detected by the mood-based haptic system.

도 4는 본 발명의 일 실시예에 따라 다른 디바이스들과 통신할 수 있는 무드-기반 햅틱 시스템을 예시하고 있다. 도(300)는 휴대용 또는 착용가능한 인터페이스 디바이스(302), PC(304), 셀룰러 폰(306), PDA(308), 서버(310), 및 명령어들을 실행할 수 있는 처리 디바이스(312)를 포함한다. 유의할 점은, 본 발명의 예시적인 실시예의 기저 개념은 전력 공급원과 같은 추가적인 블록들이 도(300)에 추가되거나 도(300)로부터 제거되는 경우라도 변경되지 않을 것이라는 점이다.Figure 4 illustrates a mood-based haptic system capable of communicating with other devices in accordance with an embodiment of the present invention. The diagram 300 includes a handheld or wearable interface device 302, a PC 304, a cellular phone 306, a PDA 308, a server 310, and a processing device 312 capable of executing the instructions . It should be noted that the underlying concept of the exemplary embodiment of the present invention is that even if additional blocks such as a power source are added to or removed from the diagram 300,

디바이스(302)는 센서(320), 내부 필터(322), 선택기(324), 발생기(326), 및 햅틱 출력 디바이스(328)를 더 포함한다. 일 실시예에서, 센서(320)는 디바이스(302)의 사용자와 관련하여 얼굴 표정들, 음성 피치들, 및 바이오메트릭스를 검출하도록 구성된다. 필터(322)는 사용자로부터의 무드 정보와는 반대로 자연적이고/이거나 주변 잡음들로 간주되는, 원하지 않는 이미지들 및 음성들과 같은 임의의 이질적인 정보를 필터링하는데 이용된다. 또 다른 실시예에서, 내부 필터(322)는 호스트 컴퓨터 내에 위치되고, 여기에서 필터링 프로세스는 호스트 프로세서에 의해 구현된다. 발생기(326)는 필터링된 무드 정보에 응답하여 명령어들을 생성하고, 유선 또는 무선 통신들일 수 있는 다양한 통신 채널들(332-338)을 통해 입력 명령어들을 PC(304) 또는 PDA(308)와 같은 하나 이상의 처리 디바이스들에게 송신한다.The device 302 further includes a sensor 320, an internal filter 322, a selector 324, a generator 326, and a haptic output device 328. In one embodiment, the sensor 320 is configured to detect facial expressions, speech pitches, and biometrics in association with the user of the device 302. The filter 322 is used to filter any heterogeneous information, such as unwanted images and voices, that are considered natural and / or ambient noises as opposed to mood information from the user. In another embodiment, the inner filter 322 is located in a host computer, wherein the filtering process is implemented by a host processor. Generator 326 generates instructions in response to the filtered mood information and provides input commands to the PC 304 or PDA 308 via various communication channels 332-338, which may be wired or wireless communications. To the above-mentioned processing devices.

선택기(324)는 햅틱 효과들의 리스트를 포함하는 햅틱 데이터를 저장하는데 이용되는 하나 이상의 햅틱 라이브러리들을 포함한다. 일 실시예에서, 햅틱 효과들의 리스트는 검출된 무드 정보에 따라 햅틱 피드백을 사용자에게 제공하는데 이용된다. 각 무드 검출 또는 입력은, 예를 들면 고유한 햅틱 피드백을 요구할 수 있다. 유의할 점은, 햅틱 데이터를 포함하는 라이브러리는 원격 호스트 컴퓨터 내에 위치될 수도 있다는 점이다. 대안의 실시예에서, 햅틱 데이터는 동적으로 생성되고 연속적으로 업데이트되어 검출된 무드 상태(들)를 에뮬레이팅하고/하거나 재생할 수 있다. 무드 상태를 실시간으로 에뮬레이팅하기 위해, 선택기(324)는 검출된 무드 및/또는 무드 상태(들)를 에뮬레이팅하는 햅틱 효과를 동적으로 생성할 수 있다. 햅틱 출력 디바이스(328)는 선택기(324)로부터의 햅틱 데이터에 따라 햅틱 피드백을 생성한다. 예를 들면, 진동 효과는 행복한 무드를 에뮬레이팅한다.Selector 324 includes one or more haptic libraries used to store haptic data including a list of haptic effects. In one embodiment, the list of haptic effects is used to provide haptic feedback to the user according to the detected mood information. Each mood detection or input may require, for example, unique haptic feedback. It should be noted that the library containing the haptic data may be located in the remote host computer. In an alternative embodiment, the haptic data may be dynamically generated and continuously updated to emulate and / or reproduce the detected mood state (s). To emulate the mood state in real time, the selector 324 may dynamically generate a haptic effect that emulates the detected mood and / or mood state (s). The haptic output device 328 generates haptic feedback in accordance with the haptic data from the selector 324. For example, a vibration effect emulates a happy mood.

디바이스(302)의 기능은 무드-기반 햅틱 피드백을, 랩탑(304), 셀룰러 폰(306), PDA(308), 서버(310), 등과 같은 하나 이상의 디바이스들에게 동시에 통신하는 것이다. 유의할 점은, 컴포넌트들(320-328)은 어플리케이션들에 따라 여러 개의 상이한 실체들 내에 분산될 수도 있다는 점이다. 디바이스(302)는 케이블 접속들, 무선 접속들, 및 유선 및 무선 네트워크들의 조합을 통해 다른 디바이스들(304-310)과 통신할 수 있다.The function of device 302 is to simultaneously communicate mood-based haptic feedback to one or more devices such as laptop 304, cellular phone 306, PDA 308, server 310, It should be noted that the components 320-328 may be distributed among several different entities depending on the applications. Device 302 may communicate with other devices 304-310 through cable connections, wireless connections, and a combination of wired and wireless networks.

도 5는 본 발명의 일 실시예에에 따라 무드-기반 햅틱 정보를 처리할 수 있는 처리 유닛(500)을 예시하고 있다. 유닛(500)은 처리 유닛(501), 인터페이스 버스(511), 및 입/출력("IO") 유닛(520)을 포함한다. 처리 유닛(501)은 프로세서(502), 메인 메모리(504), 시스템 버스(511), 정적 메모리 디바이스(506), 버스 제어 유닛(505), 대량 저장 메모리(507), 및 무드 컨트롤(530)을 포함한다. 버스(511)는 데이터 처리를 위해 다양한 컴포넌트들과 프로세서(502) 사이에서 정보를 송신하는데 이용된다. 프로세서(502)는 펜티엄TM 마이크로프로세서, 인텔® 코어TM2 듀오, 인텔® 코어TM2 쿼드, 인텔® 제온®, AMD 애슬론TM 프로세서, 모토롤라TM 68040 또는 파워PCTM 마이크로프로세서와 같은 널리 다양한 범용 프로세서들 또는 마이크로프로세서들 중 임의의 것일 수 있다. 무드 컨트롤(530)은 무드-기반 입력 신호들에 응답하여 햅틱 피드백을 생성한다.FIG. 5 illustrates a processing unit 500 that can process mood-based haptic information in accordance with an embodiment of the present invention. The unit 500 includes a processing unit 501, an interface bus 511, and an input / output ("IO") unit 520. The processing unit 501 includes a processor 502, a main memory 504, a system bus 511, a static memory device 506, a bus control unit 505, a mass storage memory 507, . The bus 511 is used to transmit information between the various components and the processor 502 for data processing. The processor 502 may be any of a wide variety of general purpose processors such as a Pentium TM microprocessor, an Intel® Core ™ 2 Duo, an Intel® Core ™ 2 Quad, an Intel® Xeon®, an AMD Athlon ™ processor, a Motorola ™ 68040 or a PowerPC ™ microprocessor Or microprocessors. The mood control 530 generates haptic feedback in response to the mood-based input signals.

캐시 메모리들의 복수의 레벨들을 포함할 수 있는 메인 메모리(504)는 빈번하게 이용되는 데이터 및 명령어들을 저장한다. 메인 메모리(504)는 RAM(랜덤 액세스 메모리), MRAM(자기 RAM), 또는 플래시 메모리일 수 있다. 정적 메모리(506)는 정적 정보 및/또는 명령어들을 저장하기 위해, 버스(511)에 결합되는 ROM(판독 전용 메모리)일 수 있다. 버스 제어 유닛(505)은 버스들(511-512)에 결합되고, 메인 메모리(504) 또는 프로세서(502)와 같은 어느 컴포넌트가 버스를 이용할 수 있는지를 제어한다. 버스 제어 유닛(505)은 버스(511)와 버스(512) 사이의 통신들을 관리한다. 다량의 데이터를 저장하기 위한 자기 디스크, 광 디스크, 하드 디스크 드라이브, 플로피 디스크, CD-ROM 및/또는 플래시 메모리들일 수 있는 대용량 메모리(507). 일 실시예에서, 액튜에이터 제어 모듈(530)은 햅틱 효과 제어의 기능들을 수행하는 독립적인 컴포넌트(IC)이다. 액튜에이터 컨트롤(530)의 기능은 원격의 착용가능한 링일 수 있는 하나 이상의 햅틱 액튜에이터들(524)을 구동하기 위한 것이다. 다른 실시예에서, 액튜에이터 제어 모듈(530)은 프로세서(502), 메인 메모리(504), 및/또는 정적 메모리(506) 내에 상주할 수 있다.The main memory 504, which may include a plurality of levels of cache memories, stores frequently used data and instructions. The main memory 504 may be RAM (Random Access Memory), MRAM (magnetic RAM), or flash memory. Static memory 506 may be a ROM (read only memory) coupled to bus 511 for storing static information and / or instructions. Bus control unit 505 is coupled to busses 511-512 and controls which components, such as main memory 504 or processor 502, can use the bus. The bus control unit 505 manages communications between the bus 511 and the bus 512. A large memory 507 which may be a magnetic disk, an optical disk, a hard disk drive, a floppy disk, CD-ROM and / or flash memories for storing a large amount of data. In one embodiment, the actuator control module 530 is an independent component (IC) that performs the functions of haptic effect control. The function of the actuator control 530 is to drive one or more haptic actuators 524, which may be a remote wearable ring. In another embodiment, the actuator control module 530 may reside within the processor 502, main memory 504, and / or static memory 506.

일 실시예에서, I/O 유닛(520)은 유연한 디스플레이(521), 키보드(522), 커서 제어 디바이스(523), 및 통신 디바이스(525)를 포함한다. 키보드(522)는 처리 유닛(500)과 컴퓨터 오퍼레이터(들) 사이에서 정보를 통신하기 위한 종래의 알파벳숫자 입력 디바이스일 수 있다. 다른 유형의 사용자 입력 디바이스는 종래의 마우스, 터치 마우스, 트랙볼, 손가락 또는 유닛(500)과 사용자(들) 사이에서 정보를 통신하기 위한 다른 유형의 커서와 같은 커서 제어 디바이스(523)이다. 통신 디바이스(525)는 원거리 통신망을 통해 원격 컴퓨터들 또는 서버들로부터 정보를 액세스하기 위해 버스(512)에 결합된다. 통신 디바이스(525)는 모뎀 또는 무선 네트워크 인터페이스 디바이스, 또는 유닛(500)과 네트워크 사이의 통신을 용이하게 하는 다른 유사한 디바이스들을 포함할 수 있다.In one embodiment, the I / O unit 520 includes a flexible display 521, a keyboard 522, a cursor control device 523, and a communication device 525. The keyboard 522 may be a conventional alphanumeric input device for communicating information between the processing unit 500 and the computer operator (s). Another type of user input device is a cursor control device 523, such as a conventional mouse, touch mouse, trackball, finger, or other type of cursor for communicating information between the unit 500 and the user (s). The communication device 525 is coupled to the bus 512 for accessing information from remote computers or servers via a telecommunication network. The communication device 525 may include a modem or a wireless network interface device, or other similar devices that facilitate communication between the unit 500 and the network.

본 발명의 예시적인 실시예(들)는 이하에 설명될 다양한 처리 단계들을 포함한다. 실시예들의 단계들은 머신 또는 컴퓨터 실행가능한 명령어들로 실시될 수 있다. 명령어들은 명령어들로 프로그래밍된 범용 또는 특별 목적 시스템이 본 발명의 실시예(들)의 단계들을 수행하도록 하는데 이용될 수 있다. 대안적으로는, 본 발명의 실시예(들)의 단계들은, 단계들을 수행하기 위해 하드-와이어링된 로직을 포함하는 특정 하드웨어 컴포넌트들에 의해, 또는 프로그래밍된 컴퓨터 컴포넌트들 및 커스텀 하드웨어 컴포넌트들의 임의의 조합에 의해 수행될 수 있다.Exemplary embodiment (s) of the present invention include various processing steps as will be described below. The steps of embodiments may be practiced by machine or computer-executable instructions. The instructions may be used to cause a general purpose or special purpose system programmed with instructions to perform the steps of the embodiment (s) of the present invention. Alternatively, the steps of the embodiment (s) of the present invention may be performed by specific hardware components including hard-wired logic to perform the steps, or by any of the programmed computer components and custom hardware components And the like.

도 6은 본 발명의 일 실시예에 따라 무드-기반 햅틱 피드백을 제공하는 프로세스를 예시하는 흐름도(600)이다. 블록(602)에서, 무드 정보에 기초하여 햅틱 피드백을 생성할 수 있는 프로세스는 사용자와 연관된 제1 이벤트를 감지한다. 일례에서, 프로세스는 사용자와 관련하여 얼굴 표정들, 음성들 및 맥박수들을 감지하도록 구성된다. 또 다른 예에서, 프로세스는 몸 온도 및 호흡 리듬들과 같은 사용자의 바이오메트릭스를 검출할 수 있다.Figure 6 is a flow diagram 600 illustrating a process for providing mood-based haptic feedback in accordance with an embodiment of the present invention. At block 602, the process capable of generating haptic feedback based on mood information senses a first event associated with the user. In one example, the process is configured to detect facial expressions, voices, and pulse rates associated with the user. In another example, the process may detect a user ' s biometrics, such as body temperature and respiratory rhythms.

블록(604)에서, 프로세스는 제1 이벤트에 응답하여 감지 신호를 생성한다. 일 실시예에서, 프로세스는 제1 이벤트가 행복한 무드를 나타내는 경우에 사용자의 현재 무드를 나타내는 행복 표시자를 제공한다. 대안적으로, 프로세스는 제1 이벤트가 슬픈 무드를 나타내는 경우에 사용자의 현재 무드를 나타내는 슬픔 표시자를 제공할 수 있다.At block 604, the process generates a sense signal in response to the first event. In one embodiment, the process provides a happiness indicator that indicates the current mood of the user if the first event indicates a happy mood. Alternatively, the process may provide a sad indicator that represents the current mood of the user if the first event represents a sad mood.

블록(606)에서, 프로세스는 네트워크를 통해 감지 신호를 수신하고, 후속하여 감지 신호에 기초한 사용자의 컨디션들 또는 무드가 결정된다. 프로세스는 또한 무선 통신 네트워크를 통해 감지 신호를 획득할 수 있다. 유의할 점은, 사용자의 무드는 연속적으로 샘플링될 수 있고 사용자의 무드가 이에 따라 업데이트될 수 있다는 점이다.At block 606, the process receives the sense signal over the network, and subsequently the conditions or mood of the user based on the sense signal are determined. The process may also obtain a sense signal via the wireless communication network. Note that the user's mood can be continuously sampled and the user's mood can be updated accordingly.

블록(608)에서, 프로세스는 사용자의 컨디션에 따라 햅틱 신호를 생성하고 햅틱 신호를 햅틱 발생기에 포워딩한다. 일 실시예에서, 프로세스는 또한 또 다른 사용자에 의해 조작되는 또 다른 햅틱 시스템에 햅틱 신호를 통신 네트워크를 통해 전송한다.At block 608, the process generates a haptic signal according to the condition of the user and forwards the haptic signal to the haptic generator. In one embodiment, the process also transmits the haptic signal over another communications network to another haptic system that is operated by another user.

블록(610)에서, 프로세스는 햅틱 신호에 응답하여 햅틱 피드백을 생성한다. 일 실시예에서, 프로세스는 사용자의 컨디션 또는 무드에 따라 게임의 난이도의 레벨들을 조정한다. 또 다른 실시예에서, 프로세스는 사용자의 컨디션 또는 무드를 나타내는 경보 신호(alert signal)를 제공한다. 일 실시예에서, 프로세스는 주위 컨디션과 연관된 제2 이벤트를 감지할 수 있다. 예를 들면, 프로세스는 주위 환경의 온도를 검출할 수 있다.At block 610, the process generates haptic feedback in response to the haptic signal. In one embodiment, the process adjusts the level of difficulty of the game according to the condition or mood of the user. In another embodiment, the process provides an alert signal indicating a condition or mood of the user. In one embodiment, the process may detect a second event associated with the ambient condition. For example, the process can detect the temperature of the ambient environment.

본 발명의 특정 실시예들이 도시되고 설명되었지만, 본 기술분야의 당업자들이라면, 본원의 교시들에 기초하여, 본 발명 및 그 더 넓은 양태들로부터 벗어나지 않고서도 변경들 및 변형들이 만들어질 수 있다는 것을 잘 알고 있을 것이다. 그러므로, 첨부된 청구항들은 그 범주 내에서 본 발명의 예시적인 실시예(들)의 진정한 사상 및 범주 내에 드는 모든 그러한 변경들 및 변형들을 포함하도록 의도된다.While particular embodiments of the present invention have been shown and described, those skilled in the art will readily appreciate that changes and modifications can be made without departing from the invention and its broader aspects, on the basis of the teachings herein You will know. It is therefore intended by the appended claims to cover all such changes and modifications that fall within the true spirit and scope of the illustrative embodiment (s) of the invention in its scope.

Claims (26)

무드-기반 햅틱 큐들을 생성하기 위한 방법으로서,
휴대용 디바이스에 의해, 사용자의 무드 정보를 감지하는 단계;
상기 휴대용 디바이스에 의해, 감지된 상기 무드 정보에 기초하여 상기 사용자의 무드를 결정하는 단계;
상기 휴대용 디바이스에 의해, 상기 사용자의 결정된 무드에 기초하여 햅틱 신호를 생성하는 단계 - 상기 햅틱 신호는 햅틱 큐가 생성되도록 하고, 상기 햅틱 큐는 상기 사용자의 결정된 무드를 전송함 -; 및
상기 휴대용 디바이스에 의해, 상기 햅틱 신호가 상기 휴대용 디바이스로부터 원격인(remote) 디바이스로 전송되도록 하는 단계
를 포함하는 무드-기반 햅틱 큐들을 생성하기 위한 방법.A method for generating mood-based haptic cues,
Sensing, by the portable device, the mood information of the user;
Determining, by the portable device, a mood of the user based on the sensed mood information;
Generating, by the portable device, a haptic signal based on the determined mood of the user, wherein the haptic signal causes a haptic queue to be generated, and wherein the haptic queue transmits the determined mood of the user; And
Causing the portable device to transmit the haptic signal to a remote device from the portable device,
Based haptic cues. ≪ Desc / Clms Page number 13 > 제1항에 있어서, 상기 햅틱 신호가 상기 휴대용 디바이스로부터 원격인 디바이스로 전송되도록 하는 단계는,
상기 휴대용 디바이스에 의해, 상기 햅틱 신호가 상기 휴대용 디바이스로부터 원격인 복수의 디바이스로 전송되도록 하는 단계를 더 포함하는 무드-기반 햅틱 큐들을 생성하기 위한 방법.The method of claim 1, wherein the step of causing the haptic signal to be transmitted from the portable device to a remote device comprises:
Further comprising causing the portable device to transmit the haptic signal to a plurality of devices remote from the portable device. 제1항에 있어서, 상기 휴대용 디바이스 및 상기 휴대용 디바이스로부터 원격인 디바이스는 네트워크를 통해 서로 통신 가능하게 연결되어 있으며, 상기 햅틱 신호는 상기 네트워크를 통해 통신되는 무드-기반 햅틱 큐들을 생성하기 위한 방법.2. The method of claim 1, wherein the portable device and devices remote from the portable device are communicatively coupled to each other via a network, and wherein the haptic signal is communicated over the network. 제1항에 있어서,
상기 휴대용 디바이스에 의해, 상기 사용자와 연관된 주위 컨디션(ambient condition)을 감지하는 단계를 더 포함하고, 상기 햅틱 신호를 생성하는 단계는,
상기 휴대용 디바이스에 의해, 상기 무드 정보 및 상기 감지된 주위 컨디션에 기초하여 상기 햅틱 신호를 생성하는 단계를 더 포함하는 무드-기반 햅틱 큐들을 생성하기 위한 방법.The method according to claim 1,
Further comprising sensing, by the portable device, an ambient condition associated with the user, wherein the generating the haptic signal comprises:
Further comprising, by the portable device, generating the haptic signal based on the mood information and the sensed ambient condition. 제4항에 있어서, 상기 주위 컨디션은 온도, 습도, 조명, 또는 대기압을 포함하는 무드-기반 햅틱 큐들을 생성하기 위한 방법.5. The method of claim 4, wherein the ambient condition includes temperature, humidity, illumination, or atmospheric pressure. 제1항에 있어서, 상기 햅틱 신호가 전송되도록 하는 단계는 상기 휴대용 디바이스와 상기 휴대용 디바이스로부터 원격인 디바이스 간의 전화 통화 동안에 상기 햅틱 신호가 전송되도록 하는 무드-기반 햅틱 큐들을 생성하기 위한 방법.2. The method of claim 1, wherein the step of causing the haptic signal to be transmitted causes the haptic signal to be transmitted during a telephone call between the portable device and a device remote from the portable device. 제6항에 있어서, 상기 무드 정보는 상기 전화 통화 이전에 감지되는 무드-기반 햅틱 큐들을 생성하기 위한 방법.7. The method of claim 6, wherein the mood information is sensed prior to the phone call. 제6항에 있어서, 상기 무드 정보는 상기 전화 통화 동안에 감지되는 무드-기반 햅틱 큐들을 생성하기 위한 방법.7. The method of claim 6, wherein the mood information is sensed during the phone call. 제1항에 있어서,
상기 휴대용 디바이스에 의해, 상기 휴대용 디바이스로부터 원격인 디바이스로부터 제2 햅틱 신호를 수신하는 단계 - 상기 제2 햅틱 신호는 상기 휴대용 디바이스로부터 원격인 디바이스의 사용자의 제2 무드를 나타냄 -; 및
상기 휴대용 디바이스에 의해, 상기 사용자에게 상기 제2 무드를 전송하는 제2 햅틱 큐를 생성하는 단계
를 더 포함하는 무드-기반 햅틱 큐들을 생성하기 위한 방법.The method according to claim 1,
Receiving, by the portable device, a second haptic signal from a device remote from the portable device, the second haptic signal representing a second mood of a user of the device remote from the portable device; And
Generating, by the portable device, a second haptic queue for transmitting the second mood to the user
Based haptic cues. ≪ Desc / Clms Page number 13 > 제1항에 있어서,
상기 휴대용 디바이스로부터 원격인 디바이스에 의해, 상기 햅틱 신호를 수신하는 단계; 및
상기 휴대용 디바이스로부터 원격인 디바이스에 의해, 상기 햅틱 큐를 생성하는 단계
를 더 포함하는 무드-기반 햅틱 큐들을 생성하기 위한 방법.The method according to claim 1,
Receiving the haptic signal by a device remote from the portable device; And
Generating, by the device remote from the portable device, the haptic queue
Based haptic cues. ≪ Desc / Clms Page number 13 > 제1항에 있어서, 상기 무드 정보를 감지하는 단계는,
상기 휴대용 디바이스에 의해, 얼굴 표정, 음성 피치, 몸 온도, 몸 습도, 심장 펄스, 호흡 리듬, 몸 자세, 손 동작 또는 몸 움직임을 감지하는 무드-기반 햅틱 큐들을 생성하기 위한 방법.The method of claim 1, wherein the sensing the mood information comprises:
A method for generating mood-based haptic cues by the portable device to detect facial expressions, voice pitch, body temperature, body humidity, heart pulse, respiratory rhythm, body posture, hand movements or body movements. 제1항에 있어서, 상기 사용자의 무드를 결정하는 단계는, 상기 휴대용 디바이스에 의해, 상기 사용자의 무드의 레벨을 결정하는 단계를 더 포함하고, 상기 햅틱 큐의 세기(intensity)는 상기 사용자의 무드의 레벨에 기초하는 무드-기반 햅틱 큐들을 생성하기 위한 방법.2. The method of claim 1, wherein determining the mood of the user further comprises: determining, by the portable device, a level of the mood of the user, Based haptic cues based on the level of the mood-based haptic cues. 무드-기반 햅틱 큐들을 생성하기 위한 시스템으로서, 상기 시스템은,
장치를 포함하고, 상기 장치는,
사용자의 무드 정보를 감지하도록 구성된 감지 디바이스; 및
프로세서를 포함하고, 상기 프로세서는,
감지된 상기 무드 정보에 기초하여 상기 사용자의 무드를 결정하고;
상기 사용자의 결정된 무드에 기초하여 햅틱 신호를 생성하고 - 상기 햅틱 신호는 햅틱 큐가 생성되도록 하고, 상기 햅틱 큐는 상기 사용자의 결정된 무드를 전송함 -;
상기 햅틱 신호가 상기 장치로부터 원격인 디바이스로 전송되게 하도록 구성되는 무드-기반 햅틱 큐들을 생성하기 위한 시스템.A system for generating mood-based haptic cues,
The apparatus comprising:
A sensing device configured to sense mood information of a user; And
The processor comprising:
Determining a mood of the user based on the sensed mood information;
Generating a haptic signal based on the determined mood of the user, wherein the haptic signal causes a haptic queue to be generated, and wherein the haptic queue transmits the determined mood of the user;
And to cause the haptic signal to be transmitted from the device to a remote device. 제13항에 있어서, 상기 프로세서는, 상기 햅틱 신호가 상기 장치로부터 원격인 복수의 디바이스로 전송되게 하도록 더 구성되는 무드-기반 햅틱 큐들을 생성하기 위한 시스템.14. The system of claim 13, wherein the processor is further configured to cause the haptic signal to be transmitted to a plurality of devices remote from the device. 제13항에 있어서, 상기 장치 및 상기 장치로부터 원격인 디바이스는 네트워크를 통해 서로 통신 가능하게 연결되어 있으며, 상기 햅틱 신호는 상기 네트워크를 통해 통신되는 무드-기반 햅틱 큐들을 생성하기 위한 시스템.14. The system of claim 13, wherein the device and devices remote from the device are communicatively coupled to one another via a network, and wherein the haptic signal is communicated over the network. 제13항에 있어서, 상기 감지 디바이스는 상기 사용자와 연관된 주위 컨디션을 감지하도록 더 구성되고,
상기 프로세서는, 상기 무드 정보 및 상기 감지된 주위 컨디션에 기초하여 상기 햅틱 신호를 생성하도록 더 구성되는 무드-기반 햅틱 큐들을 생성하기 위한 시스템.14. The apparatus of claim 13, wherein the sensing device is further configured to sense ambient conditions associated with the user,
Wherein the processor is further configured to generate the haptic signal based on the mood information and the sensed ambient condition. 제16항에 있어서, 상기 주위 컨디션은 온도, 습도, 조명, 또는 대기압을 포함하는 무드-기반 햅틱 큐들을 생성하기 위한 시스템.17. The system of claim 16, wherein the ambient condition includes temperature, humidity, illumination, or atmospheric pressure. 제13항에 있어서, 상기 프로세서는 상기 장치와 상기 장치로부터 원격인 디장치 간의 전화 통화 동안에 상기 햅틱 신호가 전송되게 하도록 구성되는 무드-기반 햅틱 큐들을 생성하기 위한 시스템.14. The system of claim 13, wherein the processor is configured to cause the haptic signal to be transmitted during a phone call between the device and a remote device that is remote from the device. 제18항에 있어서, 상기 무드 정보는 상기 전화 통화 이전에 감지되는 무드-기반 햅틱 큐들을 생성하기 위한 시스템.19. The system of claim 18, wherein the mood information is sensed prior to the phone call. 제18항에 있어서, 상기 무드 정보는 상기 전화 통화 동안에 감지되는 무드-기반 햅틱 큐들을 생성하기 위한 시스템.19. The system of claim 18, wherein the mood information is sensed during the phone call. 제13항에 있어서, 상기 프로세서는,
상기 장치로부터 원격인 디바이스로부터 제2 햅틱 신호를 수신하고 - 상기 제2 햅틱 신호는 상기 장치로부터 원격인 디바이스의 사용자의 제2 무드를 나타냄 -;
상기 사용자에게 상기 제2 무드를 전송하는 제2 햅틱 큐를 생성하도록 더 구성되는 무드-기반 햅틱 큐들을 생성하기 위한 시스템.14. The apparatus of claim 13,
Receiving a second haptic signal from a device remote from the device, the second haptic signal representing a second mood of a user of the device remote from the device;
And generate a second haptic queue to transmit the second mood to the user. 제13항에 있어서, 상기 장치로부터 원격인 디바이스를 더 포함하고, 상기 장치로부터 원격인 디바이스는 상기 햅틱 신호를 수신하고 상기 햅틱 큐를 생성하도록 구성되는 무드-기반 햅틱 큐들을 생성하기 위한 시스템.14. The system of claim 13, further comprising a device remote from the device, the device remote from the device being configured to receive the haptic signal and to generate the haptic queue. 제13항에 있어서, 상기 프로세서는, 얼굴 표정, 음성 피치, 몸 온도, 몸 습도, 심장 펄스, 호흡 리듬, 몸 자세, 손 동작 또는 몸 움직임을 감지하도록 더 구성되는 무드-기반 햅틱 큐들을 생성하기 위한 시스템.14. The method of claim 13, wherein the processor is further configured to generate mood-based haptic cues that are further configured to detect facial expressions, voice pitch, body temperature, body humidity, heart pulse, respiratory rhythm, body posture, For the system. 제13항에 있어서, 상기 사용자의 무드는, 상기 사용자의 무드의 레벨을 포함하고, 상기 햅틱 큐의 세기는 상기 사용자의 무드의 레벨에 기초하는 무드-기반 햅틱 큐들을 생성하기 위한 시스템.14. The system of claim 13, wherein the user's mood comprises a level of the user's mood, and the strength of the haptic queue is based on a level of the user's mood. 제1항에 있어서, 상기 무드 정보를 감지하는 단계는,
상기 사용자의 비디오를 캡쳐하는 단계 - 상기 무드 정보는 캡쳐된 비디오를 포함함 -; 및
상기 휴대용 디바이스에 의해, 상기 캡쳐된 비디오가 송신되도록 하는 단계를 더 포함하는 무드-기반 햅틱 큐들을 생성하기 위한 방법.The method of claim 1, wherein the sensing the mood information comprises:
Capturing video of the user, the mood information including captured video; And
Further comprising causing, by the portable device, the captured video to be transmitted. 제13항에 있어서, 상기 프로세서는,
상기 사용자의 비디오를 캡쳐하고 - 상기 무드 정보는 상기 캡쳐된 비디오를 포함함 -;
상기 캡쳐된 비디오가 송신되게 하도록 더 구성되는 무드-기반 햅틱 큐들을 생성하기 위한 시스템.14. The apparatus of claim 13,
Capturing video of the user, the mood information including the captured video;
And to cause the captured video to be transmitted. ≪ Desc / Clms Page number 24 >
KR1020157027967A 2008-11-19 2009-11-13 Method and apparatus for generating mood-based haptic feedback KR101655055B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/274,152 US8004391B2 (en) 2008-11-19 2008-11-19 Method and apparatus for generating mood-based haptic feedback
US12/274,152 2008-11-19
PCT/US2009/064348 WO2010059513A2 (en) 2008-11-19 2009-11-13 Method and apparatus for generating mood-based haptic feedback

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020117011349A Division KR101600126B1 (en) 2008-11-19 2009-11-13 Method and apparatus for generating mood-based haptic feedback

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020167023825A Division KR101800992B1 (en) 2008-11-19 2009-11-13 Method and apparatus for generating mood-based haptic feedback

Publications (2)

Publication Number Publication Date
KR20150119493A true KR20150119493A (en) 2015-10-23
KR101655055B1 KR101655055B1 (en) 2016-09-06

Family

ID=42110296

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020117011349A KR101600126B1 (en) 2008-11-19 2009-11-13 Method and apparatus for generating mood-based haptic feedback
KR1020167023825A KR101800992B1 (en) 2008-11-19 2009-11-13 Method and apparatus for generating mood-based haptic feedback
KR1020157027967A KR101655055B1 (en) 2008-11-19 2009-11-13 Method and apparatus for generating mood-based haptic feedback

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020117011349A KR101600126B1 (en) 2008-11-19 2009-11-13 Method and apparatus for generating mood-based haptic feedback
KR1020167023825A KR101800992B1 (en) 2008-11-19 2009-11-13 Method and apparatus for generating mood-based haptic feedback

Country Status (6)

Country Link
US (4) US8004391B2 (en)
EP (1) EP2350776A2 (en)
JP (2) JP5643214B2 (en)
KR (3) KR101600126B1 (en)
CN (2) CN104571535B (en)
WO (1) WO2010059513A2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200035384A (en) * 2018-09-17 2020-04-03 주식회사 씨케이머티리얼즈랩 A wireless controlling apparatus and method for haptic device
US11382199B2 (en) 2017-09-18 2022-07-05 Ck Materials Lab Co., Ltd. Wireless control apparatus and method for haptic device

Families Citing this family (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100312129A1 (en) 2005-01-26 2010-12-09 Schecter Stuart O Cardiovascular haptic handle system
US20100152620A1 (en) * 2008-12-12 2010-06-17 Immersion Corporation Method and Apparatus for Providing A Haptic Monitoring System Using Multiple Sensors
US20100201652A1 (en) * 2009-02-12 2010-08-12 Sony Ericsson Mobile Communications Ab Embedded piezoelectric elements in touch panels
KR101054359B1 (en) * 2009-02-16 2011-08-04 한국과학기술원 Interaction Device Using Muscle Sensory Feedback and Its Operation Method
EP2419184A1 (en) * 2009-04-15 2012-02-22 Koninklijke Philips Electronics N.V. Methods and systems for adapting a user environment
KR101262922B1 (en) * 2009-12-10 2013-05-09 한국전자통신연구원 Apparatus and method for determining emotional quotient according to emotion variation
US8314691B2 (en) * 2010-01-12 2012-11-20 Shepherd Center, Inc. Assistive driving aid
US20110276659A1 (en) * 2010-04-05 2011-11-10 Electronics And Telecommunications Research Institute System and method for providing multimedia service in a communication system
US9678569B2 (en) * 2010-04-23 2017-06-13 Immersion Corporation Systems and methods for providing haptic effects
US10779761B2 (en) * 2010-06-07 2020-09-22 Affectiva, Inc. Sporadic collection of affect data within a vehicle
CN102387241B (en) * 2010-09-02 2015-09-23 联想(北京)有限公司 A kind of mobile terminal and transmission processing method thereof
JP5149954B2 (en) * 2010-11-25 2013-02-20 東芝テック株式会社 Information processing terminal
WO2012089906A1 (en) * 2010-12-30 2012-07-05 Nokia Corporation Method, apparatus and computer program product for emotion detection
US20120182211A1 (en) * 2011-01-14 2012-07-19 Research In Motion Limited Device and method of conveying emotion in a messaging application
US8674961B2 (en) * 2011-01-31 2014-03-18 National Semiconductor Corporation Haptic interface for touch screen in mobile device or other device
US8942828B1 (en) 2011-04-13 2015-01-27 Stuart Schecter, LLC Minimally invasive cardiovascular support system with true haptic coupling
KR101121784B1 (en) * 2011-05-28 2012-03-09 (주)이미지스테크놀로지 Touch and haptic control system using input-output device
US10191546B2 (en) * 2011-06-20 2019-01-29 Immersion Corporation Haptic theme framework
KR101779505B1 (en) * 2011-06-29 2017-09-18 엘지전자 주식회사 Mobile termimal and method for measuring bioelectric signals thereof
US9762719B2 (en) * 2011-09-09 2017-09-12 Qualcomm Incorporated Systems and methods to enhance electronic communications with emotional context
CN102438064A (en) * 2011-09-28 2012-05-02 宇龙计算机通信科技(深圳)有限公司 Emotion expression method and system of mobile terminal and mobile terminal
US8781565B2 (en) * 2011-10-04 2014-07-15 Qualcomm Incorporated Dynamically configurable biopotential electrode array to collect physiological data
US20140250200A1 (en) * 2011-11-09 2014-09-04 Koninklijke Philips N.V. Using biosensors for sharing emotions via a data network service
US20130144537A1 (en) * 2011-12-03 2013-06-06 Neuro Analytics and Technologies, LLC Real Time Assessment During Interactive Activity
JP5929145B2 (en) * 2011-12-07 2016-06-01 株式会社ニコン Electronic device, information processing method and program
US20130227409A1 (en) * 2011-12-07 2013-08-29 Qualcomm Incorporated Integrating sensation functionalities into social networking services and applications
US8954372B2 (en) 2012-01-20 2015-02-10 Fuji Xerox Co., Ltd. System and methods for using presence data to estimate affect and communication preference for use in a presence system
US20130305169A1 (en) * 2012-05-11 2013-11-14 Robert Evan Gold Methods and Systems for Providing Feedback in Interactive, Interest Centric Communications Environment
US10013082B2 (en) 2012-06-05 2018-07-03 Stuart Schecter, LLC Operating system with haptic interface for minimally invasive, hand-held surgical instrument
DE102012214697A1 (en) 2012-08-01 2014-02-06 Soma Analytics Ug (Haftungsbeschränkt) Device, method and application for determining a current load level
US9116546B2 (en) 2012-08-29 2015-08-25 Immersion Corporation System for haptically representing sensor input
JP5634462B2 (en) * 2012-08-31 2014-12-03 京セラドキュメントソリューションズ株式会社 Display input device and image forming apparatus
CN103678417B (en) * 2012-09-25 2017-11-24 华为技术有限公司 Human-machine interaction data treating method and apparatus
US9104231B2 (en) * 2012-09-27 2015-08-11 Microsoft Technology Licensing, Llc Mood-actuated device
US9483736B2 (en) * 2012-10-23 2016-11-01 Empire Technology Development Llc Filtering user actions based on user's mood
JP6138268B2 (en) * 2012-11-21 2017-05-31 ソムニック インク． Apparatus and method for empathic computing
US9378655B2 (en) 2012-12-03 2016-06-28 Qualcomm Incorporated Associating user emotion with electronic media
CN103905619A (en) * 2012-12-26 2014-07-02 腾讯科技（深圳）有限公司 Interaction method and system based on mobile terminal, and mobile terminal
US9046884B2 (en) 2012-12-31 2015-06-02 Microsoft Technology Licensing, Llc Mood-actuated device
JP2014134922A (en) * 2013-01-09 2014-07-24 Sony Corp Information processing apparatus, information processing method, and program
US20140191939A1 (en) * 2013-01-09 2014-07-10 Microsoft Corporation Using nonverbal communication in determining actions
EP2759949A1 (en) 2013-01-28 2014-07-30 Tata Consultancy Services Limited Media system for generating playlist of multimedia files
US10504339B2 (en) * 2013-02-21 2019-12-10 Immersion Corporation Mobile device with instinctive alerts
US20140239743A1 (en) * 2013-02-27 2014-08-28 James Edward Jennings Xeno transduction system
US9202352B2 (en) * 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
CN103179274A (en) * 2013-03-11 2013-06-26 广东欧珀移动通信有限公司 Method and system for displaying moods on mobile terminal
US9904394B2 (en) * 2013-03-13 2018-02-27 Immerson Corporation Method and devices for displaying graphical user interfaces based on user contact
US10225328B2 (en) 2013-03-14 2019-03-05 Aperture Investments, Llc Music selection and organization using audio fingerprints
US11271993B2 (en) 2013-03-14 2022-03-08 Aperture Investments, Llc Streaming music categorization using rhythm, texture and pitch
US10242097B2 (en) 2013-03-14 2019-03-26 Aperture Investments, Llc Music selection and organization using rhythm, texture and pitch
US10061476B2 (en) 2013-03-14 2018-08-28 Aperture Investments, Llc Systems and methods for identifying, searching, organizing, selecting and distributing content based on mood
US10623480B2 (en) 2013-03-14 2020-04-14 Aperture Investments, Llc Music categorization using rhythm, texture and pitch
US9875304B2 (en) 2013-03-14 2018-01-23 Aperture Investments, Llc Music selection and organization using audio fingerprints
US9939900B2 (en) * 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US9274603B2 (en) * 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
CN104239304B (en) * 2013-06-07 2018-08-21 华为技术有限公司 A kind of method, apparatus and equipment of data processing
CN103315753A (en) * 2013-06-24 2013-09-25 西南大学 Portable sentiment analyzer and sentiment analysis method
JP6428623B2 (en) 2013-08-29 2018-11-28 ソニー株式会社 Wristband type information processing apparatus, information processing system, information processing method, and program
US9892413B2 (en) * 2013-09-05 2018-02-13 International Business Machines Corporation Multi factor authentication rule-based intelligent bank cards
US9669297B1 (en) 2013-09-18 2017-06-06 Aftershock Services, Inc. Using biometrics to alter game content
US9368006B1 (en) * 2013-09-24 2016-06-14 Woodenshark, LLC Wearable bracelet with bidirectional network connectivity and touch feedback
US20150084735A1 (en) * 2013-09-25 2015-03-26 Lenovo (Singapore) Pte. Ltd. Wearable information handling device outputs
US9489048B2 (en) * 2013-12-13 2016-11-08 Immersion Corporation Systems and methods for optical transmission of haptic display parameters
GB2521436A (en) 2013-12-20 2015-06-24 Nokia Corp Method and apparatus for adaptive feedback
US9754445B2 (en) 2013-12-31 2017-09-05 Video Gaming Technologies, Inc. Stress detecting input device for a gaming machine
US8941500B1 (en) * 2014-01-23 2015-01-27 Google Inc. Somatosensory type notification alerts
US10254836B2 (en) * 2014-02-21 2019-04-09 Immersion Corporation Haptic power consumption management
WO2015127062A1 (en) * 2014-02-24 2015-08-27 Sony Corporation Smart wearable devices and methods for optimizing output
US20220147562A1 (en) 2014-03-27 2022-05-12 Aperture Investments, Llc Music streaming, playlist creation and streaming architecture
US9509789B2 (en) * 2014-06-04 2016-11-29 Grandios Technologies, Llc Managing mood data on a user device
US9390706B2 (en) * 2014-06-19 2016-07-12 Mattersight Corporation Personality-based intelligent personal assistant system and methods
KR102254705B1 (en) * 2014-09-19 2021-05-24 삼성전자주식회사 Terminal apparatus and controlling method thereof
KR102225400B1 (en) 2014-12-04 2021-03-09 삼성전자주식회사 Wearable device and method for transmitting message at the same
US9946351B2 (en) 2015-02-23 2018-04-17 SomniQ, Inc. Empathetic user interface, systems, and methods for interfacing with empathetic computing device
KR20160105321A (en) 2015-02-27 2016-09-06 임머숀 코퍼레이션 Generating actions based on a user's mood
CN104799831A (en) * 2015-03-18 2015-07-29 四川九洲电器集团有限责任公司 Wearable device for emotion monitoring
US10613629B2 (en) 2015-03-27 2020-04-07 Chad Laurendeau System and method for force feedback interface devices
US9853905B2 (en) 2015-04-02 2017-12-26 Honda Motor Co., Ltd. System and method for wireless connected device prioritization in a vehicle
US10293260B1 (en) * 2015-06-05 2019-05-21 Amazon Technologies, Inc. Player audio analysis in online gaming environments
CN105100435A (en) * 2015-06-15 2015-11-25 百度在线网络技术（北京）有限公司 Application method and device of mobile communication
US20160378186A1 (en) 2015-06-23 2016-12-29 Intel Corporation Technologies for controlling haptic feedback intensity
US10210737B2 (en) * 2015-06-23 2019-02-19 Cleveland State University Systems and methods for privacy-aware motion tracking with notification feedback
CN105139317B (en) * 2015-08-07 2018-10-09 北京环度智慧智能技术研究所有限公司 The cognition index analysis method of interest orientation value test
US10248207B2 (en) * 2015-10-28 2019-04-02 Capital One Services, Llc Systems and methods for providing variable haptic feedback
CN113037926B (en) * 2015-11-13 2023-08-22 索尼公司 Communication system, information communication method, and storage medium
USD806711S1 (en) 2015-12-11 2018-01-02 SomniQ, Inc. Portable electronic device
EP3387628B1 (en) 2015-12-11 2021-05-12 Somniq, Inc. Apparatus, system, and methods for interfacing with a user and/or external apparatus by stationary state detection
US10102722B2 (en) 2015-12-18 2018-10-16 Immersion Corporation Wearable article having an actuator that performs non-haptic and haptic operations
US10105608B1 (en) 2015-12-18 2018-10-23 Amazon Technologies, Inc. Applying participant metrics in game environments
US10382820B2 (en) * 2016-04-01 2019-08-13 Huawei Technologies Co., Ltd. Apparatus and method for bandwidth allocation as a function of a sensed characteristic of a user
JP6952762B2 (en) 2016-04-01 2021-10-20 ユニバーシティ オブ ピッツバーグ −オブ ザ コモンウェルス システム オブ ハイヤー エデュケイション Adjustment device and storage medium
CN105852823A (en) * 2016-04-20 2016-08-17 吕忠华 Medical intelligent anger appeasing prompt device
EP3454815A4 (en) * 2016-05-09 2020-01-08 Subpac, Inc. Tactile sound device having active feedback system
US9886829B2 (en) * 2016-06-20 2018-02-06 Immersion Corporation Systems and methods for closed-loop control for haptic feedback
US9921609B2 (en) 2016-08-02 2018-03-20 Immersion Corporation Systems and methods for deformation and haptic effects
WO2018035442A1 (en) * 2016-08-19 2018-02-22 Xsync Technologies Llc Systems and methods for multimedia tactile augmentation
EP3506057A4 (en) * 2016-08-29 2019-08-14 Sony Corporation Information processing device, information processing method, and program
US10884502B2 (en) * 2016-11-23 2021-01-05 Google Llc Providing mediated social interactions
US10078370B2 (en) * 2016-11-23 2018-09-18 Immersion Corporation Devices and methods for modifying haptic effects
US10769418B2 (en) 2017-01-20 2020-09-08 At&T Intellectual Property I, L.P. Devices and systems for collective impact on mental states of multiple users
US20180247443A1 (en) * 2017-02-28 2018-08-30 International Business Machines Corporation Emotional analysis and depiction in virtual reality
CN107071154A (en) * 2017-03-22 2017-08-18 广东小天才科技有限公司 Prompting method in call process and mobile device
CN108653897A (en) * 2017-03-31 2018-10-16 高军 A kind of individual soldier's mental accommodation instrument system
GB201713301D0 (en) * 2017-08-18 2017-10-04 Revolutioneyes Me Ltd Communication method
US20190138095A1 (en) * 2017-11-03 2019-05-09 Qualcomm Incorporated Descriptive text-based input based on non-audible sensor data
US10776576B2 (en) 2017-11-16 2020-09-15 International Business Machines Corporation Automated mobile device detection
CN108491074B (en) * 2018-03-09 2021-07-09 Oppo广东移动通信有限公司 Electronic device, exercise assisting method and related product
CN109432779B (en) * 2018-11-08 2022-05-17 北京旷视科技有限公司 Difficulty adjusting method and device, electronic equipment and computer readable storage medium
CN109582137A (en) * 2018-11-15 2019-04-05 深圳市知更鸟旅游投资发展有限公司 A kind of behavior act identifying system and its method
US10835823B2 (en) * 2018-12-27 2020-11-17 Electronic Arts Inc. Sensory-based dynamic game-state configuration
AU2019419450A1 (en) 2019-01-04 2021-07-22 Apollo Neuroscience, Inc. Systems and methods of wave generation for transcutaneous vibration
KR20200093090A (en) * 2019-01-07 2020-08-05 현대자동차주식회사 Vehicle and control method for the same
CN110279426A (en) * 2019-06-03 2019-09-27 常州为伊心理咨询有限公司 A kind of comprehensive middle school student's psychological assessment system
US20220121283A1 (en) * 2019-06-12 2022-04-21 Hewlett-Packard Development Company, L.P. Finger clip biometric virtual reality controllers
WO2021119910A1 (en) * 2019-12-16 2021-06-24 瑞声声学科技(深圳)有限公司 Tactile feedback sharing method, device, and system
US20230168738A1 (en) * 2020-04-07 2023-06-01 The Royal Institution For The Advancement Of Learning / Mcgill University Methods and systems for controlling a haptic display
US11867242B2 (en) 2020-07-22 2024-01-09 Nsk Ltd. Power transmission path switching device and two-stage transmission
JP7537207B2 (en) 2020-09-24 2024-08-21 株式会社Ｊｖｃケンウッド Information processing device, information processing method, and program
WO2022158710A1 (en) 2021-01-21 2022-07-28 Samsung Electronics Co., Ltd. Methods and systems for customizing devices in an iot environment using self-adaptive mechanism
WO2022190187A1 (en) 2021-03-09 2022-09-15 株式会社ファセテラピー Vibration information-providing system, vibration information-providing server device, vibration information acquisition device, vibration information-providing method, program for vibration information provision and program for vibration information acquisition
CN113703567B (en) * 2021-07-06 2024-09-20 清华大学 Image processing system, method, apparatus, readable storage medium, and program product
CN118511016A (en) 2022-01-13 2024-08-16 日本精工株式会社 Power transmission path switching device and two-stage transmission
CN114598896A (en) * 2022-02-17 2022-06-07 北京达佳互联信息技术有限公司 Network live broadcast method and device, electronic equipment and storage medium
CN115826770A (en) * 2022-10-26 2023-03-21 瑞声开泰声学科技(上海)有限公司 Haptic feedback method and apparatus
CN116943226B (en) * 2023-09-20 2024-01-05 小舟科技有限公司 Game difficulty adjusting method, system, equipment and medium based on emotion recognition

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6190314B1 (en) * 1998-07-15 2001-02-20 International Business Machines Corporation Computer input device with biosensors for sensing user emotions
US20060221935A1 (en) * 2005-03-31 2006-10-05 Wong Daniel H Method and apparatus for representing communication attributes
KR20080058124A (en) * 2006-12-21 2008-06-25 삼성전자주식회사 Mobile terminal for providing haptic service and method thereof

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2928344B2 (en) * 1990-07-11 1999-08-03 松下電器産業株式会社 Physical condition monitoring device
JP2868192B2 (en) * 1991-07-30 1999-03-10 学校法人帝京平成大学 Method and apparatus for estimating human psychological change
JPH08229132A (en) * 1994-12-28 1996-09-10 Hitachi Ltd Organic signal measuring/inducing apparatus
US5720619A (en) * 1995-04-24 1998-02-24 Fisslinger; Johannes Interactive computer assisted multi-media biofeedback system
JPH09294724A (en) * 1996-05-08 1997-11-18 Sanyo Electric Co Ltd Tranquilization training system
JP2001252265A (en) * 2000-03-08 2001-09-18 Sharp Corp Biofeedback apparatus
US7689437B1 (en) * 2000-06-16 2010-03-30 Bodymedia, Inc. System for monitoring health, wellness and fitness
US7159008B1 (en) * 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
US6963762B2 (en) * 2001-05-23 2005-11-08 Nokia Corporation Mobile phone using tactile icons
US20040125120A1 (en) * 2001-06-08 2004-07-01 Michael Weiner Method and apparatus for interactive transmission and reception of tactile information
JP2005511226A (en) * 2001-10-30 2005-04-28 イマージョン コーポレイション Method and apparatus for providing haptic feedback when interacting with a virtual pet
US20030195040A1 (en) * 2002-04-10 2003-10-16 Breving Joel S. Video game system and game controller
US8849379B2 (en) * 2002-04-22 2014-09-30 Geelux Holdings, Ltd. Apparatus and method for measuring biologic parameters
JP3953024B2 (en) 2003-11-20 2007-08-01 ソニー株式会社 Emotion calculation device, emotion calculation method, and portable communication device
US20060066569A1 (en) * 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
JP4165707B2 (en) * 2004-03-22 2008-10-15 株式会社国際電気通信基礎技術研究所 Stimulus presentation system
EP1582965A1 (en) * 2004-04-01 2005-10-05 Sony Deutschland Gmbh Emotion controlled system for processing multimedia data
GB2416962B (en) * 2004-08-05 2009-04-01 Vodafone Plc New communication type for mobile telecommunications networks
US7148789B2 (en) * 2004-09-09 2006-12-12 Motorola, Inc. Handheld device having multiple localized force feedback
US20070063849A1 (en) * 2005-09-02 2007-03-22 Francesca Rosella Wearable haptic telecommunication device and system
US20070063850A1 (en) * 2005-09-13 2007-03-22 Devaul Richard W Method and system for proactive telemonitor with real-time activity and physiology classification and diary feature
JP2007115147A (en) 2005-10-21 2007-05-10 Aruze Corp Emotion and physical condition stabilization device for stabilizing emotion or physical condition of user
WO2007055099A1 (en) * 2005-11-09 2007-05-18 Pioneer Corporation Driver’s mental state information providing system
TWI311067B (en) * 2005-12-27 2009-06-21 Ind Tech Res Inst Method and apparatus of interactive gaming with emotion perception ability
US20100201512A1 (en) * 2006-01-09 2010-08-12 Harold Dan Stirling Apparatus, systems, and methods for evaluating body movements
US8157730B2 (en) * 2006-12-19 2012-04-17 Valencell, Inc. Physiological and environmental monitoring systems and methods
US8098273B2 (en) * 2006-12-20 2012-01-17 Cisco Technology, Inc. Video contact center facial expression analyzer module
EP1936929A1 (en) * 2006-12-21 2008-06-25 Samsung Electronics Co., Ltd Haptic generation method and system for mobile phone
US20080220865A1 (en) * 2007-03-06 2008-09-11 Wei Hsu Interactive playstation controller
US8315652B2 (en) 2007-05-18 2012-11-20 Immersion Corporation Haptically enabled messaging
US9317110B2 (en) * 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
US9754078B2 (en) 2007-06-21 2017-09-05 Immersion Corporation Haptic health feedback monitoring
US20090002178A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Dynamic mood sensing
US20090110246A1 (en) * 2007-10-30 2009-04-30 Stefan Olsson System and method for facial expression control of a user interface
EP3496376A1 (en) * 2008-07-15 2019-06-12 Immersion Corporation Systems and methods for shifting haptic feedback function between passive and active modes
US9046884B2 (en) * 2012-12-31 2015-06-02 Microsoft Technology Licensing, Llc Mood-actuated device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6190314B1 (en) * 1998-07-15 2001-02-20 International Business Machines Corporation Computer input device with biosensors for sensing user emotions
US20060221935A1 (en) * 2005-03-31 2006-10-05 Wong Daniel H Method and apparatus for representing communication attributes
KR20080058124A (en) * 2006-12-21 2008-06-25 삼성전자주식회사 Mobile terminal for providing haptic service and method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11382199B2 (en) 2017-09-18 2022-07-05 Ck Materials Lab Co., Ltd. Wireless control apparatus and method for haptic device
KR20200035384A (en) * 2018-09-17 2020-04-03 주식회사 씨케이머티리얼즈랩 A wireless controlling apparatus and method for haptic device

Also Published As

Publication number Publication date
KR101800992B1 (en) 2017-12-20
US20130225261A1 (en) 2013-08-29
KR20110088520A (en) 2011-08-03
WO2010059513A2 (en) 2010-05-27
US10289201B2 (en) 2019-05-14
CN104571535A (en) 2015-04-29
JP5952374B2 (en) 2016-07-13
KR101655055B1 (en) 2016-09-06
US20120001749A1 (en) 2012-01-05
CN104571535B (en) 2018-03-23
US20100123588A1 (en) 2010-05-20
JP5643214B2 (en) 2014-12-17
JP2015062676A (en) 2015-04-09
US20180143692A1 (en) 2018-05-24
US9841816B2 (en) 2017-12-12
CN102216876B (en) 2015-03-18
EP2350776A2 (en) 2011-08-03
WO2010059513A3 (en) 2010-11-18
KR101600126B1 (en) 2016-03-04
US8004391B2 (en) 2011-08-23
CN102216876A (en) 2011-10-12
KR20160105991A (en) 2016-09-08
JP2012509145A (en) 2012-04-19
US8390439B2 (en) 2013-03-05

Similar Documents

Publication Publication Date Title
KR101655055B1 (en) Method and apparatus for generating mood-based haptic feedback
US20180374381A1 (en) Craving input and support system
JP7460801B2 (en) User interface for tracking physical activity events
Deyle et al. Hambone: A bio-acoustic gesture interface
EP3062198B1 (en) Generating actions based on a user's mood
EP1654986B1 (en) Information processing terminal and communication system
CN110658919A (en) Method, electronic device, and medium for parameter modification of haptic effects
CN115700434A (en) Semantic framework for variable haptic output
JP2009160373A (en) Physiological condition measuring device
KR20110065432A (en) Service providing apparatus and method using biometric information
Ronkainen Designing for ultra-mobile interaction: experiences and a method
WO2016176494A1 (en) Systems and methods for detecting and initiating activities
KR20110043885A (en) Service providing apparatus and method using biometric information

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal