JP2007202882A - Activity supporting system - Google Patents
Activity supporting system Download PDFInfo
- Publication number
- JP2007202882A JP2007202882A JP2006026529A JP2006026529A JP2007202882A JP 2007202882 A JP2007202882 A JP 2007202882A JP 2006026529 A JP2006026529 A JP 2006026529A JP 2006026529 A JP2006026529 A JP 2006026529A JP 2007202882 A JP2007202882 A JP 2007202882A
- Authority
- JP
- Japan
- Prior art keywords
- user
- attention
- activity
- measured
- brain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000694 effects Effects 0.000 title claims abstract description 58
- 230000007177 brain activity Effects 0.000 claims abstract description 39
- 238000005259 measurement Methods 0.000 claims description 64
- 230000006870 function Effects 0.000 claims description 49
- 230000008859 change Effects 0.000 claims description 43
- 230000000007 visual effect Effects 0.000 claims description 34
- 210000004556 brain Anatomy 0.000 claims description 19
- 230000003340 mental effect Effects 0.000 claims description 8
- 239000008280 blood Substances 0.000 claims description 7
- 210000004369 blood Anatomy 0.000 claims description 7
- 230000016776 visual perception Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 230000037081 physical activity Effects 0.000 claims description 3
- 230000002207 retinal effect Effects 0.000 claims description 2
- 230000004438 eyesight Effects 0.000 abstract 2
- 210000003128 head Anatomy 0.000 description 15
- 238000000034 method Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 210000000857 visual cortex Anatomy 0.000 description 6
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004497 NIR spectroscopy Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010064719 Oxyhemoglobins Proteins 0.000 description 1
- 238000002835 absorbance Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 108010002255 deoxyhemoglobin Proteins 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Eye Examination Apparatus (AREA)
Abstract
Description
本発明は、装置によってユーザの活動を補助するシステムに関する。 The present invention relates to a system for assisting user activities with a device.
身体の運動機能が低下している電動車椅子や自動車などのユーザ(搭乗者)の移動を補助するため、その視線に基づき、ユーザが関心を抱いている物体を推定し、当該物体の近傍に電動車椅子を移動させる技術が提案されている(たとえば、特許文献1参照)。これは、ユーザ(人間)の視線と、このユーザの意図や注意とが密接に関係していることを前提としている。
しかし、ユーザの視線と、その意図や注意との関係は定常的なものではなく、ユーザはときとしてその視線とは異なる方向にある物体に注意している場合がある。このため、前記技術によれば、ユーザはその意図するところとは異なる場所に案内される等、ユーザの意図に鑑みて補助内容が不適切なものとなる可能性がある。 However, the relationship between the user's line of sight and the intention and attention is not constant, and the user sometimes pays attention to an object in a direction different from the line of sight. For this reason, according to the technique, the user may be guided to a place different from the intended place, and the auxiliary content may become inappropriate in view of the user's intention.
そこで、本発明は、ユーザの意図や注意に鑑みてユーザの活動をより適切に補助しうるシステムを提供することを解決課題とする。 Therefore, an object of the present invention is to provide a system that can more appropriately assist a user's activity in view of the user's intention and attention.
前記課題を解決するための本発明の活動補助システムは、ユーザの視覚認知に応じた脳活動により誘起される物理量の変動量(以下「脳活動変動量」という。)の頭部における分布を測定し、かつ、該脳活動変動量の分布に基づき、該ユーザの視野内の注意領域を測定する第1測定部と、第1測定部により測定されたユーザの視野内の注意領域に応じて、補助装置の動作を制御する制御部とを備えていることを特徴とする。 The activity assisting system of the present invention for solving the above-mentioned problem measures the distribution in the head of the fluctuation amount of the physical quantity induced by the brain activity according to the user's visual perception (hereinafter referred to as “brain activity fluctuation amount”). And, based on the distribution of the brain activity fluctuation amount, according to the first measurement unit that measures the attention area in the user's visual field, and the attention area in the user's visual field measured by the first measurement unit, And a control unit that controls the operation of the auxiliary device.
本発明の活動補助システムによれば、ユーザの頭部における脳活動変動量の分布に基づき、当該ユーザの視野内の注意領域が測定される。ユーザの視野内の注意領域は、当該ユーザの視覚認知に応じた脳活動、ひいては脳活動変動量と密接に関係しているので、ユーザの視野内の注意領域が精度よく測定されうる。したがって、当該測定された視野内の注意領域に応じて補助装置の動作が制御されることにより、ユーザの真の意図や注意に鑑みて適切にユーザの活動が補助されうる。なお、「物理量」には、電場、磁場、近赤外光の吸光度などが含まれる。また、「活動」には、ユーザの身体的活動のほか、精神的活動も含まれる。 According to the activity assistance system of the present invention, the attention area in the visual field of the user is measured based on the distribution of the brain activity fluctuation amount in the user's head. Since the attention area in the user's visual field is closely related to the brain activity according to the user's visual perception, and thus the brain activity fluctuation amount, the attention area in the user's visual field can be accurately measured. Therefore, by controlling the operation of the auxiliary device according to the measured attention area in the visual field, the user's activities can be appropriately assisted in view of the user's true intention and attention. The “physical quantity” includes an electric field, a magnetic field, absorbance of near infrared light, and the like. The “activity” includes not only the physical activity of the user but also the mental activity.
また、本発明の活動補助システムは、第1測定部が、視野内すなわち網膜座標における複数領域のそれぞれにユーザの注意を向けさせた状況で測定した該ユーザの脳活動変動量の分布と、当該視野内の注意領域との関係を表す第1関数を定義し、その上であらたに測定したユーザの脳活動変動量の分布に基づき、先に定義した第1関数にしたがって、該ユーザの視野内の注意領域を測定することを特徴とする。 The activity assisting system according to the present invention includes a distribution of the fluctuation amount of the brain activity of the user measured by the first measurement unit in a state where the user's attention is directed to each of the plurality of regions in the visual field, that is, the retinal coordinates, A first function representing a relationship with the attention area in the visual field is defined, and on the basis of the distribution of the brain activity fluctuation amount of the user newly measured on the first function, the first function in the visual field of the user is defined according to the first function defined above. It is characterized by measuring the attention area.
本発明の活動補助システムによれば、先に測定されたユーザの脳活動変動量分布および視野内の注意領域の関係を表すために定義された第1関数にしたがうことで、ユーザの視野内の注意領域の測定精度向上を図ることができる。 According to the activity assistance system of the present invention, according to the first function defined to represent the relationship between the previously measured distribution of the brain activity variation of the user and the attention area in the visual field, The measurement accuracy of the attention area can be improved.
さらに、本発明の活動補助システムは、第1測定部がユーザの視線をさらに測定し、かつ、測定したユーザの脳活動変動量の分布および視線に基づき、該ユーザの世界座標または身体座標における注意領域を測定することを特徴とする。 Furthermore, in the activity assistance system of the present invention, the first measurement unit further measures the user's line of sight, and based on the measured distribution and line of sight of the brain activity variation of the user, the user's attention in the world coordinates or body coordinates It is characterized by measuring a region.
本発明の活動補助システムによれば、ユーザの頭部における脳活動変動量分布および視線が総合勘案されて、当該ユーザの注意領域が測定される。これにより、ユーザの注意領域の測定精度向上を図ることができる。そして、当該測定された注意領域および注意度に応じて補助装置の動作が制御されることにより、ユーザの真の意図や注意に鑑みて適切にユーザの活動が補助されうる
また、本発明の活動補助システムは、第1測定部が脳活動変動量として脳波の強度、脳血液における特定成分の濃度または該特定性分の特性値を測定することを特徴とする。
According to the activity assistance system of the present invention, the attention area of the user is measured by comprehensively considering the brain activity variation distribution and the line of sight in the user's head. Thereby, the measurement accuracy of the user's attention area can be improved. Then, by controlling the operation of the auxiliary device according to the measured attention area and attention level, the user's activity can be appropriately assisted in view of the user's true intention and attention. The auxiliary system is characterized in that the first measuring unit measures the intensity of the electroencephalogram, the concentration of the specific component in the brain blood, or the characteristic value for the specific property as the brain activity fluctuation amount.
本発明の活動補助システムによれば、ユーザの脳波強度等の分布に基づいて視野内の注意領域が測定され、当該測定された視野内の注意領域およびユーザの視線に応じて補助装置の動作が制御される。これにより、ユーザの脳波強度等の分布に反映されるその意図や注意に鑑みて適切にユーザの活動が補助されうる。脳波には、θ波(4〜8Hz)、α波(8〜12Hz)、β波(12〜40Hz)等、さまざまな周波数帯のものが含まれうる。 According to the activity assistance system of the present invention, the attention area in the visual field is measured based on the distribution of the user's brain wave intensity and the like, and the operation of the auxiliary device is performed according to the measured attention area in the visual field and the user's line of sight. Be controlled. Thus, the user's activities can be appropriately assisted in view of the intention and attention reflected in the distribution of the user's brain wave intensity and the like. The brain waves may include those in various frequency bands such as θ waves (4 to 8 Hz), α waves (8 to 12 Hz), β waves (12 to 40 Hz), and the like.
さらに、本発明の活動補助システムは、前記制御部が、第1測定部によって測定されたユーザの視野内の注意領域の変動量が、所定時間にわたって所定値未満であるか否かの別に応じて、補助装置の動作を区別して制御することを特徴とする。 Furthermore, in the activity assistance system according to the present invention, the control unit determines whether the amount of change in the attention area in the user's visual field measured by the first measurement unit is less than a predetermined value over a predetermined time. The operation of the auxiliary device is distinguished and controlled.
本発明の活動補助システムによれば、たとえばユーザの視野内の注意領域が頻繁に変動する状況と、そうではない状況とで、補助装置の動作が区別して制御される。これにより、ユーザの意図や注意(精神的活動)に関する状況の相違に鑑みて、装置の動作が適切に制御される。 According to the activity assisting system of the present invention, for example, the operation of the assisting device is controlled separately in a situation where the attention area in the user's visual field frequently changes and a situation where the attention area does not. Thereby, the operation of the apparatus is appropriately controlled in view of the difference in the situation regarding the user's intention and attention (mental activity).
また、本発明の活動補助システムは、ユーザの脳活動変動量の変化パターンを測定し、かつ、該脳活動変動量の変化パターンに基づき、該ユーザの注意度を測定する第2測定部をさらに備え、前記制御部が、第1測定部によって測定された視野内の注意領域に加えて、第2測定部によって測定された注意度に応じて、補助装置の動作を制御することを特徴とする。 The activity assisting system of the present invention further includes a second measuring unit that measures a change pattern of the user's brain activity fluctuation amount and measures the user's attention level based on the change pattern of the brain activity fluctuation amount. The control unit controls the operation of the auxiliary device according to the attention level measured by the second measurement unit in addition to the attention region in the visual field measured by the first measurement unit. .
本発明の活動補助システムによれば、ユーザの脳活動変動量の変化パターンに基づき、当該ユーザの注意度が測定される。ユーザの注意度は、当該ユーザの視覚認知に応じた脳活動、ひいては脳活動変動量と密接に関係しているので、ユーザの注意度が精度よく測定されうる。したがって、前記視野内の注意領域に加えて当該注意度に応じて補助装置の動作が制御されることにより、ユーザの意図や注意に鑑みて、より適切にユーザの活動が補助されうる。 According to the activity assistance system of the present invention, the degree of attention of the user is measured based on the change pattern of the user's brain activity fluctuation amount. Since the user's attention level is closely related to the brain activity corresponding to the user's visual perception, and hence the brain activity fluctuation amount, the user's attention level can be accurately measured. Therefore, by controlling the operation of the auxiliary device in accordance with the attention level in addition to the attention area in the visual field, the user's activities can be more appropriately assisted in view of the user's intention and attention.
さらに、本発明の活動補助システムは、第2測定部が、ユーザの注意領域を変化させた状況で測定したユーザの脳活動変動量の変化パターンと、当該変化状況に応じたユーザの注意度との関係を表す第2関数を定義し、この上で新たに測定したユーザの脳活動変動量の変化パターンに基づき、先に定義した第2関数にしたがって、該ユーザの注意度を測定することを特徴とする。 Furthermore, in the activity assistance system of the present invention, the second measurement unit changes the change pattern of the user's brain activity fluctuation amount measured in a situation where the user's attention area is changed, and the user's attention level according to the change situation. A second function representing the relationship between the two, and measuring the attention level of the user according to the previously defined second function based on the change pattern of the brain activity fluctuation amount newly measured on the second function. Features.
本発明の活動補助システムによれば、先に測定されたユーザの脳活動変動量の変化パターンおよび各注意領域における注意度の関係を表すために定義された第2関数にしたがうことで、ユーザの各注意領域における注意度の測定精度向上を図ることができる。 According to the activity assistance system of the present invention, according to the second function defined to represent the relationship between the change pattern of the user's brain activity fluctuation amount measured in advance and the attention level in each attention area, It is possible to improve the measurement accuracy of the attention level in each attention area.
また、本発明の活動補助システムは、第2測定部が、ユーザの視野内の注意領域の変化に対する該ユーザの反応速度を測定し、該反応速度に基づき該ユーザの注意度を評価することを特徴とする。 In the activity assistance system of the present invention, the second measurement unit measures the user's response speed to a change in the attention area in the user's visual field, and evaluates the user's attention based on the reaction speed. Features.
本発明の活動補助システムによれば、視野内の注意領域の変化に対するユーザの反応速度に基づいて評価されたユーザの注意度に基づいて第2関数が定義される。 According to the activity assistance system of the present invention, the second function is defined based on the degree of attention of the user evaluated based on the user's response speed to the change of the attention area in the visual field.
さらに、本発明の活動補助システムは、第2測定部が、ユーザの脳波の強度、脳血液における特定成分の濃度または該特定性分の特性値の変化パターンに基づいて該ユーザの注意度を測定することを特徴とする。 Furthermore, in the activity assistance system of the present invention, the second measuring unit measures the user's attention level based on the intensity of the user's brain wave, the concentration of the specific component in the brain blood, or the change pattern of the characteristic value of the specific property. It is characterized by doing.
本発明の活動補助システムによれば、ユーザの脳波強度等の変化パターンに基づいて注意度が測定され、当該測定された注意度に応じて補助装置の動作が制御される。これにより、ユーザの脳波強度等の変化パターンに反映されるその意図や注意に鑑みて適切にユーザの活動が補助されうる。 According to the activity assistance system of the present invention, the attention level is measured based on a change pattern such as the brain wave intensity of the user, and the operation of the auxiliary device is controlled according to the measured attention level. Accordingly, the user's activity can be appropriately assisted in view of the intention and attention reflected in the change pattern such as the user's brain wave intensity.
また、本発明の活動補助システムは、前記制御部が、第2測定部によって測定されたユーザの注意度が所定時間にわたり所定値未満であるか否かの別に応じて、補助装置の動作を区別して制御することを特徴とする。 In the activity assistance system of the present invention, the control unit controls the operation of the auxiliary device according to whether or not the user's attention level measured by the second measurement unit is less than a predetermined value for a predetermined time. It is characterized by being controlled separately.
本発明の活動補助システムによれば、たとえばユーザが特定の対象に注意している状況と、そうではない状況とで、装置の動作が区別して制御される。これにより、ユーザの注意(精神的活動)に関する状況の相違に鑑みて、装置の動作が適切に制御される。 According to the activity assistance system of the present invention, for example, the operation of the apparatus is controlled separately in a situation where the user is paying attention to a specific object and a situation where the user is not. Thereby, the operation of the apparatus is appropriately controlled in view of the difference in the situation regarding the user's attention (mental activity).
さらに、本発明の活動補助システムは、前記制御部が、ユーザを搭乗させて移動することにより該ユーザの移動を補助する装置、ユーザの身体に力を作用させることにより該ユーザの運動を補助する装置、またはユーザに情報を提供することにより該ユーザの身体的または精神的活動を補助する装置の動作を制御することを特徴とする。 Furthermore, in the activity assistance system of the present invention, the control unit assists the user's movement by applying a force to the user's body by assisting the user's movement by boarding and moving the user. Controlling the operation of a device or device that assists the user's physical or mental activity by providing information to the user.
本発明の活動補助システムによれば、ユーザの視野内の注意領域に応じて、ユーザの移動、運動等の活動が補助されうる。 According to the activity assistance system of the present invention, activities such as movement and exercise of the user can be assisted according to the attention area within the visual field of the user.
本発明の活動補助システムの実施形態について図面を用いて説明する。 An embodiment of the activity assistance system of the present invention will be described with reference to the drawings.
図1は本発明の活動補助システムの構成例示図であり、図2〜図5は本発明の活動補助システムの機能例示図である。 FIG. 1 is a structural example diagram of the activity assistance system of the present invention, and FIGS. 2 to 5 are functional example diagrams of the activity assistance system of the present invention.
図1に示されている活動補助システム10は、電動車椅子(ユーザの活動を補助する装置)20に搭載されているコンピュータにより構成されており、第1測定部11と、第2測定部12と、制御部13とを備えている。
An
第1測定部11は、第1副測定部111と、第2副測定部112と、第1関数定義部114とを備えている。
The
第1副測定部111は、ユーザの顔に向けられて設置されているCCDカメラ101の撮像データに基づき、ユーザの視線を測定する。CCDカメラ101の高さおよび角度は、適当な調節機構によって調節されうる。第2副測定部112は、ユーザの視覚野に対応する後頭部に配置された複数の電極102によってα波の強度(脳活動変動量)の分布を測定する。第1関数定義部114は、第2副測定部112により測定された、ユーザの後頭部における基準となるα波強度分布に基づき、第1関数をあらかじめ定義してメモリ(記憶部)に記憶させる。そして、第1測定部11は、第1副測定部111により測定された視線、第2副測定部112により測定されたα波強度分布に基づき、第1関数定義部114により定義された第1関数にしたがって、ユーザの注目領域を測定する。
The
第2測定部12は、副測定部122と第2関数定義部124とを備えている。
The
副測定部122は、ユーザの視覚野に対応する後頭部に配置された複数の電極102によってα波の強度の変化パターンを測定する。第2関数定義部124は、副測定部112により測定された、基準となるα波強度の変化パターンに基づき、第2関数をあらかじめ定義してメモリに記憶させる。そして、第2測定部12は、副測定部122により測定されたα波強度分布に基づき、第2関数定義部124により定義された第2関数にしたがって、ユーザの注目度を測定する。
The
制御部13は、第1処理部11によって測定されたユーザの視線、視野内の注意領域および第2処理部12によって測定された注意度に応じて、電動車椅子20の動作を制御する。
The
前記構成の活動補助システムの機能について図2〜図5を用いて説明する。 The function of the activity assistance system having the above-described configuration will be described with reference to FIGS.
まず、第2副測定部112が基準となるα波強度分布を測定する(図2/S012)。基準となるα波強度分布の測定に際して、図4に示されているように縦5列かつ横5列に配置された25個の標識のうち、中央の標識(黒塗りの標識)にユーザの視線を固定させる。また、任意の一の標識(斜線つきの標識)を注意標識として、その色彩を他の標識の色彩と差別化することにより、この標識にユーザの注意を向けさせる。たとえば、各標識にLED等の発光素子が設けられ、注意標識に設けられた発光素子の輝度が他の注意標識に設けられた発光素子の輝度よりも高くされることで、当該注意標識の輝度が他の標識の輝度から差別化される。
First, the second
なお、α波の強度測定手法としては、特開2003−325467号公報等に開示されている手法が採用されうる。ユーザの注意先の変化が、α波の強度に反映されるまでにはある程度の時間を要するため、当該時間差が勘案された上でα波の強度が測定される。また、α波強度分布の測定は、ばらつきを抑えるために各標識について複数回にわたる測定結果が平均される等、統計的に処理された上で、この統計結果が基準となるα波強度分布として測定されてもよい。さらに、これらの標識は、電動車椅子20に設置されたプロジェクタ(図示略)により、前方の壁面等に映し出されてもよい。また、標識の配置や数は適当に変更されてもよく、標識は平面、滑らかな曲面、凹凸面等、あらゆる形態の面上に配置されてもよい。
As a method for measuring the intensity of the α wave, a method disclosed in Japanese Patent Application Laid-Open No. 2003-325467 may be employed. Since a certain amount of time is required until the change of the user's attention is reflected in the intensity of the α wave, the intensity of the α wave is measured after taking into account the time difference. In addition, the measurement of the α wave intensity distribution is statistically processed, such as averaging the measurement results for each label multiple times in order to suppress variation, and this statistical result is used as the reference α wave intensity distribution. May be measured. Further, these signs may be displayed on a front wall surface or the like by a projector (not shown) installed in the
視野内の注意領域に対応する視覚野領域で計測されたα波強度分布は、他の視覚野領域で計測された分布に比べて低減することが最近明らかになっている。たとえば、The Journal of Netroscience, 2000, Vol.20 RC63 1 of 6 によると、図5(a)〜(d)に示されているようなα波強度分布が測定されている。図5(a)〜(d)に示されている円はユーザの頭部を表し、円の上側が前頭部を表し、かつ、円の下側が後頭部を表している。左側上方にある標識を注意標識とした場合、図5(a)に示されているように、α波強度の等高線は前頭部から後頭部にかけて徐々に高くなり、後頭部の中央より若干左側にある部分を頂上とする急峻な山を表す。また、右側上方にある標識を注意標識とした場合、図5(b)に示されているように、α波強度の等高線は前頭部から後頭部にかけて徐々に高くなり、後頭部の中央より若干右側にある部分を頂上とする急峻な山を表す。さらに、左側下方にある標識を注意標識とした場合、図5(c)に示されているように、α波強度の等高線は前頭部から後頭部にかけて徐々に高くなり、後頭部の中央より左側にある部分を頂上とするなだらかな山を表す。また、右側下方にある標識を注意標識とした場合、図5(d)に示されているように、α波強度の等高線は前頭部から後頭部にかけて徐々に高くなり、後頭部の中央より若干右側にある部分を頂上とするなだらかな山を表す。 It has recently been clarified that the α wave intensity distribution measured in the visual cortex area corresponding to the attention area in the visual field is reduced as compared with the distribution measured in other visual cortex areas. For example, according to The Journal of Netroscience, 2000, Vol. 20 RC63 1 of 6, an α wave intensity distribution as shown in FIGS. 5A to 5D is measured. The circles shown in FIGS. 5A to 5D represent the user's head, the upper side of the circle represents the forehead, and the lower side of the circle represents the back of the head. When the sign on the upper left is a caution sign, as shown in FIG. 5 (a), the contour of the α wave intensity gradually increases from the front to the back of the head, and is slightly to the left of the center of the back of the head. It represents a steep mountain with the top at the top. When the sign on the upper right side is a caution sign, as shown in FIG. 5 (b), the contour line of the α wave intensity gradually increases from the front to the back and slightly to the right of the center of the back. This represents a steep mountain with the peak at the top. Further, when the sign on the lower left side is used as a caution sign, as shown in FIG. 5 (c), the contour line of the α wave intensity gradually increases from the front to the back of the head and to the left from the center of the back of the head. Represents a gentle mountain with a certain peak at the top. When the sign on the lower right side is a caution sign, as shown in FIG. 5 (d), the contour of the α wave intensity gradually increases from the front to the back and slightly to the right of the center of the back. Represents a gentle mountain with the part at the top.
また、本願発明者らの脳磁場計測による研究でも注意が向いている視覚野領域でα波強度の低下が起きることが確認されている(Cognitive Brain Research in press 参照)。 In addition, it has been confirmed that the α wave intensity is reduced in the visual cortex region where attention is paid in the study by the inventors of the present invention by measuring the magnetic field of the brain (see Cognitive Brain Research in press).
次に、第1測定部11が、注意標識ごとに基準となるα波強度分布が測定されたときの、当該注意標識の位置を視野内の注意領域として測定する(図2/S014)。
Next, the
そして、第1関数定義部114が、基準となるα波強度分布と視野内の注意領域との関係を表す第1関数を定義する(図2/S016)。定義された第1関数は、メモリ等の記憶部に格納される。
Then, the first
さらに、副測定部122が基準となるα波強度の変化パターンを測定する(図2/S022)。基準となるα波強度の変化パターンは、第2副測定部112によって基準となるα波強度分布が測定された前記状況(図4参照)と同じ状況において、注意標識の出現または消滅時点を基準として測定される。たとえば、すべての標識の色彩が同じ状態で、注意標識の色彩が他の標識の色彩と差別化された時点から、所定時間にわたるα波強度の変化パターンが、この注意標識について基準となるα波強度の変化パターンとして測定される。なお、変化パターンの測定開始時点は、前記のような、ユーザの注意先の変化がα波強度に反映されるまでの時間遅れが勘案された上でずらされる。
Further, the
α波強度の変化パターンは、頭部の一箇所におけるα波強度の変化パターン、頭部の複数箇所におけるα波強度の平均値の変化パターン、所定値を表す等高線(図5(a)〜(d)参照)により囲まれた面積の変化パターン、所定値を表す等高線の長さの変化パターン等として測定される。 The change pattern of α wave intensity includes a change pattern of α wave intensity at one location on the head, a change pattern of an average value of α wave intensity at a plurality of locations on the head, and contour lines representing predetermined values (FIGS. 5A to 5 ( d) Measured as a change pattern of the area surrounded by (2), a change pattern of the length of contour lines representing a predetermined value, and the like.
また、第2測定部12が、基準となるα波強度の変化パターンが測定されたときの、注意標識に対する注意度を測定する(図2/S024)。具体的には、注意標識の色彩が他の標識の色彩から差別化されてから、ユーザが注意標識の出現に気付いてボタン(図示略)を押すまでの反応時間が測定され、当該反応時間が短いほどその注意標識(視野内の注意領域)への注意度が高く測定(評価)される。
Further, the
そして、第2関数定義部124が、基準となるα波強度の変化パターンと、この基準となるα波強度の変化パターンが測定されたときの注意度との関係を表すための第2関数を、標識ごとに定義する(図2/S026)。定義された第2関数は、メモリ等の記憶部に格納される。
Then, the second
第1および第2関数の具体的な定義例について説明する。測定部位が少ない場合、最も簡単なものとして,例えば国際10-20法のO1(左)とO2(右)の位置に電極を配置した場合、2つのチャネルから得られる信号を比較して,α帯域のパワーの低い方に注意が向いているとする閾値関数が「第1関数」にあたる。閾値は基準となるα波強度分布により決定される。チャンネル間のパワーの差や比と注意領域への注意度を対応付ける非線形関数が「第2関数」にあたる。 A specific definition example of the first and second functions will be described. When the number of measurement sites is small, the simplest case is, for example, when electrodes are placed at the O1 (left) and O2 (right) positions of the International 10-20 method, the signals obtained from the two channels are compared, and α A threshold function that assumes attention toward the lower band power is the “first function”. The threshold is determined by the reference α wave intensity distribution. The non-linear function that associates the power difference or ratio between channels with the attention level to the attention area corresponds to the “second function”.
次に、人工ニューラルネットを用いた場合について説明する。脳波計測領域(後頭部)の各領域に配置した電極の数だけニューラルネット(例えば、電極数の入力端子を持つ三層ニューラルネット)を用意しておき,視野内の各領域に繰り返し注意を向けさせた時の脳波強度分布を各領域に対応する各ニューラルネットに入力して学習させておく.学習済の各ニューラルネットが「第一関数」にあたる。各学習済のニューラルネットに測定時の脳波強度分布を入力して、高い出力を示したニューラルネットに対応する領域に注意が向けられていたとする.
同様に,注意度を測定した時の脳波強度の変化率或いは変化パターンを入力とし,注意度のレベルを出力とした学習済のニューラルネットが「第2関数」にあたる。
Next, a case where an artificial neural network is used will be described. Prepare neural networks (for example, three-layer neural network with input terminals for the number of electrodes) as many as the number of electrodes arranged in each area of the electroencephalogram measurement area (back of the head), and repeatedly pay attention to each area in the field of view. The brain wave intensity distribution is input to each neural network corresponding to each region and learned. Each learned neural network corresponds to a “first function”. Suppose that the brain wave intensity distribution at the time of measurement was input to each learned neural network, and attention was directed to the area corresponding to the neural network that showed high output.
Similarly, a learned neural network having the change rate or change pattern of the electroencephalogram intensity when the attention level is measured as an input and the attention level as an output corresponds to the “second function”.
また、発明者らの研究(NeuroImage 23(2004)806−826)で示されているように、階層ベイズ法を用いた方法も考えられる。視野内の各領域に対する注意を測定する実験をfMRIであらかじめ行い,注意場所・注意度と,視覚野の賦活状態のfMRIデータを対応させ,階層ベイズモデルの 階層事前分布P0とする。脳活動の電流源の分布と,その場合に観測される複数チャネル計測による脳波の分布状態の対応を示す事前分布Pを別途あらかじめ計算機シミュレーションなどの手段で準備しておく。計測された脳波データについて,P0を拘束条件として,電流源と強度を、分布Pを用いて求める.電流源を求める部分が「第1関数」,強度を求める部分が「第2関数」にあたる。 Further, as shown in the inventors' research (NeuroImage 23 (2004) 806-826), a method using a hierarchical Bayesian method is also conceivable. Experiments to measure attention to each region in the field of view are performed in advance by fMRI, and the attention place / attention level and the fMRI data of the visual cortex activation state are matched to obtain the hierarchical prior distribution P0 of the hierarchical Bayesian model. A prior distribution P indicating the correspondence between the distribution of current sources of brain activity and the distribution state of the electroencephalograms observed in a plurality of channels in that case is prepared in advance by means such as computer simulation. With respect to the measured electroencephalogram data, the current source and intensity are obtained using the distribution P with P0 as the constraint condition. The part for obtaining the current source corresponds to the “first function”, and the part for obtaining the intensity corresponds to the “second function”.
前記のように、第1および第2関数が定義された上で、次に説明する手順にしたがって電動車椅子20の動作が制御される。
As described above, after the first and second functions are defined, the operation of the
すなわち、任意状況において、第1副測定部111がユーザの視線を測定する(図3/S111)。ユーザの視線の測定手法としては、特許第3119076号公報や、特開平7−289519号公報等に開示されている手法が採用されうる。また、第2副測定部112がユーザの頭部におけるα波強度分布を測定する(図3/S112)。さらに、第1測定部11が、第1副測定部111により測定されたユーザの視線、および第2副測定部112により測定されたユーザのα波強度分布に基づき、第1関数定義部114によりあらかじめ定義された第1関数にしたがって、当該ユーザの視野内の注意領域を測定する(図3/S114)。
That is, in an arbitrary situation, the first
また、副測定部122がユーザのα波強度の変化パターンを測定する(図3/S122)。さらに、第2測定部12が、副測定部122により測定されたα波強度の変化パターン、および第1測定部11により測定された視野内の注意領域に基づき、第2関数定義部124によりあらかじめ定義された第2関数にしたがって、当該ユーザの視野内の注意領域への注意度を測定する(図3/S124)。
The
そして、制御部13が、第1測定部11により測定されたユーザの視線、視野内の注意領域、および第2測定部12により測定された注意度に基づき、電動車椅子20の動作を制御する(図3/S130)。たとえば、電動車椅子20が視野内の注意領域に向かって移動するように、電動車椅子20の移動方向が制御される。また、注意度の高低に応じて電動車椅子20の移動速度が制御される。
Then, the
本発明の活動補助システム10によれば、ユーザの頭部におけるα波強度(脳活動変動量)の分布および視線に基づき、当該ユーザの世界座標または身体座標における注意領域が測定される(図3/S114)。ユーザの注意領域は、視線のみならず、視覚認知が反映されるα波強度と密接に関係しているので、このユーザの注意領域が精度よく測定されうる。また、α波強度の変化パターンに基づき、当該ユーザの注意度が測定される(図3/S124)。
According to the
したがって、当該測定された注意領域および注意度に応じて電動車椅子(補助装置)20の移動方向や速度が制御されることにより、ユーザの真の意図や注意に鑑みて適切にユーザの移動が補助されうる。たとえば、美術館において電動車椅子20に搭乗しているユーザが眼を向けた方向に複数の美術作品が展示され、かつ、視野の中である作品にユーザの注意が向けられた場合、電動車椅子20がその作品に向かって移動する。また、ユーザの注意度が高いほど、電動車椅子20がその作品に近づく速度も高くなる。これにより、ユーザは視野に飛び込んだ複数の作品の中で気になった作品に近づくことができ、その嗜好に応じた鑑賞を楽しむことができる。
Therefore, the movement direction and speed of the electric wheelchair (auxiliary device) 20 are controlled in accordance with the measured attention area and degree of attention, so that the user's movement is appropriately assisted in view of the user's true intention and attention. Can be done. For example, when a plurality of works of art are displayed in a direction in which a user on the
なお、前記実施形態ではα波強度が脳活動変動量として測定されたが、他の実施形態としてβ波やθ波など、α波とは周波数帯域が異なる脳波の強度が脳活動変動量として測定されてもよい。また、fMRI(functional Magnetic Resonance Imaging)を利用したBOLD(Blood Oxygen Level Dependent)法によって脳の血液における酸素飽和度や緩和時間が脳活動変動量として測定されてもよい。さらに、NIRS(Near−InfraRed Spectroscopy;近赤外分光法)を利用して脳の血液におけるオキシヘモグロビン濃度、デオキシヘモグロビン濃度、及びこれらの和である総ヘモグロビン濃度が脳活動変動量として測定されてもよい。 In the above embodiment, the α wave intensity is measured as the brain activity fluctuation amount. However, as another embodiment, the intensity of the brain wave having a frequency band different from the α wave, such as a β wave and the θ wave, is measured as the brain activity fluctuation amount. May be. Further, the oxygen saturation and relaxation time in the blood of the brain may be measured as the amount of brain activity fluctuation by the BOLD (Blood Oxygen Level Dependent) method using fMRI (Functional Magnetic Resonance Imaging). Further, even if NIRS (Near-InfraRed Spectroscopy) is used to measure the oxyhemoglobin concentration, deoxyhemoglobin concentration in brain blood, and the total hemoglobin concentration that is the sum of these, as the brain activity fluctuation amount Good.
前記実施形態ではユーザの注意領域および注意度に応じて電動車椅子20によってユーザの移動が補助されたが、他の実施形態として自動車等の他の移動体によってユーザの移動が補助されてもよい。
In the above-described embodiment, the user's movement is assisted by the
また、たとえば特開2004−329510号公報に記載されているような歩行補助装置によって、ユーザの注意領域および注意度に応じてユーザの身体に力を作用させることで、その歩行運動が補助されてもよい。 Further, for example, a walking assist device such as that described in Japanese Patent Application Laid-Open No. 2004-329510 can assist the walking motion by applying force to the user's body according to the user's attention area and attention level. Also good.
さらに、ユーザの注意領域および注意度に応じて、画像表示装置や音響装置等を通じて当該ユーザに対して情報が提供されてもよい。これにより、たとえば美術館においてユーザの視野に含まれる複数の美術作品のうち、ユーザの注意が向けられた作品の案内情報が表示等されるので、ユーザの美術鑑賞に関する理解や思索等の精神的活動が補助される。 Furthermore, information may be provided to the user through an image display device, an audio device, or the like according to the user's attention area and attention level. As a result, for example, in a museum, the guide information of works that the user's attention is directed to among the works of art included in the user's field of view is displayed. Therefore, mental activities such as understanding and thinking about the user's art appreciation Is assisted.
また、制御部13が、第1測定部11によって測定されたユーザの視野内の注意領域の変動量が、所定時間にわたって所定値未満であるか否かの別に応じて電動車椅子(補助装置)20の動作を区別して制御してもよい。これにより、たとえばユーザの視野内の注意領域が頻繁に変動する状況と、そうではない状況とで、電動車椅子20の動作が区別して制御される。これにより、ユーザの意図や注意(精神的活動)に関する状況の相違に鑑みて、電動車椅子20の移動方向や速度が適切に制御される。
In addition, the
また、制御部13が、第2測定部12によって測定されたユーザの注意度が所定時間にわたり所定値未満であるか否かの別に応じて、電動車椅子(補助装置)20の動作を区別して制御してもよい。これにより、たとえばユーザが特定の対象に注意している状況と、そうではない状況とで、電動車椅子20の移動方向や速度が区別して制御される。これにより、ユーザの注意(精神的活動)に関する状況の相違に鑑みて、電動車椅子20の動作が適切に制御される。
Further, the
10‥活動補助システム、11‥第1測定部、111‥第1副測定部、112‥第2副測定部、114‥第1関数定義部、12‥第2測定部、122‥副測定部、124‥第2関数定義部、13‥制御部、20‥電動車椅子(補助装置)
DESCRIPTION OF
Claims (11)
ユーザの視覚認知に応じた脳活動により誘起される物理量の変動量(以下「脳活動変動量」という。)の頭部における分布を測定し、かつ、該脳活動変動量の分布に基づき、該ユーザの視野内の注意領域を測定する第1測定部と、
第1測定部により測定されたユーザの視野内の注意領域に応じて、補助装置の動作を制御する制御部とを備えていることを特徴とする活動補助システム。 A system for assisting user activities by means of an auxiliary device,
Measure the distribution of the fluctuation amount of the physical quantity induced by the brain activity according to the user's visual perception (hereinafter referred to as “brain activity fluctuation quantity”) at the head, and based on the distribution of the brain activity fluctuation quantity, A first measurement unit that measures a region of caution within the user's field of view;
An activity assisting system comprising: a control unit that controls the operation of the assisting device according to the attention area in the visual field of the user measured by the first measuring unit.
前記制御部が、第1測定部によって測定された前記注意領域に加えて、第2測定部によって測定された注意度に応じて、補助装置の動作を制御することを特徴とする請求項1記載の活動補助システム。 A second measurement unit that measures a change pattern of the brain activity fluctuation amount of the user and measures the degree of attention of the user based on the change pattern of the brain activity fluctuation amount;
The control unit controls the operation of the auxiliary device in accordance with the attention level measured by the second measurement unit in addition to the attention region measured by the first measurement unit. Activity assistance system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006026529A JP5150942B2 (en) | 2006-02-03 | 2006-02-03 | Activity assistance system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006026529A JP5150942B2 (en) | 2006-02-03 | 2006-02-03 | Activity assistance system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007202882A true JP2007202882A (en) | 2007-08-16 |
JP5150942B2 JP5150942B2 (en) | 2013-02-27 |
Family
ID=38482879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006026529A Expired - Fee Related JP5150942B2 (en) | 2006-02-03 | 2006-02-03 | Activity assistance system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5150942B2 (en) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010050113A1 (en) * | 2008-10-29 | 2010-05-06 | トヨタ自動車株式会社 | Mobile body control device and mobile body control method |
JP2010198233A (en) * | 2009-02-24 | 2010-09-09 | Honda Motor Co Ltd | Brain information output device, robot, and brain information output method |
CN101889928A (en) * | 2010-07-27 | 2010-11-24 | 北京理工大学 | Head gesture recognition technology-based wheelchair control method |
JP2011186667A (en) * | 2010-03-05 | 2011-09-22 | Osaka Univ | Apparatus control device, apparatus system, apparatus control method, apparatus control program and recording medium |
KR101394953B1 (en) | 2012-09-24 | 2014-05-14 | 재단법인대구경북과학기술원 | Apparatus and method for controlling of rehabilitation robot |
US8730326B2 (en) | 2009-10-15 | 2014-05-20 | Panasonic Corporation | Driving attention amount determination device, method, and computer program |
CN105534648A (en) * | 2016-01-14 | 2016-05-04 | 马忠超 | Wheelchair control method and control device based on brain waves and head movements |
JP2016513319A (en) * | 2013-03-15 | 2016-05-12 | インテル コーポレイション | Brain-computer interface (BCI) system based on temporal and spatial patterns of collected biophysical signals |
CN106074021A (en) * | 2016-06-08 | 2016-11-09 | 山东建筑大学 | Intelligent wheelchair system based on brain-computer interface and method of operating thereof |
WO2016200224A1 (en) * | 2015-06-10 | 2016-12-15 | 주식회사 룩시드랩스 | Method for monitoring bioactivity of user, system, and non-transitory computer-readable recording medium |
CN106726200A (en) * | 2017-02-07 | 2017-05-31 | 德阳力久云智知识产权运营有限公司 | A kind of intelligent wheel chair based on the control of people's brain wave |
JP2017140107A (en) * | 2016-02-08 | 2017-08-17 | Kddi株式会社 | Concentration degree estimation device |
US10111802B2 (en) | 2013-12-16 | 2018-10-30 | Samsung Electronics Co., Ltd. | Wearable robot and method of controlling the same |
CN109464239A (en) * | 2019-01-09 | 2019-03-15 | 浙江强脑科技有限公司 | Intelligent wheel chair based on E.E.G control |
CN109662842A (en) * | 2019-02-20 | 2019-04-23 | 浙江强脑科技有限公司 | The intelligent wheel chair controlled based on glasses and E.E.G |
JP2019082776A (en) * | 2017-10-30 | 2019-05-30 | 富士通株式会社 | Operation support method, operation support program, and head-mounted display device |
CN110353899A (en) * | 2019-04-30 | 2019-10-22 | 华南师范大学 | A kind of intelligent wheel chair |
US10754426B2 (en) | 2018-08-20 | 2020-08-25 | GungHo Online Entertainment, Inc. | Terminal device, program, method, and system |
US10761606B1 (en) | 2019-04-03 | 2020-09-01 | GungHo Online Entertainment, Inc. | Terminal device, program, method, and system |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04282129A (en) * | 1991-03-08 | 1992-10-07 | Fujitsu Ltd | Gaze point analyzing device |
JPH10164281A (en) * | 1996-11-26 | 1998-06-19 | Fuji Xerox Co Ltd | Picture evaluating method and device |
JPH10262943A (en) * | 1997-01-24 | 1998-10-06 | Yamaha Corp | Method, instrument for measuring electroencephalogram, method and device for transmitting will using the measuring method |
JP2004086768A (en) * | 2002-08-28 | 2004-03-18 | Fuji Xerox Co Ltd | Object control device, object control method, object control program, and computer-readable recording medium |
JP2005006897A (en) * | 2003-06-19 | 2005-01-13 | Nara Institute Of Science & Technology | Interest degree predicting apparatus |
-
2006
- 2006-02-03 JP JP2006026529A patent/JP5150942B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04282129A (en) * | 1991-03-08 | 1992-10-07 | Fujitsu Ltd | Gaze point analyzing device |
JPH10164281A (en) * | 1996-11-26 | 1998-06-19 | Fuji Xerox Co Ltd | Picture evaluating method and device |
JPH10262943A (en) * | 1997-01-24 | 1998-10-06 | Yamaha Corp | Method, instrument for measuring electroencephalogram, method and device for transmitting will using the measuring method |
JP2004086768A (en) * | 2002-08-28 | 2004-03-18 | Fuji Xerox Co Ltd | Object control device, object control method, object control program, and computer-readable recording medium |
JP2005006897A (en) * | 2003-06-19 | 2005-01-13 | Nara Institute Of Science & Technology | Interest degree predicting apparatus |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010050113A1 (en) * | 2008-10-29 | 2010-05-06 | トヨタ自動車株式会社 | Mobile body control device and mobile body control method |
JP2010198233A (en) * | 2009-02-24 | 2010-09-09 | Honda Motor Co Ltd | Brain information output device, robot, and brain information output method |
US8730326B2 (en) | 2009-10-15 | 2014-05-20 | Panasonic Corporation | Driving attention amount determination device, method, and computer program |
US9117124B2 (en) | 2009-10-15 | 2015-08-25 | Panasonic intellectual property Management co., Ltd | Driving attention amount determination device, method, and computer program |
JP2011186667A (en) * | 2010-03-05 | 2011-09-22 | Osaka Univ | Apparatus control device, apparatus system, apparatus control method, apparatus control program and recording medium |
CN101889928A (en) * | 2010-07-27 | 2010-11-24 | 北京理工大学 | Head gesture recognition technology-based wheelchair control method |
KR101394953B1 (en) | 2012-09-24 | 2014-05-14 | 재단법인대구경북과학기술원 | Apparatus and method for controlling of rehabilitation robot |
JP2016513319A (en) * | 2013-03-15 | 2016-05-12 | インテル コーポレイション | Brain-computer interface (BCI) system based on temporal and spatial patterns of collected biophysical signals |
US10111802B2 (en) | 2013-12-16 | 2018-10-30 | Samsung Electronics Co., Ltd. | Wearable robot and method of controlling the same |
WO2016200224A1 (en) * | 2015-06-10 | 2016-12-15 | 주식회사 룩시드랩스 | Method for monitoring bioactivity of user, system, and non-transitory computer-readable recording medium |
CN105534648A (en) * | 2016-01-14 | 2016-05-04 | 马忠超 | Wheelchair control method and control device based on brain waves and head movements |
JP2017140107A (en) * | 2016-02-08 | 2017-08-17 | Kddi株式会社 | Concentration degree estimation device |
CN106074021A (en) * | 2016-06-08 | 2016-11-09 | 山东建筑大学 | Intelligent wheelchair system based on brain-computer interface and method of operating thereof |
CN106726200A (en) * | 2017-02-07 | 2017-05-31 | 德阳力久云智知识产权运营有限公司 | A kind of intelligent wheel chair based on the control of people's brain wave |
JP2019082776A (en) * | 2017-10-30 | 2019-05-30 | 富士通株式会社 | Operation support method, operation support program, and head-mounted display device |
US10754426B2 (en) | 2018-08-20 | 2020-08-25 | GungHo Online Entertainment, Inc. | Terminal device, program, method, and system |
CN109464239A (en) * | 2019-01-09 | 2019-03-15 | 浙江强脑科技有限公司 | Intelligent wheel chair based on E.E.G control |
CN109662842A (en) * | 2019-02-20 | 2019-04-23 | 浙江强脑科技有限公司 | The intelligent wheel chair controlled based on glasses and E.E.G |
US10761606B1 (en) | 2019-04-03 | 2020-09-01 | GungHo Online Entertainment, Inc. | Terminal device, program, method, and system |
CN110353899A (en) * | 2019-04-30 | 2019-10-22 | 华南师范大学 | A kind of intelligent wheel chair |
Also Published As
Publication number | Publication date |
---|---|
JP5150942B2 (en) | 2013-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5150942B2 (en) | Activity assistance system | |
Wang et al. | EEG-based attention tracking during distracted driving | |
US9946344B2 (en) | Functional near infrared spectroscopy based brain computer interface | |
Lin et al. | EEG-based assessment of driver cognitive responses in a dynamic virtual-reality driving environment | |
US11396232B2 (en) | Vehicle control device, vehicle control method and head-up display apparatus | |
Healey et al. | Detecting stress during real-world driving tasks using physiological sensors | |
Vansteenkiste et al. | The visual control of bicycle steering: The effects of speed and path width | |
Dijksterhuis et al. | Classifying visuomotor workload in a driving simulator using subject specific spatial brain patterns | |
JP2017144225A (en) | Biological information detection device | |
Sel et al. | When you smile, the world smiles at you: ERP evidence for self-expression effects on face processing | |
DE112015005432T5 (en) | Occupant surveillance systems and procedures | |
Soto et al. | Brain responses to emotional faces in natural settings: A wireless mobile EEG recording study | |
WO2018100875A1 (en) | Information processing apparatus, information processing method, and program | |
Mizuhara | Cortical dynamics of human scalp EEG origins in a visually guided motor execution | |
US11501456B2 (en) | Application control device, application control method, program and storage medium that naturally conceal a local difference in brightness on skin | |
DE112015005413T5 (en) | OCCUPANT MONITORING SYSTEMS AND METHODS | |
US20190239792A1 (en) | Emotion identification apparatus | |
US12042260B2 (en) | Biometric apparatus, biometric method, and non-transitory computer-readable storage medium | |
US20240341612A1 (en) | Biometric apparatus, biometric method, and non-transitory computer-readable storage medium | |
CN111655149B (en) | System, recording medium, and method for inferring mental state of user | |
Miyasike-daSilva et al. | Gaze shifts during dual-tasking stair descent | |
Gonzalez-Trejo et al. | Electroencephalographic phase–amplitude coupling in simulated driving with varying modality-specific attentional demand | |
Hori et al. | Effects of light and sound on the prefrontal cortex activation and emotional function: A functional near-infrared spectroscopy study | |
JP7152520B2 (en) | Systems and methods for determining levels of perceptual load and stimulus perception of the human brain | |
US20200074150A1 (en) | Method and device for modifying the affective visual information in the field of vision of an user |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110802 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121114 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151214 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5150942 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |