JP2573126B2 - Expression coding and emotion discrimination device - Google Patents
Expression coding and emotion discrimination deviceInfo
- Publication number
- JP2573126B2 JP2573126B2 JP4188781A JP18878192A JP2573126B2 JP 2573126 B2 JP2573126 B2 JP 2573126B2 JP 4188781 A JP4188781 A JP 4188781A JP 18878192 A JP18878192 A JP 18878192A JP 2573126 B2 JP2573126 B2 JP 2573126B2
- Authority
- JP
- Japan
- Prior art keywords
- expression element
- facial expression
- emotion
- facial
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000014509 gene expression Effects 0.000 title claims description 83
- 230000008451 emotion Effects 0.000 title claims description 58
- 230000008921 facial expression Effects 0.000 claims description 64
- 238000012545 processing Methods 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 17
- 238000011002 quantification Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 11
- 230000002996 emotional effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 5
- 210000003205 muscle Anatomy 0.000 description 20
- 241000282414 Homo sapiens Species 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 210000001097 facial muscle Anatomy 0.000 description 11
- 230000001815 facial effect Effects 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000037303 wrinkles Effects 0.000 description 5
- 230000003042 antagnostic effect Effects 0.000 description 4
- 210000001061 forehead Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 210000000653 nervous system Anatomy 0.000 description 3
- 206010041349 Somnolence Diseases 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000256 facial nerve Anatomy 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000030214 innervation Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000003054 facial bone Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000037152 sensory function Effects 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000003699 striated muscle Anatomy 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】[0001]
【産業上の利用分野】本発明は、人間の顔の表情を画像
解析、計算処理する表情のコード化及び情緒の判別装置
に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a facial expression coding and emotion discrimination device for analyzing and calculating the facial expression of a human face.
【０００２】[0002]
【従来の技術】人間の顔の表情をテクノロジー的に読み
取る試みは、これまでにも行われてきたが、いずれもそ
の表情を単なる二次元の画像情報として取り扱ってお
り、解析、保存が困難で、膨大な処理を要求されてい
た。また、その表情や情緒の判別は、経験の積み重ねで
可能になるものとして、ニューロコンピュータやエキス
パートシステムの応用システムで実現している例が多
い。しかし、現状では未だ不十分である。2. Description of the Related Art Attempts to read human facial expressions in terms of technology have been made so far, but all of them treat such facial expressions as mere two-dimensional image information, which is difficult to analyze and store. , A huge amount of processing was required. In addition, in many cases, the discrimination of facial expressions and emotions can be realized by accumulating experience, and is realized by an application system such as a neurocomputer or an expert system. However, it is still insufficient at present.
【０００３】[0003]
【発明が解決しようとする課題】一方、医療の分野で
は、過去、現在、未来とも、その表情の読み取りは日常
の診療に欠くことのできない重要な要素であるが、この
表情をコミュニケーション手段の情報発信と考える場
合、テクノロジー的に読み取る適切な装置、動く画像通
信の適切化が強く望まれている。そして、その研究は、
科学面ばかりでなく、芸術面にも、生活面にも、人間が
人間である限り、重要な課題である。そこで、本発明
は、筋肉の動きや神経系接続関係などの医学、生理学的
研究に基づいて表情の要素をテクノロジー的に分類し、
コード化することにより、簡潔かつ適切に処理できるよ
うにしようとするものである。また、上述の人間の顔の
表情発生及び情緒発生の医学、生理学的研究により、そ
の表情と情緒との間に明解な対応の法則があることが明
らかになったことから、この対応関係に基づいて人間の
情緒の判別を行おうとするものであって、コード化され
た表情に、この対応関係をあてはめることで、人間の情
緒の判別を、人間の感覚機能を主とした経験の蓄積によ
る判別ではなしに、極めて機械的に行い得るようにしよ
うとするものである。On the other hand, in the field of medical treatment, reading of facial expressions is an important factor indispensable to daily medical treatment in the past, present and future. When considering transmission, there is a strong demand for an appropriate device to read technologically and appropriate image communication in motion. And the research is
It is an important issue not only in science but also in art and life, as long as human beings are human. Therefore, the present invention technology-based classification of facial expression elements based on medical and physiological research such as muscle movement and nervous system connection,
The coding is intended to be concise and appropriate. In addition, medical and physiological studies on the expression of human faces and the development of emotions described above have revealed that there is a clear law of correspondence between facial expressions and emotions. By applying this correspondence to coded expressions, human emotions can be identified by accumulating experience mainly involving human sensory functions. Instead, it seeks to be able to do it very mechanically.
【０００４】[0004]
【課題を解決するための手段】本発明の基礎的な理論
は、発明者による表情の情緒工学的研究成果による。こ
こにその理論の概要を説明する。人間の顔の表情が顔面
に現れるまでのメカニズムは、図１のブロック図で表さ
れる。その表情は、顔面神経の支配を受ける表情筋の活
動であり、その活動中枢は、顔面神経の中枢となる。表
情筋は、頭部及び前頸部の皮下に存在し、その筋群は、
頭部、頸部に各一対、目の周囲、耳、鼻に各三対づつ、
口唇の周囲に十二対存在する。その中で、表情に関する
主な筋を図２に示す。これらを表情筋群と呼ぶ。これら
の表情筋は、他の体性運動筋と同じく横紋筋であるが、
顔面骨から直接顔面の皮膚にそれぞれ左右対称的に終着
している点が特徴で、応答は左右同時性で速度が極めて
速い。また、その表情は、動的な眼瞼、口唇及びそれに
付随する眉、髭などが開閉又は上下左右運動をして、静
的な頭部、耳、鼻などの間に相対的な位置変化をするこ
とで生ずる。したがって、表情の主体性は、動的な部分
を活動させる表情筋の機能にあると考えられ、これより
表情筋の動的モデルを作ることができる。つまり、動的
な部分を活動させる筋群を抽出し、協同的と拮抗的とに
働く筋群をまとめることで表情筋群を次表の６群に分け
ることができる。これら６群が表情の認識に必要な最小
限の筋群の分類になるのである。The basic theory of the present invention is based on the research results of emotional engineering of facial expressions by the inventor. Here is an outline of the theory. The mechanism by which the facial expression of a human face appears on the face is represented by the block diagram of FIG. The facial expression is the activity of the facial muscles under the control of the facial nerve, and its activity center is the central of the facial nerve. Facial muscles are present under the head and anterior neck subcutaneously.
Each pair on the head and neck, around the eyes, ears and nose, three pairs each,
There are twelve pairs around the lips. Among them, FIG. 2 shows main lines related to facial expressions. These are called facial muscle groups. These facial muscles are striated muscles like other somatic motor muscles,
It is characterized by the fact that it is symmetrically terminated directly from the facial bone to the skin of the face, and the response is simultaneous and the speed is extremely fast. In addition, the expression is such that the dynamic eyelids, lips and accompanying eyebrows, beards, etc., open and close or move up, down, left and right to change the relative position between the static head, ears, nose, etc. It is caused by things. Therefore, it is considered that the initiative of the facial expression lies in the function of the facial muscle that activates the dynamic part, and a dynamic model of the facial muscle can be created from this. In other words, the muscle groups that activate the dynamic part are extracted, and the muscle groups that work cooperatively and antagonistically are collected, so that the facial muscle groups can be divided into the following six groups. These six groups are the minimum muscle group classification required for facial expression recognition.
【表１】 この６群の緊張度を数値として表すと、表情が６つの数
値からなるコードとして表現できる。これを「表情要素
コード」と呼ぶ。ところで、筋電図学的研究から、図５
に示すように、前額に皺をつくる前頭筋（Ｆ）と眉を動
かす皺眉筋（Ｃ）、この皺眉筋（Ｃ）と口唇を開閉する
口輪筋（Ｒ）、口角を上げる頬骨筋群（Ｚ）と眼を閉じ
る眼輪筋（Ｏ）がそれぞれ協同的神経支配関係にあり、
また、前額に皺をつくる前頭筋（Ｆ）と目を閉じる眼輪
筋（Ｏ）、眉を動かす皺眉筋（Ｃ）と口角を上げる頬骨
筋群（Ｚ）、口唇を閉じる口輪筋（Ｒ）と下唇を下げる
筋群（Ｍ）がそれぞれ拮抗的神経支配関係にあること
を、筋電図学的研究で確認した。これらのことからする
と、６つの要素（筋群）を頂点とした八面体を考え、拮
抗関係にある要素を対角要素におくことで、表情運動の
動的モデルとなる八面体ができる。それを発明者古川正
重は「表情の八面体」と名付けた。これを図３に示す。
この表情の八面体において、８つの面を構成している一
つの主要素と二つの協同的従属要素との３要素を操作す
ると、極限的な表情が現れる。これを図４に示す。この
図４で実線は隣接する面、破線は対向する面を意味す
る。また、この場合の面が示す表情は、次表及び図６の
ような情緒と対応している。[Table 1] When the tension of the six groups is expressed as numerical values, the expression can be expressed as a code composed of six numerical values. This is called an "expression element code". By the way, from the electromyographic study,
As shown in the figure, a frontal muscle (F) that forms wrinkles on the forehead, a wrinkle muscle (C) that moves the eyebrows, a cuff muscle (R) that opens and closes the lip, and a cheekbone muscle group that raises the mouth angle (Z) and the orbicularis oculi (O) closing the eyes are in a cooperative innervation relationship, respectively.
In addition, the frontal muscle (F) that forms wrinkles on the forehead, the orbicularis muscle (O) that closes the eyes, the wrinkle muscle (C) that moves the eyebrows, the zygomatic muscle group (Z) that raises the mouth angle, and the orbicularis muscle that closes the lips ( Electromyographic studies confirmed that R) and the muscle group lowering the lower lip (M) had an antagonistic innervation relationship, respectively. Based on these facts, an octahedron having six elements (muscle groups) as vertices is considered, and an element having an antagonistic relationship is set as a diagonal element, whereby an octahedron serving as a dynamic model of facial expression movement can be obtained. Inventor Masashige Furukawa named it "octahedron of expression". This is shown in FIG.
In the octahedron of this expression, an extreme expression appears when three elements, one main element and two cooperative subordinate elements, constituting the eight surfaces are operated. This is shown in FIG. In FIG. 4, a solid line indicates an adjacent surface, and a broken line indicates an opposing surface. In addition, the facial expressions shown in this case correspond to the emotions shown in the following table and FIG.
【表２】 これらの代表的な情緒と表情要素の対応を次表に示す。[Table 2] The following table shows the correspondence between these typical emotions and facial expression elements.
【表３】 この表に従えば、表情要素コードから情緒を判別でき
る。[Table 3] According to this table, the emotion can be determined from the expression element code.
【０００５】ここにおいて、本発明は、顔面画像を電気
信号として取り込み、「表情の八面体」の法則により知
的に符号化して、所定の顔面画像データを得る画像入力
装置と、該画像入力装置からの所定の顔面画像データを
受けて、特徴部位抽出条件に基づき特徴部位画像を抽出
する特徴部位抽出処理手段を有し、その特徴部位画像か
ら所定の表情要素と特徴部位の関連規則に基づき表情要
素を抽出して表情要素情報を得る表情要素抽出処理手段
を有し、更に、その表情要素情報から所定の表情要素定
量化規則に基づき表情要素定量化処理して表情要素コー
ドを算出する表情要素定量化処理手段を有し、また、そ
の表情要素コードを所定の情緒変換式で演算処理して各
種の情緒の量をそれぞれに算出するとともに、それらの
中から最大値のものを選出して、この最大値のものに応
答する情緒の種別を判別する情緒判別手段を有し、か
つ、その表情要素コード及び情緒の種別と大きさを記憶
する記憶手段を備えた演算処理装置と、該演算処理装置
に保有された上記表情要素コード及び情緒の種別と大き
さを出力する表情要素コード／情緒情報出力装置と、か
らなることを特徴とする。Here, the present invention relates to an image input apparatus which takes in a face image as an electric signal, and intelligently encodes the face image according to the "octahedral expression" rule to obtain predetermined face image data. Receiving a predetermined facial image data from the personal computer and extracting a characteristic part image based on the characteristic part extraction condition. A facial expression element extracting means for extracting facial elements to obtain facial expression element information, and further comprising a facial expression element quantifying process based on a predetermined facial expression element quantification rule from the facial expression element information to calculate a facial expression element code It has quantification processing means, and calculates the amount of various emotions by performing arithmetic processing on the expression element code using a predetermined emotion conversion formula, and also calculates the maximum value among them. And an emotion processing unit having an emotion determination unit for determining the type of the emotion responding to the maximum value, and a storage unit for storing the expression element code and the type and size of the emotion And an expression element code / emotion information output device for outputting the type and size of the expression element code and the emotion stored in the arithmetic processing device.
【０００６】[0006]
【作用】如上の構成であるから、画像入力装置は、顔面
画像を電気信号として入力し、これを次の演算処理装置
での処理に適する顔面画像データに符号化して、演算処
理装置に送り、その顔面画像データを受けた演算処理装
置は、図８のフローチャートに示すように、特徴部位抽
出処理手段にて、所定の特徴部位抽出条件に基づきその
顔面画像データから特徴部位画像を抽出し、次いで、表
情要素抽出処理手段にて、所定の表情要素と特徴部位の
関連規則に基づきその特徴部位画像から表情要素を抽出
し、更に、表情要素定量化処理手段にて、所定の表情要
素定量化規則に基づきその表情要素情報から表情要素定
量化処理して、上記６種の筋肉群記号Ｆ，Ｃ，Ｏ，Ｚ，
Ｒ，Ｍに適合する表情要素コードを算出し、かつ、記憶
手段にて、その表情要素コードを記憶し、また、情緒判
別手段にて、図１４のフローチャートに示すように、所
定の情緒変換式でその表情要素コードを演算処理して各
種の情緒の量をそれぞれに算出し、それらの算出値の中
の最大値のものから情緒の種別を判別して、この情緒の
種別と大きさをも、上記表情要素コードに加えてその記
憶手段に記憶し、而して、表情要素コード／情緒情報出
力装置は、その演算処理装置に保有された表情要素コー
ド並びに情緒の種別と大きさを出力する。With the above configuration, the image input device inputs a face image as an electric signal, encodes the face image data into face image data suitable for processing in the next arithmetic processing device, and sends it to the arithmetic processing device. As shown in the flowchart of FIG. 8, the arithmetic processing device that has received the facial image data extracts characteristic region images from the facial image data based on predetermined characteristic region extraction conditions using characteristic region extraction processing means. The facial expression element extraction processing means extracts the facial expression element from the characteristic part image based on the rule related to the specific facial expression element and the characteristic part, and further, the facial expression element quantifying processing means Based on the expression element information based on the expression element information, the expression element quantification processing is performed, and the above-described six muscle group symbols F, C, O, Z,
An expression element code suitable for R and M is calculated, the expression element code is stored in the storage means, and a predetermined emotion conversion formula is used in the emotion determination means as shown in the flowchart of FIG. Then, the expression element code is processed to calculate the amount of each emotion, and the type of the emotion is determined from the maximum value of the calculated values. In addition to the above-mentioned expression element code, the expression element code is stored in the storage means, and the expression element code / emotional information output device outputs the expression element code and the type and size of the emotion held in the arithmetic processing device. .
【０００７】[0007]
【実施例】図７は、本発明の「表情のコード化及び情緒
の判別装置」に係る実施例を示している。この装置は、
顔面画像を電気信号として取り込み、符号化して、演算
処理装置で処理可能な形式とする画像入力装置１と、該
画像入力装置からの入力につき、顔面画像の画像解析、
表情筋群の緊張度定量化計算を行って表情要素コード及
び情緒情報を求め、かつ、記憶する演算処理装置２と、
該演算処理装置で算出された表情要素コード又は情緒情
報を出力する表情要素コード／情緒情報出力装置３とか
らなる。画像入力装置１としては、ビデオカメラとこれ
に接続したビデオフレームメモリ、写真の取り込みに適
するイメージスキャナなどを、演算処理装置２として
は、顔面画像データから特徴部位抽出条件に基づき特徴
部位画像を抽出する特徴部位抽出処理手段と、該特徴部
位画像から表情要素と特徴部位の関連規則に基づき表情
要素を抽出して表情要素情報を得る表情要素抽出処理手
段と、該表情要素情報から表情要素定量化規則に基づき
表情要素定量化処理して表情要素コードを算出する表情
要素定量化処理手段と、その表情要素コードを情緒変換
式で演算処理して各種の情緒の量をそれぞれに算出し、
それらの算出値の中の最大値のから情緒の種別を判別す
る情緒判別手段と、その表情要素コード及び情緒の種別
を記憶する記憶手段とを備えたパーソナルコンピュー
タ、ワークステーションなどを、また、表情要素コード
／情緒情報出力装置３としては、数値・記号表示装置、
並列又は直列のディジタル信号の出力装置などを用い
る。而して、この表情のコード化及び情緒の判別装置
は、次の表情要素コード化アルゴリズムと情緒判別アル
ゴリズムに支配されるものとする。FIG. 7 shows an embodiment of the "expression encoding and emotion discriminating apparatus" of the present invention. This device is
An image input device 1 that captures a face image as an electric signal, encodes the image, and converts the image into a format that can be processed by an arithmetic processing device;
An arithmetic processing unit 2 for performing a calculation of quantification of the degree of tension of the facial muscles to obtain a facial expression element code and emotional information, and for storing;
A facial expression element code / emotional information output device 3 for outputting the facial expression element code or emotion information calculated by the arithmetic processing unit. The image input device 1 includes a video camera and a video frame memory connected thereto, an image scanner suitable for capturing photos, and the like. The arithmetic processing device 2 extracts a characteristic region image from facial image data based on characteristic region extraction conditions. Characteristic part extraction processing means, expression element extraction processing means for extracting expression elements from the characteristic part image based on the rules relating the expression elements and characteristic parts, and obtaining expression element information, and quantifying the expression elements from the expression element information Expression element quantification processing means for calculating expression element codes by performing expression element quantification processing based on rules, and calculating the amount of various emotions by performing arithmetic processing on the expression element codes using an emotion conversion formula,
A personal computer, a workstation, or the like having an emotion determining means for determining the type of emotion from the maximum value among the calculated values, and storage means for storing the expression element code and the type of emotion; Numerical / symbol display devices as the element code / emotional information output device 3,
A parallel or serial digital signal output device is used. Thus, the expression encoding and emotion discrimination device is governed by the following expression element encoding algorithm and emotion identification algorithm.
【０００８】１．表情要素コード化アルゴリズム 画像入力装置１から演算処理装置２へ、顔面の画像が当
該演算処理装置で処理可能な二次元の濃淡データとして
供給されるが、このデータは、演算処理装置２の画像記
憶領域に顔面画像データとして記憶保持される。そこ
で、図８のフローチャートに従い、その顔面画像データ
（ａ）を順次に次のように処理することで、表情要素コ
ード（ｇ）を得る。 （１）特徴部位抽出処理 顔面画像データ（ａ）から特徴部位抽出条件に従って、
表情の認識に必要な部位を抽出した特徴部位抽出画像
（ｃ）を得る。具体的処理例としては、特徴部位を次表
の〜の６点とし、図９のアルゴリズムの模式図にお
いて、次表の特徴部位抽出条件を作用させることによ
り、固定座標方式で抽出する。この場合の処理の手順を
図１１のフローチャートに示す。その結果として、図１
０の〜の模式図に示す特徴部位画像（方形画面）を
切りだすことができる。[0008] 1. Expression element coding algorithm The image of the face is supplied from the image input device 1 to the arithmetic processing device 2 as two-dimensional grayscale data that can be processed by the arithmetic processing device. The area is stored and held as face image data. Therefore, the facial image data (a) is sequentially processed as follows in accordance with the flowchart of FIG. 8 to obtain the facial expression element code (g). (1) Characteristic part extraction processing According to characteristic part extraction conditions from face image data (a),
A characteristic part extraction image (c) in which a part necessary for facial expression recognition is extracted is obtained. As a specific processing example, the characteristic parts are set to the following six points in the following table, and in the schematic diagram of the algorithm in FIG. 9, the characteristic parts are extracted in the fixed coordinate system by applying the characteristic part extraction conditions in the following table. The procedure of the process in this case is shown in the flowchart of FIG. As a result, FIG.
Characteristic site images (square screens) shown in schematic diagrams 0 to can be cut out.
【表４】 （２）表情要素抽出処理 医学的筋電図学的研究から判明した筋肉の運動の相互関
係、神経系の接続等に基づいて決定した特徴部位の変化
を表情要素に関連付ける条件、すなわち、表情要素と特
徴部位の関連規則（ｄ）に従って、特徴部位画像（ｃ）
を表情要素に関連付け、表情要素情報（ｅ）を抽出す
る。表情要素と特徴部位の関連規則（ｄ）の具体例を次
表に示す。[Table 4] (2) Expression element extraction processing A condition for associating a change in a characteristic part determined based on the mutual relationship between muscle movements and connections of the nervous system found from medical electromyographic research with an expression element, that is, an expression element Characteristic part image (c) according to the rule (d) relating to the characteristic part
Is associated with a facial expression element, and facial expression element information (e) is extracted. The following table shows a specific example of the relation rule (d) between the facial expression element and the characteristic part.
【表５】 各表情要素の記号と要素ごとの規則Ｎｏ．を合わせて規
則コードと呼ぶ。つまり、規則コードは、筋肉群記号
Ｆ，Ｃ，Ｏ，Ｚ，Ｒ，Ｍと規則Ｎｏ．からなるコード
で、例えぼ、「眉の動きの条件Ｎｏ．２」なら「Ｃ−
２」となる。更に、この表５で決定する規則コード別に
特徴部位画像（ｃ）の詳細な解析手順を図１２にフロー
チャートにて示す。このフローチャートに従って処理を
行えば、規則コード別に幾つかの測定値が表情要素情報
（ｅ）として決定されることとなる。また、各表情要素
の記号（Ｆ，Ｃ，Ｏ，Ｚ，Ｒ，Ｍ）を総じてｘとし、規
則コードｘ−ｎの測定値（表情要素情報）をｐｘｎと表
すと、例えば、Ｃ−２の測定値はｐＣ２である。なお、
表情要素情報ｐｘｎは、測定値が１つならスカラー、２
つならベクトルを意味する。 （３）表情要素定量化処理 表情要素情報（ｅ）の規則コード別の測定値を表情要素
定量化規則（ｆ）に従って計算し、表情要素別の数値で
ある表情要素コード（ｇ）とする。表情要素定量化規則
（ｆ）の具体例として、顔面画像から測定値と筋電図の
値をもとに求めた回帰式を使う方法がある。この回帰式
を求める手順を図１３のフローチャートに示す。すなわ
ち、 サンプリング： ある表情要素、例えば、「Ｆ：前額の動き」に着目し、
最も緊張した状態（額に精一杯皺を作った状態）から、
徐々に緊張を緩めていく。このとき、筋電図と顔面画像
をサンプリングする。顔面画像は、前記アルゴリズムで
表情要素情報（ｅ）まで求めておく。 回帰計算： 規則コードごとに最も緊張した状態を１、緩んだ状態を
０として筋電図の値を対応させ、表情要素情報（ｅ）と
の間で回帰計算を行い、回帰式を求める。ここでは、規
則コードＦ−１，Ｆ−２，……の回帰式をｆＦ１，ｆ
Ｆ２，……とする。次に、規則コードごとの回帰式を表
情要素別に連結した回帰式にまとめる回帰計算を行う。
こうして求められる表情要素コードＦの回帰式は、[Table 5] The symbol of each facial expression element and the rule No. for each element. Together with the rule code. That is, the rule code is composed of the muscle group symbols F, C, O, Z, R, M and the rule No. For example, in the case of "Ebrow movement condition No. 2", "C-
2 ". FIG. 12 is a flowchart showing a detailed analysis procedure of the characteristic portion image (c) for each rule code determined in Table 5. By performing the processing according to this flowchart, some measured values are determined as the expression element information (e) for each rule code. Further, when the symbols (F, C, O, Z, R, and M) of each expression element are collectively x, and the measured value (expression element information) of the rule code xn is represented by p xn , for example, C-2 Is pC2 . In addition,
The expression element information p xn is a scalar if the measured value is one, 2
If it means a vector. (3) Expression element quantification processing Measured values for each rule code of the expression element information (e) are calculated in accordance with the expression element quantification rule (f) to obtain an expression element code (g) which is a numerical value for each expression element. As a specific example of the expression element quantification rule (f), there is a method of using a regression equation obtained based on a measured value and an electromyogram value from a face image. The procedure for obtaining this regression equation is shown in the flowchart of FIG. That is, sampling: focusing on a certain expression element, for example, “F: movement of forehead”
From the most nervous state (the state where wrinkles are made on the forehead as much as possible)
Gradually relax the tension. At this time, the electromyogram and the face image are sampled. The facial image is obtained up to the facial expression element information (e) by the above algorithm. Regression calculation: For each rule code, the state of the most nervous state is set to 1 and the relaxed state is set to 0, the values of the electromyogram are made to correspond, and regression calculation is performed with the expression element information (e) to obtain a regression equation. Here, rules code F1, F-2, the ...... regression equation f F1, f
F2, ... Next, a regression calculation is performed to combine the regression formulas for each rule code into a regression formula linked to each facial expression element.
The regression equation of the expression element code F thus obtained is
【数１】 なお、上式は一次式だが、高次になることもあり得る。
ここで、規則コードＦ−１からＦ−５の測定値を、全体
としてｐＦとして表すとする。この場合、ｐＦがＦに関
する表情要素情報であり、ｆＦにｐＦを代入して求めた
値が次式のＦに関する表情要素コードの値ｆとなる。(Equation 1) Note that the above equation is a linear equation, but may be higher.
Here, the measurement value of the F-5 from regular code F-1, and expressed as p F as a whole. In this case, p F is the expression element information about F, values obtained by substituting p F to f F is a value f of the expression elements codes for F follows.
【数２】 同様にして、他のＣ，Ｏ，Ｚ，Ｒ，Ｍに関する表情要素
コードの回帰式ｆＣ，ｆＯ，ｆＺ， ｆＲ， ｆＭも求
められる。各々の回帰式に表情要素情報（ｅ）を代入し
て、次式の表情要素コードの値を求める。(Equation 2) Similarly, regression expressions f C , f O , f Z , f R , and f M of the expression element codes for the other C, O, Z, R, and M are obtained. The expression element information (e) is substituted into each regression equation, and the value of the expression element code of the following equation is obtained.
【数３】 ｐＦ，ｐＣ，ｐＯ，ｐＺ，ｐＲ，ｐＭ：各表情要素別の
表情要素情報したがって、ｆ，ｃ，ｏ，ｚ，ｒ，ｍが各
表情要素の記号Ｆ，Ｃ，Ｏ，Ｚ，Ｒ，Ｍに関する顔面筋
肉に対応した表情要素コードの値となるのである。 ２．情緒判別アルゴリズム 既述の表３には、代表的な情緒と表情要素コードの関係
が示されている。この表は、表情要素コードの重み付け
を行うことで、情緒を更に細かく分類することが可能で
ある。ここでは、情緒判別のアルゴリズムの具体例とし
て、表３をそのまま用いた場合を説明する。 （１）表情要素の重み付け 表情要素に対する重み付けは、係数ｋの関係付けにより
次のようにする。表情要素コードｘに対して、 主要素 ＋＋ ２ｋ・ｘ 《重み付けを強くするときは ３ｋ・ｘ》 従属要素 ＋ ｋ・ｘ 拮抗要素 （−） ｋ・（１−ｘ） ｋ：１／６を意味する。 （２）情緒変換式 上記表情要素の重み付け（１）と表３から、各情緒の量
を計算する式が求められる。(Equation 3) p F, p C, p O , p Z, p R, p M: follow another expression element information each facial expression element, f, c, o, z , r, m is the symbol F in each facial expression elements, C, O , Z, R and M are the values of the facial expression element codes corresponding to the facial muscles. 2. Emotion discrimination algorithm Table 3 described above shows the relationship between typical emotions and expression element codes. In this table, emotions can be further classified by weighting the expression element codes. Here, a case where Table 3 is used as it is as a specific example of the emotion determination algorithm will be described. (1) Weighting of facial expression elements Weighting of facial expression elements is performed as follows by relating the coefficient k. For the expression element code x, the main element ++ 2k · x << 3k · x when increasing the weighting »Dependent element + k · x Antagonistic element (−) k · (1-x) k: 1/6 means I do. (2) Emotion conversion equation An equation for calculating the amount of each emotion is obtained from the weight (1) of the expression element and Table 3.
【数４】 ｆ，ｃ，ｏ，ｚ，ｒ，ｍ：表情要素コードの値 これを、情緒変換式と呼ぶ。 （３）情緒判別 表情要素コード化のアルゴリズムで、顔面画像から得ら
れた表情要素コードを情緒変換式に代入すると、上述の
ように各情緒の量Ｅｈｐ−ＥＳＬが算出されるので、そ
れらのＥｈｐ−ＥＳＬの値が最大となっている情緒の種
別をもって、その顔面の情緒と判別する。また、その最
大値が情緒の量となる。この処理過程を図１４にフロー
チャートで示す。(Equation 4) f, c, o, z, r, m: Value of facial expression element code This is called an emotion conversion formula. (3) Emotion discrimination When the expression element code obtained from the face image is substituted into the emotion conversion equation by the expression element encoding algorithm, the amount E hp -E SL of each emotion is calculated as described above. The emotion type in which the value of E hp -E SL is maximum is determined as the emotion of the face. The maximum value is the amount of emotion. FIG. 14 is a flowchart showing this process.
【００１０】[0010]
【発明の効果】本発明によれば、人間の顔面の筋肉の動
きや神経系接続関係などの医学、生理学的研究に基づく
現実の表情の要素を、テクノロジー的に分類し、コード
化することが可能となり、かかる知的コード化により、
無用な情報処理を排して、必要かつ十分なそして少ない
情報処理により、簡潔かつ適切に、しかも、迅速に処理
でき、所要の表情要素コードを迅速かつ的確に抽出でき
る。また、その表情要素コードを磁気記憶装置などに保
存するようにすれば、人間の顔の表情につき従来の１０
万倍程度もの大量のデータを保存することができること
となる。更に、人間の顔の表情と情緒との間に単純な対
応があることが情緒工学的研究により解明されたことに
基づき、その表情要素コードにこの対応関係をあてはめ
ることで、人間の情緒の判別を極めて機械的合理的に行
うことができ、医療面での日常の診療等における表情の
読み取りに便利に活用できる。また、芸術面にも、生活
面にも、広く利用でき、所期の目的を達成することがで
きる。而して、例えば、自動車の運転席にビデオカメラ
を備えつけて運転者の顔の表情の読み取り、情緒を判別
して、眠りの表情になったときに警報を鳴らす自動車用
居眠警報装置に応用でき、また、これを更に進めて、直
接にブレーキと連動させること、恐怖の表情の検出によ
り、緊急時の非常停止装置とすることも可能でである。
その他、被験者の顔の表情の読み取り、情緒を判別し
て、質問に対する被験者の情緒変化を監視することなど
にも広く応用することができる。According to the present invention, it is possible to technologically classify and encode elements of real facial expressions based on medical and physiological studies, such as movements of muscles of the human face and connections of the nervous system. Possible, and with such intelligent coding,
By eliminating unnecessary information processing and performing necessary, sufficient, and small information processing, processing can be performed simply, appropriately, and quickly, and required expression element codes can be quickly and accurately extracted. Also, if the expression element code is stored in a magnetic storage device or the like, the conventional expression of the human face can be reduced to the conventional 10%.
It is possible to store a large amount of data of about ten thousand times. Furthermore, based on the fact that emotional engineering research revealed that there is a simple correspondence between human facial expressions and emotions, by applying this correspondence to the facial expression element code, human emotions can be discriminated. Can be performed extremely mechanically and rationally, and can be conveniently used for reading facial expressions in daily medical treatment. In addition, it can be widely used for both art and life, and can achieve its intended purpose. Thus, for example, a video camera is provided in the driver's seat of an automobile to read the facial expression of the driver, discriminate the emotion, and apply an alarm to a drowsiness alarm for automobiles that sounds an alarm when a sleepy expression occurs. Further, it is possible to make the emergency stop device in an emergency by further proceeding the operation and directly interlocking with the brake and detecting the expression of fear.
In addition, the present invention can be widely applied to reading of a facial expression of a subject, discrimination of the emotion, and monitoring of a change in the emotion of the subject in response to a question.
【図１】本発明に係る人間の情緒表現機構内部モデルを
示すブロック図である。FIG. 1 is a block diagram showing an internal model of a human emotion expression mechanism according to the present invention.
【図２】本発明に係る人間の顔の表情筋群を示す図であ
る。FIG. 2 is a diagram showing facial muscles of a human face according to the present invention.
【図３】本発明に係る人間の顔の表情の八面体を示す図
である。FIG. 3 is a diagram showing an octahedron of a human facial expression according to the present invention;
【図４】本発明に係る人間の顔の表情のイメージパター
ンと情緒との関係を示す図である。FIG. 4 is a diagram illustrating a relationship between an image pattern of a human facial expression and emotion according to the present invention.
【図５】本発明に係る人間の顔の６つの表情筋群の協同
・拮抗関係を示す図である。FIG. 5 is a diagram showing a cooperative / antagonistic relationship of six facial muscle groups of the human face according to the present invention.
【図６】本発明に係る人間の顔の表情における八面体の
オペレーションと表情の図形化に関する図である。FIG. 6 is a diagram relating to the operation of an octahedron in the expression of a human face and the rendering of the expression according to the present invention.
【図７】本発明に係る表情のコード化及び情緒の判別装
置の実施例を示すブロック図である。FIG. 7 is a block diagram showing an embodiment of a facial expression encoding and emotion determining apparatus according to the present invention.
【図８】同例の表情要素コード化を示すフローチャート
である。FIG. 8 is a flowchart showing expression element encoding in the same example.
【図９】同例の固定座標方式の特徴部位抽出アルゴリズ
ムに関する説明図である。FIG. 9 is an explanatory diagram of a feature portion extraction algorithm of the fixed coordinate system of the same example.
【図１０】図９の中から抽出した特徴部位抽出画像を示
す説明図である。FIG. 10 is an explanatory diagram showing a characteristic part extraction image extracted from FIG. 9;
【図１１】同例の特徴部位抽出処理についてのフローチ
ャートである。FIG. 11 is a flowchart of a characteristic portion extraction process of the same example.
【図１２】同例の特徴部位画像解析手順例を示すフロー
チャートである。FIG. 12 is a flowchart illustrating an example of a characteristic part image analysis procedure of the same example.
【図１３】同例の表情要素定量化回帰計算手順例を示す
フローチャートである。FIG. 13 is a flowchart showing an example of an expression element quantification regression calculation procedure of the same example.
【図１４】同例の情緒判別アルゴリズムを示すフローチ
ャートである。FIG. 14 is a flowchart showing an emotion determination algorithm of the same example.
１ 画像入力装置 ２ 演算処理装置 ３ 表情要素コード／情緒情報出力装置 DESCRIPTION OF SYMBOLS 1 Image input device 2 Operation processing device 3 Expression element code / emotional information output device
───────────────────────────────────────────────────── フロントページの続き (72)発明者 古野 陽一 福岡県北九州市戸畑区中原西２丁目15− 15 日神パレステージ九工大603号 (56)参考文献 特開 平３−252775（ＪＰ，Ａ) ────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Yoichi Furuno 2-15-15 Nakahara Nishi, Tobata-ku, Kitakyushu-shi, Fukuoka Prefecture 603 Nisshin Pale Stage Kyutech (56) Reference JP-A-3-252775 (JP, A )
Claims (1)
号化して、所定の顔面画像データを得る画像入力装置
と、 該画像入力装置からの所定の顔面画像データを受けて、
特徴部位抽出条件に基づき特徴部位画像を抽出する特徴
部位抽出処理手段を有し、その特徴部位画像から所定の
表情要素と特徴部位の関連規則に基づき表情要素を抽出
して表情要素情報を得る表情要素抽出処理手段を有し、
更に、その表情要素情報から所定の表情要素定量化規則
に基づき表情要素定量化処理して表情要素コードを算出
する表情要素定量化処理手段を有し、また、その表情要
素コードを所定の情緒変換式で演算処理して各種の情緒
の量をそれぞれに算出するとともに、それらの中から最
大値のものを選出して、この最大値のものに応答する情
緒の種別を判別する情緒判別手段を有し、かつ、その表
情要素コード及び情緒の種別と大きさを記憶する記憶手
段を備えた演算処理装置と、 該演算処理装置に保有された上記表情要素コード及び情
緒の種別と大きさを出力する表情要素コード／情緒情報
出力装置と、 からなることを特徴とする表情のコード化及び情緒の判
別装置。1. An image input device that captures and encodes a face image as an electric signal to obtain predetermined face image data, and receives predetermined face image data from the image input device,
A facial expression extracting means for extracting a characteristic part image based on a characteristic part extraction condition, and extracting a facial expression element from the characteristic part image based on a predetermined facial expression element and a rule relating to the characteristic part to obtain facial expression element information Having element extraction processing means,
Further, there is provided a facial expression element quantification processing means for performing a facial expression element quantification process based on the facial expression element information based on a predetermined facial expression element quantification rule to calculate a facial expression element code. There is an emotion discriminating means for calculating the amount of each type of emotion by performing an arithmetic process using an expression, selecting the maximum value from among them, and discriminating the type of emotion responding to the maximum value. And an arithmetic processing unit having storage means for storing the expression element code and the type and size of the emotion, and outputting the expression element code and the type and size of the emotion stored in the arithmetic processing device. A facial expression encoding / emotional discrimination device, comprising: a facial expression element code / emotional information output device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4188781A JP2573126B2 (en) | 1992-06-22 | 1992-06-22 | Expression coding and emotion discrimination device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4188781A JP2573126B2 (en) | 1992-06-22 | 1992-06-22 | Expression coding and emotion discrimination device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0676058A JPH0676058A (en) | 1994-03-18 |
| JP2573126B2 true JP2573126B2 (en) | 1997-01-22 |
Family
ID=16229684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4188781A Expired - Fee Related JP2573126B2 (en) | 1992-06-22 | 1992-06-22 | Expression coding and emotion discrimination device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2573126B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005008593A1 (en) | 2003-07-18 | 2005-01-27 | Canon Kabushiki Kaisha | Image processing device, imaging device, image processing method |
| US7577297B2 (en) | 2002-12-16 | 2009-08-18 | Canon Kabushiki Kaisha | Pattern identification method, device thereof, and program thereof |
| US8254691B2 (en) | 2007-06-18 | 2012-08-28 | Canon Kabushiki Kaisha | Facial expression recognition apparatus and method, and image capturing apparatus |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2005024728A1 (en) | 2003-09-03 | 2007-11-08 | 日本電気株式会社 | Form deforming device, object motion encoding device, and object motion decoding device |
| JP4375420B2 (en) | 2007-03-26 | 2009-12-02 | 株式会社デンソー | Sleepiness alarm device and program |
| JP5092663B2 (en) * | 2007-10-03 | 2012-12-05 | 日産自動車株式会社 | Vehicle control device |
| KR101317047B1 (en) * | 2012-07-23 | 2013-10-11 | 충남대학교산학협력단 | Emotion recognition appatus using facial expression and method for controlling thereof |
| JP6580497B2 (en) * | 2016-02-09 | 2019-09-25 | Kddi株式会社 | Apparatus, device, program and method for identifying facial expression with high accuracy using myoelectric signal |
| CN109919001A (en) * | 2019-01-23 | 2019-06-21 | 深圳壹账通智能科技有限公司 | Customer service monitoring method, device, equipment and storage medium based on Emotion identification |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2886932B2 (en) * | 1990-03-01 | 1999-04-26 | 日本電信電話株式会社 | Facial expression recognition device |
-
1992
- 1992-06-22 JP JP4188781A patent/JP2573126B2/en not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7577297B2 (en) | 2002-12-16 | 2009-08-18 | Canon Kabushiki Kaisha | Pattern identification method, device thereof, and program thereof |
| WO2005008593A1 (en) | 2003-07-18 | 2005-01-27 | Canon Kabushiki Kaisha | Image processing device, imaging device, image processing method |
| US8942436B2 (en) | 2003-07-18 | 2015-01-27 | Canon Kabushiki Kaisha | Image processing device, imaging device, image processing method |
| EP2955662A1 (en) | 2003-07-18 | 2015-12-16 | Canon Kabushiki Kaisha | Image processing device, imaging device, image processing method |
| EP3358501A1 (en) | 2003-07-18 | 2018-08-08 | Canon Kabushiki Kaisha | Image processing device, imaging device, image processing method |
| US8254691B2 (en) | 2007-06-18 | 2012-08-28 | Canon Kabushiki Kaisha | Facial expression recognition apparatus and method, and image capturing apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0676058A (en) | 1994-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4401079B2 (en) | Subject behavior analysis | |
| Lisetti et al. | Facial Expression Recognition Using a Neural Network. | |
| CN113920568B (en) | Face and human body posture emotion recognition method based on video image | |
| JP2573126B2 (en) | Expression coding and emotion discrimination device | |
| CN111920420A (en) | Patient behavior multi-modal analysis and prediction system based on statistical learning | |
| CN113362924A (en) | Medical big data-based facial paralysis rehabilitation task auxiliary generation method and system | |
| Gunes et al. | Face and body gesture recognition for a vision-based multimodal analyser | |
| CN109528217A (en) | A kind of mood detection and method for early warning based on physiological vibrations analysis | |
| CN117409454B (en) | Facial muscle movement monitoring-based emotion dynamic recognition method and device | |
| Ranjan et al. | An efficient facial feature extraction method based supervised classification model for human facial emotion identification | |
| KR102616230B1 (en) | Method for determining user's concentration based on user's image and operating server performing the same | |
| TWI646438B (en) | Emotion detection system and method | |
| JP2648682B2 (en) | Reproduction display of expression element code and processing / generation device of emotion / expression | |
| CN115533914A (en) | Multi-mode fusion emotion recognition method and system for social robot | |
| Loktev et al. | Automation of the behavioral safety audit of a transport operator based on the recognition of his emotional state in Real time | |
| Agnihotri et al. | Vision based Interpreter for Sign Languages and Static Gesture Control using Convolutional Neural Network | |
| Sadasivam et al. | Multimodal Approach to Identify Attention Level of Students using Jetson Nano | |
| Teng et al. | LGNMNet-RF: Micro-Expression Detection Using Motion History Images. | |
| CN114529972B (en) | Autonomous call processing method and system for amyotrophic lateral sclerosis patient | |
| Rathi et al. | Facial Expression Recognition A Survey | |
| Al-Dahoud | The computational face for facial emotion analysis: Computer based emotion analysis from the face | |
| Goud et al. | Estimation of Emotion using CNN | |
| SRIRAM et al. | Human Facial Expression Recognition using Convolutional Neural Networks | |
| Saini et al. | Blue Eyes Technology | |
| Acanto et al. | A hybrid approach to determine patient’s critical situation using deep learning algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071024 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081024 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091024 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101024 Year of fee payment: 14 |
|
| LAPS | Cancellation because of no payment of annual fees |