TWI704555B - 情緒辨識裝置與方法 - Google Patents
情緒辨識裝置與方法 Download PDFInfo
- Publication number
- TWI704555B TWI704555B TW107142168A TW107142168A TWI704555B TW I704555 B TWI704555 B TW I704555B TW 107142168 A TW107142168 A TW 107142168A TW 107142168 A TW107142168 A TW 107142168A TW I704555 B TWI704555 B TW I704555B
- Authority
- TW
- Taiwan
- Prior art keywords
- index
- emotion recognition
- emotion
- emotional
- user
- Prior art date
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000002996 emotional effect Effects 0.000 claims abstract description 118
- 238000001228 spectrum Methods 0.000 claims abstract description 22
- 230000008451 emotion Effects 0.000 claims description 53
- 230000005236 sound signal Effects 0.000 claims description 48
- 230000006870 function Effects 0.000 claims description 10
- 230000002452 interceptive effect Effects 0.000 claims description 10
- 230000036651 mood Effects 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000006855 networking Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 101001092912 Haloferax volcanii (strain ATCC 29605 / DSM 3757 / JCM 8879 / NBRC 14742 / NCIMB 2012 / VKM B-1768 / DS2) Small archaeal modifier protein 1 Proteins 0.000 description 7
- 101001092905 Haloferax volcanii (strain ATCC 29605 / DSM 3757 / JCM 8879 / NBRC 14742 / NCIMB 2012 / VKM B-1768 / DS2) Small archaeal modifier protein 3 Proteins 0.000 description 7
- 101000801088 Homo sapiens Transmembrane protein 201 Proteins 0.000 description 7
- 102100033708 Transmembrane protein 201 Human genes 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000009118 appropriate response Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 101710176973 Small archaeal modifier protein 2 Proteins 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000001795 light effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 235000013555 soy sauce Nutrition 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本發明提出一種具有反饋功能的情緒辨識裝置與方法。情緒辨識裝置包括傳聲器、處理器與反饋裝置。傳聲器適於接收使用者的聲音信號。處理器耦接傳聲器，適於辨識聲音信號的語意以獲得第一情緒指數以及分析聲音信號的頻譜以獲得第二情緒指數。反饋裝置耦接處理器，其中處理器適於綜合第一情緒指數與第二情緒指數以判斷使用者的情緒狀態，並根據情緒狀態控制反饋裝置以對使用者實施情緒反饋操作。
Description
本發明是有關於一種情緒辨識技術，且特別是有關於一種具有反饋功能的情緒辨識裝置與方法。
隨著科技的進步，人機互動愈發的頻繁。傳統的人機互動模式是使用者主動輸入指令，機器被動地執行指令，兩者之間並沒有情感互動。現在追求的目標是希望人機互動可以擺脫過往冰冷的模式，機器能夠給予情感化的回應。例如，希望能夠讓機器辨識人類的情緒狀態，甚至能夠感應不同的情緒並且給予人類適當的回應。
“先前技術”段落只是用來幫助了解本發明內容，因此在“先前技術”段落所揭露的內容可能包含一些沒有構成所屬技術領域中具有通常知識者所知道的習知技術。在“先前技術”段落所揭露的內容，不代表該內容或者本發明一個或多個實施例所要解決的問題，在本發明申請前已被所屬技術領域中具有通常知識者所知曉或認知。
本發明提供一種具有反饋功能的情緒辨識裝置與方法，可以基於聲音信號判斷使用者的情緒狀態來主動回應使用者，並且綜合聲音信號的語意與頻譜以達到提升判斷的正確性的功效。
本發明的其他目的和優點可以從本發明所揭露的技術特徵中得到進一步的了解。
為達上述之一或部份或全部目的或是其他目的，本發明的一實施例提出一種具有反饋功能的情緒辨識裝置，包括傳聲器、處理器與反饋裝置。傳聲器適於接收使用者的聲音信號。處理器耦接傳聲器，適於辨識聲音信號的語意以獲得第一情緒指數以及分析聲音信號的頻譜以獲得第二情緒指數。反饋裝置耦接處理器，其中處理器適於綜合第一情緒指數與第二情緒指數以判斷使用者的情緒狀態，並根據情緒狀態控制反饋裝置以對使用者實施情緒反饋操作。
在本發明的一實施例中，上述的情緒辨識裝置的反饋裝置包括顯示裝置、揚聲器、燈具或機器人，其中情緒反饋操作包括：顯示文字或影像、發出聲音、提供燈光效果或動作。
在本發明的一實施例中，上述的情緒辨識裝置還包括記憶體。記憶體耦接處理器並儲存有多個關鍵字，其中處理器適於通過比對聲音信號的語意與這些關鍵字是否匹配以獲得第一情緒指數。
在本發明的一實施例中，上述的情緒辨識裝置的處理器適於通過分析聲音信號的頻譜的振幅以獲得第三情緒指數與分析聲音信號的頻譜的頻率以獲得第四情緒指數，並綜合第三情緒指數與第四情緒指數以獲得第二情緒指數。
在本發明的一實施例中，上述的情緒辨識裝置的處理器適於基於第一情緒指數與第二情緒指數經過加權運算後的結果來判斷情緒狀態。
在本發明的一實施例中，上述的情緒辨識裝置還包括耦接處理器的記憶體。記憶體儲存有個人化歷史資料，其中處理器適於綜合第一情緒指數、第二情緒指數以及個人化歷史資料來判斷使用者的情緒狀態。
在本發明的一實施例中，上述的情緒辨識裝置還包括網路介面。網路介面耦接處理器且適於連接網路，其中，情緒辨識裝置適於通過網路與另一情緒辨識裝置連線以進行互動操作，其中互動操作包括：傳送訊息、設定待辦事項、設定鬧鐘、分享情緒狀態或接收基於情緒狀態的提醒。
在本發明的一實施例中，上述的情緒辨識裝置還包括網路介面。網路介面耦接處理器且適於連接網路，其中，情緒辨識裝置適於通過網路介面連線到雲端伺服器，以通過雲端伺服器辨識聲音信號的語意或分析聲音信號的頻譜。
在本發明的一實施例中，上述的情緒辨識裝置還包括網路介面。網路介面耦接處理器且適於連接網路，其中，情緒辨識
裝置適於在獲得情緒狀態後，進一步詢問使用者是否要將情緒狀態分享至社群網站或即時通訊軟體。
本發明的一實施例提出一種情緒辨識方法，適用具有反饋裝置的情緒辨識裝置，所述情緒辨識方法包括：接收使用者的聲音信號；辨識聲音信號的語意以獲得第一情緒指數；分析聲音信號的頻譜以獲得第二情緒指數；綜合第一情緒指數與第二情緒指數以判斷使用者的情緒狀態；以及根據情緒狀態控制反饋裝置以對使用者實施情緒反饋操作。
在本發明的一實施例中，上述的情緒辨識方法中的反饋裝置包括顯示裝置、揚聲器、燈具或機器人，其中情緒反饋操作包括：顯示文字或影像、發出聲音、提供燈光效果或動作。
在本發明的一實施例中，上述的情緒辨識方法中獲得第一情緒指數的步驟包括：比對聲音信號的語意與多個關鍵字是否匹配以獲得第一情緒指數。
在本發明的一實施例中，上述的情緒辨識方法中獲得第二情緒指數的步驟包括：分析聲音信號的頻譜的振幅以獲得第三情緒指數；分析聲音信號的頻譜的頻率以獲得第四情緒指數；以及綜合第三情緒指數與第四情緒指數以獲得第二情緒指數。
在本發明的一實施例中，上述的情緒辨識方法中判斷情緒狀態的步驟包括：基於第一情緒指數與第二情緒指數經過加權運算後的結果來判斷情緒狀態。
在本發明的一實施例中，上述的情緒辨識方法還包括對
使用者建立個人化歷史資料。
在本發明的一實施例中，上述的情緒辨識方法中判斷情緒狀態的步驟包括：綜合第一情緒指數、第二情緒指數與個人化歷史資料以判斷使用者的情緒狀態。
在本發明的一實施例中，上述的情緒辨識方法還包括通過網路與另一情緒辨識裝置連線以進行互動操作，其中互動操作包括：傳送訊息、設定待辦事項、設定鬧鐘、分享情緒狀態或接收基於情緒狀態的提醒。
在本發明的一實施例中，上述的情緒辨識方法中獲得第一情緒指數或第二情緒指數的步驟還包括：通過網路連線到雲端伺服器，以通過雲端伺服器辨識聲音信號的語意或分析聲音信號的頻譜。
在本發明的一實施例中，上述的情緒辨識方法，還包括在獲得情緒狀態後，進一步詢問使用者是否要將情緒狀態分享至社群網站。
基於上述，本發明的實施例至少具有以下其中一個優點或功效。本發明的情緒辨識裝置與方法可以根據使用者的談話內容以及說話時的口氣來判斷使用者的情緒狀態，並且給予適當的回應以回應使用者，達到人性化的交流，還可以降低判斷使用者情緒的誤差。除此之外，本發明的情緒辨識裝置之間具有連線互動的功能，可以讓使用者之間能夠知道對方的情緒，降低人與人之間溝通的壁壘，有助於增進人與人之間的相處，避免單方面誤
解對方的心情。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100、400、410:情緒辨識裝置
110:傳聲器
120:處理器
130:反饋裝置
140:記憶體
150:網路介面
200:情緒辨識方法
500:雲端伺服器
VS、300:聲音信號
EF:情緒反饋操作
NET:網路
SAMP1、SAMP2、SAMP3:聲音樣本
U、U1、U2:使用者
S210~S250:情緒辨識方法的步驟
圖1是依照本發明的一實施例的一種情緒辨識裝置的方塊圖。
圖2是依照本發明的一實施例的一種情緒辨識方法的流程圖。
圖3是依照本發明的一實施例的一種聲音信號的頻譜示意圖。
圖4是依照本發明的一實施例的多台情緒辨識裝置的連線示意圖。
圖5是依照本發明的一實施例的情緒辨識裝置的雲端連線示意圖。
有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一較佳實施例的詳細說明中，將可清楚的呈現。以下實施例中所提到的方向用語，例如：上、下、左、右、前或後等，僅是參考附加圖式的方向。因此，使用的方向用語是用來說明並非用來限制本發明。
圖1是依照本發明的一實施例的一種情緒辨識裝置的方塊圖。請參照圖1，情緒辨識裝置100包括傳聲器110、處理器120、
反饋裝置130與記憶體140。處理器120耦接傳聲器110、反饋裝置130與記憶體140。情緒辨識裝置100具有情緒反饋功能。當使用者U對情緒辨識裝置100說話時，傳聲器110接收使用者U的聲音信號VS，處理器120對聲音信號VS進行分析，因此情緒辨識裝置100可以根據使用者U的聲音以及說話內容來判斷使用者U的情緒狀態，進一步反應情緒狀態而通過反饋裝置130對使用者U提供情緒反饋操作EF。舉例來說，情緒反饋操作EF可以顯示文字或影像，譬如文字「別傷心」、「今天加油」或是播放表情圖案、照片或影片等等；情緒反饋操作EF也可以發出聲音，對使用者U說出安慰的話或播放音樂；反饋裝置130也可以發出不同顏色、亮度的燈光；如果反饋裝置130是機器人還可以對使用者U給予擁抱或鼓掌等等，或是上述動作的組合，本發明並不限制。
具體來說，傳聲器110例如是麥克風或麥克風陣列。處理器120例如是中央處理單元(Central Processing Unit，CPU)、微處理器(Microprocessor)、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他具備運算能力的硬體裝置。反饋裝置130例如包括顯示裝置、揚聲器、燈具或機器人等裝置，可以對使用者U顯示文字或影像，發出聲音、提供燈光效果或動作等等，以作為情緒反饋操作EF。記憶體140例如是靜態隨機存取記憶體(Static Random Access Memory,SRAM)、動態隨機存取記憶體(Dynamic Random Access Memory)、硬碟、快閃記憶
體(Flash Memory)，或是任何可用來儲存電子訊號或資料之記憶體或儲存裝置。記憶體140可以儲存多個模組，例如語意(meaning)辨識模組、語調(intonation)分析模組等等。處理器120存取這些模組以執行情緒辨識裝置100的各種功能。
圖2是依照本發明的一實施例的一種情緒辨識方法的流程圖。請搭配圖1參照圖2，圖2的情緒辨識方法200適用於圖1的情緒辨識裝置100。以下即搭配情緒辨識裝置100中的各項元件，說明本實施例情緒辨識方法200的詳細流程。
在步驟S210中，傳聲器110接收使用者U的聲音信號VS。接著，在步驟S220中，處理器120辨識聲音信號VS的語意以獲得第一情緒指數，在步驟S230中，處理器120還可以辨識聲音信號VS的頻譜以獲得第二情緒指數。接著，在步驟S240中，處理器120適於綜合第一情緒指數與第二情緒指數以判斷使用者U的情緒狀態。之後，在步驟S250中，處理器120根據情緒狀態控制反饋裝置130以對使用者U實施情緒反饋操作EF。
以下進一步說明相關的實施細節。
圖3是依照本發明的一實施例的一種聲音信號的頻譜示意圖。聲音信號300是傳聲器110所接收的一段聲音信號，例如圖1的聲音信號VS。在本實施例中，處理器120會對聲音信號300進行語意辨識以及頻譜分析。
關於語意辨識的部分，記憶體140還儲存多個關鍵字，其中每個關鍵字會有對應的情緒狀態。處理器120會執行語意辨
識模組來辨識聲音信號300的說話內容，並且比對聲音信號300的語意與這些關鍵字是否匹配以獲得第一情緒指數。舉例來說，記憶體140中存有「快樂」這個關鍵字並且這個關鍵字對應到「喜」的情緒狀態，處理器120辨識出聲音信號300的內容是「我今天好快樂」並且跟記憶體140中的關鍵字進行比對。由於聲音信號300的語意跟這個關鍵字匹配，處理器120可以根據關鍵字「快樂」得到對應的第一情緒參數。
關於頻譜分析的部分，處理器120通過分析聲音信號300的頻譜的振幅以獲得第三情緒指數與分析聲音信號300的頻譜的頻率以獲得第四情緒指數。處理器120綜合第三情緒指數與第四情緒指數以獲得第二情緒指數。
在本實施例中，處理器120可以不需要分析完整的聲音信號300，而是對聲音信號300進行採樣以取得多個聲音樣本，並且對這些聲音樣本SAMP1~SAMP3進行分析，例如聲音樣本SAMP1、SAMP2、SAMP3。採樣可以是隨機地，本發明不限制採樣的方式、頻率與樣本數目。處理器120對這些聲音樣本SAMP1~SAMP3分別進行振幅與頻率的分析。
舉例來說，處理器120可以先求得這些聲音樣本SAMP1~SAMP3的振幅的基準閾值，再將這些聲音樣本SAMP1~SAMP3的振幅與基準閾值進行比較，並且通過分類器(Classifier)的演算來取得聲音信號300的第三情緒指數。舉例來說，喜怒哀樂可以被分類為四個情緒象限，而處理器120可以根據使用者U說話
是否不自覺提高音量或是輕重音來判斷使用者U的情緒是落在喜怒哀樂的哪個象限，並以第三情緒指數表示之。
處理器120還可以分析這些聲音樣本SAMP1~SAMP3的語音速度並利用第四情緒指數表示結果。舉例來說，如果同一段時間內，使用者U的高音頻部分很緊湊(頻率相對高)，處理器120可以判斷使用者U是處於激動狀態。又舉例來說，通過分析聲音信號300的頻率，處理器120可以判斷使用者U是使用平緩的口氣說話，因此第四情緒指數表示使用者U的心情是屬於平靜或克制的狀態。
處理器120會綜合第三情緒指數與第四情緒指數來產生第二情緒指數，也就是說，處理器120還會根據使用者U的說話的語調來判斷使用者U的情緒狀態。
最後，處理器120會基於第一情緒指數與第二情緒指數經過加權運算後的結果來判斷情緒狀態。具體而言，情緒辨識裝置100分別根據聲音信號的語意以及語調來判斷使用者U的情緒狀態，例如喜怒哀樂。第一情緒指數是語意判斷後的結果，第二情緒指數是語調判斷後的結果。情緒辨識裝置100可能會以其中一種判斷結果為主來推測使用者U的情緒狀態，另一種斷判結果作為輔助。第一情緒指數與第二情緒指數分別有對應的加權指數，而處理器120會對第一情緒指數與第二情緒指數進行加權運算，根據加權後的結果來判斷情緒狀態。
在一實施例中，使用者U說出「我今天好快樂」。雖然字
面上表示使用者U是處於「喜」的狀態，然而這不代表使用者U是真的高興。情緒辨識裝置100還可以根據使用者U的語調來進一步判斷使用者U的情緒狀態是否跟語意相符合。在本實施例中，情緒辨識裝置100並不會僅因為使用者U說出「我今天好快樂」就直接判斷使用者U的情緒狀態是處於非常開心，情緒辨識裝置100還會參考使用者U說出這句話時的語調。處理器120綜合第一情緒指數與第二情緒指數來判斷使用者U的情緒狀態時，第二情緒指數所佔的加權比重會大於第一情緒指數的加權比重。
在另一實施例中，記憶體140還儲存使用者U的個人化歷史資料。個人化歷史資料例如包括使用者U常使用的關鍵字或是平常說話的語調特徵。個人歷史資料可以由使用者U事先自訂輸入外，也可以由處理器120自行編輯。在一實施例中，記憶體140還包括人工智能((Artificial Intelligence,AI)模組。處理器120執行人工智能模組以進行自我訓練，並更新個人化歷史資料。因此，處理器120可以綜合第一情緒指數、第二情緒指數以及個人化歷史資料來判斷使用者U的情緒狀態，以使情緒辨識裝置100能夠更適於判斷不同使用者的情緒狀態。
在一實施例中，使用者U為平時說話偏向急促激動，因此若是僅根據使用者U的語調來判斷使用者U的情緒狀態，容易將之判斷為「怒」的狀態，然而這不代表使用者U是真的生氣。因此情緒辨識裝置100可進一步根據使用者U的個人化歷史資料來對應調整聲音樣本的基準閾值，以使處理器120能更精準判斷
使用者U的情緒狀態。
之後，情緒辨識裝置100根據使用者U的情緒狀態來控制反饋裝置130對使用者U實施情緒反饋操作EF。舉例來說，當反饋裝置130包括顯示裝置時，處理器120可以控制反饋裝置130顯示文字、圖片、影片或動畫；當反饋裝置130包括揚聲器時，反饋裝置130可以發出聲音，例如音樂或說話；當反饋裝置130包括燈光時，反饋裝置130可以改變燈光的顏色、亮度甚至閃爍等等。反饋裝置130甚至還可以包括機器人，以動作與使用者U互動，例如搖晃或震動，甚至是機器人的手勢動作。本發明不限制情緒反饋操作的實施樣式。
圖4是依照本發明的一實施例的多台情緒辨識裝置的連線示意圖。請參照圖4，使用者U1的情緒辨識裝置400與使用者U2的情緒辨識裝置410還包括網路介面150。
網路介面150耦接處理器120，適於連接網路NET。網路介面150例如是支援無線保真(Wide Fidelity，WiFi)、藍芽(Bluetooth)、紅外線(Infrared Radiation，IR)、近距離無線通訊(Near Field Communication，NFC)或長期演進(Long Term Evolution，LTE)等無線傳輸技術的介面，或是支援乙太網路(Ethernet)等有線網路連結的網路卡。
使用者U1可以通過網路NET與使用者U2的情緒辨識裝置410連線以進行互動操作。互動操作例如包括：傳送訊息、設定待辦事項、設定鬧鐘、分享使用者的情緒狀態或接收基於情緒
狀態的提醒。須說明的是，多台情緒辨識裝置可以彼此連線互動，不限於2台互連。一台情緒辨識裝置也可以同時連線其他多台情緒辨識裝置並進行互動。圖4僅以2台情緒辨識裝置作為說明，但不限制。
具體而言，情緒辨識裝置400通過網路NET與情緒辨識裝置410連線。情緒辨識裝置400與情緒辨識裝置410之間可以具有即時通訊的功能或廣播功能。情緒辨識裝置400還可以進一步在情緒辨識裝置410設定鬧鐘、約會行程或是提醒事項等等。本發明並不限制多台情緒辨識裝置之間的連線互動方式。
舉例來說，使用者U1可以通過通訊軟體或廣播的方式傳送「晚餐要一起吃飯嗎？」的訊息，這個訊息可以選擇一併顯示使用者U1的情緒狀態，例如高興。如此一來，使用者U2在收到訊息時可以知道使用者U1的心情是愉快的，晚餐約會可能是想一起慶祝。在另一實施例中，使用者U1可以在使用者U2的情緒辨識裝置410設定行事曆或提醒事項，例如提醒使用者U2下班後去買醬油，並且選擇性的顯示使用者U1的情緒狀態是焦急。這樣一來，使用者U1就能了解這事件的急迫性。
在另一實施例中，情緒辨識裝置400在獲得使用者U的情緒狀態後，還會進一步詢問使用者U是否要將情緒狀態分享至社群網站或是即時通訊軟體。使用者U可以選擇是否要把自己的情緒狀態分享給親友以尋求安慰或認同。
圖5是依照本發明的一實施例的情緒辨識裝置的雲端連
線示意圖。請參照圖5，情緒辨識裝置400也可以連線到雲端伺服器500並且上傳資料至雲端伺服器500。在本實施例中，可以藉由雲端伺服器500辨識聲音信號VS的語意或分析聲音信號VS的頻譜以獲得第一情緒指數與第二情緒指數。
在另一實施例中，情緒辨識裝置400可以先對聲音信號VS進行處理，再將處理過後的結果上傳至雲端伺服器500，由雲端伺服器500基於分析後的結果來協助情緒辨識裝置400預估使用者U的情緒狀態。例如，情緒辨識裝置400可以先對聲音信號VS進行語意辨識，並把辨識後的結果上傳至雲端伺服器500，由雲端伺服器500來進行關鍵字匹配以得到第一情緒指數，或者情緒辨識裝置400可以先對聲音信號VS進行採樣，再上傳採樣後的聲音樣本至雲端伺服器500。本發明並不限制情緒辨識裝置400與雲端伺服器500之間的實施方式。
綜上所述，本發明的實施例至少具有以下其中一個優點或功效。本發明的情緒辨識裝置與方法可以根據使用者的談話內容以及說話時的口氣來判斷使用者的情緒狀態，並且給予適當的回應以回應使用者，達到人性化的交流，還可以降低判斷使用者情緒的誤差。除此之外，本發明的情緒辨識裝置之間具有連線互動的功能，可以讓使用者之間能夠知道對方的情緒，降低人與人之間溝通的壁壘，有助於增進人與人之間的相處，避免單方面誤解對方的心情。
惟以上所述者，僅為本發明之較佳實施例而已，當不能
以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用來輔助專利文件搜尋之用，並非用來限制本發明之權利範圍。此外，本說明書或申請專利範圍中提及的“第一”、“第二”等用語僅用以命名元件(element)的名稱或區別不同實施例或範圍，而並非用來限制元件數量上的上限或下限。
200:情緒辨識方法
S210~S250:情緒辨識方法的步驟
Claims (17)
- 一種具有反饋功能的情緒辨識裝置，包括:一傳聲器，適於接收一使用者的一聲音信號；一處理器，耦接該傳聲器，適於辨識該聲音信號的一語意以獲得一第一情緒指數以及分析該聲音信號的一頻譜以獲得一第二情緒指數；以及一反饋裝置，耦接該處理器，一記憶體，耦接該處理器，該記憶體儲存有一個人化歷史資料，其中該處理器適於綜合該第一情緒指數、該第二情緒指數以及該個人化歷史資料來判斷該使用者的一情緒狀態，並根據該情緒狀態控制該反饋裝置以對該使用者實施一情緒反饋操作。
- 如申請專利範圍第1項所述的情緒辨識裝置，該反饋裝置包括一顯示裝置、一揚聲器、一燈具或一機器人，其中該情緒反饋操作包括：顯示文字或影像、發出聲音或提供燈光效果或動作。
- 如申請專利範圍第1項所述的情緒辨識裝置，其中還包括：一記憶體，耦接該處理器，該記憶體儲存有多個關鍵字，其中該處理器適於通過比對該聲音信號的該語意與該些關鍵字是否匹配以獲得該第一情緒指數。
- 如申請專利範圍第1項所述的情緒辨識裝置，其中，該處理器適於通過分析該聲音信號的該頻譜的一振幅以獲得一第三情緒指數與分析該聲音信號的該頻譜的一頻率以獲得一第四情緒指數，並綜合該第三情緒指數與該第四情緒指數以獲得該第二情緒指數。
- 如申請專利範圍第1項所述的情緒辨識裝置，其中，該處理器適於基於該第一情緒指數與該第二情緒指數經過加權運算後的結果來判斷該情緒狀態。
- 如申請專利範圍第1項所述的情緒辨識裝置，還包括：一網路介面，耦接該處理器，適於連接一網路，其中，該情緒辨識裝置適於通過該網路與另一該情緒辨識裝置連線以進行一互動操作，其中該互動操作包括：傳送訊息、設定待辦事項、設定鬧鐘、分享該情緒狀態或接收基於該情緒狀態的提醒。
- 如申請專利範圍第1項所述的情緒辨識裝置，還包括：一網路介面，耦接該處理器，適於連接一網路，其中，該情緒辨識裝置適於通過該網路介面連線到一雲端伺服器，以通過該雲端伺服器辨識該聲音信號的該語意或分析該聲音信號的該頻譜。
- 如申請專利範圍第1項所述的情緒辨識裝置，更包括：一網路介面，耦接該處理器，適於連接一網路，其中，該情緒辨識裝置適於在獲得該情緒狀態後，進一步詢 問該使用者是否要將該情緒狀態分享至一社群網站或一即時通訊軟體。
- 一種情緒辨識方法，適用具有一反饋裝置的情緒辨識裝置，所述情緒辨識方法包括：接收一使用者的一聲音信號；辨識該聲音信號的一語意以獲得一第一情緒指數；分析該聲音信號的一頻譜以獲得一第二情緒指數；對該使用者建立一個人化歷史資料；綜合該第一情緒指數與該第二情緒指數以判斷該使用者的一情緒狀態；以及根據該情緒狀態控制該反饋裝置以對該使用者實施一情緒反饋操作。
- 如申請專利範圍第9項所述的情緒辨識方法，其中該反饋裝置包括一顯示裝置、一揚聲器、一燈具或一機器人，其中該情緒反饋操作包括：顯示文字或影像、發出聲音或提供燈光效果或動作。
- 如申請專利範圍第9項所述的情緒辨識方法，其中獲得該第一情緒指數的步驟包括：比對該聲音信號的該語意與多個關鍵字是否匹配以獲得該第一情緒指數。
- 如申請專利範圍第9項所述的情緒辨識方法，其中獲得該第二情緒指數的步驟包括： 分析該聲音信號的該頻譜的一振幅以獲得一第三情緒指數；分析該聲音信號的該頻譜的一頻率以獲得一第四情緒指數；以及綜合該第三情緒指數與該第四情緒指數以獲得該第二情緒指數。
- 如申請專利範圍第9項所述的情緒辨識方法，其中判斷該情緒狀態的步驟包括：基於該第一情緒指數與該第二情緒指數經過加權運算後的結果來判斷該情緒狀態。
- 如申請專利範圍第9項所述的情緒辨識方法，其中判斷該情緒狀態的步驟包括：綜合該第一情緒指數、該第二情緒指數與該個人化歷史資料以判斷該使用者的該情緒狀態。
- 如申請專利範圍第9項所述的情緒辨識方法，還包括：通過一網路與另一該情緒辨識裝置連線以進行一互動操作，其中該互動操作包括：傳送訊息、設定待辦事項、設定鬧鐘、分享該情緒狀態或接收基於該情緒狀態的提醒。
- 如申請專利範圍第9項所述的情緒辨識方法，其中獲得該第一情緒指數或該第二情緒指數的步驟還包括：通過一網路連線到一雲端伺服器，以通過該雲端伺服器辨識該聲音信號的該語意或分析該聲音信號的該頻譜。
- 如申請專利範圍第9項所述的情緒辨識方法，更包括：在獲得該情緒狀態後，進一步詢問該使用者是否要將該情緒狀態分享至一社群網站或一即時通訊軟體。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107142168A TWI704555B (zh) | 2018-11-27 | 2018-11-27 | 情緒辨識裝置與方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107142168A TWI704555B (zh) | 2018-11-27 | 2018-11-27 | 情緒辨識裝置與方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202020861A TW202020861A (zh) | 2020-06-01 |
| TWI704555B true TWI704555B (zh) | 2020-09-11 |
Family
ID=72175493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW107142168A TWI704555B (zh) | 2018-11-27 | 2018-11-27 | 情緒辨識裝置與方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI704555B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002023524A1 (fr) | 2000-09-13 | 2002-03-21 | A.G.I.Inc. | Procédé de reconnaissance d'émotion, procédé de création de sensibilité, dispositif, et logiciel |
| EP1256937B1 (en) * | 2001-05-11 | 2006-11-02 | Sony France S.A. | Emotion recognition method and device |
| TWI269192B (en) * | 2003-08-11 | 2006-12-21 | Univ Nat Cheng Kung | Semantic emotion classifying system |
| TWI395201B (zh) * | 2010-05-10 | 2013-05-01 | Univ Nat Cheng Kung | 情緒語音辨識方法及系統 |
| WO2014062521A1 (en) * | 2012-10-19 | 2014-04-24 | Sony Computer Entertainment Inc. | Emotion recognition using auditory attention cues extracted from users voice |
| WO2018200720A1 (en) * | 2017-04-26 | 2018-11-01 | The Virtual Reality Company | Emotion-based experience feedback |
-
2018
- 2018-11-27 TW TW107142168A patent/TWI704555B/zh not_active IP Right Cessation
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002023524A1 (fr) | 2000-09-13 | 2002-03-21 | A.G.I.Inc. | Procédé de reconnaissance d'émotion, procédé de création de sensibilité, dispositif, et logiciel |
| EP1256937B1 (en) * | 2001-05-11 | 2006-11-02 | Sony France S.A. | Emotion recognition method and device |
| TWI269192B (en) * | 2003-08-11 | 2006-12-21 | Univ Nat Cheng Kung | Semantic emotion classifying system |
| TWI395201B (zh) * | 2010-05-10 | 2013-05-01 | Univ Nat Cheng Kung | 情緒語音辨識方法及系統 |
| WO2014062521A1 (en) * | 2012-10-19 | 2014-04-24 | Sony Computer Entertainment Inc. | Emotion recognition using auditory attention cues extracted from users voice |
| WO2018200720A1 (en) * | 2017-04-26 | 2018-11-01 | The Virtual Reality Company | Emotion-based experience feedback |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202020861A (zh) | 2020-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11657812B2 (en) | Message playback using a shared device | |
| US20240029722A1 (en) | Audio message extraction | |
| US10943605B2 (en) | Conversational interface determining lexical personality score for response generation with synonym replacement | |
| KR102030784B1 (ko) | 디지털 어시스턴트와의 애플리케이션 통합 | |
| US10878816B2 (en) | Persona-based conversational interface personalization using social network preferences | |
| KR102599607B1 (ko) | 자동화된 어시스턴트를 호출하기 위한 다이내믹 및/또는 컨텍스트 특정 핫워드 | |
| KR102448382B1 (ko) | 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법 | |
| CN114556333A (zh) | 由助理系统启用的智能摄像机 | |
| US20230118412A1 (en) | Stylizing Text-to-Speech (TTS) Voice Response for Assistant Systems | |
| KR102356623B1 (ko) | 가상 비서 전자 장치 및 그 제어 방법 | |
| US10079021B1 (en) | Low latency audio interface | |
| US10157614B1 (en) | Message playback using a shared device | |
| CN111241822A (zh) | 输入场景下情绪发现与疏导方法及装置 | |
| US20230176813A1 (en) | Graphical interface for speech-enabled processing | |
| US10186267B1 (en) | Message playback using a shared device | |
| CN111542814A (zh) | 改变应答以提供表现丰富的自然语言对话的方法、计算机装置及计算机可读存储介质 | |
| CN112840313A (zh) | 电子设备及其控制方法 | |
| CN109326284A (zh) | 语音搜索的方法、装置和存储介质 | |
| KR20210042523A (ko) | 전자 장치 및 이의 제어 방법 | |
| TWI704555B (zh) | 情緒辨識裝置與方法 | |
| CN113050805A (zh) | 基于输入工具的智能交互方法及装置 | |
| US20240321279A1 (en) | System, apparatus, and method for using a chatbot | |
| WO2020087534A1 (en) | Generating response in conversation | |
| CN112989015B (zh) | 一种自适应的对话方法、装置、电子设备及可读存储介质 | |
| KR102771957B1 (ko) | 기동어 기반 사용자 감성 분류를 통한 맞춤형 피드백 조명 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |