文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.2017.02.016
中文引用格式： 李英春，尤磊，賀靖康，等. 基于生理信號的情緒識別腕戴設備[J].電子技術應用，2017，43(2)：69-72，76.
英文引用格式： Li Yingchun，You Lei，He Jingkang，et al. Emotion recognition wristband device based on physiological signals[J].Application of Electronic Technique，2017，43(2)：69-72，76.
0 引言
情感計算的概念是由美國MIT媒體實驗室的PICAR R提出的，是指對與情緒有關的、由情緒引發的、或是能夠影響情緒因素的計算。情緒不僅有內心體驗和外部行為表現，同時伴隨著復雜的神經過程和生理變化。情緒可由表情、語音、姿態、文本等非生理信號進行感知，但人體的生理信號不易偽裝，可獲得更加客觀有效的結果[1]。針對基于生理信號的情緒識別，國內外科研工作者做了大量的研究，PICARD R等采集了不同情感狀態下皮膚電反應、血容量波動、肌電信號、呼吸作用的4種生理信號，得到針對8種情緒81%的識別準確度[2]。KIM K H等開發了一種基于多用戶生理信號的短時監控情緒識別系統，使用支持向量機對悲傷、壓抑、驚奇和憤怒4種情感狀態進行分類識別[3]。劉光遠等通過多導生理記錄儀MP150采集多種生理信號，利用Fisher、k-NN等智能算法進行特征提取和分析，識別6種基本情感狀態，獲得60~90%的識別率[4，5]。
現代科學技術提供了基于生理信號的情感識別方法，但是通常需要昂貴笨重的設備，影響了用戶體驗效果及市場應用。伴隨著無線通信技術、嵌入式及傳感器技術的快速發展，可穿戴式智能設備在醫療、健康等多個領域表現出重要的研究價值和應用潛力[6]。本文針對情感計算設計了一種基于生理信號的情緒識別腕帶設備。
1 系統總體設計
皮膚電反應和心率變化是反映人體心理的放松和緊張程度、情緒波動、性格特征的重要依據。1890年，Tarchanoff發現機體在視、聽、痛等感覺刺激及情緒激動時皮膚兩點之間電阻降低，他將這種現象稱為皮膚電反射（Galvanic Skin Response，GSR）。然而由于環境溫度或人體運動的影響，皮膚溫度隨之發生變化，GSR信號會受到干擾，同時人體運動時會造成心率偽像，導致生理信號測量不準，因此，增加了對皮膚溫度及加速度的測量。系統總體框架如圖1所示。
2 硬件設計
2.1 生理信號及動力學信號采集單元
2.1.1 皮膚電及皮膚溫度測量
人們情緒變化時,交感神經活動度發生變化,汗腺分泌活動改變，由于汗液中存在大量的電解質，從而導致皮膚的導電性發生變化。對于情緒這種難以檢測的心理活動，利用皮膚電阻進行測定成為了最有效的方法。皮膚電阻阻值較大，一般在2 kΩ~50 kΩ之間，而由情緒、呼吸變化引起的皮膚電阻變化幅度很小，需對其進行較大幅度的放大。皮膚阻抗測量電路如圖2所示。
通過兩個接觸探針測量皮膚的阻抗，經過阻-壓轉換調理電路獲得微弱的變化信號，再由差分放大電路濾除干擾最終獲得皮膚阻抗相對變化情況。
由于外界環境溫度的變化會影響到汗腺分泌情況，從而影響GSR信號，因此需增加一個溫度傳感器來研究溫度對GSR信號的影響。本設備采用Maxim數字溫度傳感器DS18B20Z，它提供9～12 bit攝氏度溫度測量數據，通過1-Wire總線通信，可直接將溫度轉化成串行數字信號供MCU處理。應注意DS18B20主要通過GND引腳檢測溫度，腕帶設備通過底部金屬探針接觸皮膚，作為GND引腳和被測熱源（皮膚）之間的良好導熱通道。
2.1.2 心率測量
心率測量基于光電容積脈搏波描記法[7]（Photoplethysmography，PPG）,采用SON7015心率傳感器，其集成高靈敏度光感IC，2個綠光LED以及低噪聲的前置放大器。測量時，利用峰值波長為550 nm的綠光LED照射腕部皮膚表面，根據朗伯-比爾定律(Lamber-Beer′s Law)，通過測量動脈血管的組織容積在心臟波動時的微小變化造成的反射光強度變化，獲得微弱的心率原始信號。該信號的幅值為10 μV～5 mV，其典型值為1 mV，在處理時若要求輸出達到1 V左右，則放大倍數要做到1 000倍左右。采用具有較高的共模抑制比的OPA4313運算放大器，實現放大后的信號無失真、低噪聲等要求。通過濾波和放大及比較電路得到較好的方波輸出，如圖3所示。設T為輸出的方波中2個上升沿之間的時間差，則每分鐘心跳數BPM為：
在MCU中可經過兩次捕捉事件得到時間間隔T，利用式(1)計算得到BPM，實現動態心率的測量。然而在實際測量中面臨兩大問題：首先環境光的干擾使得測量信號中易出現較大的噪聲信號，可通過腕帶式的結構設計來減小環境光影響；其次，當傳感器與腕部發生相對運動時，對信號波形的形狀亦會產生干擾，通常稱為運動偽跡，強烈的運動偽跡遠遠大于心率信號，嚴重破壞輸出的心率信號波形，從而影響到心率測量的準確性。因此，需通過加速度傳感器研究運動狀態對心率的影響。
2.1.3 動力學信號測量
采用NXP半導體公司MMA8452Q三軸加速度傳感器，其可感受X、Y、Z 3個自由度的加速度信號，全方位感知人體運動信息。采集的加速度數據可以通過傳感器內部的高通濾波器實時輸出，輸出信號已被轉換為12 bit數字量信號，通過I2C接口為MCU讀取。在MCU中利用式(2)計算x、y、z 3個方向加速度的矢量長度和，獲得運動的幅度（magnitude）軌跡：
人體最快的跑步頻率為5 Hz，即相鄰兩步的時間間隔至少大于0.2 s，設置最小時間間隔，從而在計步過程中過濾掉高頻噪聲。同時，通過設定幅度閾值來判斷運動是否有效，通過對峰值次數的累加，可得到用戶的步數及用戶的運動狀態。步行狀態下加速度矢量和的變化如圖4所示。
2.2 信號處理及無線通信單元
基于ARM Cortex-M處理器的MCU是針對智能腕帶的最佳解決方案[8]，本設備采用STM32L052作為腕帶設備的主控，片上集成了同類型MCU中功耗最低的12 bit模數轉換器(ADC)，在10 kb/s的采樣率下功耗僅為48 μA。通信單元采用Dialog公司藍牙芯片DA14580，它集成無線收發器和基帶處理器，發射電流低至3.4 mA，接收電流低至3.7 mA，可在超低功耗下提供非常好的射頻性能及靈活的外圍配置。在DSPS(Dialog Serial Port Service)的基礎上進行串口透傳功能開發，實現數據的傳輸。
2.3 電源管理及無線充電
腕帶設備如圖5所示，由鋰離子可再充電電池LIR2032經XC6206 3.3 V/0.5 A穩壓芯片后提供3.3 V電壓供整個系統使用。MCU采集電池分壓電路后電壓值，映射成電池剩余電量。選用IDT公司P9235B+P9025AC無線充電解決方案進行穿戴設備的擴展，其中接收端P9025AC內置集成同步全橋整流器和LDO輸出級，將輸入的無線電源信號轉換為5 V/0.4 A的穩壓輸出，通過PJ4054單片鋰離子電池恒流/恒壓線性電源管理芯片給電池充電。系統具有過溫過壓過流保護，充滿電可自動關閉發送。
3 軟件設計
3.1 下位機
軟件分為發送和接收兩部分，接收部分主要涉及智能終端控制腕帶設備上的LED情緒指示燈，用于消息提醒的振動馬達和低功耗模式開啟等；發送部分主要包括MCU對各個生理信號的處理算法，其中發送主程序流程如圖6所示。通過判斷當前運動狀態，將處于劇烈運動時采集到的心率及皮電數據不再發送，從而確保上位機最終獲得穩定可靠的生理信號數據。
3.2 上位機
為了便于腕帶設備的校正及后期數據分析，搭建基于LabVIEW數據采集系統，主要包括串口交互、數據處理及顯示2個程序塊。首先，通過接入計算機USB端口的藍牙適配器進行無線連接，利用VISA節點進行串行通信編程，數據接收部分主程序框架采用狀態機模型：條件結構+While循環+事件結構。在傳輸數據之前，下位機程序中已給生理信號及其他非生理信號(運動幅值、電量、步數)等數據變量定義校驗幀頭，用于甄別是否為有效數據，當與預先定義的所有幀頭均一致時，上位機接收相應數據。然后，各幀依次執行串口配置及控件的初始化，采集下位機的數據并顯示在前面板的數值框和波形圖中，同時將數據寫入電子表格文件。最后，關閉串口通信及釋放程序。
3.3 移動應用
在移動客戶端,利用藍牙的API進行藍牙設備的連接和數據的收發,實現對腕帶設備的控制,并建立用戶表。在本地用SQLITE進行用戶數據和生理信號中特征值的存儲。使用Android圖表引擎AChartEngine，建立定時任務刷新圖表，顯示所需的波形曲線。應用界面如圖7所示。
客戶端借助第三方云服務，通過Apache HTTTP Client連接服務器后以Json形式傳輸數據。服務端基于MVC模型設計用戶登錄和注冊的Severlet以及用戶表、用戶狀態表、各個設備信號檢測記錄表和文件存儲。
4 實驗分析
從離散和維度兩種視角來建構和理解情緒空間，將具有顯著特征的離散的情緒狀態以維度化的方式表達，如圖8所示。
研究情緒識別的可行性，很大程度上依賴于情感的誘發方法，本文采用視頻刺激及情感情境誘發相結合獲取個體的不同情緒狀態[9]。分別提取具有較強烈的情感狀態下的數據，包括興奮、緊張、中性及溫熱性出汗，截取其中5 min內的數據，如圖9所示。
通過用戶的主觀評價標記訓練樣本并使用有監督的機器學習算法——BP神經網絡。該網絡的主要特點是信號前向傳遞誤差反向傳播，包括輸入層、隱含層及輸出層三層。
首先，使用式(3)，應用最大最小法對生理信號進行歸一化處理：
式中，xk是數據樣本；xmax和xmin分別是數據序列中的最大值和最小值。
其次，根據生理特征信號特點確定BP神經網絡的結構為3-4-4，隨機初始化BP神經網絡權值和閾值。
最后，用訓練好的BP神經網絡分類生理信號測試數據。BP神經網絡分類正確率如表1所示。
雖然生理信號可以客觀地反映人的情感狀態，但是對喚醒度較高的情感才有良好的識別效果。若要進行多種情感的分類，如驚訝、輕蔑、惡心等，則需要將生理信號同表情、語音、身體姿態等其他方式進行融合。如圖7中所示，通過調用前置攝像頭獲取用戶面部表情，結合微軟公司認知服務中的人臉情緒識別API來實現更多樣更準確的情感識別。
5 結論
本文設計了一種基于STM32L052K8的低功耗生理信號采集腕帶設備，通過低功耗藍牙將采集的生理信號發送至具有藍牙4.0接口的智能設備端，利用BP神經網絡對生理信號進行分析處理，識別興奮、緊張及中性3種情緒狀態，獲得了較高準確性。
參考文獻
[1] 張迪，萬柏坤，明東.基于生理信號的情緒識別研究進展[J].生物醫學工程學雜志，2015，32(1)：229-234.
[2] PICARD R，VYZAS E，HEALEY J.Toward machine emotional intelligence analysis of affective physiological state[J].IEEE Transactions Pattern Analysis and Machine Intelligence，2001，23(10)：1175-1191.
[3] KIM K H，BANG S W，KIM S R.Emotion recognition system using short-term monitoring of physiological signals[J].Medical and Biological Engineering and Computing，2004，42(3)：419-472.
[4] YANG Z F，LIU G Y.Emotion recognition based on nonlinear features of skin conductance response[J].Journal of Information & Computational Science，2013，10(12)：3877-3887.
[5] YAN F F，LIU G Y，LAI X W.The research on material selection algorithm design with improved OWA in active regulation system based on human-computer interaction[J].Journal of Information and Computational Science，2013，14(9)：4477-4486.
[6] 謝凌欽，石萍，蔡文杰.可穿戴式智能設備關鍵技術及發展趨勢[J].生物醫學工程與臨床，2015，19(6)：635-640.
[7] 石萍，喻洪流.光電容積描記技術原理及其應用[J].生物醫學工程學雜志，2013，30(4)：899-904.
[8] 吳灶全，劉夢星，秦麗平，等.基于ARM Cortex-M0+內核的穿戴式醫療設備MCU選型分析[J].中國醫療器械雜志，2015，39(3)：192-196.
[9] 趙國朕，宋金晶，葛燕，等.基于生理大數據的情緒識別研究進展[J].計算機研究與發展，2016，53(1)：80-92.
作者信息:
李英春1，尤 磊1，賀靖康1，周 柯2，趙立強1，李 燁1
（1.陜西科技大學 電氣與信息工程學院，陜西 西安710021；2.西安滄海網絡科技有限公司，陜西 西安710000）