成像式光體積描記術精神壓力檢測

饒 治，李炳霖，隋雅茹，嵇曉強 ，李明燁

（1. 長春理工大學 生命科學技術學院, 吉林 長春 130022；
2. 皇家墨爾本理工大學 信息系統和商業分析系, 維多利亞州 卡爾頓 3001；
3. 墨爾本大學 計算與信息系統學院, 墨爾本 3053）

精神壓力是危害人類健康的主要因素之一，長期遭受精神壓力會嚴重影響人類的心血管系統、激素水平和情緒狀態[1-3]?？煽坑行У膲毫z測方法在心理健康干預和治療中發揮著非常重要的作用，可以幫助預防和控制高強度壓力引起的疾病[4]?，F有的精神壓力檢測多采用量表和談話等方法[5-6]，依賴醫生的主觀經驗，較難客觀地反映被測試者真實的精神壓力狀態。

心率變異性(Heart Rate Variability，HRV)是壓力評估領域中十分有價值的指標。根據歐洲心臟病學會和美國心臟協會于1996年發布的HRV標準[7]，通過ECG (electrocardiogram)、PPG (photoplethysmography)計算HRV，可以通過分析交感神經系統和副交感神經系統來評估壓力[8-10]，在壓力接觸測量領域展示出良好的評估結果[11-13]。HRV結合其他生理信號用以評估精神壓力也被證明是一種有效的方法[14-15]。然而，上述基于HRV分析的檢測方法需要接觸測量，會刺激皮膚，尤其不適合敏感皮膚患者。此外，接觸性測量過程中需要專業人員(如醫生、護士、心理研究人員等)參與，還可能造成受試者情緒波動，導致壓力檢測結果不準確。

Verkruysse等人[16]通過光學傳感器發現人臉的微弱光線變化，可獲得脈搏波信號，即成像式光體積描記術(Image Photoplethysmography，iPPG)。該研究為實現視頻非接觸精神壓力檢測奠定了基礎。Kaur等人[17]在特殊光線下通過光譜相機采集面部皮膚反射信號，并進行HRV時域頻域分析。Alghoul等人[18]通過攝像頭收集面部視頻并提取HRV參數。Wei等人[19]利用HRV非線性分析，通過皮膚血紅蛋白成像來判斷放松和壓力狀態?？椎热薣20]從視頻圖像中提取了HRV信息,并與人臉表情進行融合，實現精神壓力二分類，其準確率為81.4%。

通過分析和比較現有精神壓力檢測方法發現，相對于接觸測量方法，視頻非接觸測量方法進行壓力檢測的準確率偏低，不適用于實際場景應用。針對該問題，本文通過對一種動態ROI提取方法進行改進獲取到高質量的iPPG信號，并提出了一種基于iPPG的非接觸精神壓力檢測方法，探討了iPPG在日常精神壓力檢測中的應用。該方法只需一臺智能手機，并且對于光照條件和受試者運動方面約束較低，為視頻非接觸測量的實際應用提供了可能。

本文首先從人臉視頻中充分挖掘出生物特征，并篩選出精神壓力測量特征，探討了HRV特征與日常精神壓力之間的關系；
其次，利用機器學習建立了一個用于日常精神壓力檢測的三分類器，準確度達到95.2%；
最后，本文改進了一種基于Face Mesh的動態ROI提取方法，提高了iPPG信號質量，使其更適用于復雜的實際場景。

本方法實現過程如下：(1)通過手機攝像頭采集一段人臉視頻；
(2)進行人臉識別和感興趣區域提??；
(3)獲得原始iPPG信號；
(4)對信號進行去噪和濾波處理；
(5)設計壓力誘導實驗，篩選與壓力狀態相關的HRV特征；
(6)構建機器學習模型實現日常精神壓力的三分類檢測。

2.1 成像式光體積描記術(iPPG)原理

iPPG技術通過成像設備感知由血管內血容量變化所引起的皮膚表面反射光的變化，來獲取生理信號，其生理學基礎與PPG相似。由于人體皮膚的光學性質，一般認為在可見光區域內有兩種物質對光的吸收起主導作用：血紅蛋白和黑色素，其中血紅蛋白是真皮中主要的光吸收劑[21]。環境光可以滲透過人體皮膚重新釋放，光在人體皮膚中會被面部血液中的血紅蛋白吸收，由此使得重新釋放的光與入射光相比將產生變化。這一變化難以被人眼發覺，但可以被光學傳感器捕捉，并會體現在像素上，如圖1(a)所示。心肌的收縮與舒張會改變血管內血液的充盈程度，導致臉部區域血液流量發生改變，由此導致面部反射光的強度大小發生變化。因此，可以通過攝像頭采集面部視頻以捕捉像素大小的變化，從而提取到皮下血液隨心動周期的變化信息。

圖1 iPPG基本原理圖Fig. 1 Schematic diagram of iPPG principle

人體皮膚對光的吸收是iPPG技術實現的基礎，其光學原理則是郎伯-比爾定律：當波長為 λ的單色光直射入某物質溶液時，透射光強I與發射光強I0存在如下關系：

式中， ε(λ)是介質在某特定波長中的吸收系數，C為介質濃度，L為光在介質中的傳播距離。iPPG技術中光的吸收量與血紅蛋白含量成正比，隨著心臟的跳動，血紅蛋白含量隨血液容積發生周期性改變，其反射光的強度也呈現周期性改變，如圖1(b)所示。通過光學傳感器捕捉到這種變化，并反映在圖像像素強度的變化中，再對像素點的原始曲線進行濾波即可得到人體脈搏波信號。

2.2 iPPG信號提取

iPPG信號提取過程如圖2(a)所示。首先，采集時長為3分鐘的人臉視頻，進行人臉識別，提取面部感興趣區域，獲取由心臟搏動引起的皮膚微弱顏色變化；
接下來，采用快速獨立成分分析(FastICA)、小波變換和窄帶帶通濾波，實現iPPG信號的提取和去噪，獲得高信噪比的iPPG信號；
最后對iPPG信號進行心率變異性分析，提取時域、頻域、非線性參數特征。

圖2 iPPG信號處理結果。（a）iPPG信號提取流程；
（b）動態ROI提取過程；
（c）不同ROI提取的iPPG信號；
（d）R-R間期提取 Fig. 2 Result of iPPG signal processing. (a) iPPG signal extraction process; (b) dynamic ROI extraction process; (c) iPPG signal extracted by different ROI; (d) extraction process in R-R interval

2.2.1 圖像預處理

在視頻采集過程中實驗對象會出現不同程度的運動，這會使iPPG提取的信號中存在運動偽影，影響信號質量，本文引入并改進了一種動態ROI提取方法來解決運動偽影問題。

Li等人[23]引入了新的ROI提取框架，首先對視頻的第一幀進行人臉識別，再從人臉的68個關鍵點中選取9個關鍵點來確定第一幀的ROI掩模。接下來，使用KLT (Kanade-Lucas-Tomasi)算法[24]跟蹤人臉矩形框的特征點[25]，得到前后兩幀圖像特征點的仿射變換矩陣，根據仿射變換矩陣就可以獲取下一幀圖像的9個關鍵點位置。最后，根據這9個關鍵點位置就可以確定下一幀的ROI掩模，從而實現動態ROI的選取。

上述動態ROI提取框架的關鍵步驟是對人臉關鍵點進行實時檢測并跟蹤。本文采用一種輕量級的基于端對端的神經網絡模型——Face Mesh[26]。該模型可以精準檢測人臉的關鍵點，其能預測人臉468個3D關鍵點，并對眼睛和嘴唇區域添加了注意力機制，因此，可以更加精準地檢測這部分區域的關鍵點，便于后續提取。Face Mesh采用機器學習推斷3D表面的幾何形狀，以適應不同的拍攝距離，而且還集成了追蹤模塊，滿足從視頻幀流中實時獲取動態ROI的需求。

本文的動態ROI提取流程及結果如圖2(b)所示?？梢娫讷@取人臉視頻后，對第一幀圖像采用Blazeface人臉檢測器進行人臉檢測，同時該檢測器生成一個旋轉的矩形框用于人臉對齊[27]。將人臉矩形框輸入Face mesh關鍵點檢測器中，返回人臉468個關鍵點。接下來，根據目標ROI需要，選取若干個合適的關鍵點用于繪制臉部皮膚區域的掩模。同時，Face mesh追蹤模塊可以根據從第一幀圖像獲取的468個關鍵點來預測第二幀人臉矩形框，并將其輸入Face mesh關鍵點檢測器，從而實現第二幀的關鍵點檢測。按照上述提取方式提取后續幀的ROI，從而獲得人臉動態ROI序列。

對上述ROI序列進行顏色通道分離，并分別計算單個通道中所有ROI圖像的像素均值，從而繪制像素均值曲線，即原始的iPPG信號。一般而言，ROI面積越大，得到的iPPG信號越平穩，考慮到臉頰和前額的皮膚相對光滑，血管分布比較密集，非剛性運動干擾較少，因此本文選擇圖2（b）中ROI_3作為提取iPPG信號的感興趣區域。

為了檢驗動態ROI提取方法的效果，將其與固定ROI提取方法進行對比。一般而言，固定ROI提取方法首先檢測人臉，再通過幾何關系截取出一個固定的矩形人臉區域。本文選擇的固定ROI區域為圖2（b）中的人臉矩形區域(ROI_1)，將其與動態ROI提取到的整個面部區域(ROI_2)進行對比。兩種ROI得到的iPPG信號如圖2（c）所示?？梢?，相對于ROI_2，ROI_1得到的iPPG信號峰值不明顯，信號質量較差，這是由于固定ROI提取方法會摻雜一些背景信息，而且被測對象的一些微小運動對iPPG信號的影響很大。

接下來，本文對基于圖2（b）中ROI_2和ROI_3（額頭和面頰合成的皮膚區域）提取的iPPG信號進行分析，結果如圖2（c）所示?？梢?，采用ROI_3提取的iPPG信號波形較理想，能獲取到更好的生理信號特征。相較于ROI_2，ROI_3避開了眼睛、嘴巴，基本上去除了眨眼、微笑、說話等動作帶來的非剛性運動的干擾。

2.2.2 iPPG信號處理

原始iPPG信號中通?；祀s著呼吸信號以及與心臟搏動無關的其他生理信號。同時，在實驗過程中會存在著采集設備自身的干擾、光照變化等帶來的噪聲。而且信號源和通道狀態未知，不能通過單一濾波器直接濾除噪聲信號[28]。

FastICA是在原始ICA基礎上建立的一種快速不動點方法，并采用牛頓迭代法保證收斂，在迭代過程中無需人為設置參數，相比于ICA算法，其具有更快的收斂速度，且更加簡單方便。FastICA算法流程如下：

（1）輸入白化矩陣X=(x1,x2,x3)，輸出的獨立成分為：Y=(y1,y2,y3)；

（2）設置需要估計的獨立分量個數n，當前獨立分量的標號為count，初始化count=0；

（3）初始化權值向量w0；

（4）對權值向量w進行調整：

（a）帶入矩陣迭代公式（2），得到新的w′：

式中，g(·)表 示非線性函數，E(·)表示均值操作；

（b）帶入矩陣正交化公式（3），得到正交化后的w：

（5）歸一化處理：

（6）判斷是否收斂。若收斂，則提取一個獨立成分y=wTX，并執行步驟（7）；
若不收斂則返回步驟（4）；

（7）count+1，當count＜n時，執行步驟（3），否則算法結束。

本文首先使用FastICA算法從原始iPPG信號中的3個通道的信號中分離出獨立信號y1(t)、y2(t)、y3(t)。人類的血液更容易吸收綠光，因此綠色通道包含更多有效信息。本文計算了每個獨立分量和綠色通道的Pearson相關系數：

式中，n為 樣本數量，、代表樣本均值，σY、σG為樣本標準差。實驗發現，第三個獨立分量與G通道的皮爾遜相關系數最高，其絕對值為0.93。因此，選擇這一獨立分量作為iPPG信號進行后續的濾波處理。

通過FastICA獲得的獨立分量中依然包括高頻噪聲和基線漂移，針對這一問題，本文采用小波變換對信號進行進一步的濾波處理。小波基函數的選擇會影響信號處理結果，根據脈搏波信號的特點，選取了“db8”小波。手機攝像頭的采集頻率為30 Hz，根據采樣定理，從視頻中獲取的信號頻率為0～15 Hz。采用db8小波基進行6層小波分解，得到的每一層信號頻帶范圍分別為CD1（7.5～15 Hz）、CA1（0～7.5 Hz）、CD2（3.75～7.5 Hz）、CA2（0～3.75 Hz）、CD3（1.875～3.75 Hz）、CA3（0～1.875 Hz）、CD4（0.937 5～1.875 Hz）、CA4（0～0.937 5 Hz）、CD5（0.468 75～0.937 5 Hz）、CA5（0～0.468 75 Hz）、CD6（0.234 375～0.468 75 Hz）、CA6

（0～0.234 375 Hz）。本文默認正常人心率范圍為60～200 bmp，其對應的頻率范圍是1～3.33 Hz。iPPG信號集中在第三、四層分解信號中，頻帶為0.937 5～3.75 Hz。本文將這兩層信號結果進行疊加，作為去除基線漂移后包含心跳頻率范圍的小波重構波形。為了進一步消除噪聲，采用窄帶帶通濾波器，通頻帶設置為1～3.33 Hz。FastICA、小波變換和窄帶帶通濾波相結合可以有效消除一些光照變化、運動偽影、電子噪聲等無規律噪聲對信號產生的干擾，最終得到高信噪比的iPPG信號。

R-R間期是HRV分析的基礎，在240 Hz采樣頻率下對iPPG信號進行三次樣條插值，再通過峰值檢測得到R-R間期，結果如圖2(d)所示。

2.3 基于HRV分析的精神壓力檢測

對處理后的iPPG信號進行HRV分析，提取其時域、頻域、非線性特征共17個，如表1所示。接下來，為了篩選出能夠真正反映精神壓力的特征值，在實驗室環境下采用心算任務進行壓力應激誘導[29-30]，探究放松與壓力狀態下特征的變化，共篩選出14個有效反映精神壓力狀態的HRV參數。

最后，本文設計了日常精神壓力采集實驗，根據多級壓力數據與心理醫生評估結果構建機器學習模型，將篩選出來的14個特征輸入到機器學習模型中進行訓練。在比較了SVM(Support Vector Machine)、KNN(K Nearest Neighbors)、RF(Random Forest)等幾種機器學習模型后[31-33]，選擇隨機森林RF作為壓力識別模型。

表1 HRV特征Tab. 1 HRV characteristics

本文的隨機森林模型是基于CART (Classification and Regression Tree)決策樹搭建的，使用基尼系數代替信息增益比。將訓練集設置為總樣本的70%，采用交叉驗證網格搜索方法對模型參數進行優化，進行一個K倍交叉實驗(K=10)，依次選擇其中一個作為驗證集，剩余的K-1用作交叉驗證的訓練集，最終構建了精神壓力識別的三分類器。將壓力狀態分為低壓、中壓和高壓3種，分別標記為0、1和2。

精神壓力檢測實驗分為兩部分。第一部分是精神壓力誘導實驗，目的是通過人為調整實驗樣本的壓力狀態，并比較放松到壓力狀態下特征參數的變化趨勢，篩選出能夠有效評估精神壓力的HRV特征用于精神壓力檢測。第二部分是日常精神壓力檢測實驗，選取在實際生活中處于壓力狀態的樣本，該樣本在一段時間內會一直處于壓力狀態，對實驗對象一段時間內的長期壓力狀態進行評估。兩部分實驗樣本相互獨立，互不重合，實驗描述如表2所示。精神壓力檢測實驗是在室內下進行的，光照條件較為穩定。但為了進一步降低光照對信號質量的影響，在采集面部視頻過程中，盡量避免光照極端條件，如強光、曝曬、光照不足或光照劇烈變化等情況。

表2 實驗描述Tab. 2 Description of the test

3.1 壓力誘導實驗及結果

壓力誘導實驗流程如圖3(a)所示。實驗包括兩個階段的信號收集和一個階段的心理任務執行。在第一次信號采集之前，設定了10分鐘的放松階段，確保受試者在實驗開始時不會緊張或焦慮。第二次信號采集是在完成心算任務后，心算準確性可用于判斷實驗對象是否專注。

為了探索與心理應激相關的特征，對壓力誘導前后獲得的17個HRV特征進行分析。通過配對t檢驗(95%置信區間)，篩選出兩個實驗之間存在顯著差異的特征，用于后面的日常精神壓力檢測實驗。實驗結果表明：
std_hr、 SD2/SD1、Sampen三個特征的p值均大于0.05，不予采納。分析了從放松狀態到壓力狀態下其余14個特征參數的變化趨勢，壓力誘導實驗前后特征值的變化如圖3(b)所示。結果顯示， HR顯著增加，

圖3 壓力誘導實驗及結果。（a） 壓力誘導實驗過程；
（b） HRV特征參數變化箱形圖Fig. 3 Stress-induced test and result. (a) Stress induction test process; (b) box diagram of HRV characteristic parameter change

SDNN、PNN50、PNN20、R MSSD、SDSD、CVSD、CVnni顯 著下降，TP顯 著降低， LFnu顯著升高，HFnu 顯 著降低，L F/HF顯 著升高，S D1、S D2顯著降低，以上變化與心理學研究結論一致[17]。

3.2 日常精神壓力識別實驗及結果

實驗開始前，首先安排實驗對象填寫心理醫生提供的心理評估量表，并采集3分鐘面部視頻。接下來，由心理醫生標注出樣本的精神壓力結果：低、中、高壓狀態，將其作為樣本的壓力標簽。日常精神壓力識別系統流程圖如圖4(a)所示，在獲取視頻后提取HRV特征，將由壓力誘導實驗篩選出來的特征和心理醫生標注的標簽用于訓練機器學習模型。

實驗樣本共計67個，訓練集與測試集以7：3進行分割。為了比較初始模型性能，對單個機器學習分類模型進行多次訓練，然后取均值，避免單次訓練的隨機性。本文比較了SVM、KNN、BP、RF分類器,且都采用十折交叉驗證進行訓練，不同機器學習分類器在日常精神壓力檢測的準確率結果如圖4（b）所示。其中，隨機森林模型表現最好。接下來，本文對隨機森林進行了網格搜索操作，進一步優化參數。當樹的最大深度為16，決策樹數量為41時，隨機森林模型性能最佳，日常精神壓力識別的準確率達到了95.2%（RF+）。

圖4 日常精神壓力檢測系統。（a）日常精神壓力檢測系統的流程；
（b）不同機器學習分類器在日常精神壓力檢測的準確率對比；
（c）基于隨機森林的日常精神壓力檢測模型圖；
（d）基于隨機森林的日常精神壓力檢測的ROC曲線Fig. 4 Daily mental stress detection system. (a) Process of daily mental stress detection system; (b) accuracy comparison of daily mental stress detection by different machine learning classifiers; (c) a random forest-based model for detecting daily mental stress; (d) ROC curves for daily mental stress detection based on random forest

采用ROC曲線來反映模型對于日常精神壓力狀態的檢測性能。ROC曲線的橫坐標與縱坐標沒有相關性，ROC曲線越靠近（0，1）點，代表模型越好。AUC是ROC曲線與x軸圍成區域的面積，AUC的數值可以用來衡量分類器的好壞，AUC越高，代表分類效果越好。隨機森林參數優化后的ROC曲線如圖4（d）（彩圖見期刊電子版）所示，結果表明該模型在日常精神壓力檢測方面表現優秀。

本文對比了目前幾個精神壓力檢測相關的研究工作，結果如表3所示。Healey[13]使用接觸性傳感器獲取EKG、EMG、EDA、GSR生理信號，得到97.4%的識別準確率，能有效檢測壓力水平。但是，在實際應用中，接觸式傳感器有很大的局限性，會給被測對象帶來“白大褂”現象，檢測不方便，使用場景也有一定的限制。Kuar[17]使用LDA（Linear Discriminant Analysis）和LR（Logistic Regression）分類器實現了非接觸式的壓力三元分類檢測，但是需要特定的相機，應用受限，而且該研究準確率僅為75%，遠低于本文方法的準確率（95.2%）?？譡20]使用普通相機，融合了9個HRV特征和一個表情特征，僅實現了非接觸式壓力檢測的二分類，準確率僅為81.4%，低于本文的三分類準確率。

表3 壓力檢測相關工作的比較Tab. 3 Comparison of pressure detection-related work

相對于以上精神壓力檢測方法，本文提出的方法由于在提取iPPG信號環節進行了一定的優化，使得iPPG信號質量大大提高。本文深度挖掘HRV特征，采用單模態方式實現了基于面部視頻的非接觸式日常精神壓力三分類，準確率達到了95.2%。而且由于測量方法簡單，易于操作，不會影響受試者的正常心理和精神狀態，更適用于復雜的實際場景且可推廣到更多分類，可廣泛用于心理健康領域的檢測。

成像式光體積描記術是一種無創傷、低成本、簡單、非接觸的光學測量技術，可以用來測量日常生活中的精神壓力。本文通過手機攝像頭采集面部視頻并提取iPPG信號，再根據iPPG信號進行HRV分析，而且設計壓力誘導實驗用于特征篩選，構建機器學習模型來檢測日常生活中的精神壓力。實驗結果表明：本文的日常精神壓力檢測系統表現優異，實現了高精度的日常精神壓力三分類檢測任務。

從學術角度來看，本研究從人類面部視頻中挖掘生物特征，并將這些特征與他們的精神壓力聯系起來；
此外，本文利用機器學習建立一個用于日常精神壓力識別的三分類器，準確率達到95.2%。從實際角度來看，這種方法不需要佩戴任何傳感器或收集生物樣本，只使用智能手機就能準確檢測人類的日常精神壓力水平，顯示了其作為一種有效工具在心理學研究中的潛力；
這種方法不需要長期測量，適合臨床心理診斷和日常壓力監測。

本文方法的主要局限性在于樣本量及其應用范圍，未來將擴增樣本數量，在更大的人群（包括心理疾病患者和以及其他高壓群體）中進行實驗。