引入注意力機制的后交叉韌帶斷裂的智能輔助診斷

李玳 王天牧 張思 謝福貴 劉辛軍 聶振國 劉振龍

1北京大學第三醫院運動醫學科，北京大學運動醫學研究所，運動醫學關節傷病北京市重點實驗室（北京 100191）

2清華大學機械工程系摩擦學國家重點實驗室（北京 100084）

3清華大學精密/超精密制造設備與控制北京市重點實驗室（北京 100084）

膝關節后交叉韌帶斷裂難以通過直接觀察的方式進行快速準確診斷[1，2]。然而，基于足-膝偶聯關系，通過分析人行走過程中足底與地面作用關系，能夠間接對膝關節病變進行評估[3-5]。通過分析步態周期內的足底壓力分布峰值，借助智能算法對步態的特征進行提取與分析，有望實現對膝關節后交叉韌帶快速、準確的智能輔助診斷[6，7]。

足底壓力分布信息在形態上類似于二維圖像信息，但不同于圖像分類領域的圖像，由于傳感器元件尺寸限制，使用傳統的卷積神經網絡很難對其中的特征進行提取。同時，足底壓力信息圖像中存在大量“無效”的背景信息與噪音，因此，需要依賴智能算法主動對信息進行篩選。換而言之，所使用的智能算法需要能夠主動地對“有效”信息進行識別與檢測，并通過在訓練中賦予這些信息更多的權重，從而實現對整體足底壓力信息的更好處理與分類，最終實現對后交叉韌帶斷裂的準確診斷。

深度學習作為仿生學在計算機領域的應用，神經網絡的結構也廣泛得到了生命體的特征啟發[8]。自注意力機制是仿生學在深度學習領域的重點應用之一[9-11]。在本研究提出的Pressure Transformer網絡中，輸入的足底壓力信息圖像被劃分成多個小圖塊。通過使用自注意力網絡結構，在訓練過程中計算出每個小圖塊對最終預測結果的貢獻程度。并且，根據貢獻程度的不同，賦予貢獻程度大的圖塊更高權重，在提取有效特征的同時也避免了大量無效噪音的干擾，實現對后交叉韌帶斷裂的智能輔助診斷。本研究使用后交叉韌帶斷裂患者步行時的足底壓力信息對所提出的深度學習網絡模型進行了訓練與驗證。模型在測試集上的預測準確度達到了92.02%，較傳統的卷積神經網絡有顯著提升。同時，所采用的深度學習方法經過熱點圖分析，有效地提取了足底壓力信息的邊緣和重點區域的壓力特征信息，證明了引入自注意力機制能夠顯著提升足底壓力信息分析的準確性，并對后交叉韌帶斷裂輔助診斷有顯著指導意義。

隨著5G技術的發展與數字化醫療需求的提出，基于醫學圖像學的智能診斷方法近些年來正不斷涌現[12]。足底壓力圖像信息作為一種特殊的足底生理物理信息，也能夠被處理成一類特殊的醫學圖像。國內外學者和醫生正嘗試使用機器學習和深度學習的方式，通過對足底壓力進行特征提取和分類，實現對下肢疾病的智能輔助診斷[13]。在醫學圖像學領域的深度學習模型中，卷積神經網絡（convolutional neural network，CNN）[14]是一種應用最廣泛的深度學習模型。在卷積神經網絡中，通過在圖像的長、寬維度使用滑動的卷積核對相應位置進行卷積處理，從而提取邊緣與輪廓信息，進行最終分類。卷積神經網絡在圖像處理領域有著較好效果，在CT 圖像診斷領域有著廣泛應用[15]。部分學者也基于CNN對足底壓力信息進行提取并研究其在疾病輔助診斷領域的應用。Wang等[16]基于一個完整步態過程中的最大足底壓力值信息，采用雙層卷積結構，實現了糖尿病足的分類預測。黃紅拾等[7]基于CNN模型，在使用投票法處理的二維足底壓力信息分類中，得到了較高的分類精度。

然而，不同于傳統的醫學圖像，足底壓力信息圖像由于傳感器尺寸限制，其分辨率遠低于CT 與MRI 影像；
并且受到傳感器性能限制，在足底壓力信息采集過程中受到較多的噪聲干擾；
同時，由于不同測試者的足底尺寸大小分布范圍大，在實現歸一化過程后，足底壓力信息圖中會有較多無意義的白噪音區域。傳統的卷積操作將整張圖片作為感知野[17]，對上述這種低分辨率、噪音多、無效區域大的特殊圖片的信息提取能力不強。與此同時，卷積算法中的每一隱藏層中，卷積互相獨立。這意味著卷積神經網絡不能從空間中對特征進行關聯，只能單純地提取離散的空間特征，不適應于處理這類噪音大、分辨率低的圖像。因此，在實際的應用中單純使用CNN 網絡進行預測的效率較低，準確度難以得到很大提升。

在針對足底壓力的分析與診斷過程中，一種針對足底不同區域使用機器學習如主成分分析（principle component analysis，PCA）的方法給了我們很大的啟發。Li等[18]借助足底壓力中心（centreof pressure，COP）曲線法和ELM 神經網絡，通過分析患者足底壓力中心的變化特征，實現了步態的分類和智能輔助診斷。Cock 等[19]基于K 聚類將足底區域劃分為多組典型區域，根據不同區域的壓力變化特點提取各區域的主成分，從而實現對運動過程中足膝負載進行分析。Jie等[20]基于C 模糊聚類實現了對交叉韌帶損傷的輔助診斷。上述研究分析了足底壓力中特定區域的特征，并通過提取這些特定空間位置的足底壓力特征，實現對疾病的分析與輔助診斷。在深度學習領域，這種關注與空間分布位置、對圖像中具體空間位置進行特征識別的方法近些年來也成為研究熱點。受到仿生學啟發以及人類在認知過程中習慣于將注意力集中在關鍵目標這一特點，一種名為“注意力”的機制在深度學習領域被提出并在自然語言處理、圖像識別過程中得到廣泛應用。

“注意力”機制最早被應用于自然語言處理，用于關聯在上下文中對語義影響最大的關鍵詞。隨著計算機視覺的發展以及學者對圖片結構理解的深入，Dosovitskiy等[21]提出了ViT（vision transformer）網絡模型，將注意力機制引入到了圖像識別領域，通過將初始圖像劃分成多個16×16像素的區塊，以及位置編碼等方式，結合注意力方法，對不同位置的區塊給予不同的權重。在ViT 網絡中，由于對圖塊進行了位置的編碼即空間序列化，網絡能夠更有效地關注圖塊間的空間位置聯系，從而能夠更好地提取全局的“上下文”特征，最終更好地實現對目標的識別與分類。ViT 以及類似的網絡已經被廣泛應用于醫學影像學中。Valanarasu 等[22]基于ViT，提出了MedicalTransformer，用于對醫學影響進行智能分割。Duong 等[23]利用ViT 和遷移學習，實現了基于肺部X 射線圖的結核病智能診斷。Park 等[24]利用ViT研究分析了肺部X射線圖像，實現了對Covid-19的智能診斷。

2.1 數據準備

本研究建立的Pressure Transformer 是一種監督學習模型，因此在進行數據集準備過程中，需要由專業臨床醫師對所采集的足底壓力數據進行分類。結合臨床實際需求，本研究的數據集中包含了3 類標簽：健康人、左側單純后交叉韌帶斷裂患者與右側單純后交叉韌帶斷裂患者。本研究中使用了footscan?公司的足底壓力測試板（RSscan公司，2×0.4 米，16384 個感受器）進行數據采集，受試者先熱身并熟悉裸足步行程序。在采集過程中，受試者被要求以足跟部先著地和自選適合的速度裸足行走在足底壓力測試板上。采樣率為126Hz，每個有效測試采集了至少3 個完整的步態周期。提取行走過程中足底壓力最大值作為數據集。為了避免因不同志愿者足底大小不一致導致的輸入維度差異，本研究采取ZeroPadding[25]的方式將足底壓力圖像統一拓展至寬34 像素、高48 像素的足底壓力圖像。選擇其中的90%作為參與訓練的數據集，剩余10%作為測試集。

2.2 模型設計

本研究所提出的對足底壓力數據進行智能分類的Pressure Transformer模型如圖1所示，輸入的足底壓力信息圖像可以被看作一個二維矩陣，其維數Diminputimg∈R48×34。首先，以Dimpatch∈R3×3為圖塊尺寸，對初始圖像進行均勻分割，如圖2 所示，得到16×11 個二維矩陣。此時，輸入信息的維度Dimdividedimg∈R7×11×3×3。接著，將經過劃分的矩陣展平處理，得到展平矩陣維度Dimflatten∈R176×9。將每個圖塊的信息使用嵌入層進行編碼，即將一個長度為9的一維矩陣投影到一個長度為40的一維矩陣中，此時，整體的維度Dimembedding∈R176×40。在這個過程中，圖塊的位置信息也被用于參與嵌入編碼，即最終的編碼信息除了包含圖塊本身的像素值（壓力值），也包含了圖塊在原圖中的空間位置信息。

圖1 Pressure Transformer模型結構

圖2 初始圖像分割

在經過嵌入層編碼后，一個4層的Transformer編碼器被使用，借助注意力機制，用于提取分類所需的壓力特征。Transformer的核心是自注意力機制，對于單頭自注意力機制，每一層的Attention函數可以被表示為：

其中dk表示了一個縮放因子。需要說明的是，該縮放因子屬于一個訓練超參數，用于平衡隱藏層的梯度，緩解訓練過程可能出現的梯度爆炸、梯度消失。Q表示查詢向量；
K表示被查詢信息與其他信息的相關性的向量；
V表示被查詢信息的向量，均由輸入值X分別做1次線性變換得到：

對于一個包含了j個元素的一維向量S，其每一個元素xi的Softmax函數可以表示為：

在本研究使用的Pressure Transformer 模型中，為了從更多維度提取特征，我們采用了多頭注意力機制，如圖3所示。

圖3 多頭注意力模塊

多頭注意力算法使用了多組線性變化，從而得到多組Q，K，V，在進行ScaleAttention計算后，將所得結果拼接，最終通過線性映射調整向量維度。對于i頭注意力，其基本表達式如下：

式中WiQ，WiK，WiV，W均表示線性變化。

不同于用于自然語言處理過程中需要使用解碼器再次將特征反編譯成語言序列輸出，在本研究所述算法中，僅需要對提取的特征采用分類器進行分類即可完成最終目標[21]。在使用的Pressure Transformer 網絡中，我們使用了一個3層的多層感知機作為分類器，并使用Softmax函數作為激活函數對最終結構進行表示。

為了避免訓練過程中出現過擬合現象，我們在隱藏層間設置了Dropout層，用于屏蔽網絡中的部分神經元。同時，我們采用了層正則化與殘差連接的方法，更好地避免了深層網絡可能出現的梯度消失、梯度爆炸，從而實現更為準確的分類效果。

3.1 實驗環境

本研究所使用的Pressure Transformer 模型，使用了Tensorflow 的Keras模塊進行編寫，并在python3環境下編譯并運行。本研究所提出的模型使用一塊NVIDIAGeForceRTX3070進行訓練。

3.2 實驗數據集

本研究使用的數據集包括了63名健康人、69名左側單純后交叉韌帶斷裂患者以及69 名右側單純后交叉韌帶斷裂患者的足底壓力信息，得到1208段單純左側后交叉韌帶斷裂，1096段單純右側后交叉韌帶斷裂，以及964段健康人的足底壓力數據。經過預處理后得到的數據集的樣本信息如表1所示。本研究得到北京大學第三醫院醫學科學研究倫理委員會批準[（2017）醫倫審第（087-02）號]。

表1 訓練數據集分布

3.3 實驗參數

為了提升網絡的收斂速度與收斂效果，模型采用了小批量訓練[26]方法，批量的大小為16。網絡選擇使用Adam[27]優化器用于參數優化。

預設的訓練迭代次數為100。其余的網絡參數如表2所示。

表2 網絡參數設置

3.4 基準模型

考慮到CNN 是目前圖像識別領域的熱門應用模型，且在醫學影像學分類應用中有著優秀的預測效果。因此，在本實驗中，我們使用了3層的卷積神經網絡作為基準模型。在CNN 網絡的基準訓練過程中，分別采用了一個步態周期中足底壓力的最大值和平均值作為模型的輸入?；鶞誓Ｐ团cPressure Transformer 采用相同的硬件訓練條件。采用了相同的批量為16 的小批量訓練方法，同樣采用了Adam作為參數優化器。

3.5 評價指標

預測準確度，特別是測試集的預測準確度，是評價一個深度神經網絡效果的重要評價指標。測試集準確度能夠直觀地表達網絡的分類效果，并能夠體現網絡的泛化性能以及后續的可遷移性。在深度學習領域，交叉熵[28]也是一種用于多分類算法的損失函數。對比單純的準確度指標，交叉熵能夠更直觀地反映出預測結果的分布與真實分布的差異。

此外，當數據集本身存在較大分布偏差時，單純使用預測準確度很難對模型分類效果進行評價。通過列出測試集上預測結果的混淆矩陣，能直觀分辨出數據真實分布與預測分布之間的關系。同時，通過混淆矩陣，能夠得到受試者操作特征曲線（receiver operating characteristic curve，ROC）。ROC 反映了偽陽性概率（false positive rate，FPR）和真陽性概率（true positive rate，TPR）之間的數值關系。FPR/TPR值越大說明分類器分類效果越好，即Pressure Transformer 神經網絡模型的預測效果越準確。

3.6 模型評價

圖4展示了訓練過程中損失函數與訓練迭代次數的關系?？梢钥吹?，在大約60代發生了比較明顯的過擬合，因此實際訓練過程中選擇60 代作為迭代次數，從而更好地避免過擬合。圖5展示了模型的訓練準確度與驗證準確度隨迭代次數變化關系。訓練結果顯示，使用Pressure Transformer 模型，能夠在測試集上達到92.02%的準確度。到，Pressure Transformer 網絡的預測準確度（92.02%）明顯高于包含三層卷積層的CNN網絡（89.83%）。圖6展示了Pressure Transformer 在測試集上預測結果的混淆矩陣。通過混淆矩陣能夠得到模型的ROC。ROC與x 坐標軸圍成的面積被稱作曲線下面積（area under curve，AUC），AUC值能夠對模型的分類表現進行評價，AUC 值越接近1，說明分類器的分類效果越好。Pressure Transformer的ROC如圖7所示。本研究還計算了Pressure Transformer 和其余模型的AUC 值，如表4 所示。通過比較可以發現，Pressure Transformer 的AUC數值（0.9820）較CNN 模型（0.9218）有較大的提升。這說明Pressure Transformer 模型的分類表現相比于CNN模型有較大提升。

表4 各模型AUC值

圖4 訓練過程的損失函數變化

圖5 訓練過程的準確度變化

表3 各模型預測準確度

圖6 使用Pressure Transformer網絡進行預測后的混淆矩陣

圖7 Pressure Transformer的ROC曲線

3.7 模型的解釋性分析

在PressureTransformer 中我們引入了注意力機制，它能夠在圖像分類過程中，使模型自發關注目標圖像的重要區域。不同于CNN 將圖片全局作為感知野，Transformer 網絡通過分割圖塊，并對其進行位置編碼，從而對不同位置的分割圖塊賦予不同的權重，依賴高權重圖塊特征，最終實現準確的分類預測。梯度熱力圖能夠反映圖像的每一區域在最終分類中的貢獻。通過繪制如圖8所示的梯度熱力圖，我們不難發現，模型的關注熱點主要集中在前足趾、足中后區域和跟后外側。這一特點與現有分析[5]相吻合。這種定位準確的特征提取進一步提升了網絡學習效率，也解釋了Pressure Transformer 較CNN 對后交叉韌帶斷裂輔助診斷準確度的大幅提升。與此同時，熱力圖也能對后續足底壓力的動力學研究進行輔助驗證與指導。

圖8 足底壓力分布梯度熱力

本研究通過將注意力機制引入醫學影像學分析過程，通過對初始足底壓力圖像進行圖塊劃分、位置編碼，能夠更高效地結合劃分后圖塊的空間坐標關聯，通過洞察模型本身的關注熱點，從而實現對特征更高效準確的提取，最終實現對后交叉韌帶斷裂的輔助智能診斷。所構建的Pressure Transformer 網絡經過訓練后其模型預測分類AUC 值達到0.9820，并在測試集上達到92.02%的預測準確度?；谧⒁饬C制的足底壓力神經網絡分析模型能夠有效實現臨床環境下智能輔助診斷的功能，具備顯著的臨床應用價值。