虛擬現(xiàn)實環(huán)境中的注意力與狀態(tài)識別

時間：2023/8/4閱讀：1094

來自波蘭的研究人員在 Sensors 雜志上發(fā)表文章，探討了虛擬現(xiàn)實（VR）和近紅外技術(shù)的實際結(jié)合問題。他們設(shè)計了一套綜合實驗平臺，其中包含 CW-fNIRS 和頭戴式顯示（HMD）技術(shù)，并使用變體后的經(jīng)典 n-back 任務（2-back 版本）在虛擬現(xiàn)實中進行實驗。結(jié)果證實了結(jié)合 fNIRS 和 HMD 技術(shù)，實驗者可以有效地將實驗性認知過程轉(zhuǎn)移到可控的 VR 環(huán)境中。

研究背景

功能性近紅外光譜(fNIRS)是功能神經(jīng)成像技術(shù)之一，使用波長為650-950nm的近紅外光來測量皮質(zhì)腦區(qū)的血流動力學反應。近紅外系統(tǒng)通常使用激光或LED發(fā)射連續(xù)波(CW)近紅外光。

VR技術(shù)已被用于注意力技能的研究和訓練，已有許多結(jié)合VR和近紅外技術(shù)的案例和論文。

結(jié)合VR和FNIRS技術(shù)，通過訓練程序調(diào)節(jié)注意力狀態(tài)的可行性已經(jīng)得到證明。識別注意狀態(tài)可以用于監(jiān)測受試者在任務中的參與度。用戶與系統(tǒng)的交互體驗可以通過視覺量表和問卷來測量其滿意度。

本研究假設(shè)：

DLFPC 和 MFG 區(qū)的血流動力學活動 (HbO/HbR 濃度變化 ) 在增強注意力投入 (n-back 任務 ) 和放松狀態(tài)之間的差異將顯著高于研究組的機會閾值水平。

用戶與系統(tǒng)的交互體驗(fNIRS+HMD) 將高于滿意度評估量表的平均值。

被試

12 名受試者 (10 名女性 )，年齡 21-34 歲 (M = 24.82;SD = 4.38) 參與實驗。實驗中所有參與者均為右利手，裸眼視力和校正后視力正常。

設(shè)備

近紅外信號被記錄在一個雙波長 (760 和 850 nm) fnirs系統(tǒng)中 ((Cortivision sp. z o.o., Lublin, Poland）。其中共有16 個LED光源和10探測器。

在線階段的數(shù)據(jù)處理在OpenViBE 3.1.0 (Inria Hybrid Team, Rennes, France)上使用自定義Python 腳本進行。

使用 Unity3D 引擎開發(fā) VR 場景，并在Oculus Quest(Facebook Technologies, Menlo Park, CA, USA)上顯示。

使用 JASP軟件對結(jié)果進行統(tǒng)計分析。

實驗裝置包括無線一體化 VR 護目鏡和可穿戴 fNIRS設(shè)備。在數(shù)據(jù)記錄過程中，參與者是坐著的，設(shè)備是無線連接的。

主觀滿意度評估

使用視覺模擬量表 (Visual Analogue Scale, VAS) 來評估兩組實驗結(jié)束后的總體主觀滿意度。評估采用 11 分制"。

使用改良版的魁北克輔助技術(shù)用戶評價 (eQUEST 2.0) 來測量參與者對使用系統(tǒng)滿意度。

實驗流程

該研究包括三個部分。

step1：需要判斷當前水果在兩個水果之前是否看到過。當法師扔出能量球時代表放松。

step2：離線階段的任務和教程相同。

step3：要求被試只在腦內(nèi)做同樣的任務。物體的運動方向直接由分類輸出信號控制。

實驗中，任務和休息依次交替。在每個“2-back"任務塊中，水果列表隨機分為3個目標、7個非目標。

數(shù)據(jù)收集

近紅外數(shù)據(jù)由Cortivision PHOTON CAP系統(tǒng)收集。使用了10個通道。此外，在F3和F4位置放置了兩個短距離通道（見圖3）。對于所有數(shù)據(jù)通道，光源與探測器之間的距離保持在30毫米左右。短通道的距離則固定為10毫米。光源和探測器的放置位置是基于軟件中的預定義位置進行選擇的。三個感興趣區(qū)域（MFG、L-DLPFC、R-DLPFC）被自動從腦區(qū)解剖翻譯為10-5國際系統(tǒng)位置。

信號處理

將原始光強度轉(zhuǎn)換為光密度。處理記錄的前5秒期間記錄基線。然后將光密度轉(zhuǎn)換為氧脫氧血紅蛋白（HbO/HbR）濃度。然后，基于VR應用程序流標記進行基于刺激的分段。。進行低通濾波。采用廣義線性模型 (GLM) 進行特征提取，并進行進一步分析。

將獲得的包含提取特征的數(shù)據(jù)集分為五部分進行五次交叉驗證。每次重復交叉驗證都包括以下步驟：

Z-score標準化：訓練集和測試集的z-score標準化。

SVM分類器被用來區(qū)分兩個類：“放松"和“2-back任務"。

結(jié)果

分類準確性

單樣本非參數(shù)Wilcoxon符號等級檢驗的結(jié)果表明，校準階段的分類精度為M=88.58，SD=8.49，顯著高于Müller-Putz等人為兩類BCI計算的95%的概率上限(T=78，p<0.01，rrb=1)。然而，我們在在線條件下沒有觀察到顯著差異(M=61，SD=14.89，T=6，P=0.107)。同時，這兩種情況都顯著高于50%的機會水平(校準：t=78，p<0.001，rrb=1；在線：t=31，p<0.001，rrb=0.72)。表給出了校準和在線會話中所有參與者的平均分類精度結(jié)果。