基于腦電采用深度卷積神經(jīng)網(wǎng)絡(luò)在聽(tīng)音樂(lè)的過(guò)程中進(jìn)行時(shí)空上的情緒識(shí)別

01 研究背景

基于腦電來(lái)進(jìn)行情緒識(shí)別是目前比較活躍的研究領(lǐng)域，而卷積神經(jīng)網(wǎng)絡(luò)作為機(jī)器學(xué)習(xí)的模型之一，也被廣泛應(yīng)用到這一領(lǐng)域的研究中。

02 研究方法

2.1、被試

實(shí)驗(yàn)選取了大阪大學(xué)的12名男性被試（平均年齡25.59±1.69歲），身體健康，并且沒(méi)有人之前接受過(guò)正式的音樂(lè)教育訓(xùn)練。所有被試均是自愿參與，每個(gè)人都被告知實(shí)驗(yàn)流程。

2.2、實(shí)驗(yàn)材料

實(shí)驗(yàn)中用到的音樂(lè)包括40個(gè)MIDI文件，每首歌都只有不同的樂(lè)器和節(jié)奏，以規(guī)避歌詞的影響，被試被要求從音樂(lè)集中選擇16首歌曲。

腦電數(shù)據(jù)的采樣率設(shè)置為250Hz，記錄了12個(gè)數(shù)據(jù)點(diǎn)的腦電信號(hào)，分別是Fp1，F(xiàn)p2，F(xiàn)3，F(xiàn)4，F(xiàn)7，F(xiàn)8，F(xiàn)z，C3，C4，T3，T4，Pz，這些通道均是在情緒管理中起到重要作用的額葉附近腦區(qū)。實(shí)驗(yàn)過(guò)程中每個(gè)電極的阻抗降到20kΩ以下，并在60Hz進(jìn)行凹陷濾波。

圖1. 國(guó)際標(biāo)準(zhǔn)10-20電極排布排布分布圖

2.3、實(shí)驗(yàn)流程

在被試選擇了16首歌曲后，他們被要求去聽(tīng)這些歌曲。歌曲之間有16秒的沉默間隔，減少了歌曲之間的任何效果。當(dāng)每個(gè)被試在聽(tīng)所選的音樂(lè)過(guò)程中，同時(shí)記錄其腦電信號(hào)。在實(shí)驗(yàn)過(guò)程中要求被試閉眼保持穩(wěn)定以避免無(wú)關(guān)偽跡干擾。當(dāng)被試聽(tīng)完16首歌曲之后，摘下電極帽，把16首歌曲按照相同的順序再聽(tīng)一遍，并通過(guò)不斷點(diǎn)擊屏幕上顯示的喚醒效價(jià)空間中的相應(yīng)點(diǎn)來(lái)標(biāo)注自己聽(tīng)音樂(lè)過(guò)程中的感受。

圖2. 情緒分類模型的兩個(gè)維度

2.4、數(shù)據(jù)處理

本研究采用了基于Matlab的EEGLAB工具包，首先對(duì)腦電數(shù)據(jù)進(jìn)行了0.5-60Hz的帶通濾波，并且根據(jù)獨(dú)立成分分析的結(jié)果校正受污染的數(shù)據(jù)，包括噪聲，眼動(dòng)，肌電等偽跡。處理好之后，腦電信號(hào)通過(guò)時(shí)間戳與標(biāo)注的情緒相關(guān)聯(lián)。

圖3. 數(shù)據(jù)采集與預(yù)處理流程

接下來(lái)對(duì)標(biāo)注好的情緒元素進(jìn)行分類，喚醒度方面分為高和低，效價(jià)方面分為積極和消極。在本研究中將情緒識(shí)別作為兩個(gè)成分的二元分類任務(wù)，根據(jù)EEG信號(hào)對(duì)情緒進(jìn)行分類，考慮了卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜性、窗口大小以及電極的排序。

03 研究結(jié)果

研究表明，不同窗口大小的時(shí)間信息在10倍（10-fold）交叉驗(yàn)證和保留一個(gè)被試（leave-one-subject-out）的交叉驗(yàn)證中顯著影響識(shí)別性能。來(lái)自不同電極順序的空間信息對(duì)分類有輕微的影響�；�于同一數(shù)據(jù)集上的時(shí)空知識(shí)，之前使用的SVM分類器與這些實(shí)證結(jié)果進(jìn)行比較，結(jié)果發(fā)現(xiàn)，盡管CNN和SVM在窗口大小效應(yīng)上具有同源的趨勢(shì)，但CNN使用保留一個(gè)被試（leave-one-subject-out）交叉驗(yàn)證的效果優(yōu)于SVM，這可能是由于在提取過(guò)程中提取的特征不同所致。

04 參考文獻(xiàn)

Keelawat, P., Thammasan, N., Numao, M., & Kijsirikul, B. (2019). Spatiotemporal Emotion Recognition using Deep CNN Based on EEG during Music Listening. ArXiv Preprint ArXiv:1910.09719.