事件相關(guān)電位的數(shù)據(jù)分析：形狀或精神相似性的概念可視化探究

哪個更適合概念可視化?形狀或精神相似性：來自事件相關(guān)電位的證據(jù)

01 研究背景

圖像和文字是視覺傳播的重要媒介。與文字相比，圖像創(chuàng)造了直觀和生動的感覺。概念可視化在視覺設計領(lǐng)域發(fā)揮著重要的作用，在我們的頭腦中構(gòu)建了多模態(tài)映射。普遍接受的雙碼理論認為，所有的概念可以分為兩類，具體的和抽象的。具體的詞語可以通過附加的意象代碼來體驗，而抽象的詞語只有語言代碼。分類關(guān)系是對具體詞語進行多模態(tài)映射討論最多的一種。事件相關(guān)電位(ERPs)顯示，N300效應存在于類別錯配和下屬錯配之間，而N400效應存在于基礎(chǔ)錯配和下屬錯配[6]之間。當進一步細化為自然和人工的類別時，不匹配的圖片比匹配的圖片具有更低的準確率和更長的RTs，自然和基本的圖片比對應的圖片具有更長的RTs，但自然匹配的交互試驗比人工匹配的交互試驗花費更長的RTs。ERP推斷N300索引的一致性和抽象，而P600成分意味著索引的類別。

考慮到概念可視化的現(xiàn)狀，設計方案之間的差異遠非簡單的好壞判斷，ERP實驗為探討多模態(tài)加工機制提供了良好的參考。

02 研究方法

2.1、實驗被試

18名被試（10名女性，8名男性，年齡范圍在21-27歲，平均年齡=22.5，SD=2.7）母語為漢語，右利手，沒有神經(jīng)、精神或情緒障礙，也無教育剝奪經(jīng)歷。所有的被試活動實驗的知情同意權(quán)。

2.2、實驗材料

采用命名試驗選根。選取的60對灰色圖像具體詞在熟悉度得分和命名時間上無顯著差異。

要求10名工業(yè)設計的研究生盡可能從原型中運用灰度和線條圖概念可視化。每張圖片的輪廓為5像素，圖像大小為128*128像素(帶背景)。同時，具體的詞語在主題上或隱喻上被抽象。文字被精煉成兩三個24像素大小的漢字和微軟雅黑字體。所有方案均采用五分制進行評估，選出評分最高的圖片和概念，構(gòu)建60組，如圖1所示。為避免判斷同一性帶來的不利影響，本實驗采用15組進行練習，并在實驗中作為判斷干擾進行交叉。其它45組是最終目標。

圖1  刺激示意圖

2.3、實驗流程

刺激呈現(xiàn)在一個27寸的屏幕上，亮度為1920*1080像素。被試與屏幕中心的距離約為620mm。實驗程序是通過E-prime 2.0軟件編寫。在每次實驗開始時，在黑色背景的屏幕中央出現(xiàn)一個注視點“+”，持續(xù)約600ms，隨后，圖片（S1）呈現(xiàn)1000ms，隨后是隨機持續(xù)時間的空屏，時間持續(xù)為600-800ms。單詞（S2）出現(xiàn)在屏幕上，直到被試做出反應。要求被試從S1到S2比較匹配或不匹配，并通過用左手或右手食指按兩個鍵(F或J)中的一個做出反應。對左手和右手的匹配和不匹配反應的分配在被試間平衡。在他們回答后，一個空白屏幕隨機出現(xiàn)，持續(xù)時間為600 – 800ms。記錄S2出現(xiàn)后的ERPs。

2.4、數(shù)據(jù)采集和處理

采用國際10 - 20系統(tǒng)的32 導電極帽，以FCz電極作為接地電極，eego mylab放大器（ANT Neuro, Inc）連續(xù)記錄(采樣率500 Hz)的腦電數(shù)據(jù)，所有電極的阻抗均維持在5 kΩ以下。

利用EEGLAB工具箱在MATLAB中進行預處理。離線時處理時，進行低通濾波(30 Hz/24 dB)，并轉(zhuǎn)換參考為M1和M2電極的平均值。剔除低信噪比片段的腦電數(shù)據(jù)，然后進行獨立成分分析(ICA)。使用ADJUST 1.1.1校正眼電(EOG)、肌電(EMG)和汗液等偽跡。根據(jù)S2出現(xiàn)時的-200 ~ 1000 ms將腦電數(shù)據(jù)分為多個時段，刺激前200 ms為基線。時段按條件分類，剔除幅度超過±100 μV之外的數(shù)據(jù)。結(jié)果平均剔除率為9.5%，每個被試在每個條件下平均保留41個epoch�？偲骄�波形如圖2所示。本研究提取了不同條件和區(qū)域的振幅值。對于所有條件的時域信號的幅值差異使用spss11進行分析。

圖2 四種多模態(tài)映射誘發(fā)ERP總平均波形

如圖2和圖4所示，在條件下誘導了N1、P2、N400和P600效應。結(jié)合圖3和圖5，N1和P2成分在前部區(qū)域更為明顯，N400成分在中央-頂葉區(qū)域差異明顯，P600效應在整個區(qū)域差異顯著。

峰值明顯的是在N1（130-180ms），P2（230-280ms）。選取FP1、FPz、FP2、F3、Fz、F4、FC5、FC1、FC2、FC6、C3、Cz、C4電極附近的平均振幅為50 ms進行分析。N400 (300 ~ 500 ms)和P600 (600 ~ 800 ms)的波幅比較 “溫和”，因此將時間過程除以100 ms，選擇平均波幅進行分析(N400的FC5、FC1、FC2、FC6、C3、Cz、C4、CP5、CP1、CP2、CP6；FP1、FPz、FP2、F3、Fz、F4、FC5、FC1、FC2、FC6、C3、Cz、C4、CP5、CP1、CP2、CP6、P3、Pz、P4用于分析P600)。

03 實驗結(jié)果

行為結(jié)果：

條件的主效應顯著，形象化與精神性結(jié)合所用的時間都比精神性結(jié)合所用的時間短。

ERP結(jié)果：

圖3.在不同條件下分別在130 -180 ms (N1)、230 - 280 ms (P2)、400 - 500 ms (N400)和600 - 800 ms (P600)的地形圖

圖4. 四種多模態(tài)條件下的ERP差異波

圖5.在130 - 180 ms (N1)、230 - 280 ms (P2)、400 - 500 ms (N400)和600 - 800 ms (P600)的時間序列中多模態(tài)映射之間的差異引發(fā)的地形圖。

N1成分中，類型的主效應邊緣顯著，其它效應不顯著。

P2成分中，類型和位置的交互效應顯著，左側(cè)類型的幅度值更大。

N400成分中，類型和位置的交互效應顯著，在額中央，中央，和中央頂葉區(qū)，精神型幅度值大于形狀型。

P600成分中，類型的主效應顯著，類型和位置的交互效應顯著，精神性的平均振幅大于形狀型的平均振幅，形狀-抽象的振幅與形狀-混凝土的振幅呈現(xiàn)相反的趨勢。

04 實驗結(jié)論

概念形象化是一項主觀工作，可能會在不知情的情況下產(chǎn)生認知危險。行為結(jié)果表明，形狀相似在速度和準確性上優(yōu)于精神相似，而具體的詞比抽象的詞更容易被接受為一種相關(guān)的圖像。N1、P2和N400成分在所有條件下都被提取出來，表現(xiàn)出與行為結(jié)果相似的表現(xiàn)，表明多通道映射之間的加工開始時間差異。精神相似-具體概念條件與其他三種條件相比，得到了明顯的P600/LPC，說明了多模態(tài)映射中具體性效應的復雜機制。

05 文獻名稱及DOI號

Zhou, L. ,  Ma, J. ,  X  Zhou,  Niu, Y. , &  Xue, C. . (2021). Which is better for concept visualization? shape or spirit similarity: evidence from event-related potentials. Neuroscience Letters, 749, 135755.

DOI：10.1016/j.neulet.2021.135755