Baby FaceReader在自動(dòng)分析嬰兒情緒的應(yīng)用

面部表情分析對(duì)于理解人類情感和社會(huì)互動(dòng)至關(guān)重要。由于嬰兒尚未發(fā)育完善的語(yǔ)言溝通能力，需依靠非語(yǔ)言行為來(lái)表達(dá)他們的感受，分析嬰兒的面部表情有助于研究者和照料者更多地了解情緒和社交互動(dòng)的早期發(fā)展。因此，面部表情分析在針對(duì)嬰兒的研究中更有價(jià)值。
 
而隨著計(jì)算機(jī)技術(shù)的發(fā)展，走向自動(dòng)化的行為分析逐漸勢(shì)不可擋。這種趨勢(shì)同樣展現(xiàn)在對(duì)嬰兒的面部表情測(cè)量中。諾達(dá)思的嬰幼兒面部表情分析系統(tǒng)(Baby FaceReader)就是一個(gè)重要里程碑。
 
那么，Baby FaceReader的自動(dòng)測(cè)量分析能力到底如何呢？
 
本文將帶您解讀Zaharieva和她的研究團(tuán)隊(duì)進(jìn)行的Baby FaceReader與人工編碼的情緒測(cè)量效果的對(duì)比評(píng)估。
 
為什么自動(dòng)面部表情分析更好？
關(guān)注嬰兒面部表情實(shí)時(shí)變化的情緒研究一直是發(fā)展科學(xué)的核心課題之一，這對(duì)更好地理解人類在嬰兒期的情緒調(diào)節(jié)發(fā)展和非語(yǔ)言社會(huì)互動(dòng)等問題具有重要意義。
 
傳統(tǒng)上，研究者依靠人工觀察并采用人工編碼技術(shù)來(lái)探究情緒變化，而編碼系統(tǒng)在用于描述面部表情所代表的情感分類程度上存在很大差異，且成人與嬰兒之間有很大不同。目前最全面的嬰兒編碼系統(tǒng)是Oster的嬰兒動(dòng)作編碼系統(tǒng)(Baby FACS) ，它是基于解剖學(xué)的系統(tǒng)分類，以獨(dú)立面部肌肉動(dòng)作單元(Action Units, AU)的激活頻率和持續(xù)時(shí)間進(jìn)行分類，同時(shí)考慮到嬰兒和成人在面部形態(tài)上的差異。動(dòng)作單元的組合及其強(qiáng)度可以用來(lái)推斷獨(dú)立的情感狀態(tài)。
 
然而，面部表情的人工編碼是一個(gè)費(fèi)時(shí)耗力的過(guò)程，程序上的差異以及主觀因素可能會(huì)限制在不同研究中結(jié)果的可重復(fù)性。最新的計(jì)算機(jī)視覺技術(shù)在成人自動(dòng)面部表情識(shí)別方面取得了實(shí)質(zhì)性進(jìn)展，為人工行為編碼提供了一種功能強(qiáng)大且降低時(shí)間成本的替代方案。
 
同樣，將自動(dòng)測(cè)量方法應(yīng)用于嬰兒面部表情分析，不僅可以加快分析過(guò)程，還能提供具有更高一致性和客觀性的數(shù)據(jù)結(jié)果，允許對(duì)嬰兒在各種情景中的行為進(jìn)行詳細(xì)的在線和離線分析，這是很難用標(biāo)準(zhǔn)的人工編碼技術(shù)獲得的。此外，它使得獲取大型數(shù)據(jù)庫(kù)和復(fù)制早期研究變得更加容易。因此，自動(dòng)面部表情分析的發(fā)展為情緒測(cè)量研究帶來(lái)了重大飛躍。  
 
技術(shù)創(chuàng)新：Baby FaceReader
嬰幼兒面部表情分析系統(tǒng)(Baby FaceReader)是自動(dòng)面部表情分析領(lǐng)域的一個(gè)重要里程碑。它專門用于研究嬰幼兒面部表情，可自動(dòng)分析6-24個(gè)月嬰幼兒的面部表情。軟件基于嬰兒面部動(dòng)作編碼系統(tǒng)(Baby FACS)開發(fā)，采用先進(jìn)的算法和機(jī)器學(xué)習(xí)技術(shù)定位并分析人臉，使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)來(lái)識(shí)別和解釋各種面部動(dòng)作單元(AU)。
 
Baby FaceReader使用 AU 來(lái)計(jì)算整體情緒效價(jià)。通過(guò)這種方式，軟件可以檢測(cè)面部表情的細(xì)微變化，從而提供對(duì)嬰兒情緒狀態(tài)的細(xì)致入微的洞察。與容易產(chǎn)生主觀誤差的人工編碼不同，Baby FaceReader提供了一種理解面部表情的標(biāo)準(zhǔn)化方法。 然而，在將這種方法可靠地引入嬰兒研究之前，需要對(duì)其可靠性和有效性進(jìn)行評(píng)估。之前沒有研究將其性能與人工編碼的嬰幼兒面部表情數(shù)據(jù)進(jìn)行比較，因此，研究者在先前的工作基礎(chǔ)上，比較了4個(gè)月和8個(gè)月大的嬰兒在自然狀態(tài)下面對(duì)面互動(dòng)期間的面部表情分別通過(guò)Baby FaceReader的自動(dòng)編碼和人工編碼的結(jié)果，詳細(xì)地探討了其可靠性和有效性。
 
 
Baby FaceReader VS人工編碼
Zaharieva和她的團(tuán)隊(duì)共觀察了 58 名嬰兒在4 個(gè)月和 8 個(gè)月時(shí)與不同照護(hù)者（母親、父親與陌生人）進(jìn)行2分鐘面對(duì)面自然互動(dòng)的過(guò)程(圖1)。在生命的早期階段，面部表情的發(fā)展變化很快。因此，這是研究情感交流的理想時(shí)期。  
研究者主要關(guān)注Baby FaceReader分辨積極、消極和中性面部情緒表達(dá)的能力，因?yàn)闇?zhǔn)確解讀這些細(xì)微差別對(duì)于發(fā)展心理學(xué)至關(guān)重要。對(duì)于人工編碼，是使用The Observer XT 進(jìn)行的。
 
面部表情以四類進(jìn)行人工編碼:
1)積極：微笑(AU12)，嘴巴張閉(AU25, AU26, AU27)，臉頰提升(AU6)等;
2)消極：包括皺眉、哭泣，即眉毛內(nèi)角抬起(AU1)、嘴角拉伸(AU20)、眉毛下垂(AU3 + AU4)、眼瞼緊收(AU7)、下唇抬起(AU17)等；
3)中性：沒有看到肌肉運(yùn)動(dòng)，也沒有看到肌肉運(yùn)動(dòng)表明情緒的面部表情;
4)不可見：當(dāng)面部被遮擋或失焦時(shí)。
 
原始動(dòng)作單元的輸出結(jié)果表示從低到高的連續(xù)動(dòng)作單元強(qiáng)度，范圍在[0-1]。整體情緒效價(jià)結(jié)果表示面部表情從消極到積極的情感強(qiáng)度，范圍在[-1-1]。
 
 
識(shí)別積極情緒具有更高的精準(zhǔn)性
研究結(jié)果提供了不同的見解（表1）。與人工編碼的面部表情相比，Baby FaceReader在區(qū)分積極表情與消極或中性表情方面表現(xiàn)出較高的準(zhǔn)確性(AUC=0.81; PA=0.84; NA=0.67)。然而，它在區(qū)分消極和中性表達(dá)方面的表現(xiàn)仍存在挑戰(zhàn)(AUC=0.49; PA =0.69; NA =0.14)。  
因此，研究者探究了特定動(dòng)作單元在區(qū)分積極、消極和中性表達(dá)方面的表現(xiàn)。結(jié)果發(fā)現(xiàn)，自動(dòng)檢測(cè)的微笑(AU12)在區(qū)分積極表情和消極或中性表情方面表現(xiàn)較好(NA=0.69) (圖2)；自動(dòng)檢測(cè)的眉毛下垂(AU3 + AU4)，能夠良好地區(qū)分消極和中性的面部表情(AUC=0.79) (表2)；自動(dòng)檢測(cè)的嘴角拉伸(AU20，是嬰兒哭泣臉的核心面部動(dòng)作肌肉)在區(qū)分消極和中性的面部表情表現(xiàn)較好(AUC=0.70)。這些結(jié)果為應(yīng)用Baby FaceReader的AU12和AU3+AU4(可能還有AU20)在嬰兒面對(duì)面互動(dòng)中區(qū)分積極和消極的面部表情提供了實(shí)證驗(yàn)證。  
利用 Baby FaceReader推進(jìn)嬰兒研究
過(guò)去十年中，在開發(fā)測(cè)量嬰兒面部表情的自動(dòng)化技術(shù)方面取得了實(shí)質(zhì)性進(jìn)展。有效的嬰兒面部表情的自動(dòng)測(cè)量依賴于對(duì)面部動(dòng)作及其情感意義之間關(guān)系的理論性理解和系統(tǒng)化實(shí)踐。例如，識(shí)別負(fù)性情緒的面部表情仍具挑戰(zhàn)性，因?yàn)閶雰涸诒磉_(dá)較低強(qiáng)度的負(fù)性情緒時(shí)不會(huì)使用一套一致的動(dòng)作單元。因此，動(dòng)作單元自動(dòng)檢測(cè)算法至關(guān)重要，需要持續(xù)研究。
 
在發(fā)展心理學(xué)和兒科護(hù)理中引入自動(dòng)面部表情分析是向前邁出的重要一步。這項(xiàng)技術(shù)為嬰兒情緒表達(dá)的發(fā)展提供了新的見解，它將幫助我們更好地理解早期人類情感和交流是如何發(fā)展及變化的，從而為發(fā)育障礙提供更明確的護(hù)理和治療的理論基礎(chǔ)和實(shí)踐路徑。
 
參考文獻(xiàn)
Zaharieva, M.; Salvadori, E.; Messinger, D.; Visser, I.; Colonnesi, C. (2024). Automated facial expression measurement in a longitudinal sampleof 4 and 8montholds: Baby FaceReader 9 and manual coding of affective expressions. Behavior Research Methods.