多维情绪能力干预对学前自闭症男孩面部表情产出的影响

李艳玮1陆畅1陆瑶1袁宗金1池霞2
(1.南京晓庄学院幼儿师范学院,南京2111712.南京医科大学附属妇产医院南京市妇幼保健院,南京210004)

                
【摘要】：目的：揭示多维情绪能力干预对低龄自闭症男孩面部表情表达和模仿的影响。方法：在尊重家长意愿的前提下，将26名年龄在39～79个月的自闭症男孩分为干预组（n=15）和对照组（n=11），干预组接受为期约3个月的多维情绪能力综合干预，干预内容包括情绪的识别、理解、体验、调节、模仿和表达。干预方案共36课时，每课时约15～25分钟。所有幼儿在干预前后分别完成六种基本情绪（开心、生气、伤心、惊讶、讨厌、害怕）的表达和模仿任务，并用摄像机记录其面部肌肉运动。通过面部表情编码系统标定幼儿面部表情产出的正确率。结果：（1）多维情绪能力干预后，自闭症男孩模仿六种基本情绪面部表情的质量以及表达开心、生气、伤心、害怕情绪面部表情的质量均有显著提升。（2）面部表情模仿任务中，口唇区和眼眶区AU的产出在干预后显著提升；面部表情表达任务中，仅有眼眶区AU的产出在干预后得到显著提升。结论：多维情绪能力干预方案可改善学前自闭症男孩的面部表情产出，研究为自闭症儿童情绪能力的干预提供了可参考的内容和框架。
【关键词】：自闭症面部表情产出多维情绪能力干预中图分类号：R395.5
基金:教育部人文社会科学研究2019年度青年基金项目（批准号：19YJC880044）江苏省教育科学“十三五”规划2018年度青年重点资助项目（批准号：C-a/2018/01/01）江苏省科协青年科技人才托举工程及江苏省高校“青蓝工程”优秀青年骨干教师资助

前言

面部表情是人类非言语交流中最重要的表达形式，它是人们对面部器官以及肌肉的有意控制，是体现自身情绪状态的重要线索[1]。面部表情的产出主要包括面部表情模仿和表达两方面的能力，不仅反映个体身体和精神的健康状态[1]，也是正常和精神障碍群体在心理和社会适应上存在差异的重要表现[2]。

面部表情的产出以情绪情感的识别、理解、体验和调节为基础，它们共同构成了复杂的情绪能力，支撑个体传递、接收和体验情绪的过程[3]。自闭症患者存在明显的面部表情模仿和表达缺陷，他们的面部表情怪异、笨拙、机械，难以被人理解[4-7]。因此，有不少研究者尝试通过情绪情感的识别和理解干预来改善自闭症患者的面部表情产出，进而提升患者的情绪能力。例如，在经过面部表情模仿的计算机和真实场景训练后，学龄期自闭症儿童在基本情绪面部表情识别、模仿和表达产出上均有改善[8,9]。基于社交辅助机器人的情绪理解和体验干预表明，3～7岁自闭症儿童的情绪理解能力在干预后得到提升，并且与机器人互动交流过程中对开心、害怕和惊讶这三种基本情绪的表达能力也得到改善[10,11]。但是，由于面部表情产出的编码和识别过程复杂且耗时较长，现有干预大都局限于情绪的识别和理解成分[12,13]，较少关注情绪的体验、调节和表达。少数关注情绪表达成分的研究也仅局限于对简单情绪类别的设计，较少涉及到复杂的情绪类别，不利于全面提升自闭症儿童的面部表情产出质量。
有研究者认为，将情绪识别、理解、体验、调节和产出等多维度有机整合的干预方式有可能是最为有效的提升自闭症儿童情绪能力的途径[14,15]，而面部表情编码系统（Facial Action Coding System,FACS）则为这种综合性的情绪干预方案提供了技术手段。FACS是一种基于面部肌肉生理解剖结构所建立的一套客观、全面的面部肌肉运动编码系统。该系统可以根据面部肌肉的运动特征将其划分为不同的运动单元（Auction Unit,AU)[16]。这些运动单元的特征组合既可以被用于面部表情的人工或计算机评定，也可以被用于相应情绪能力提升的干预方案设计[17]。从社会发展的视角来看，自闭症患者在干预教育过程中对家庭成员、医疗服务和教育资源所造成的严重负荷[18]已引起了社会各界的关注。在英国和美国这两个发达国家，一名自闭症患者毕生的生活成本大约为140～240万美元[19]。自闭症患者的面部表情产出不仅会影响他们的社会融入程度[20]，还会影响情绪的认知成分（如情绪识别）进而造成心理阅读和社会适应的困难[21]。倘若可在大脑发育速度最快的儿童早期[22]为自闭症患者提供适宜的干预，不仅可以达到事半功倍的效果，还可以最大限度地减轻国家和社会的负担。由此可见，开展提升低龄自闭症儿童面部表情产出的干预研究十分必要。
综上，本研究基于FACS解码的表情特征设计了针对自闭症幼儿情绪识别、理解、体验、调节、模仿和表达的多维度干预方案，并检验了学前自闭症儿童接受这种干预的有效性。

1 对象与方法

本研究经南京市妇幼保健院医学伦理委员会审批通过。所有自闭症幼儿的父母均签署了知情同意书。
1.1 研究对象
在某特殊教育机构招募32名自闭症男孩，他们在机构内的学习内容不涉及情绪领域，且学习强度接近。另外，他们均具有基本的语言沟通能力，在近两年内被专业医疗机构诊断为自闭症谱系障碍，诊断依据为《精神疾病的诊断和统计手册（第五版）》的诊断标准。由于其中6名男孩无法理解前测任务而被剔除，剩余有效的自闭症男孩26名，平均年龄为58.68±9.61个月，年龄范围为39～79个月。
由家长选择让幼儿接受或不接受干预，最终获得干预组自闭症男孩15名，平均年龄为56.27±9.16个月，年龄范围为39～72个月；对照组自闭症男孩11名，平均年龄为59.45±13.16个月，年龄范围为39～79个月。两组儿童的年龄不存在显著差异（t=0.73,P=0.47）。
1.2 实验任务及工具
参考Loveland等人的研究[23]设计面部表情产出任务。在面部表情模仿任务中，幼儿需模仿6种男性和女性基本情绪（开心、生气、伤心、惊讶、讨厌、害怕）的面部表情图片[24]。在情绪表达任务中，则要求幼儿“请你做出XX（开心、生气、伤心、惊讶、讨厌、害怕）的表情”。每个情绪图片模仿或情绪词汇表达的等待时间均为20秒。采用索尼NEX-VG30EM摄像机记录被试的面部反应，并从等待反应的20秒中选取表情产出最强烈的时刻进行编码。
采用适应行为评定量表（幼儿版，第二版）对入组自闭症幼儿在沟通、学前功能、自我管理、休闲、社交、社区应用、居家生活、健康安全、自我照顾等九个领域进行评估。
1.3 干预设计
将Baron-Cohen课题组研发的心智阅读（Mind Reading）词汇库[25]进行翻译和本土化，在中国儿童群体进行发展性评估[26]后，选定同年龄段理解率较高的情绪词汇共23个作为干预靶词，分别是高兴、开心、兴奋、喜欢、疼爱、友好、友善、乐于助人的、生气、挨批评的、抱歉、害羞、伤心、苦恼、痛苦的、孤单的、无聊的、眼泪汪汪的、害怕、担心、不友好的、卑鄙的和惊讶。以干预靶词在心智阅读库中对应的情绪视频作为教学视频，选取视频中任务表情最强烈时刻的截图作为教学图片。基于以上词汇、图片、视频材料以及配备的绘本、仿真生活场景模型、玩具等设计拼图类、绘画类、镜子类、绘本类、角色扮演类等活动（见表1），旨在提升自闭症幼儿的情绪能力（识别、理解、模仿、表达、体验和调节）。在小范围试教的基础上，经修订后形成了一套含36节课、每节课时长15～25分钟的适用于3～6岁自闭症幼儿使用的情绪能力干预方案。预计干预时间为3个月左右，平均每周约上课3次，由幼儿熟悉的教师来完成。为保证教师能够准确解读每种面部表情的AU特征，所有老师在授课前需接受2小时的面部表情学习训练，用于把握相关AU的基本属性。
表1 干预活动的类别设计
注：(1)情绪识别；(2)情绪理解；(3)情绪体验；(4)情绪调节；(5)情绪模仿；(6)情绪表达。
干预靶词共分为12个单元。为防止遗忘，在学习进程中安排词汇复习的环节，同一词汇会出现在不同单元。每个单元通过初识、再认、巩固三个阶段来完成。第一课时为初识阶段，由情绪靶词对应的简易故事情境导入来吸引幼儿的兴趣，让幼儿猜测人物的情绪状态，然后给幼儿观看表情视频，根据面部表情编码系统的面部肌肉标定特征来引导自闭症幼儿观察和模仿视频、图片和教师的面部肌肉运动变化，旨在提升幼儿情绪的识别、理解和模仿能力。第二课时通过表情绘画、五官填充、情绪绘本、手偶互动来加强幼儿对情绪概念的理解，旨在提升情绪的理解和表达能力。第三课时借助仿真道具模拟日常生活情境，由教师引导幼儿进行角色扮演，完成相应的生活场景（如逛超市、采摘、动物园游玩等），旨在提升其情绪识别和表达能力。
干预教学中涉及到对靶词及相应教学材料、活动内容的讲解时，会借助FACS剖析情绪的面部表情肌肉运动特征，并用通俗易懂的语言分步骤讲解给幼儿。例如，在讲解“生气”这一情绪词汇时，会告诉孩子“你看，小女孩的这里（指着眉毛内侧/中部）向下了，两个眉毛都跑到中间去了（停顿，教师表演，鼓励孩子触摸教师的面部肌肉运动变化并模仿）；眉毛变得鼓鼓的（指着眉毛鼓起的位置）。你看，就像老师这样（教师再示范，让幼儿用手触摸眉毛周边鼓鼓的肌肉）；她的眼睛（手指指着眼睛）微微变大了，像是在瞪着你看（停顿、示范和模仿）；她这里（指着双唇）紧绷，看起来咬牙切齿的（表演给孩子看）”。整个过程会经常提醒幼儿看一看、摸一摸、学一学、做一做，再通过表情拼图、五官补充、真实情境体验等活动加强幼儿对情绪的理解和体验。
1.4 数据处理与分析
1.4.1 面部表情编码的正确率
面部表情编码会经过一次编码、协商编码和仲裁编码三个过程[27]。为避免编码过程中的主试效应，视频在进行编码前均被分段分割并打乱顺序。编码共由三名具有心理学和学前教育专业背景且通过FACS测验的研究人员完成。一次编码为独立编码，编码的一致性为0.64，一致性较好。二次编码为协商编码，主要目的是剔除多余的AU、添加漏掉的AU。当两名编码人员无法达成一致意见时，由第三名研究者进行仲裁，获取最终的编码结果。每种情绪的组成AU和具体描述见表2。
参照Grabell等的方法计算面部表情产出的正确率[27]。
1.4.2 统计分析
采用2×2×6的三因素混合实验设计。被试间因素为组别，分别是干预组、对照组。被试内因素为测试时点（前测、后测）和六种基本情绪（开心、生气、伤心、害怕、惊讶、讨厌）。因变量为面部表情表达和模仿的正确率。根据数据分析的情况，在方差不齐时选择Greenhouse-Geisser法和Roy的最大根法进行校正，简单效应及多重比较的P值均采用Sidak法进行校正。
表2 基本情绪的AU构成及特征描述

2 结果

2.1 两组幼儿适应行为评定量表得分比较
干预组和对照组在适应行为评定量表总分及各维度得分的均值、标准差比较见表3，两组幼儿在该量表上的得分没有显著差异。
表3 两组幼儿适应行为评定量表结果比较（M±SD)
2.2 干预对面部表情表达正确率的影响
对干预组和对照组自闭症男孩在前、后测中表达各种情绪的面部表情正确率（见表4）进行方差分析。
结果显示，组别×测试时点的交互作用显著F(1,24)=16.95,P<0.001，ηp2=0.41，简单效应分析表明两组自闭症男孩在前测中的表情表达正确率不存在显著差异(P=0.45)，干预组在后测中的表情表达正确率高于对照组(P<0.01)；同时，对照组在前后测中的表情表达正确率不存在显著差异(P=0.24)，干预组在后测中的表情表达正确率高于前测(P<0.001)，干预组在后测中情绪表达总正确率较前测成绩提升了13.05%。因组别×测试时点×情绪类型的交互作用边缘显著F(5,120)=2.07,P=0.07，ηp2=0.08，进一步进行简单简单效应检验。结果显示，干预组在后测中表达开心、生气、伤心、害怕情绪的正确率与其前测成绩差异显著(P<0.05)，表达开心情绪的正确率较前测成绩提升了24.89%，表达生气的正确率较前测成绩提升了18.14%，表达伤心情绪的正确率较前测成绩提升了14.32%，表达害怕情绪的正确率较前测成绩提升了13.37%。研究结果表明，接受干预后，干预组自闭症男孩的面部表情表达正确率有明显提升，尤其表现在开心、生气、伤心、害怕情绪上。
2.3 干预对面部表情模仿正确率的影响
对干预组和对照组自闭症男孩在前后测中模仿各种情绪的面部表情正确率（见表5）进行方差分析。因干预组中1名自闭症男孩和对照组中2名自闭症男孩在后测中不配合，故有效被试量分别为n=14和n=9。
结果显示，组别×测试时点的交互作用显著F(1,21)=32.09,P<0.001，ηp2=0.60，简单效应分析表明两组自闭症男孩在前测中的表情模仿正确率不存在显著差异(P=0.21)，干预组在后测中的表情模仿正确率高于对照组(P<0.01)；同时，对照组在前后测中的表情模仿正确率不存在显著差异(P=0.46)，干预组在后测中的表情模仿正确率高于前测(P<0.001)，干预组后测中情绪模仿总正确率较之前测成绩提升了19.57%。
表4 两组幼儿在前后测中表达各情绪的面部表情正确率（%，M±SD)
表5 两组幼儿在前后测中模仿各情绪的面部表情正确率（%，M±SD)
2.4 干预对不同面部区域AU产出的影响
基于自闭症患者对面孔不同区域加工的深度不同，将表2中六类基本情绪的AU划分为眼眶区AU（包括AU1/2/4/5/6/7/9）和口唇区AU（包括AU12/15/16/23/26）。对干预组和对照组自闭症男孩在前、后测中表达和模仿各情绪时的眼眶区AU、口唇区AU的正确率进行统计，结果见表6。
表6 干预组自闭症男孩在前后测中各面孔区域AU产出的正确率（%）
根据Lenz[28]的方法计算两种任务中眼眶区和口唇区AU成绩改善的百分比（Percent Improvement,PI），以其判断标准“PI≥50%界定为存在显著差异，25%≤PI<50%为轻微改善但不显著，PI<25%为没有改善”判断干预后前后测数据变化是否显著。结果发现，在表达任务中，眼眶区AU的PI值为116.7%，有显著改善，但口唇区AU的PI值为-16.7%，没有改善；在模仿任务中，眼眶区AU的PI值为57.6%，口唇区AU的PI值为91.6%，均表现出显著改善。研究结果表明，干预对自闭症男孩眼眶区域AU模仿和表达产出的改善效果均佳，对口唇区AU模仿产出的改善效果佳，但对口唇区AU表达产出没有改善效果。

3 讨论

本研究发现情绪识别、理解、体验、调节、模仿和表达能力元素构成的综合干预方案可有效提升自闭症男孩的面部表情表达和模仿产出质量。接受干预后自闭症男孩模仿六种基本情绪的正确率都得到提升，但是在难度较大的惊讶和讨厌情绪上尚未见到面部表情表达质量的提升。这一结果证明了基于情绪认知和产出综合能力干预方案的有效性，也从侧面反映了情绪认知与产出的互相依赖关系[14,15]。自闭症儿童对面部表情的关注模式是异常的、“非情感”的模式，对面部表情信息的理解主要依赖于图表线索的整合[29]。因此，通过有效途径改变其面孔加工模式和情感卷入状态就显得尤为关键。
干预能明显改善自闭症男孩眼眶区AU的模仿和表达产出，以及口唇区AU的模仿产出，但不能改善口唇区AU的表达产出。这一结果证明自闭症患者对不同面孔“局部”信息的加工深度不同。面部表情模仿任务中，口唇区AU的产出改善率高于眼眶区可能是因为自闭症患者在观看人脸时更倾向于偏爱口唇区、回避眼眶区[30]，这导致他们对口唇区AU的敏感性更高，更容易在干预中学习。面部表情表达任务中，自闭症患者仅表现出眼眶区AU产出的改善，没有发生口唇区AU产出的改善。但是，患者在干预后明显表现出更多种类的口唇区AU，如AU15（嘴角下拉）、AU23（嘴唇紧绷）和AU27（嘴巴张开现口腔），这可能是他们有意展示口唇区AU却控制不了相应肌肉的运动方向导致的。由此可见，在多维情绪能力干预中，要引导患者关注眼眶区的AU特征，练习控制口唇区的AU肌肉。
在干预过程中，研究者结合FACS对相关图片、视频中人物角色的面部表情运动单元进行了分解、描绘和示范，引导幼儿注重面部的眼睛、嘴巴、眉毛、鼻子、下巴、苹果肌、皱纹等特征区域的变化，让孩子在看一看、摸一摸、学一学、做一做的过程中改变仅关注局部面孔线索的特定加工模式，进而实现改善面部表情产出的目的。研究在干预中通过情境故事视频和模拟生活场景来增加教学活动的生态性和趣味性，进而加深了自闭症幼儿对于情绪的识别、理解、产出、体验和调节，达到将干预学习的效果迁移到真实情境中去的目的。
自闭症儿童的康复治疗是全社会关注的热点问题，本研究干预方案的应用及有效性验证为实现自闭症幼儿的情绪能力干预提供了可参考的设计思路和框架。同时，FACS系统在国内的应用极少，本研究为推动FACS技术在国内情绪相关研究领域的应用提供了典型案例，为推动情绪能力的多模态评估提供了新思路。

参考文献
1 De la Torre F,Cohn JF.Facial expression analysis.In:Moeslund T,Hilton A,Krüger V,et al.(eds).Visual Analysis of Humans.London,UK:Springer,2011.377-409
2 Nowicki S,Duke MP.Individual differences in the nonverbal communication of affect:The diagnostic analysis of nonverbal accuracy scale.Journal of Nonverbal Behavior,1994,18(1):9-35
3 Trentacosta CJ,Crespo LM.Development of emotional competence.In:Hupp S,Jewell J(eds).The Encyclopedia of Child and Adolescent Development.New York,US:John Wiley&Sons,Inc,2020.1-9
4 Yoshimura S,Sato W,Uono S,et al.Impaired overt facial mimicry in response to dynamic facial expressions in highfunctioning autism spectrum disorders.Journal of Autism and Developmental Disorders,2015,45(5):1318-1328
5 Manfredonia J,Bangerter A,Manyakov NV,et al.Automatic recognition of posed facial expression of emotion in individuals with autism spectrum disorder.Journal of Autism and Developmental Disorders,2019,49(1):279-293
6 Keating CT,Cook JL.Facial expression production and recognition in autism spectrum disorders.Child and Adolescent Psychiatric Clinics of North America,2020,29(3):557-571
7 Salomone E,Bulgarelli D,Thommen E,et al.Role of age and IQ in emotion understanding in autism spectrum disorder:Implications for educational interventions.European Journal of Special Needs Education,2018,34(3):383-392
8 Gordon I,Pierce M,Bartlett MS,et al.Training facial expression production in children on the autism spectrum.Journal of Autism&Developmental Disorders,2014,44(10):2486-2498
9 Grossard C,Hun S,Dapogny A,et al.Teaching facial expression production in autism:The serious game JEMIm E.Creative Education,2019,10(11):2347-2366
10 Jain S,Thiagarajan B,Shi Z,et al.Modeling engagement in long-term,in-home socially assistive robot interventions for children with autism spectrum disorders.Science Robotics,2020,5(39):eaaz3791
11 Ip HHS,Wong SWL,Chan DFY,et al.Enhance emotional and social adaptation skills for children with autism spectrum disorder:A virtual reality enabled approach.Computers&Education,2018,117:1-15
12 Zhang S,Xia X,Li S,et al.Using technology-based learning tool to train facial expression recognition and emotion understanding skills of Chinese pre-schoolers with autism spectrum disorder.International Journal of Developmental Disabilities,2019,65(5):378-386
13 Gev T,Rosenan R,Golan O.Unique effects of the transporters animated series and of parental support on emotion recognition skills of children with ASD:Results of a randomized controlled trial.Autism Research,2017,10(5):993-1003
14 White SW,Abbott L,Wieckowski AT,et al.Feasibility of automated training for facial emotion expression and recognition in autism.Behavior Therapy,2018,49(6):881-888
15 Chen L,Wu M,Pedrycz W,et al.Emotion recognition and understanding for emotional human-robot interaction systems.Berlin/Heidelberg,Germany:Springer,2021.1-247
16 Ekman P,Friesen WV.Facial action coding system.Palo Alto,US:Consulting Psychologists Press,1978
17彭小江,乔宇.面部表情分析进展和挑战.中国图象图形学报,2020,25(11):2337-2348
18 Litton FW,Rotatori AR,Coombs-Richardson R,et al.Preparation for teachers for students with autism spectrum disorders:A call for quality and quantity.American Journal of Educational Research,2017,5(2):225-230
19 Buescher AV,Cidav Z,Knapp M,et al.Costs of autism spectrum disorders in the United Kingdom and the United States.JAMA Pediatrics,2014,168(8):721-728
20 Grossman RB,Edelson LR,Tager-Flusberg H.Emotional facial and vocal expressions during story retelling by children and adolescents with high-functioning autism.Journal of Speech,Language,and Hearing Research,2013,56(3):1035-1044
21 Drimalla H,Landwehr N,Hess U,et al.From face to face:The contribution of facial mimicry to cognitive and emotional empathy.Cognition and Emotion,2019,33(8):1-15
22 Kolb B.Brain development during early childhood.In:Hupp S,Jewell J(eds).The Encyclopedia of Child and Adolescent Development.New York,US:John Wiley&Sons,Inc,2020.1-14
23 Loveland KA,Tunali-Kotoski B,Pearson DA,et al.Imitation and expression of facial affect in autism.Development and Psychopathology,1994,6(3):433-444
24龚栩,黄宇霞,王妍,等.中国面孔表情图片系统的修订.中国心理卫生杂志,2011,25(1):40-46
25 Baron-Cohen S.Mind reading:The interactive guide to emotions.London,UK:Jessica Kingsley Publisher,2003
26 Li Y,Yu D.Development of emotion word comprehension in Chinese children from 2 to 13 years old:Relationships with valence and empathy.Plo S One,2015,10(12):e0143712
27 Grabell AS,Huppert TJ,Fishburn FA,et al.Using facial muscular movements to understand young children’s emotion regulation and concurrent neural activation.Developmental Science,2018,21(5):e12628
28 Lenz AS.Estimating and reporting clinical significance in counseling research:Inferences based on percent improvement.Measurement and Evaluation in Counseling and Development,2020,53(4):1-8
29顾莉萍,静进,金宇,等.孤独症儿童对人物面孔图表情识别特征及情绪归因特点.中国儿童保健杂志,2012,20(4):302-305
30郝艳斌,王福兴,谢和平,等.自闭症谱系障碍者的面孔加工特点--眼动研究的元分析.心理科学进展,2018,26(1):26-41