近日，suncitygroup太阳成集团傅小兰教授与刘峰助理研究员联合研究团队与江南大学人工智能与计算机学院钱雪忠副教授团队合作的研究成果“Temporal-spatial cross-fusion for dynamic micro expression recognition”在模式识别、计算机视觉与人工智能领域国际权威期刊 Pattern Recognition正式录用。
成果速读
本研究成果首次从维度融合视角系统探索时空特征在动态微表情识别中的互补机制，提出新型并行时空交叉融合框架TSFmicro，为小样本场景下的微表情识别任务提供高效解决方案。
成果介绍
微表情是人类在情绪抑制状态下无意识流露的短暂面部反应，具有持续时间极短（1/25~1/2秒）、运动强度微弱、局部区域特异等典型特征，在临床心理评估、公共安全监测、司法鉴证等领域具有重要应用价值。然而，微表情的瞬时性与局部性给准确识别带来显著挑战，即使经过专业训练的人员，其肉眼识别准确率也难以超过50%。现有方法多采用单一维度建模策略，难以有效捕捉微表情“在哪里发生”（where）与“如何变化”（how）之间的互补关系，制约了模型性能的进一步提升。
图1. 本文试图从维度融合的角度，探讨时间融合对微表情识别性能的潜在影响。(a) 利用帧差分技术，将帧与帧之间的时间信息提取为时间特征。(b) 采用位置嵌入技术，学习与动作发生相关的位置信息，并将其映射到时间特征上。(c) 通过时序流和空间流提取时空信息，并尝试不同的时空融合方法。 (d) 采用不同时空维度融合方法时，TSFmicro的性能表现。
研究动机
当前动态微表情识别研究面临两大核心挑战：一方面，微表情的高时序动态性使得单帧图像难以准确捕捉动作演化过程；另一方面，微表情的低强度与局部化特征导致关键运动区域难以精确定位。现有方法或侧重时间建模而忽略空间定位，或专注空间特征而弱化动态变化，缺乏对时空维度互补关系的系统性探索。若能在高维特征空间实现时空信息的有效融合，形成语义层面的"where-how"协同表征，将有望突破微表情识别的性能瓶颈。
研究贡献
本研究提出时空交叉融合动态微表情识别框架（Temporal-Spatial Fusion framework for DMER, TSFmicro），主要贡献如下：
1. 多维融合新视角。首次从维度融合角度系统探索时空特征在动态微表情识别中的互补机制，明确不同维度特征在多种组合模式下的作用与贡献，为微表情识别研究提供新的方法论参考；
2. 并行时空融合方法。提出新型并行时空融合策略，在高维特征空间融合时空信息，形成语义层面的互补"where-how"关系，为模型提供更丰富的语义表征。空间子分支引入可学习位置嵌入并采用浅层网络设计，有效避免提取与微表情运动无关的身份信息；
3. 时空特征贡献重审视。重新审视微表情识别领域中时间维度与空间维度的特征贡献关系，提出时空特征多维融合与计算的模式识别新范式，推动微表情识别从单维建模向多维协同演进；
4. 高效时空融合框架。提出新型时空特征融合框架，通过计算Onset帧与Apex帧的差分捕获动态时序信息，并将其映射至空间子分支提取的位置信息，实现时空信息的高效整合。在CASME II、SAMM、CAS(ME)³三个主流数据集上的实验结果表明，该方法性能超越当前最先进方法（SOTA）。
图2. TSFmicro框架整体架构。(a)整体流程首先进行人脸裁剪，随后从差异帧中提取时序特征，从起始帧中提取空间特征，最后进行时序-空间融合与分类。(b)特征融合模块通过逐元素求和的方式整合时序和空间特征流。(c)T-S（early）融合策略在识别主干之前融合时序与空间信息。(d)T to S融合策略在空间编码之后将时序特征融合到空间分支中。(e)S to T融合策略在时序编码之后将空间特征融合到时序分支中。(f)T-S（late）融合策略对独立处理的时序和空间特征进行逐元素求和。
研究创新
本研究实现三大理论与技术突破：
1. 维度融合新范式。突破传统单维建模局限，首次系统探索时空维度在微表情识别中的互补机制，为小样本时序分类任务提供可迁移的多维融合方法论；
2. 轻量高效设计。采用元素级求和的融合策略，在保持模型轻量（9.5M参数，4.9G FLOPs）的同时实现性能提升，适用于计算资源受限的实际应用场景；
3. 时空协同表征。通过"差分帧+位置嵌入"的协同设计，将动态时序变化与静态空间定位相互结合，显著提升模型对微表情完整演化过程的理解能力。
刘峰助理研究员为该文第一作者兼通讯作者，傅小兰教授为共同通讯作者，南丙誉、钱雪忠副教授为共同作者，南丙誉是刘峰老师与钱雪忠老师共同指导的硕士研究生。本研究得到国家重点研发计划“主动健康和老龄化科技应对”重点专项（No.2024YFC3606802）、上海交通大学2030倡议及新进教师启动计划项目基金的资助（No.25X010506040）。
Pattern Recognition 是模式识别、计算机视觉与人工智能领域国际权威期刊，五年影响因子IF=8.0，在学术界与工业界均具有广泛影响力。
论文链接：https://doi.org/10.1016/j.patcog.2026.113715
代码地址：https://github.com/Cross-Innovation-Lab/TSFmicro
发表日期：2026年4月13日
作者：刘峰*、南丙誉、钱雪忠、傅小兰*
单位：suncitygroup太阳成集团*、江南大学人工智能与计算机学院
引用信息
F. Liu, B. Nan, X. Qian, and X. Fu, "Temporal-spatial cross-fusion for dynamic micro expression recognition," Pattern Recognition, 2026, doi: 10.1016/j.patcog.2026.113715.
