Geometric Graph Representation with Learnable Graph Structure and Adaptive AU Constraint for MER

2023 IEEE：Geometric Graph Representation with Learnable Graph Structure and Adaptive AU Constraint for Micro-Expression Recognition（基于可学习图结构和自适应AU约束的微表情识别几何图表示）

Motivation

多数作品以图像序列为输入，不能有效探索 ME 信息
微小的 ME 运动易淹没在不相关信息中。
相反，面部LandMark是一种低维、紧凑的模式，能实现较低的计算成本和潜在的集中在 ME 相关的运动特征。

Contribution

文章探讨landmark的贡献，获取时空信息提取面部几何运动

构造一个几何双流图网络，从人脸标志点中聚集出低阶和高阶的几何运动信息，获得有区别的最大似然表示。
为了克服优化邻接矩阵的缺点，引入自学习方法，自动建立节点之间甚至远程节点之间的动态关系模型。
提出了一种自适应动作单位损失（AAU loss），以合理地建立landmark，AU和 ME之间的强相关性。

Methods

构建运动几何图 geometric movement graph (GM-Graph)
设计 SS module处理GM-Graph，并构建GTS-GN mode
两个关键组件：LAM and AAU loss are proposed

Geometric Movement Graph

为减弱无关信息的干扰，仅使用onset、apex、offset帧

Fig2.(a)：根据面部动作编码系统(FACS)，选择眉毛、鼻子、嘴周围的landmark构建面部运动几何图（未选择眼睛周围landmark 的原因是眨眼干扰）

Fig2.(b)：spatial-temporal information：based on the Go of the onset, apex and offset frames构建spatial-temporal关系

Fig. 2(c) shows the calculation of distance D and angle based on landmark coordinates.

节点特征是表示时空信息的关键。面部肌肉的运动会引起面部标志物的相应运动。因此，landmark 坐标包括ME实例中的关键移动信息。landmark坐标的数据维度比原始帧的数据维度小得多，这更有效。地标坐标的这种优势可以节省计算资源，便于实际应用。因此，仅采用地标坐标n=（x；y）作为节点特征来研究地标的有效性，并添加高阶语义特征（地标之间的距离和角度）来探索低阶和高阶几何信息的相互作用。

SS Module

受CNN+LSTM[20]分别提取时空特征的启发，设计了SS模块来聚合GM图中的时空信息。ME中地标的移动很小，每个节点沿时间步长的移动是识别ME的关键。GCN可以同时提取时空图中的空间和时间特征，但不能专注于时间特征的提取，这可能会忽略一些小的运动特征。因此，采用TCN来关注GM图中的时间信息。

Fig.3，SS模块采用GCN聚合 GM-Graph 中的空间信息。采用TCN来聚合三帧之间的时间信息。这样，每个操作都集中于一种信息（空间或时间）的聚合，这有助于更精细地学习几何运动特征。

上述预定义的邻接矩阵A是固定的，并且表示节点之间的固定关系。固定关系是根据一些原则定义的（面部结构,数据驱动），这些原则是由研究人员设定的，属于次优原则。因此，引入了表示为AL的LAM（Learnable Adjacency Matrix），以学习节点之间更合理的关系。考虑到固定的A具有一定的合理性，保留A。

Geometric Two-Stream Graph Network

需要一种能够分别聚合低阶和高阶特征的端到端模型。因此，提出了一种图模型GTS-GN来处理两个流中的低阶和高阶几何特征。

GTS-GN处理的两个特征都属于几何特征，两个特征之间存在一定的相关性。因此，这两个特征的早期融合可能更适合于信息交互。GTS-GN试图在前一层融合这两个特征，而不仅仅局限于最后一层。整个网络如图所示。

具体来说，低阶坐标和高阶语义特征在特征分布上存在一些差异，首先使用批量归一化（BN）来对这两个特征进行归一化。接下来，将两种类型的特征输入到两个流中。两个steam采用相同的结构，堆叠多个具有相同数量的SS模块。在几个SS模块之后，将两个流的输出相加在一起。添加的特征被输入到几个SS模块或全连接（FC）层，以继续聚合几何特征