金融界2025年6月14日消息,国家知识产权局信息显示,江苏第二师范学院、上海心灵伙伴大数据科技有限公司、南京芯越智能科技有限公司申请一项名为“一种基于文本桥接的跨域表情运动单元检测方法”的专利,公开号CN120145166A,申请日期为2025年05月。
专利摘要显示,本发明公开了一种基于文本桥接的跨域表情运动单元检测方法,采用视觉编码器提取不同尺度的AU视觉特征,并引入一组可学习的提示向量,结合AU文本描述得到AU文本特征;利用对比学习将源域特征和文本特征对齐,提升源域AU视觉特征的判别性;采用跨模态注意力机制实现视觉和文本的初步交互,获得AU交互特征表示;通过图神经网络进一步促进文本和视觉信息的深度交互、融合,得到融合的AU特征;基于负样本AU描述的对比学习方法,将目标域特征和文本特征对齐,缩小源域与目标域之间的特征分布差异。该方法利用文本的领域不变性,将源域和目标域的视觉特征统一和文本特征对齐,显著提高AU检测模型的泛化性能和在目标域上的准确性。