作者：中国工商银行软件开发中心高级专家 刘承岩

情感计算顾名思义是对情感的感知、理解和表达，是融合计算机科学、心理学等多个领域的综合性研究，对于提升计算机的理解和表达能力有着重要意义。相关研究表明，多模态是未来数据形式和人工智能技术发展的大趋势，在表情、语音、姿态、语义等多元信息互补的激励下，能够更加准确地识别情感目标。随着银行数字化转型进程推进，如何不断提升服务水平、防控金融风险，一直是银行业共同探索的问题。多模态情感计算的发展与应用，将成为解决上述问题的一大利器。

一、多模态情感计算发展现状及趋势

多模态情感计算主要专注于信息之间的融合与交互，根据融合策略不同，有决策级融合与特征级融合两种主要技术路径。决策级融合即对单独学习好的各模态信息进行直接融合，最简单的方法是分别实现微表情识别、语音情感识别与文本情感识别，再对识别结果进行简单加权。特征级融合是在单个模态学习过程加入模态之间的交互，动态补充模态中缺少的信息。

目前决策级融合在业界应用相对成熟，实现难度低，效果基本满足预期。特征级融合对于模态的信息学习更充分，准确率相较决策级融合有较大提升，但目前暂未有相关软件产品，仍处于学术研究阶段。

随着多模态大模型技术日趋火热，运用大模型执行情感计算任务也成为当下的研究热点，其解决方案为通过自监督的方式对海量无标注数据进行学习，再面向特定场景进行少量数据的标注学习及微调。多模态大模型对数据依赖较低，泛化能力强，还可以与视觉大模型、语言大模型等其他模型相结合，例如在当下最热门的GPT模型融入情感计算，使该模型在理解和表达上更加人性化，在视觉大模型中加入情感识别则可以在风控、安防等领域发挥积极作用。然而，现阶段大模型也存在一定短板，如对前期训练成本和算力要求非常高，模型庞大的体量也会影响其拓展性与应用的灵活性，部署难度加大等。

目前在金融行业，也有多家银行积极布局基于微表情、自然语言的单模态情绪识别或决策级多模态情绪识别产品，主要应用方向为服务质量评价及远程面审反欺诈，随着多模态情感计算日趋成熟，未来将在银行业更多场景发挥作用。

二、在银行业的应用前景

1.多模态情感计算运用不同数据源可赋能不同类型业务。从服务渠道来说，不同于目前相对成熟的文本情感识别与微表情情感识别，多模态情感计算可通过不同模态之间的组合灵活适配音视频通话、电话语音与文字交互等需求，摆脱对某一固定服务类型的限制。此外，音视频服务常常受到网络波动影响出现画面不稳定，导致缺少关键帧无法识别情感的状况，多模态情感计算对语音与语义的融合分析能够较好地维持情感识别的稳定性。

从交互方式来说，多模态情感计算可融入人人交互、人机交互，以及在元宇宙等虚拟空间的虚拟身份间交互。及时感知客户情感反馈对银行提升服务体验至关重要，当前各家银行都在大力发展7×24小时智能自助服务，由于缺少服务人员人工介入，更需要依赖人工智能系统了解客户满意度，及时发现系统存在的不足并改进。

2.多模态情感计算辅助判断客户真实意图。无论是对业务办理过程中表现出的正面与负面情绪，或是在审核、调查等过程中出现的明显情绪波动，通过融合心理学上的情感映射，都可以一定程度展现客户当前的真实意图，从而为服务人员或审核人员的决策提供参考。真实意图判断在对客营销、服务评价、尽职调查、催收、反欺诈等领域能够发挥重要作用。结合客户画像，在业务环节运用多模态情感计算对客户的意图、行为等进行预测，可实现精准营销、个性化定制化服务，同时为金融安全保驾护航。

3.基于多模态情感计算的情感生成。随着金融数字化转型深入推进，商业银行均在积极布局各种形态的智能服务，包含智能文字客服、智能外呼、数字人等。无论在文本生成、语音合成还是数字人交互过程中，有情感有温度的回应将会给用户带来更优质的服务体验。除了及时应对客户当前的情绪波动提供对应的安抚或激励外，还可以结合客户画像特征实现不同的情感表达。例如面对老人、儿童、不同性别的客户，采取不同的数字人形象与讲话方式，或是参考客户聊天习惯，创建与客户“更聊得来”的智能客服。

三、在银行业的典型应用案例

基于以上对多模态情感计算特点的分析，可以看出情感计算在银行业各领域大有可为。现如今银行业正不断扩充服务边界，多模态情感计算适用于网点、音视频、自助服务等各类服务渠道，在内部人员管理、精准营销、风险防控等领域拥有丰富的创新应用场景。现阶段，银行业可以考虑在传统业务中融合情感计算，实现客户满意度调研、辅助风控等。未来，随着新技术的不断发展成熟，可开拓新一代银行服务模式，例如基于大模型多轮对话+情感计算的AI智能服务、元宇宙+情感计算的多元交互等。在此具体分析情感计算应用的几个典型案，供银行同业交流参考。

1.多模态情感计算实现对音视频、电话、线下等渠道的人工服务监督评价。在服务过程中感知到客户出现愤怒等负面情绪时，及时通知主管人员介入处理，或实时监测银行服务人员的异常情绪，监督规避违规操作，降低纠纷。在服务完成后，多模态情感计算替代客户对服务打分评价，减少客户操作，获取较为真实的客户反馈。在事后质检中加入情感质检，实现对内部人员管理考核，提升服务合规水平。

2.多模态情感计算辅助银行人工智能系统改进提升。当前手机银行服务配置有语音搜索、语音指令控制等功能，以方便老年人群等客户操作。通过判断是否重复多次发出语音指令，以及语音中是否带有负面情绪，帮助银行了解客户使用系统的便捷度，并加以改进。在智能文字客服、智能语音外呼及数字人等自助服务过程中，客户在文字、语音中出现的异常情绪也为银行智能服务的改进提升提供依据。

3.多模态情感计算助力金融业务反欺诈。在信贷面审、信用卡尽职调查等场景，结合特定话术、问题等，捕捉情绪异常波动，为客户经理判断客户是否存在隐瞒、欺诈风险提供参考。在转账汇款等业务办理过程中，判断客户特别是老年客户群体是否存在紧张、恐惧等情绪，结合视频智能分析等技术，例如操作过程中是否有人代操作、或边打电话边操作等动作，及时阻止可能出现的诈骗案件。

4.多模态情感计算实现对客服、催收等高流动性岗位人员的智能培训及测评。通过软件模拟不同业务场景下的客户诉求，由参训人员进行应答，在应答过程中检测其情绪是否符合岗位要求。受训人员可自行反复多次训练，也可以通过该方式开展培训结业考试等。用自动化训练替代传统人工培训中需要依赖导师的重复性训练，大幅节约师资成本与人力资源。

四、多模态情感计算应用展望与建议

多模态情感计算对银行业提升服务质量与安全性有着广泛的应用前景，在对客服务、运营管理、产品营销、风险防控等领域都能够发挥重要作用，还能够与元宇宙、智能网点、数字人等新兴技术相结合，实现智能服务提升，但该技术在发展与推广过程中仍面临一定挑战。

一是目前仍缺少充足且准确的标注数据，尤其是银行业务种类繁多，不同的业务类型具有不同的情绪倾向和话术特征，因此每适配一个新的场景都需要投入大量的人力资源进行数据标注与训练，且人工标注暂时还没有统一的方法和标准可以验证其标注准确性，会导致实际应用中识别准确率不达预期。二是心理学领域关于情绪和意图的研究仍处于发展阶段，情绪与意图之间并非简单的一对一映射，即使捕捉到人的情绪异常，仍不能保证了解其真实意图。三是情感计算涉及客户视频资料的获取和分析，在个人隐私保护要求日益严格的大环境下，如何在保护客户权益的前提下合理运用情感计算技术，也是银行业急需思考的问题。

因此，现阶段银行在应用多模态

情感计算时，建议先在小范围开展试点，通过充足的脱敏标注数据进行模型调优，定期对算法模型进行升级和优化。在试点过程中，还要注意客户信息采集告知授权、数据传输与存储过程加密、算法模型的私有化部署等，保证客户信息安全。此外，银行业还要加强与头部企业、高校等机构在计算机领域与心理学领域的合作，持续关注国内外业界与学界的最新技术发展。

本文来源：微信公众号《金融电子化》

免责声明：所载内容来源互联网、微信公众号等公开渠道，我们对文中观点保持中立，仅供参考、交流等非商业目的。转载的稿件版权归原作者和机构所有，如有侵权，请和记平台官网删除。