AI赋能情感化人机交互：Soul APP创始人张璐团队在国际赛事中成绩卓越

在近日举办的第二届多模态情感识别挑战赛(MER24)中,Soul APP的语音技术团队(Soul AI)在Soul APP创始人张璐的引领下,斩获了SEMI(半监督学习)赛道第一名的佳绩,展示了Soul在人工智能领域的卓越实力。

多模态情感识别一直是人工智能领域研究中的热门话题,尤其在社交领域,其重要性不言而喻。社交本质上是情感的交流,能够有效识别人类情绪状态的AI系统,才能更好地实现理想的人机互动。

基于此背景,在本次挑战赛中,Soul AI团队基于Soul 平台自研大模型的部分模块,调整并优化了参赛方案。团队提出了微调模型EmoVCLIP,用于提升视频情感识别的表现;采用Self-training策略,通过循环对无标签数据打伪标签与训练模型相互迭代,从而提升模型的泛化性能;而且在多模态情感识别领域首次使用Modality Dropout技术,有效解决了模型不同模态之间融合存在的竞争效应,显著提高了情感识别的准确性。凭借这些创新性的技术,Soul AI团队在比赛中脱颖而出,获得了评委的高度认可。

作为一个新型的开放式社交平台,Soul自2016年上线以来,始终致力于通过底层技术和产品模式的创新,不断提升用户的社交体验。自2020年起,Soul开始对AIGC(生成式人工智能内容)的技术进行深入研发,推动智能对话、图像生成、语音和音乐生成等关键技术的发展。在这一过程中,情感识别技术一直是Soul技术团队的关注重点之一。

目前,Soul已推出了具备多模态情感识别能力的语言大模型Soul X及语音大模型,并应用于“AI苟蛋”“狼人魅影”等功能和产品中。例如,在“狼人魅影”游戏中,用户可以与具备自主推理、发言和伪装能力的AI进行真实的游戏对决,享受沉浸式的互动体验。“AI游戏陪玩师”能帮助玩家更快地融入复杂的游戏环境中,轻松开启对话和互动,在更加身临其境的交互中获得乐趣。

随着人工智能的发展,让AI理解人类情感、实现有温度的情感化人机交互逐渐成为学术界和科技领域的关注重点。Soul语音技术团队(Soul AI)此次在多模态情感识别挑战赛上取得的成绩,不仅展示了Soul的前沿技术能力和深刻洞察力,也表明Soul APP创始人张璐团队继续推动AIGC技术在社交场景中的应用落地的决心:在多模态情感识别技术的加持下,提升AI辅助社交的质量和效率,构建情感化人机交互场景,为用户带来沉浸、有温度的互动体验。