端到端语音大模型上线，Soul App创始人张璐团队提升用户语音互动体验

本篇文章1046字，读完约3分钟

近年来,人工智能技术的发展呈现出前所未有的速度,AI大模型也正在逐步改变人们的日常生活。在这个背景下,国内社交平台Soul App创始人张璐团队宣布其语音大模型迎来了重要的升级,上线了自主研发的端到端全双工语音通话大模型。此次更新不仅为用户提供了更加贴近真实的语音交互体验,也展示了Soul在语音技术方面的进步。

新上线的端到端全双工语音通话大模型,以其独特的语音交互体系,实现了语音输入的直接理解及快速响应。一般来说,传统方案需要通过语音识别、自然语言理解、语音生成等步骤才能完成语音处理。而新升级的模型摒弃了传统级联方案中的多步骤处理流程,采取了从语音输入直接到语音输出的设计。这种端到端的模型不仅降低了信息传递过程中的损耗,还减少了响应延迟,使得用户在进行语音对话时等待时间大幅缩短,体验更加自然流畅。

在用户体验方面,新模型的超低交互延迟特性保障了用户在使用语音功能时能够获得即时反馈,在进行实时对话时可以达到接近面对面交流的效果。此外,该模型还支持快速自动打断功能,这意味着系统能够智能识别并及时响应用户的意图,使得对话更加连贯自然。

情绪感知也是此次升级的一大亮点。Soul的语音大模型能够识别并理解用户的情感变化,并据此作出相应的回应,提供有温度的情感关怀,增强了人机交互的真实感和亲密度。此外,Soul的端到端语音模型可以模拟出多种风格的语言表达,甚至可以模仿出物理世界的动物声音。这种多风格语言的支持不仅增加了语音交互的趣味性,也让用户可以根据个人喜好选择不同的语音风格,增强个性化体验。

自2016年上线以来,Soul一直致力于通过创新的技术方案和产品设计,实现社交体验的拓展。特别是在2020年启动对AIGC的技术研发工作之后,Soul加快了在智能对话、语音技术等领域的技术积累。今年7月,在人工智能领域顶级的国际学术会议——国际人工智能联合会议(International Joint Conference on Artificial Intelligence, IJCAI)举办的第二届多模态情感识别挑战赛(MER24)上,Soul语音技术团队在SEMI(半监督学习)赛道上取得了第一名的好成绩。此次端到端语音通话大模型的推出,也正是Soul多年深耕技术研究的成果体现。

在过去的几年里,Soul通过持续的技术创新和应用实践,为用户提供了更加丰富多元的社交体验。随着端到端全双工语音大模型的上线,Soul App创始人张璐团队为用户带来了更加有温度的沉浸式人机互动。