在生成式AI领域，随着大模型多模态交互能力的升级，RTC技术推动人与AI的互动超越文字，实现生动、流畅的低延迟语音通话。随着GPT-4o的发布，标志着AI实时语音交互的突破。之前传统大模型虽具备语音交互，但通常使用WebSocket方案，这种基于TCP协议的传输导致2-3秒的高延迟，弱网环境下甚至超4秒。而GPT-4o通过RTC方案提供了自然流畅的语音交互，也让更多企业与开发者看到了在 AI 语音交互中 RTC 方案的更优性，并积极与 RTC 厂商合作，升级 AI 语音交互的体验。
声网发布的实时多模态对话式 AI 解决方案，语音为核心，支持视频扩展，实现文本/音频/图像/视频的组合输入&输出，通过丰富的功能构建真实、自然的 AI 语音交互体验。
例如对交互延迟进行优化，延迟可做到1s以内；支持 AI 降噪、背景人声过滤，让语音对话更纯静；支持随时打断与超拟人化人声合成，让对话更智能与逼真；同时还支持灵活可扩展的 AI Agent 架构等一系列功能，帮助开发者与企业快速构建适配自己业务场景的 AI 实时语音对话服务。
1、延迟低于1s，极速响应：在该方案下可实现语音对话延迟低于1s。通过在客户端进行低延迟的音频采集和播放、借助声网自研的 SD-RTN™ 实时传输网络实现全球范围的低延时 RTC 传输，并进一步通过更精准低延迟的AI VAD、更快速的 LLM 推理首字耗时、低延迟流式 TTS、同机部署等一系列技术手段，保证对话的实时性与流畅性。2、智能打断，贴近真实会话：通过 AI 语音活动检测（AI VAD）技术，可实现灵敏的自然语音打断，模拟人类对话的自然流动，让对话更加真实、自然。3、嘈杂环境下也能清晰对话：通过AI噪声抑制、背景人声过滤、音乐检测/过滤等算法，确保人与 AI 的对话不受环境干扰，始终保持顺畅。4、灵活可扩展的AI Agent架构：采用灵活可扩展的 AI Agent架构，兼容市场主流的 ASR、LLM 和 TTS 技术，并具备工作流编排能力，帮助开发者与企业根据特定需求定制和扩展 AI 驱动的实时互动体验。5、超拟人化人声合成：可实现超拟人真实音色，合成的声音几乎与真人无异，且支持私人定制音色，模拟喜怒哀乐等多种情绪表达，提升用户体验，使互动更加自然，还原真实体验感。6、支持 RTC 与 SIP 网关互通：支持 RTC 与 SIP 网关互通，用户可直接通过声网的RTC SDK 直接呼叫企业客服中心坐席，有效的降低客服成本，提升客服效率。
在RTC 的加持下，AIGC应用场景迎来进一步爆发，AI智能助手、AI情感陪伴、AI口语老师、AI客服的 AI 交互体验进一步升级，学生的学习效率更高，社交陪聊场景的娱乐性与沉浸感也进一步增强。来自量子位智库推出的 AI智能助手用户数据报告显示，截止8月国内市场的 AI智能助手 App 已超过64款。在 AI情感陪伴领域也涌现了 Soul、星野、Wow等一系列人气社交APP。以 AI情感陪伴为例，随着多模态交互能力的升级，当下 AI情感陪伴类产品正呈现出三个特征：1、语音/视觉交互：除了传统的文本交互外，越来越多的 AI情感陪伴类 APP 也在加入语音通话的功能，让 AI陪伴更具有真实感。同时在视觉交互方面，部分产品也支持了视频通话功能，通过3D建模、拟真渲染等技术构建逼真的数字人，让人与 AI 的情感交互更加拟人化。2、情感计算：人与 AI 的一个核心区别就是人具备情感，为了让 AI 的回答更加智能与真实，许多 AI 陪伴产品开始加入情感计算的能力。通过语义识别、面部表情等信号检测用户的喜怒哀乐等情绪状态，并做出对应的情感回应，实现更加人性化的交互体验。3、私人定制：标准化的人机交互千篇一律，个性化的定制才更有新意。具备个性化定制能力，提供自主创作和个性化选项已经成为 AI陪伴类产品的新趋势，例如定制原生IP角色、定制IP专属画风和语音体系、定制专属互动话题等一系列功能。图：电影《Her》里的AI助理被视为AI情感陪伴的启蒙在 AI口语老师场景，声网观察发现，1v1教学场景非常适用 AI口语老师，从真人教学变成自学模式，例如正价课1v1与 Demo 课1v1教学，AI数字人老师将代替真人，1v1 AI 口语老师将成为未来语言学习机构必备的应用，AI 数字人老师可能用于大龄学生与成人，卡通 IP 可用于低幼龄的课程。同时在职业教育赛道，已经有不少教育机构在大班课场景利用 AI数字人老师教学。同时，在游戏社交、AI分身、实时语音翻译等场景，实时AI语音也大有可为。例如，在狼人杀、谁是卧底等场景，AI NPC 角色虽然已经在应用，但是 AI 的痕迹还是较为明显。在大模型具备实时语音交互能力后，谁是卧底中的 AI 角色可以做到快速的推理并发言，再搭配语音仿真技术，有望做到 AI 角色的以假乱真。体验Demo或接入该方案：https://www.shengwang.cn
语音小管家
