首个集成了OpenAI Realtime API和RTC能力的实时多模态AI agent：TEN-Agent，具备天气查询、网络搜索、视觉识别、RAG能力，适合智能客服、实时语音助手这种实时交互的场景能同时看、听、说，处理各种信息，具备超低延迟的音视频交互能力，agent状态实时管理，多模态处理能力

代码地址：https://github.com/TEN-framework/TEN-Agent

体验地址：https://agent.theten.ai/


1. 带有 OpenAI Realtime API 和 RTC 的 TEN 代理

将超低延迟的 OpenAI Realtime API 与 RTC 的 AI 噪音抑制相结合，可确保流畅、高质量的交互。除此之外，天气和新闻工具的无缝集成使 TEN Agent 更加通用。



2.  TEN 代理功能
  • OpenAI Realtime API 和 RTC 集成：TEN Agent 是集成 OpenAI Realtime API 和 RTC 的世界级多模式 AI 代理。
  • 高性能实时多模式交互：为复杂的视听AI应用提供高性能、低延迟的解决方案。
  • 多语言和多平台支持：支持C++、Go、Python等扩展开发。可在Windows、Mac、Linux和移动设备上运行。
  • 边缘云集成：灵活结合边缘和云部署的扩展，平衡隐私、成本和性能。
  • 超越模型限制的灵活性：通过简单的拖放编程轻松构建复杂的AI应用程序，集成视听工具，数据库，RAG等。
  • 实时代理状态管理：实时管理和调整代理行为以实现动态响应。


3. 集成的模型：


4. TEN 代理：

类似coze的图像界面：