From 0a7a3253a6eed13e0873abc630e4eb5a12bb357f Mon Sep 17 00:00:00 2001 From: Xin Wang Date: Mon, 2 Mar 2026 16:50:17 +0800 Subject: [PATCH] Add emoji support and enhance documentation in RAS - Added pymdownx.emoji extension to mkdocs.yml for emoji rendering. - Updated index.md to include a new dashboard image and revised descriptions for clarity. - Expanded the features section with detailed descriptions of tools and testing capabilities. - Introduced a roadmap section outlining completed, in-progress, and to-do features for better project visibility. --- docs/content/index.md | 66 +++++++++++++++++++++++++++++++++++++++---- docs/mkdocs.yml | 3 ++ 2 files changed, 63 insertions(+), 6 deletions(-) diff --git a/docs/content/index.md b/docs/content/index.md index be0b631..b3728bc 100644 --- a/docs/content/index.md +++ b/docs/content/index.md @@ -1,9 +1,11 @@ -# 实时交互智能体工作平台 +# 实时交互智能体工作平台（RAS） 实时交互智能体工作平台（Realtime Agent Studio，简称 RAS）是一款构建实时交互音视频智能体的工作平台。支持管线式的全双工交互引擎和原生多模态模型两种核心，覆盖实时交互智能体构建过程中的配置、测试、发布、监控流程环节，平台包含大模型集成、语音识别、语音合成、自动化测试等功能，帮助用户快速构建实时交互智能体。 可以将该平台看作Vapi，Retell，ElevenAgents的开源替代。 +![仪表盘](images/dashboard.png) + ## 功能特色 ### 实时交互引擎 @@ -20,7 +22,7 @@ - **系统提示词编辑**：支持角色设定，会话动态变量 - **模型选择与参数调优**：灵活切换 LLM/ASR/TTS 供应商，调整温度、采样等参数 -- **工具/函数调用配置**：定义 +- **工具/函数调用配置**：webhook工具通过网络请求访问外部资源，客户端工具通过与用户交互获取信息，以及内建工具比如代码执行器，计算工具。 - **知识库关联**：接入 RAG 系统，让智能体基于私有文档回答问题 - **工作流编辑**：使用可视化流程编辑器构建包含多个环节的交互助手及其上下文切换 @@ -28,8 +30,8 @@ 内置完整的测试工具链，保障智能体上线质量： -- **实时调试控制台**：，在线测试体验智能体交互 ASR/LLM/TTS 各环节的输入输出 -- **自动化测试工具**：导入测试用例集或者构建对话测试智能体，自动执行并生成测试报告 +- **实时调试控制台**：在线测试体验智能体交互 ASR/LLM/TTS 各环节的输入输出 +- **自动化测试工具**：支持固定测试（预设问答对批量测试）和智能测试（AI自动生成测试用例），自动执行并生成测试报告 ### 开放接口 @@ -55,8 +57,6 @@ - **Docker 一键部署**：提供 docker-compose 配置，一行命令启动完整平台 - **模型本地化**：支持云端模型和本地私有化模型两种方案 -![仪表盘](images/dashboard.png) - ## 核心功能 | 功能模块 | 描述 | @@ -69,6 +69,60 @@ | **自动化测试** | 批量测试与质量评估 | | **仪表盘** | 实时数据统计与可视化分析 | +## Roadmap + +### 已完成 (Completed) + +#### 实时交互引擎 +- [x] 管线式全双工引擎 - ASR/LLM/TTS 流水线 +- [x] 智能打断处理 - VAD + EOU 检测 + +#### 智能体配置管理 +- [x] 系统提示词编辑 - prompt 配置，动态变量注入 +- [x] 模型选择 - LLM/ASR/TTS 模型管理 +- [x] 工具调用配置 - webhook 工具 + 客户端工具 + +#### 交互测试工具 +- [x] 实时调试控制台 - WebSocket 调试连接示例 + +#### 开放接口 +- [x] WebSocket 协议 - /ws 端点 +- [x] RESTful 接口 - 完整的 CRUD API + +#### 交互历史监控 +- [x] 完整会话回放 - 音频 + 转写 + LLM 响应 +- [x] 会话检索筛选 - 按时间/助手/状态筛选 + +--- + +### 开发中 (In Progress) + +#### 智能体配置管理 +- [ ] 工作流编辑 - 可视化流程编排 +- [ ] 知识库关联 - RAG 文档管理 + +#### 实时交互引擎 +- [ ] 原生多模态模型支持 - 由于GPT-4o Realtime, Gemini Live国内环境问题，计划加入Step Audio + +#### 开放接口 +- [ ] SDK 支持 - JavaScript/Python SDK +- [ ] WebRTC 协议 - /webrtc 端点 + +#### 效果评估 +- [ ] 自动化测试工具 - 固定测试 + 智能测试 + +--- + +### 待实现 (To Do) + +#### 开放接口 +- [ ] Webhook 回调 - 会话事件通知 + +#### 效果评估 +- [ ] 实时仪表盘 - 基础统计看板，需完善 + +--- + ## 快速导航
diff --git a/docs/mkdocs.yml b/docs/mkdocs.yml index 24b9c2a..f81f49e 100644 --- a/docs/mkdocs.yml +++ b/docs/mkdocs.yml @@ -81,6 +81,9 @@ markdown_extensions: - pymdownx.snippets - pymdownx.tabbed: alternate_style: true + - pymdownx.emoji: + emoji_index: !!python/name:material.extensions.emoji.twemoji + emoji_generator: !!python/name:material.extensions.emoji.to_svg - tables - attr_list - md_in_html