Files
AI-VideoAssistant/docs/content/quickstart/index.md
Xin Wang b300b469dc Update documentation for Realtime Agent Studio with enhanced content and structure
- Revised site name and description for clarity and detail.
- Updated navigation structure to better reflect the organization of content.
- Improved changelog entries for better readability and consistency.
- Migrated assistant configuration and prompt guidelines to new documentation paths.
- Enhanced core concepts section to clarify the roles and capabilities of assistants and engines.
- Streamlined workflow documentation to provide clearer guidance on configuration and usage.
2026-03-09 05:38:43 +08:00

3.7 KiB
Raw Blame History

快速开始

本页负责“创建第一个助手”的最短路径。环境要求、配置文件和部署方式统一放在 环境与部署

目标

完成本页后,你应该已经:

  1. 准备好 1 个 LLM、1 个 ASR、1 个 TTS 资源
  2. 创建并保存 1 个助手
  3. 完成至少 1 轮测试对话
  4. 拿到接入应用所需的 assistant_id 和 WebSocket 地址

前提条件

  • 已部署 Realtime Agent StudioRAS服务
  • 已准备可用的 LLM / ASR / TTS 凭证
  • 已能访问控制台与 WebSocket 服务

第一步:准备资源

创建助手之前,先准备三类资源:

  • LLM 模型:决定助手如何理解和生成回复。详见 LLM 模型
  • ASR 资源:决定语音输入如何转写。详见 语音识别
  • TTS 声音资源:决定回复如何被合成为语音。详见 声音资源

如果你想先检查“资源是否准备齐”,可以看 资源准备清单

第二步:创建助手

  1. 进入控制台中的 助手 页面
  2. 新建一个助手,并填写最小必要信息:
    • 助手名称:让团队知道它服务于什么场景
    • 系统提示词:先定义角色、任务和限制
    • 首轮模式:决定由助手先说还是等待用户开口
  3. 绑定默认模型:
    • 文本生成使用一个 LLM
    • 语音输入使用一个 ASR
    • 语音输出使用一个 TTS 声音资源

如果你想把助手设计得更稳,继续阅读:

第三步:补充能力

最小助手可以只依赖提示词和模型;更复杂的场景通常还需要以下能力:

  • 知识库:让助手回答私有领域问题。见 知识库
  • 工具:让助手执行查单、预约、查询等外部操作。见 工具
  • 工作流:让助手处理多步骤、多分支流程。见 工作流

第四步:测试并发布

  1. 打开助手测试面板,先验证文本对话,再验证语音输入输出
  2. 观察事件流、转写、工具调用和最终回复是否符合预期
  3. 保存当前配置,并确认该助手已可用于外部接入

更系统的验证方式见 测试调试

第五步:接入应用

最小接入方式是使用 WebSocket API 建立实时会话:

const ws = new WebSocket('ws://your-server/ws?assistant_id=YOUR_ASSISTANT_ID');

ws.onopen = () => {
  ws.send(JSON.stringify({
    type: 'session.start',
    audio: { encoding: 'pcm_s16le', sample_rate_hz: 16000, channels: 1 }
  }));
};

你通常只需要两项信息:

  • assistant_id:指定接入哪个助手
  • WebSocket 地址:由引擎服务提供实时对话入口

完整协议见 WebSocket 协议

常见卡点

下一步