AI-VideoAssistant/docs/content/index.md

通过管理控制台与 API 构建、部署和运营实时多模态助手

产品概览 · 快速开始 · 构建助手 · 核心概念 · API 参考

---

Realtime Agent Studio (RAS) 是一个通过管理控制台与 API 构建、部署和运营实时多模态助手的开源平台。

适合谁

• 需要把实时语音或视频助手接入产品、设备或内部系统的开发团队
• 需要通过控制台快速配置提示词、模型、知识库、工具和工作流的运营团队
• 需要私有化部署、模型可替换、链路可观测的企业场景

核心能力

• :material-robot-outline: 助手构建

  ---

  用统一的助手对象管理提示词、模型、知识库、工具、开场白和会话策略。

• :material-pulse: 双引擎运行时

  ---

  同时支持 Pipeline 引擎与 Realtime 引擎，可按延迟、成本和可控性选择运行方式。

• :material-source-branch: 能力扩展

  ---

  通过资源库、知识库、工具与工作流扩展助手能力，而不是把全部逻辑塞进单一提示词。

• :material-api: 开放集成

  ---

  使用 REST API 管理资源，使用 WebSocket API 接入实时对话，面向 Web、移动端和第三方系统。

• :material-shield-lock-outline: 私有化部署

  ---

  支持 Docker 部署、自有模型服务和企业内网运行，便于满足合规与成本要求。

• :material-chart-line: 可观测与评估

  ---

  提供会话历史、实时指标、自动化测试和效果评估，帮助持续改进助手质量。

系统架构

平台架构层级：

flowchart TB

    subgraph Access["Access Layer"]
        API["API"]
        SDK["SDK"]
        Browser["Browser UI"]
        Embed["Web Embed"]
    end

    subgraph Runtime["Realtime Interaction Engine"]
        direction LR

        subgraph Duplex["Duplex Interaction Engine"]
            direction LR

            subgraph Pipeline["Pipeline Engine"]
                direction LR
                VAD["VAD"]
                ASR["ASR"]
                TD["Turn Detection"]
                LLM["LLM"]
                TTS["TTS"]
            end

            subgraph Multi["Realtime Engine"]
                MM["Realtime Model"]
            end
        end

        subgraph Capability["Agent Capabilities"]
            subgraph Tools["Tool System"]
                Webhook["Webhook"]
                ClientTool["Client Tools"]
                Builtin["Builtin Tools"]
            end

            subgraph KB["Knowledge System"]
                Docs["Documents"]
                Vector[("Vector Index")]
                Retrieval["Retrieval"]
            end
        end
    end

    subgraph Platform["Platform Services"]
        direction TB
        Backend["Backend Service"]
        Frontend["Frontend Console"]
        DB[("Database")]
    end

    Access --> Runtime
    Runtime <--> Backend
    Backend <--> DB
    Backend <--> Frontend
    LLM --> Tools
    MM --> Tools
    LLM <--> KB
    MM <--> KB

从这里开始

• :material-compass-outline: 了解产品

  ---

  先看产品定位、核心模块、适用场景，以及 RAS 与其他方案的差异。

• :material-cog-outline: 环境与部署

  ---

  先把服务跑起来，了解环境要求、配置入口和部署方式。

• :material-rocket-launch-outline: 创建第一个助手

  ---

  按最短路径准备资源、创建助手、测试效果并拿到接入所需信息。

• :material-tune: 构建助手

  ---

  按完整链路配置助手、提示词、模型、知识库、工具与工作流。

• :material-connection: 接入应用

  ---

  查看 REST 与 WebSocket 接口，把助手嵌入到你的 Web、移动端或服务端系统。

• :material-lifebuoy: 排查问题

  ---

  当连接、对话质量或部署链路出现问题时，从这里进入可执行的排查步骤。