131 lines
7.2 KiB
Markdown
131 lines
7.2 KiB
Markdown
---
|
||
name: write-sql
|
||
description: 编写多引擎 SQL。当用户需要写 SQL、数据查询、数据处理、ETL、数据转换、数据聚合、窗口函数、多表关联、数据仓库相关任务时使用此技能。
|
||
---
|
||
# Role
|
||
你是一个精通 SQL 的数据库专家，支持多种引擎。你的唯一任务是根据给定的上下文，编写符合目标引擎规范的精确 SQL 语句。
|
||
|
||
# 支持引擎
|
||
|
||
| 引擎 | 标识 | 适用场景 |
|
||
|------|------|----------|
|
||
| Spark SQL | `spark`（默认） | 批处理、ETL、Paimon 数据仓库 |
|
||
| Apache Doris | `doris` | 实时 OLAP 分析、报表查询 |
|
||
| Hive | `hive` | 离线批处理、历史数据仓库 |
|
||
| Kudu (Impala) | `kudu` | 实时更新、UPSERT、点查 |
|
||
|
||
# Inputs
|
||
|
||
write-sql 不自己读取文件，所有输入通过参数传入：
|
||
|
||
| 参数 | 必填 | 默认值 | 说明 |
|
||
|------|------|--------|------|
|
||
| `engine` | 否 | `spark` | 目标引擎：spark / doris / hive / kudu |
|
||
| `context` | **是** | - | SQL 生成的上下文（需求描述、模型设计、业务逻辑等，直接传入文本内容） |
|
||
| `output_path` | 否 | 无 | 输出文件路径（由调用方决定，通常为 `./ai_text/` 下）。若提供则写入文件，否则仅在对话中展示 |
|
||
|
||
# 核心流程
|
||
|
||
```
|
||
1. 确定 engine（默认 spark）
|
||
2. 解析 context，判断任务类型
|
||
3. SQL 编写前先查 OV 记忆和经验：
|
||
→ 源表/字段结构 → viking://resources/table-metadata
|
||
→ 字段处理经验/口径 → viking://resources/field-process-memory
|
||
→ 历史成功 SQL/代码参考 → viking://resources/sql_snippets
|
||
4. 精确加载一个对应模板：
|
||
→ ETL/数据开发 → ../references/sql/templates/{engine}/etl-template.sql
|
||
→ 查询/取数 → ../references/sql/templates/{engine}/query-template.sql
|
||
→ 建表 → ../references/sql/templates/{engine}/create-table-template.sql
|
||
→ 数据插入 → ../references/sql/templates/{engine}/insert-template.sql
|
||
→ 分区操作(仅Spark) → ../references/sql/templates/spark/partition-template.sql
|
||
5. 加载引擎生成规则：
|
||
→ ../references/sql/reference/{engine}-sql-syntax.md 的「SQL 生成规则」章节
|
||
6. 按 OV 结果 + 通用规则 + 引擎特有规则 + 模板骨架生成 SQL
|
||
7. 如有 output_path 则写入文件
|
||
```
|
||
|
||
# OV 记忆和经验优先
|
||
|
||
写 SQL 前必须先检查 OV 中的记忆、经验和历史代码，尤其是找源表、确认字段、需要代码参考或遇到不确定点时。不要凭经验猜表结构、字段含义、口径处理或 SQL 写法。
|
||
|
||
## 必查资源
|
||
|
||
| 资源 | 用途 | 命令示例 |
|
||
|------|------|----------|
|
||
| `viking://resources/table-metadata` | 表结构、字段定义、字段类型 | `conda run -n py13 ov grep "{表名}" --uri "viking://resources/table-metadata" --node-limit 10` |
|
||
| `viking://resources/field-process-memory` | 字段处理经验、常用数据源判断、业务口径经验 | `conda run -n py13 ov grep "{表名}.*{字段名}" --uri "viking://resources/field-process-memory" --node-limit 10` |
|
||
| `viking://resources/sql_snippets` | 历史成功 SQL、代码片段、相似场景写法 | `conda run -n py13 ov grep "{表名}" --uri "viking://resources/sql_snippets" --node-limit 15` |
|
||
|
||
## 困惑场景立即检索
|
||
|
||
| 场景 | 动作 |
|
||
|------|------|
|
||
| 表名陌生或源表不确定 | 先查 `table-metadata`，再查 `field-process-memory` 判断是否常用 |
|
||
| 字段含义、字段类型、关联键不确定 | 查 `table-metadata` 的表名+字段名组合 |
|
||
| 字段处理口径不确定 | 查 `field-process-memory` 的表名+字段名组合 |
|
||
| 需要参考历史代码或相似 SQL | 查 `sql_snippets` 的表名、业务场景、关键语法 |
|
||
| 引擎语法不确定 | 先读 `../references/sql/reference/{engine}-sql-syntax.md`，再查 `sql_snippets` 里的成功案例 |
|
||
|
||
## OV 结果使用方式
|
||
|
||
- 把 OV 找到的源表、字段、关联键、处理经验写进 SQL 生成依据。
|
||
- 如果 OV 结果与 context 冲突，先指出冲突并请用户确认，不能静默选择。
|
||
- 如果 OV 没有结果，明确说明未找到相关记忆，并退回到 context + 本地 SQL reference/templates 生成。
|
||
|
||
# 通用规则（所有引擎都必须遵守）
|
||
|
||
以下规则适用于所有引擎，不受引擎差异影响：
|
||
|
||
1. **禁止使用 CTE (WITH 子句)**，每个主要逻辑步骤必须物化为临时表
|
||
2. **先 DROP 再 CREATE**：`DROP TABLE IF EXISTS ...; CREATE TABLE ... AS SELECT ...;`
|
||
3. **禁止 `SELECT *`**，必须明确列出所有字段
|
||
4. 多表查询时所有表必须使用简短别名
|
||
5. 每个步骤前添加注释说明
|
||
6. **谓词下推**：过滤条件前置，JOIN 时在 WHERE 中一并添加过滤
|
||
7. 临时表命名：`${db_tmp_env}.tmp_{业务简称}_{步骤序号}`
|
||
|
||
# 引擎特有规则
|
||
|
||
**各引擎的特有规则（DML差异、函数差异、写入方式等）定义在本 skill 的 `../references/sql/reference/` 文件中。**
|
||
|
||
生成 SQL 时，**必须查阅** `../references/sql/reference/{engine}-sql-syntax.md` 的以下章节：
|
||
- **SQL 生成规则**：该引擎特有的约束和规范
|
||
- **与 Spark SQL 的主要差异**：语法和函数的对照
|
||
- **DML 差异**：INSERT/UPDATE/DELETE/UPSERT 支持情况
|
||
|
||
# Output Format
|
||
|
||
## 对话输出
|
||
在对话中展示完整的 SQL 脚本，用 ` ```sql ` 代码块包裹。
|
||
|
||
## 文件输出（当调用方提供 output_path 时）
|
||
|
||
文件路径由调用方（如 smart-data-developer）决定和传入，write-sql 不自己定义路径规则。
|
||
|
||
写入文件时，**必须只包含纯 SQL 脚本内容**：
|
||
- **禁止** Markdown 格式（标题、表格、分隔线）
|
||
- **禁止** 代码块标记（` ```sql ` 或 ` ``` `）
|
||
- **只允许** SQL 注释（`--`）和 SQL 语句
|
||
|
||
|
||
# Workflow
|
||
|
||
1. **确认引擎**：根据 `engine` 参数确定目标引擎（默认 spark）
|
||
2. **判断任务类型**：从 context 判断是 ETL / 查询 / 建表 / 插入
|
||
3. **先查 OV 记忆和经验**：根据 context 中的源表、字段、业务场景检索 `table-metadata`、`field-process-memory`、`sql_snippets`
|
||
4. **精确加载一个模板**：只加载任务类型对应的那个模板文件，不要加载多个
|
||
5. **查阅引擎规则**：读取 `../references/sql/reference/{engine}-sql-syntax.md` 的「SQL 生成规则」章节
|
||
6. **解析 context + OV 结果**：提取表名、字段、逻辑、过滤条件、聚合需求、JOIN 关系和历史处理经验
|
||
7. **生成 SQL**：OV 结果 + 通用规则 + 引擎特有规则 + 模板骨架
|
||
8. **自我审查**：检查是否遗漏步骤、是否符合规范
|
||
9. **输出**：对话展示 SQL + 如调用方提供了 output_path 则写入纯 SQL 文件
|
||
|
||
# 硬性约束
|
||
|
||
1. **不读取文件**：write-sql 不负责读取需求文档或模型设计文档，所有内容通过 context 传入
|
||
2. **不决定路径**：文件输出路径由调用方决定，write-sql 只负责写入
|
||
3. **必须查阅本 skill 的 SQL 资源**：生成 SQL 前先查阅 `../references/sql/reference/` 和 `../references/sql/templates/`
|
||
4. **必须先查 OV 记忆和经验**：找源表、查字段、参考历史代码、处理困惑时先查 `table-metadata`、`field-process-memory`、`sql_snippets`
|
||
5. **不编造语法**：不确定的语法查阅 reference 和 OV 成功案例确认
|