# Kudu (via Impala) SQL 语法参考 > **重要**：Kudu 本身没有 SQL 引擎，通过 Impala 访问。本文档是 Impala SQL 操作 Kudu 表的语法参考。 ## 数据类型 | 类型 | 说明 | 示例 | |------|------|------| | BOOLEAN | 布尔 | active BOOLEAN | | TINYINT | 1字节整数 | level TINYINT | | SMALLINT | 2字节整数 | age SMALLINT | | INT | 4字节整数 | count INT | | BIGINT | 8字节整数 | id BIGINT | | FLOAT | 4字节浮点 | score FLOAT | | DOUBLE | 8字节浮点 | price DOUBLE | | DECIMAL(p,s) | 定点数 | amount DECIMAL(18,2) | | STRING | 变长字符串 | name STRING | | VARCHAR(n) | 变长字符串（限长） | code VARCHAR(50) | | CHAR(n) | 定长字符串 | flag CHAR(1) | | TIMESTAMP | 时间戳（微秒精度） | created_at TIMESTAMP | | DATE | 日期 | birth_date DATE | | BINARY | 二进制 | data BINARY | **注意**：Kudu 不支持 ARRAY、MAP、STRUCT 等复杂类型。 --- ## 时间函数 ```sql -- 当前时间 NOW() -- 当前日期时间 CURRENT_TIMESTAMP() -- 当前时间戳 UNIX_TIMESTAMP() -- 当前 Unix 时间戳（秒） TO_DATE(NOW()) -- 当前日期 -- 格式转换 FROM_UNIXTIME(timestamp, 'yyyy-MM-dd') -- Unix 时间戳转格式化字符串 FROM_UNIXTIME(timestamp, 'yyyy-MM-dd HH:mm:ss') CAST(string_col AS TIMESTAMP) -- 字符串转时间戳 CAST(timestamp_col AS STRING) -- 时间戳转字符串 -- 日期计算 DAYS_ADD(date_col, 7) -- 加7天 DAYS_SUB(date_col, 7) -- 减7天 ADD_MONTHS(date_col, 3) -- 加3个月（Impala 6.0+） DATE_ADD(date_col, INTERVAL 7 DAY) -- 加7天（标准语法） DATEDIFF(end_date, start_date) -- 日期差（天数） MONTHS_BETWEEN(date1, date2) -- 月份差 -- 日期提取 YEAR(date_col) -- 年 MONTH(date_col) -- 月 DAY(date_col) -- 日 DAYOFWEEK(date_col) -- 周几 (1=周日) DAYOFYEAR(date_col) -- 年中第几天 HOUR(timestamp_col) -- 时 MINUTE(timestamp_col) -- 分 SECOND(timestamp_col) -- 秒 QUARTER(date_col) -- 季度 (1-4) WEEKOFYEAR(date_col) -- 年中第几周 -- Impala 日期格式符 -- yyyy: 4位年, MM: 2位月, dd: 2位日 -- HH: 24小时制, mm: 分钟, ss: 秒 ``` --- ## 字符串函数 ```sql -- 常用函数 CONCAT(str1, str2) -- 字符串拼接（仅2个参数） CONCAT_WS('-', str1, str2, ...) -- 用分隔符拼接 LOWER(str) -- 转小写 UPPER(str) -- 转大写 TRIM(str) -- 去两端空格 LTRIM(str) -- 去左空格 RTRIM(str) -- 去右空格 LENGTH(str) -- 字符串长度 SUBSTR(str, pos, len) -- 截取字符串（pos从1开始） SUBSTRING(str, pos, len) -- 同上 LEFT(str, len) -- 取左边len个字符 RIGHT(str, len) -- 取右边len个字符 REVERSE(str) -- 反转字符串 REPEAT(str, n) -- 重复n次 SPACE(n) -- 生成n个空格 -- 查找与替换 INSTR(str, substr) -- 查找子串位置 LOCATE(substr, str, pos) -- 从pos位置查找 REPLACE(str, old, new) -- 替换 REGEXP_EXTRACT(str, pattern, idx) -- 正则提取 REGEXP_REPLACE(str, pattern, replacement) -- 正则替换 -- 分割 SPLIT_PART(str, delimiter, idx) -- 取分割后第idx部分 -- 其他 INITCAP(str) -- 首字母大写 LPAD(str, len, pad) -- 左填充 RPAD(str, len, pad) -- 右填充 HEX(col) -- 转16进制 UNHEX(str) -- 16进制转字符串 ``` **注意**：Impala 的 `CONCAT` 只接受 2 个参数，多参数拼接用 `CONCAT_WS`。 --- ## 聚合函数 ```sql -- 基础聚合 COUNT(*) -- 计数（含NULL行） COUNT(col) -- 计数（不含NULL） COUNT(DISTINCT col) -- 去重计数 SUM(col) -- 求和 AVG(col) -- 平均值 MIN(col) -- 最小值 MAX(col) -- 最大值 -- 集合聚合 GROUP_CONCAT(col SEPARATOR ',') -- 字符串聚合 -- 统计函数 VARIANCE(col) -- 方差 VAR_POP(col) -- 总体方差 VAR_SAMP(col) -- 样本方差 STDDEV(col) -- 标准差 STDDEV_POP(col) -- 总体标准差 STDDEV_SAMP(col) -- 样本标准差 -- 近似函数 NDV(col) -- 近似去重计数（Impala 特有，比 COUNT(DISTINCT) 快） APPROX_COUNT_DISTINCT(col) -- 近似去重计数 -- 其他 FIRST_VALUE(col) -- 窗口内第一个值 LAST_VALUE(col) -- 窗口内最后一个值 ``` --- ## 条件表达式 ```sql -- CASE WHEN CASE WHEN condition1 THEN result1 WHEN condition2 THEN result2 ELSE default_result END -- CASE 字段匹配 CASE field WHEN value1 THEN result1 WHEN value2 THEN result2 ELSE default_result END -- COALESCE（取第一个非空值） COALESCE(col1, col2, default_value) -- NULLIF（相等返回NULL） NULLIF(col1, col2) -- IF（简单条件） IF(condition, true_value, false_value) -- ISNULL / ISNOTNULL ISNULL(col) -- 判断是否为NULL ISNOTNULL(col) -- 判断是否不为NULL -- NVL（空值替换） NVL(col, default_value) ``` --- ## Kudu 特有操作 ### INSERT INTO ```sql -- 追加写入 INSERT INTO kudu_table VALUES (1, 'test', 100.00); INSERT INTO kudu_table SELECT * FROM other_table WHERE ...; ``` ### UPSERT INTO（Kudu 核心能力） ```sql -- 主键存在则更新，不存在则插入 UPSERT INTO kudu_table VALUES (1, 'test', 100.00); UPSERT INTO kudu_table SELECT * FROM staging_table WHERE ...; ``` ### UPDATE ```sql -- 更新数据（主键列不可更新） UPDATE kudu_table SET status = 'active' WHERE id = 1; UPDATE kudu_table SET amount = amount * 1.1 WHERE date < '2026-01-01'; ``` ### DELETE ```sql -- 删除数据 DELETE FROM kudu_table WHERE id = 1; DELETE FROM kudu_table WHERE date < '2026-01-01'; ``` ### ALTER TABLE（Kudu 特有） ```sql -- 添加列 ALTER TABLE kudu_table ADD COLUMNS (new_col STRING COMMENT '新列'); -- 删除列 ALTER TABLE kudu_table DROP COLUMN old_col; -- 修改列类型 ALTER TABLE kudu_table CHANGE old_name new_name STRING; -- 添加范围分区 ALTER TABLE kudu_table ADD RANGE PARTITION '2026-06-01' <= VALUES < '2026-07-01'; -- 删除范围分区 ALTER TABLE kudu_table DROP RANGE PARTITION '2026-01-01' <= VALUES < '2026-02-01'; ``` --- ## 分区操作 ```sql -- Hash 分区（建表时指定） PARTITION BY HASH(id) PARTITIONS 8 -- Range 分区（建表时指定） PARTITION BY RANGE(stat_date) ( PARTITION '2026-01-01' <= VALUES < '2026-02-01', PARTITION '2026-02-01' <= VALUES < '2026-03-01' ) -- Hash + Range 组合 PARTITION BY HASH(id) PARTITIONS 4, RANGE(stat_date) (...) ``` --- ## 与 Spark SQL / Hive 的主要差异 | 特性 | Spark SQL | Hive | Kudu (Impala) | 说明 | |------|-----------|------|--------------|------| | **INSERT OVERWRITE** | ✅ | ✅ | ❌ | Kudu 不支持，用 DELETE + INSERT 替代 | | **UPSERT** | ❌ | ❌ | ✅ | Kudu 独有核心能力 | | **UPDATE** | ❌ | 仅ACID表 | ✅ | Kudu 原生支持 | | **DELETE** | ❌ | 仅ACID表 | ✅ | Kudu 原生支持 | | **主键约束** | ❌ 无约束 | ❌ 无约束 | ✅ 强制主键 | Kudu 表必须有主键 | | **复杂类型** | ✅ ARRAY/MAP/STRUCT | ✅ 完整支持 | ❌ 不支持 | Kudu 限制 | | **CONCAT 多参数** | ✅ 任意个数 | ✅ 任意个数 | ❌ 仅2个参数 | Impala 用 CONCAT_WS | | **近似去重** | `approx_count_distinct` | `approx_count_distinct` | `NDV` | Impala 特有函数名 | | **临时表链式处理** | ✅ 推荐 | ✅ 推荐 | ❌ 不需要 | Kudu 用 UPSERT 单步 | | **CTE (WITH)** | ✅ 支持 | ✅ 支持 | ✅ 支持 | 都支持 | | **MERGE INTO** | ✅ 支持 | ❌ | ❌ | 用 UPSERT 替代 | | **分区类型** | 目录分区 | 目录分区 | Hash/Range 内置 | Kudu 分区机制不同 | | **分桶** | 可选 | 可选 | Hash 分区替代 | 概念类似但实现不同 | | **日期格式** | `yyyy-MM-dd` | `yyyy-MM-dd` | `yyyy-MM-dd` | 格式一致 | | **collect_list/set** | ✅ | ✅ | ❌ | Impala 用 GROUP_CONCAT | | **ALTER ADD COLUMN** | ✅ | ✅ | ✅ | Kudu 支持在线加列 | | **ALTER DROP COLUMN** | 部分支持 | ✅ | ✅ | Kudu 支持在线删列 | --- ## SQL 生成规则 ### 通用规则（所有引擎统一） 1. **禁止使用 CTE (WITH 子句)**，每个主要逻辑步骤必须物化为临时表 2. **先 DROP 再 CREATE**：`DROP TABLE IF EXISTS ...; CREATE TABLE ... AS SELECT ...;` 3. **禁止 `SELECT *`**，必须明确列出所有字段 4. 多表查询时所有表必须使用简短别名 5. 每个步骤前添加注释说明 6. **谓词下推**：过滤条件前置，JOIN 时在 WHERE 中一并添加过滤 7. 临时表命名：`${db_tmp_env}.tmp_{业务简称}_{步骤序号}` ### Kudu 特有规则 1. **Kudu 表不支持 `INSERT OVERWRITE`**，用 `DELETE + INSERT` 或 `UPSERT` 替代 2. **最后一步优先使用 `UPSERT INTO`**（Kudu 核心优势：主键存在则更新，不存在则插入） 3. 需要全量刷新时：先 `DELETE FROM` 再 `INSERT INTO` 4. 支持 `UPDATE` 和 `DELETE`（Kudu 表独有） 5. Kudu 表必须有 `PRIMARY KEY`，主键列不能为 NULL 6. `CONCAT` 只接受 2 个参数，多参数用 `CONCAT_WS` 7. 不支持 `collect_list` / `collect_set`，用 `GROUP_CONCAT` 替代 8. 近似去重用 `NDV()` 函数 9. 时间范围筛选： ```sql -- 日账期过滤 WHERE stat_date = '${day_id}' -- 日期范围 WHERE stat_date >= DAYS_SUB(TO_DATE('${day_id}'), 30) AND stat_date < '${day_id}' ``` ### SQL 脚本结构 ```sql -- ===================================================================== -- @SqlName: kudu-D-SQL-{表名} -- @Engine: kudu -- ...（头注释） -- ===================================================================== -- Step01: {步骤描述} DROP TABLE IF EXISTS ${db_tmp_env}.tmp_xxx_01; CREATE TABLE ${db_tmp_env}.tmp_xxx_01 AS SELECT ...; -- Step02: {步骤描述} DROP TABLE IF EXISTS ${db_tmp_env}.tmp_xxx_02; CREATE TABLE ${db_tmp_env}.tmp_xxx_02 AS SELECT ...; -- 最后一步：UPSERT 写入 Kudu 目标表 UPSERT INTO ${db_eda_env}.target_table SELECT ...; ```