命令与 SQL 速查

本章目标：写 SQL、PySpark、Linux 命令或准备面试时，能在 30 秒内查到正确写法，并知道 Hive/Spark 与本地 DuckDB 的差异。 前置知识：无，配合各章使用。 使用方式：打印出来放手边，或面试前 20 分钟快速过一遍。

1. 怎么用这张速查表

不要从头背，按场景查：写练习卡住时抄最小示例再改字段；报错时对照常见坑和方言差异；面试前遮住右列自测。速查表只解决“怎么写”，口径和建模看数仓指标口径。

2. SQL 速查

2.1 查询骨架与执行顺序

SELECT   columns
FROM     table
WHERE    row_conditions
GROUP BY columns
HAVING   group_conditions
ORDER BY columns
LIMIT    n;

书写顺序是上面的顺序，逻辑执行顺序大致是：FROM → WHERE → GROUP BY → HAVING → SELECT → ORDER BY → LIMIT。所以 WHERE 里不能直接用聚合函数，SELECT 的别名通常也不能在 WHERE 里用。

2.2 条件、空值与去重

NULL = NULL 结果是未知，不是真。判断空值必须用 IS NULL。COUNT(column) 不统计空值，COUNT(*) 统计行数。

2.3 聚合与分组

WHERE 过滤行，HAVING 过滤分组。SELECT 中非聚合列必须出现在 GROUP BY 里。

2.4 JOIN

SELECT o.order_id, c.province, SUM(i.price * i.quantity) AS gmv
FROM orders o
JOIN order_items i ON o.order_id = i.order_id
LEFT JOIN customers c ON o.customer_id = c.customer_id
WHERE o.status NOT IN ('canceled', 'unavailable')
GROUP BY o.order_id, c.province;

关联前确认右表关联键唯一，否则行数会膨胀。LEFT JOIN 后对右表字段做 WHERE 过滤，可能把左连接变成内连接；需要保留左表时把条件下移到 ON。

2.5 窗口函数

窗口函数写在 SELECT 里，不能直接写在 WHERE。要过滤排名，外层再包一层子查询或 CTE。

2.6 日期与字符串

日期差最容易错：Hive/Spark 的 datediff 是“结束日期在前、开始日期在后”，DuckDB 的 date_diff 把单位放在第一个参数。

2.7 CTE 与 UNION

CTE 写法：WITH t AS (SELECT ...) SELECT * FROM t;，适合把清洗步骤拆开。UNION 去重，UNION ALL 不去重；能用 UNION ALL 就不加 UNION，少一次排序去重。完整例子见第 7 节。

3. Hive / Spark SQL 差异速查

3.1 课程统一版本

正文和本章引用同一组版本。升级时先改这张表，再检查示例命令。

3.2 方言差异

Hive 的 INSERT OVERWRITE 覆盖写天然幂等，补数常靠它。Spark 默认是批处理引擎；cache() 用于重复使用的 DataFrame，explain() 看执行计划。

4. Linux 与 Git 速查

5. PySpark 常用 API

本课程统一 Java 17 + PySpark 3.5.5。

from pyspark.sql import SparkSession, functions as F

spark = SparkSession.builder.master("local[*]").appName("cheatsheet").getOrCreate()

orders = spark.read.csv("data/sample/orders_demo.csv", header=True, inferSchema=True)
orders.select("order_id", "status").filter(
    F.col("status") == "paid"
).groupBy("status").count().show()

orders.createOrReplaceTempView("orders")
spark.sql("SELECT status, COUNT(*) AS cnt FROM orders GROUP BY status").show()

orders.dropDuplicates(["order_id"]).orderBy("order_id").show(5)
orders.cache()
orders.explain()

orders.write.mode("overwrite").parquet("output/orders")
spark.stop()

窗口函数用 from pyspark.sql import Window，例如 F.row_number().over(Window.partitionBy("user_id").orderBy("event_date"))。

6. Kafka 与 Flink 速查

6.1 Kafka 概念

顺序性只保证单 partition 内有序。同一订单的事件要用 order_id 做 key，让它们进同一个 partition。

6.2 Kafka 本地常用命令

docker run -d --name kafka -p 9092:9092 apache/kafka:3.7.0
docker exec -it kafka /opt/kafka/bin/kafka-topics.sh \
  --create --topic order_events --bootstrap-server localhost:9092
docker exec -it kafka /opt/kafka/bin/kafka-topics.sh \
  --list --bootstrap-server localhost:9092
docker exec -it kafka /opt/kafka/bin/kafka-console-producer.sh \
  --topic order_events --bootstrap-server localhost:9092
docker exec -it kafka /opt/kafka/bin/kafka-console-consumer.sh \
  --topic order_events --from-beginning --bootstrap-server localhost:9092

这是本地单机模拟，不是生产部署。生产环境要考虑副本、监控、磁盘和权限。

6.3 Flink 概念

常用命令与入口：

本地练习用 PyFlink 的本地环境跑一个滚动窗口统计即可。装不上不影响 SQL 主线，先做到“讲得清”。

7. 使用示例：品类 GMV 排名

直接用 DuckDB 读取 data/sample/ 下的示例 CSV，不依赖任何项目库：

WITH valid_orders AS (
    SELECT order_id
    FROM read_csv_auto('data/sample/orders_demo.csv', header = true)
    WHERE status NOT IN ('canceled', 'unavailable')
)
SELECT i.category,
       ROUND(SUM(i.price + i.freight), 2) AS gmv
FROM read_csv_auto('data/sample/order_items_demo.csv', header = true) i
JOIN valid_orders o USING (order_id)
GROUP BY i.category
ORDER BY gmv DESC;

预期结果：数码 885.00、家居 375.00、服饰 249.00，合计 1,509.00。示例只有 9 个有效订单，所以这里不写 LIMIT 5。跑出来对不上时，先检查是否排除了 canceled 和 unavailable 两种状态。

8. 常见坑

9. 面试延伸

面试题：为什么窗口函数不能直接写在 WHERE 里？

是什么：窗口函数在 SELECT 阶段计算，而 WHERE 在它之前执行；执行到 WHERE 时窗口结果还不存在。

解决什么问题：要过滤排名或累计值，必须先用子查询/CTE 算出窗口列，再在外层 WHERE 过滤。理解执行顺序还能解释为什么 SELECT 别名不能在 WHERE 中使用。

我的实操边界：我在连续登录、品类排名、月度同比里用过 ROW_NUMBER、LAG、SUM OVER，并用 CTE 过滤排名；没有处理过超大分区下的窗口性能问题。

面试题：Kafka 如何保证同一订单的消息有序？

是什么：Kafka 只保证单 partition 内有序，不保证 topic 全局有序。

解决什么问题：生产消息时用 order_id 作为 key，Kafka 会把同一 key 的消息路由到同一 partition，消费者按 offset 顺序读取，就能保证该订单的事件有序。

我的实操边界：我在本地单机 Kafka 里跑过生产消费 demo，理解 key、partition、offset；没有在生产集群处理过 rebalance 和跨机房副本。

10. 本章验收

• 能不看资料写出 SELECT … WHERE … GROUP BY … HAVING … ORDER BY … LIMIT 的骨架和执行顺序。
• 能写出 INNER/LEFT JOIN、窗口排名、日期截断、空值替换、去重的正确语法。
• 能说出至少 5 处 Hive/Spark 与 DuckDB 的方言差异，尤其是日期差参数顺序。
• 能查表完成一次 Linux 日志统计和一次 Git 分支合并，不需要从头搜教程。
• 能在 30 秒内查到 PySpark 的读取、筛选、分组、关联、写出写法，并说清 Kafka/Flink 的核心概念。

打印建议：A4 双面，第 2–6 节放前两页，方言差异和常见坑放第三页。配合数仓指标口径使用。