检查Spark SQL查询中的常见错误，如NOT IN与NU…

# Spark SQL排查：NOT IN + NULL导致的GMV统计偏多问题

一、问题确认：你的担心是对的，而且方向反了

NOT IN 遇到 NULL 的真实行为：不是“结果偏多”，而是结果为空集。

• order_id NOT IN (SELECT order_id FROM returned_orders) 的底层逻辑是：对每行判断是否“不等于子查询中所有值”。
• 一旦子查询结果集中含有一个 NULL，任何 x != NULL 的比较结果都是 UNKNOWN，导致整条 NOT IN 返回 UNKNOWN（既不是 TRUE 也不是 FALSE），WHERE 过滤后被丢弃。
• 结论：若退货单 seller_id 有 NULL（且该列参与了关联），你的品类 GMV 会全部返回 0 行，而不是偏多。

二、跑之前的三步排查清单

1. 检查子查询列是否存在 NULL

```sql

SELECT COUNT(*) AS null_cnt

FROM returned_orders

WHERE return_order_id IS NULL; -- 用实际参与NOT IN的列名

```

只要 null_cnt > 0，NOT IN 结果必然为空。

2. 顺手检查主表关联键的 NULL

主表 order_id IS NULL 的行在 NOT IN 下会返回 TRUE（NULL 不等于任何非NULL值），可能混入脏数据。

3. 检查退货单与订单的关联逻辑

确认退货单是否需要按 status = '已完成退款' 等条件过滤，避免把“申请中”的退货也计入。

三、推荐改写方案

方案A：NOT EXISTS（最稳妥）

```sql

SELECT category, SUM(pay_amount) AS gmv

FROM orders o

WHERE o.order_id IS NOT NULL

AND NOT EXISTS (

SELECT 1 FROM returned_orders r

WHERE r.order_id = o.order_id

AND r.order_id IS NOT NULL

)

GROUP BY category;

```

NOT EXISTS 不受 NULL 影响，语义清晰。

方案B：LEFT JOIN + 反连接

```sql

SELECT o.category, SUM(o.pay_amount) AS gmv

FROM orders o

LEFT JOIN (SELECT DISTINCT order_id FROM returned_orders WHERE order_id IS NOT NULL) r

ON o.order_id = r.order_id

WHERE r.order_id IS NULL

GROUP BY o.category;

```

5000万行下注意确认 order_id 已分区/分桶，避免 shuffle 全表。

四、性能与正确性建议

• 加统计口径：明确 GMV 是否含运费、是否排除取消单，用注释固化口径。
• 加监控：跑完对比总行数与预期，若品类 GMV 总和为 0，立即怀疑 NULL 问题。
• 空值治理：在数仓源头对退货单 order_id 做 NULL 拦截或默认值（如 '-1'），长期解决。