面向数据分析师和机器学习工程师的缺失值处理指南。自动识别MC…

# 电商用户数据缺失处理方案

一、缺失机制判断

缺失机制分三类：MCAR（完全随机缺失）、MAR（随机缺失，依赖其他观测变量）、MNAR（非随机缺失，依赖缺失值本身）。

判断方法

• 年龄列（12%）：需做缺失检验
• 将数据按年龄是否缺失分组，对比其他变量（如消费金额、注册渠道）的分布差异
• 可用 Little's MCAR 检验，或观察缺失是否集中在某些渠道/客群
• 经验判断：年龄缺失常与用户注册方式相关（如微信快捷登录不收集年龄），多为 MAR
• 收货地址列（35%）：缺失率偏高
• 电商场景常见原因：用户未下单、游客浏览、或主动不填地址
• 若缺失与“是否下单”强相关，则属于 MNAR（缺失本身携带信息）
• 建议先构造“是否缺失地址”的指示列，检验其与其他变量的相关性

二、填充方案

年龄列（12%，缺失率中等）

1. 分组中位数填充（首选）：按性别、城市层级、消费等级分组，用组内中位数填充，比全局均值更稳健

2. 模型预测填充：用 KNN 或随机森林回归，以消费行为、注册年份等特征预测年龄

3. 保守做法：填充后添加“年龄是否缺失”标记列，保留信息

收货地址列（35%，缺失率高）

1. 不建议直接填充：35%缺失率下插补误差大，强行填充会引入噪声

2. 推荐处理：

• 提取省份/城市信息：若其他字段（如IP归属地、下单物流）可推断大致区域，做弱填充并标记为“推断值”
• 类别新增“未知”类：将缺失作为独立类别，适用于后续做地址分布分析或建模
• 建模时若用树模型，可直接允许缺失或用标记列处理

三、操作建议（Python要点）

• df.isnull().mean() 统计缺失率
• msno.matrix() / msno.heatmap() 可视化缺失模式
• 用 sklearn.impute.SimpleImputer / KNNImputer 填充
• 填充前后对比关键变量分布，评估偏差

核心原则：先诊断机制，再选择方法；高缺失率列优先考虑“标记+不填/新增未知类”，避免插补引入系统性偏差。