代码简化——在不改变行为的前提下提升可读性、降低复杂度。适用…

# 800行爬虫脚本重构方案（不改行为）

一、先做安全准备

• 建立版本控制基线：git init + 提交原版，任何修改可回滚
• 准备对照样本：保存几组典型输入和原脚本输出，重构后逐个 diff 验证
• 切忌一次性重写全文，应小步迭代：改一块 → 跑一遍 → 对比输出 → 提交

二、消灭嵌套if的核心手法

1. 卫语句（提前返回）—— 最有效

• 把 if 外层: if 内层: ... 反转为“条件不满足就 return / continue”

```python

# 改前

if response.ok:

if item:

if price:

process(item)

# 改后

if not response.ok:

return

if not item:

return

if not price:

return

process(item)

```

2. 提取函数

• 每个 if 分支超过 5-10 行的逻辑，抽成独立小函数，主流程只剩分支骨架
• 命名用动词开头：parse_price()、should_retry()

3. 合并重复条件

• 用 and / or 合并等价判断；重复出现的条件组合提取为布尔变量或 is_valid() 类谓词函数
• 多分支的 elif x == 1 / 2 / 3 改为字典映射表（策略模式简化版）：

```python

HANDLERS = {"taobao": parse_tb, "jd": parse_jd}

handler = HANDLERS.get(site)

```

4. try/except 收敛

• 爬虫常见多层 try 套 if，把重试逻辑抽成装饰器或通用函数（如 fetch_with_retry(url, retries=3)）

三、爬虫专属优化

• 配置外提：URL模板、请求头、超时、重试次数等散落在 if 里的硬编码，集中到常量区或 dataclass
• 解析逻辑分离：把“请求”与“解析 HTML”拆开，价格提取规则（CSS选择器/XPath）集中定义，分支自然减少
• 去重逻辑：if url not in visited 这类判断封装成 SeenSet 类

四、验证清单

• [ ] 重构后输出与原版 diff 一致（相同输入）
• [ ] 边界情况：空页面、无价格、反爬拦截响应均行为不变
• [ ] 请求频率/延迟参数未被误改（避免触发目标站风控）

五、工具辅助

• 用 ruff / flake8 查复杂度热点，优先重构复杂度最高的函数
• IDE 的 Extract Method 重构功能可自动保证变量作用域正确

预期效果：纯逻辑重构通常可压缩 20%-40% 行数，单函数嵌套不超过 2 层。如能贴出典型嵌套片段，我可给出针对性的改写示例。