Use when the user asks to simp…

# 简化Python爬虫脚本方案

你没贴出具体代码，我按“京东商品抓取 + 存MySQL + 嵌套if多”这个典型结构给出一套通用重构方案，可直接套用。

一、拆分模块（400行 → 每个文件职责单一）

• fetcher.py：只负责请求和解析，返回结构化数据
• db.py：只负责数据库读写
• main.py：流程编排

好处：每块可单独测试，出问题好定位。

二、消灭嵌套if的三个招式

1. 卫语句提前返回，避免深度嵌套

```python

# 改造前

def parse(html):

if html:

if item := find_item(html):

if item.get("price"):

return item

# 改造后

def parse(html):

if not html:

return None

item = find_item(html)

if not item:

return None

return item if item.get("price") else None

```

2. 用字典映射代替if-elif分支

```python

FIELDS = {

"title": lambda t: t.get_text(strip=True),

"price": lambda t: extract_price(t.get_text()),

}

data = {k: fn(node) for k, fn in FIELDS.items() if node}

```

3. 异常处理代替层层判空

请求失败、元素缺失直接抛异常，在外层统一捕获，主流程保持“happy path”干净。

三、抓取部分建议

• 用 requests.Session() 复用连接；页面是动态渲染的用 Playwright
• 解析统一用 lxml 或 parsel，选择器抽成常量放在文件顶部，改版只改一处
• 加重试装饰器（tenacity库），不用手写重试循环

四、MySQL存储部分建议

• 用 pymysql + 参数化SQL（防注入），或直接上 SQLAlchemy
• 用 批量入库 代替循环单条insert：executemany，几百条数据秒存
• 表结构建议：商品ID为主键 + ON DUPLICATE KEY UPDATE，重复抓取自动更新价格

```python

def save_batch(cursor, rows):

sql = """INSERT INTO product(sku_id, title, price, updated_at)

VALUES (%s,%s,%s,NOW())

ON DUPLICATE KEY UPDATE price=VALUES(price), updated_at=NOW()"""

cursor.executemany(sql, rows)

```

五、其他瘦身技巧

• 删掉调试遗留的 print，改用 logging
• 常量（URL、选择器、DB配置）集中到顶部或 .env
• 死代码、注释掉的大段代码直接删，反正有Git

按这套重构后，行数一般能降到 150 行左右，嵌套层级不超过2层。

建议：把脚本贴出来（脱敏后），我可以给出精确到行的改写版本。