简介这套基于FastAPI和Vue的闲鱼二手商品数据爬取与可视化系统面向计算机专业做课程设计、毕业设计或实训项目的学生也适合教师用于教学演示能够直接用于闲鱼平台商品数据的采集与展示。整个压缩包共28个文件、大小9.33MB核心为11个Python脚本覆盖爬虫采集、FastAPI接口服务与数据处理同时包含4个JSON配置、3个Markdown说明文档以及Vue前端源码、JavaScript、HTML、可执行文件和截图等前后端目录划分明确便于按模块阅读。该项目在严格评审中获95分高分稳定测试后上传已有222人学习浏览。下载后可通过说明文档快速部署学习爬虫、反爬应对、接口封装和可视化展示的完整链路也可作为课程设计、毕业设计或期末大作业的完整模板便于二次开发遇到问题还可与作者沟通交流。1. 闲鱼商品爬虫是什么一个 zip 包背后是关键词监控的完整链路做二手生意或者盯选品的人最近都绕不开一件事闲鱼商品爬虫成了刚需。同一款型号昨天有人 800 出今天冒出来一个 650 的靠手刷根本盯不过来。所谓闲鱼商品爬虫就是替你在这类 C2C 平台上按关键词抓商品数据——标题、价格、卖家、发货地、上下架状态——再落库做持续监控。这类方案通常以一个开发包的形式交付也就是标题里那个 zip解压后一般包含登录态获取、请求封装、响应解析、SQLAlchemy 存取和定时调度几个模块。它解决三个具体问题一是盯价格识别降价和下架二是看供给判断某个型号是放量还是缺货三是做选品参考把面议、9999 占位价这类脏数据提前挡掉。适合三类人闲鱼卖家盯同行、做二手回收的档口老板、想用 python 爬虫练手又不想从零逆协议的新手。这套路子的核心判断是别碰 App 端走闲鱼 PC 端网页版把关键词监控这件小事做扎实。2. 先定技术选型为什么抓闲鱼要绕开 App、走闲鱼 PC 端网页版动手之前先决定抓哪一端。闲鱼的数据分两套通路手机 App 和 PC 网页版。App 走的是淘宝统一网关业务请求基本都要带 sign 签名和暗参签名算法埋在客户端底层对个人开发者来说是个黑匣子加上新设备首次启动会注册设备指纹风控很敏感爬几页就可能触发滑块。而 PC 端 www.goofish.com 是服务端渲染的页面搜索结果有一部分直接挂在页面脚本里剩下的走同源 XHR浏览器 F12 一开就能抓到真实请求。对关键词监控这种需求PC 端的成本和回报最均衡。这也是这类闲鱼爬虫项目最常见的实现路线requests 维持会话 Cookie解析 JSON不逆签名。2.1 数据通路对比App 的 MTop 与 PC 端的 SSR/XHR网络爬虫原理拆开说就是四步模拟请求、拿到响应、抽字段、入库。难点几乎全在中间两步而选哪一端直接决定难度。对比项闲鱼 App 端闲鱼 PC 端goofish数据接口MTop 网关 /h5/mtop.*页面 SSR 数据 同源 XHR签名sign 设备指纹逆向成本高依赖会话 Cookie部分接口轻量校验风控强度高新设备易触发中主要看频率与 Cookie 健康度上手成本高需要逆向或 hook低抓包即可适合场景全站级大范围采集关键词监控、单品跟踪PC 端页面用 Nuxt 这类框架做服务端渲染打开搜索结果页时第一批商品数据已经混在 HTML 里了。翻页或点击排序时页面再发 XHR 拉新的 JSON。所以两条路都能走直接解析页面内嵌数据或者模拟 XHR。我一般先抓 XHR因为 JSON 结构比 HTML 干净字段名也更贴近原始数据模型。2.2 解压 zip 之后先认项目骨架别急着跑 main.py拿到这种开发包第一步不是双击运行而是先认模块。这类项目解压后通常是这样一个结构xianyu_spider/ ├── config.py # 关键词、Cookie 路径、数据库连接串 ├── requirements.txt # 依赖清单 ├── models.py # SQLAlchemy 表模型 ├── client.py # 会话封装登录、Cookie 注入、请求重试 ├── parser.py # 响应解析商品字典提取、字段清洗 ├── scheduler.py # 定时任务与随机抖动 ├── main.py # 入口 └── logs/ # 运行日志先改三处再跑config.py 里的数据库连接串、日志路径、以及关键词列表。如果包内没有 requirements.txt就手动装这几样python -m venv .venv source .venv/bin/activate # Windows 上执行 .venv\Scripts\activate pip install requests sqlalchemy schedule几条命令的用途分别说明下venv 建虚拟环境是避免把依赖装进系统 Python后面升级包不打架requests 负责发 HTTP 请求session 机制能自动维持 Cookiesqlalchemy 是 ORM负责把商品数据写进 SQLite 或 MySQLschedule 是轻量定时库Windows 上没有 crontab用它在进程里跑循环最省事。装完先跑一次 main.py大概率会卡在登录态上这就是下一小节要处理的。2.3 登录态扫码登录比账密登录可靠Selenium 只干这一件事闲鱼登录不建议用账密硬登账号密码登录容易触发验证码和二次校验而且密码明文放在脚本里本身就是风险。常见做法是扫码登录用浏览器打开闲鱼 PC 端手机扫码把登录后的 Cookie 存下来再交给 requests 去用。Selenium 在这里只出现一次不参与后续抓取这样既能拿到完整登录态又不会因为 Selenium 特征明显而把整个会话带进反爬黑名单。from selenium import webdriver from selenium.webdriver.chrome.options import Options import requests, pickle def browser_login_and_save_cookies(cookie_file: str cookies.pkl): 打开浏览器完成扫码登录把 Cookie 存到本地文件 opts Options() opts.add_argument(--disable-blink-featuresAutomationControlled) opts.add_experimental_option(excludeSwitches, [enable-automation]) driver webdriver.Chrome(optionsopts) driver.get(https://www.goofish.com/) input(请在打开的浏览器里扫码登录闲鱼登录完成后回到这里按回车……) cookies driver.get_cookies() driver.quit() with open(cookie_file, wb) as f: pickle.dump(cookies, f) return cookies def inject_cookies(sess: requests.Session, raw_cookies: list[dict]): 把 Selenium 拿到的 Cookie 灌进 requests 会话 jar requests.cookies.RequestsCookieJar() for c in raw_cookies: jar.set(c[name], c[value], domainc.get(domain, ), pathc.get(path, /)) sess.cookies.update(jar)逻辑说明Selenium 负责把真实的登录过程走完get_cookies()拿到的列表里有 name、value、domain、path 这些字段第二段函数把它们逐条塞进 requests 的 CookieJarrequests 后续请求会自动带上。这里的关键参数是 domain——闲鱼的域名是 www.goofish.com如果 Cookie 挂在 .taobao.com 下去请求 goofish 域名时 requests 不会自动带这点后面避坑章还会提。Cookie 保存下来后每次启动脚本直接加载省去重复扫码。但要加一个健康检查请求一次搜索页看返回里有没有登录跳转特征或者 418 状态码。特征词会随页面版本变以你抓包看到的为准。3. 从关键词到商品列表抓包、构造请求与解析的一条最小链路搜索链路是整个爬虫的主干也是这次 zip 包交付后你需要动手验证的第一段代码。闲鱼抓包这一步跑通后面全是体力活抓包姿势不对后面解析写得再漂亮也是白搭。3.1 闲鱼抓包先找真实接口再写第一版请求打开 Chrome 无痕窗口访问 www.goofish.com按 F12 进 Network 面板勾上 Preserve log然后搜索一个具体关键词比如iPhone 12。翻一页回看请求列表找到返回内容里带 title、price 字样的那条 XHR右键 Copy as cURL先验证它在命令行能复现再翻译成 requests 代码。import requests SEARCH_API https://www.goofish.com/h5/SEARCH_API_PATH # 以你抓包的路径为准 def search_keyword(sess: requests.Session, keyword: str, page: int 1, page_size: int 20) - dict: 按关键词搜索返回原始 JSON 响应 payload { q: keyword, # 搜索词保持和浏览器搜索一致 page: page, # 页码从 1 开始 pageSize: page_size, sort: default, } r sess.post(SEARCH_API, jsonpayload, timeout10) r.raise_for_status() # 418/403 在这里直接抛异常方便上层做冷却 return r.json()逻辑说明sess 里已经注入了 Cookiepayload 的字段尽量照抄抓包内容别自作主张加参数。raise_for_status()的妙处是让风控响应立刻暴露而不是等解析时才发现返回的是验证码页面。参数说明q 是搜索词page 从 1 开始pageSize 一般 20 到 40超过 40 闲鱼可能会忽略sort 字段控制排序默认综合排序对监控最稳。3.2 解析响应字段名不统一用递归找长得像商品的字典闲鱼的返回 JSON 层级很深而且不同版本字段名会变比如价格有时叫 price有时叫 priceString 或 priceText。硬写死路径的下场是平台一次小升级解析器直接报废。常见的较稳写法是递归遍历整棵 JSON把同时含 title、price、itemId 的字典当成商品字典收集出来再做字段清洗。import re from typing import Any PRODUCT_KEYS {title, price, itemId} def collect_product_dicts(node: Any, out: list[dict]): 递归收集长得像商品的字典同时含 title/price/itemId if isinstance(node, dict): if PRODUCT_KEYS.issubset(node.keys()): out.append(node) for v in node.values(): collect_product_dicts(v, out) elif isinstance(node, list): for child in node: collect_product_dicts(child, out) def parse_price(v: Any): 把各种价格写法归一成 float面议/占位价返回 None if v is None: return None s str(v).replace(¥, ).replace(元, ).strip() if s in (面议, 价格面议, , 0.01): return None try: price float(s) except ValueError: return None if price 9999: # 闲鱼常见占位价不参与比价 return None return round(price, 2) def normalize(raw: dict) - dict: 把商品字典摊平成统一字段 return { item_id: raw.get(itemId) or raw.get(id), title: raw.get(title), price: parse_price(raw.get(price) or raw.get(priceString) or raw.get(priceText)), city: raw.get(city) or raw.get(location), seller_id: raw.get(sellerId) or raw.get(userId), seller_nick: raw.get(sellerNick) or raw.get(userNick), sold_out: 0 if not raw.get(soldOut) else 1, }逻辑说明collect_product_dicts不关心 JSON 具体路径只要商品字典出现在任何层级都能捞到代价是可能误收广告位或推荐位里的商品所以后面入库前还要按 item_id 去重。parse_price是脏数据第一道闸后面避坑章会专门讲 9999 和面议。参数说明price 的候选字段按优先级排列遇到新版字段名直接在列表里加即可不用改主逻辑。3.3 详情页补齐与下架判断HTTP 200 不等于商品还在列表页能拿到的字段有限卖家信用、商品成色、描述文本需要进详情页再取。闲鱼详情页同样是服务端渲染HTML 里嵌着结构化数据。但有个大坑商品下架后详情页仍然返回 200只是页面文案替换成了宝贝已下架。所以详情拉取必须带上主观的下架文案判断不能只看状态码。def looks_sold_out(html: str) - bool: 按文案特征判断是否已下架返回 True 表示该商品没了 markers [宝贝已下架, 已经下架, 商品已不存在, 失效] return any(m in html for m in markers) def fetch_detail(sess: requests.Session, item_id: int) - dict: 抓取详情页并返回清洗后的商品字段 r sess.get( https://www.goofish.com/item, params{id: item_id}, headers{Referer: https://www.goofish.com/search}, timeout10, ) html r.text if looks_sold_out(html): return {item_id: item_id, sold_out: 1} # 这里可以继续用递归找商品字典的方式抽 desc、成色、卖家信用 return {item_id: item_id, sold_out: 0}逻辑说明先做人命关天的下架判断再解析字段顺序不能反。looks_sold_out用的文案列表来自实际抓包观察闲鱼版本升级后文案可能变优先保留已下架这种最稳定的词。Referer 头带上搜索页是模拟正常浏览路径少一个 Referer 不会挂但多一个更接近真实浏览器。4. 用 SQLAlchemy 储存爬虫数据三张表、upsert 与调度写入爬虫跑起来之后数据落库才是正经事。直接用 SQLite 存一个表也行但要做闲鱼关键词监控和降价提醒就必须把任务配置、商品现状、价格历史分开存。这也是为什么这类 zip 包里普遍用 SQLAlchemy 而不手写 SQL——模型定义清晰换数据库只改连接串。4.1 表设计任务表管跑什么快照表管现状价格表管变化三张表各司其职keyword_task 决定定期跑哪些搜索词product_snapshot 存商品当前快照主键用 item_id同一条商品反复出现时覆盖更新price_history 每轮采集追加一条价格记录用于后续算降价幅度。from datetime import datetime from sqlalchemy import ( Column, BigInteger, String, Float, DateTime, Integer, Text, create_engine, ) from sqlalchemy.orm import declarative_base, sessionmaker Base declarative_base() class KeywordTask(Base): __tablename__ keyword_task id Column(Integer, primary_keyTrue, autoincrementTrue) keyword Column(String(64), uniqueTrue, nullableFalse) # 搜索词 interval_minutes Column(Integer, default30) # 抓取间隔 enabled Column(Integer, default1) class ProductSnapshot(Base): __tablename__ product_snapshot item_id Column(BigInteger, primary_keyTrue) # 商品 ID 做主键 keyword Column(String(64), nullableFalse, indexTrue) title Column(String(256)) price Column(Float) city Column(String(32)) seller_id Column(BigInteger) seller_nick Column(String(128)) sold_out Column(Integer, default0) first_seen_at Column(DateTime, defaultdatetime.now) last_seen_at Column(DateTime, defaultdatetime.now, onupdatedatetime.now) class PriceHistory(Base): __tablename__ price_history id Column(BigInteger, primary_keyTrue, autoincrementTrue) item_id Column(BigInteger, nullableFalse, indexTrue) price Column(Float, nullableFalse) created_at Column(DateTime, defaultdatetime.now, indexTrue) engine create_engine(sqlite:///xianyu.db, echoFalse) SessionLocal sessionmaker(bindengine) Base.metadata.create_all(engine)参数说明快照表主键用 item_id 而不是自增 id因为商品维度天然唯一直接承担去重职责。price_history 的 created_at 建了索引之后查最近 5 次价格就不会全表扫。engine 连接串换成mysqlpymysql://user:passhost/xianyu?charsetutf8mb4即可切到 MySQL模型代码一行不用改。4.2 写入用 ON CONFLICT 做 upsert别用先查再插同一商品可能在同一页重复出现也可能两个关键词都命中它。如果先查再插整个写入路径多一次查询而且并发时容易出主键冲突。SQLite 下用 ON CONFLICT 写一条 upsert 最干净SQLAlchemy 对 PostgreSQL 同样支持MySQL 换 on_duplicate_key_update。from sqlalchemy.dialects.sqlite import insert as sqlite_insert def upsert_snapshot(session, row: dict): 商品快照存在则更新不存在则插入 stmt sqlite_insert(ProductSnapshot).values( item_idrow[item_id], titlerow[title], pricerow[price], cityrow[city], seller_idrow[seller_id], seller_nickrow[seller_nick], sold_outrow[sold_out], ) stmt stmt.on_conflict_do_update( index_elements[ProductSnapshot.item_id], set_{ title: row[title], price: row[price], city: row[city], sold_out: row[sold_out], last_seen_at: datetime.now(), }, ) session.execute(stmt) session.commit() def insert_price_history(session, item_id: int, price: float): 价格历史是流水账直接追加不做 upsert if price is None: return session.add(PriceHistory(item_iditem_id, priceprice)) session.commit()逻辑说明upsert 的 set_ 里只更新会变的字段first_seen_at 保留首次发现时间这个是后续判断上新的关键。价格历史只追加不更新留足原始数据之后无论怎么改降价算法都有后悔药。参数说明index_elements 指向唯一键SQLite 必须传这一项如果快照表将来加了联合唯一索引这里要改成对应索引列。4.3 关键词监控的调度schedule 跑循环任务间隔加随机抖动写调度之前先明确一个原则别用单进程 while True 里 requests 连环跑也别每个关键词开一个线程。单线程加 schedule 循环足够撑起几十个关键词线程一多反而容易触发风控。任务与任务之间加随机抖动让请求时间点不那么规律。import schedule, time, random def run_task(keyword: str): 单个关键词的一次完整抓取落库 with SessionLocal() as session: data search_keyword(sess, keyword, page1) rows collect_product_dicts(data, []) for raw in rows: info normalize(raw) if info[item_id] is None: continue upsert_snapshot(session, info) insert_price_history(session, info[item_id], info[price]) def monitor_loop(): 从任务表读关键词动态注册定时任务 with SessionLocal() as session: tasks session.query(KeywordTask).filter_by(enabled1).all() for t in tasks: schedule.every(t.interval_minutes).minutes.do(run_task, t.keyword) while True: schedule.run_pending() time.sleep(5) # 启动前先加抖动避免整点齐射 schedule.every(30).minutes.do(lambda: (time.sleep(random.uniform(1, 5)), run_task(iPhone 12)))逻辑说明run_task 里用 with 开短会话任务结束即释放避免慢查询把连接占住。schedule 的定时是绝对间隔如果任务本身跑了 2 分钟实际周期是 32 分钟这个偏差可以接受。参数说明抖动范围 1 到 5 秒只是最低限度如果一次抓取十几个关键词建议把任务内关键词的间隔拉到 10 秒以上这个参数后面避坑章会再展开。5. 闲鱼爬虫避坑指南5 个实战翻车点的排查记录这一章是我自己踩过的坑汇总也是这类 zip 包最容易拿到手就跑不起来的五个原因。每一条按现象、原因、解决的顺序写方便你对照排查。5.1 解压就报错zip 伪加密与有密码的假象现象从网上流转或同事手里拿到这个闲鱼爬虫 zip一解压就弹输入密码发布者又说没设密码很折磨人。原因zip 文件头里有个 general purpose bit flag第 0 位是加密标记。有些包在打包或二次分发时这个标记被误置成 1但文件数据并没有真正加密这就是 zip 伪加密。7-Zip 会按标记要求输密码实际上内容可以直接读。解决先验证是不是伪加密用 7-Zip 的-p参数列目录如果空密码就能列出文件名基本可以断定是伪加密。然后写个小脚本把本地文件头和中央目录里的加密位清零import struct def clear_encryption_flag(src: str, dst: str): 清除 zip 伪加密标记只处理你自有权力的压缩包 out bytearray(open(src, rb).read()) # 本地文件头签名 PK\x03\x04 的 flag 偏移 6中央目录头 PK\x01\x02 的 flag 偏移 8 for sig, flag_off in ((bPK\x03\x04, 6), (bPK\x01\x02, 8)): start 0 while True: pos out.find(sig, start) if pos -1: break flags struct.unpack_from(H, out, pos flag_off)[0] struct.pack_from(H, out, pos flag_off, flags ~0x0001) start pos 1 open(dst, wb).write(bytes(out)) clear_encryption_flag(xianyu_spider.zip, xianyu_spider_fixed.zip)参数说明本地文件头和中央目录头是两个不同的二进制结构偏移分别是 6 和 8只改一个的话部分解压器仍然会报错。这个方案只对伪加密有效真加密的文件不在此列。5.2 第一页正常第三页全挂418 与 x5sec 风控现象第一次运行搜索第一页正常翻到第三页或者第二次运行时请求全部返回 418有时候还带一个滑块验证的 HTML。原因闲鱼的风控按 IP、UA、Cookie 的组合统计请求频率短时间超过阈值后会要求请求带 x5sec 风控参数。requests 会话里没有这个参数就会被 418 挡在门外。解决先停手冷却半小时别硬刚。然后把采集频率降下来同一个关键词两次请求间隔至少 10 秒多关键词用轮询而不是连发。418 响应里如果带 x5sec 的 set-cookie下一次请求记得把新 Cookie 更新进会话。抓包时留意浏览器发出的请求里是否多了一个 x5sec 字段有的话把它的生成逻辑单独封装别写死在请求函数里。5.3 列表能搜到但详情缺卖家半登录态的坑现象搜索列表正常返回价格、标题都有但详情页里 seller_nick 是空或者某些接口提示需要登录。原因扫码确认后没有走完整个跳转链session 落地的 Cookie 不完整处于半登录态。尤其是只访问了接口域名、没有先访问 goofish 首页时部分域名的 Cookie 缺失。解决扫码登录后强制 GET 一次首页再把全部 Cookie 灌进 requests 会话这一步别省。注入 Cookie 时检查 domain如果拿到的 Cookie 挂在 .taobao.com 下请求 www.goofish.com 不会自动携带这就是为什么总报需要登录却找不到原因。Cookie 这玩意儿有时候就是玄学最有效的做法是保存登录成功后立刻抓一份完整 Cookie 快照作为基准对照。5.4 price 等于 9999 或面议脏数据必须提前挡掉现象列表里部分商品 price 是 9999或者文案是价格面议直接参与降价计算会把统计搞崩。原因卖家发布时没填具体价格闲鱼用占位价兜底拍卖和面议商品也走同一套价格字段不会给你一个可比的数字。解决在 normalize 阶段把这类价格统一转成 None不参与比价也不写入 price_history。适合的过滤规则字符串清洗后等于面议价格面议的返回 None大于等于 9999 的返回 None。注意别把 0.01 拍卖起拍价当成真实成交价它也一并过滤掉。过滤逻辑放在解析层而不是查询层这样下游所有统计都自动安全。5.5 重复写入报主键冲突去重与 upsert 缺一不可现象跑完一轮任务日志里报 IntegrityError主键重复。原因同一商品在结果列表里出现两次或者两个关键词都命中同一件商品数据 row 没有先按 item_id 去重就直接入库。解决写入前先按 item_id 在内存里去重再加 upsert 兜底。去重只保留一条建议保留价格更低或标题更完整的那条。如果用的不是 upsert 而是 merge要注意 session.merge 在高并发下会先发一次 SELECT性能比 ON CONFLICT 差量大了还是要换棘手的原生 upsert。6. 把爬虫升级成闲鱼关键词监控系统降价提醒与清仓信号跑通搜索、落库、调度之后这个 zip 里的代码只能叫数据抓取脚本还不能叫闲鱼监控软件。真正的监控是让数据自己说话降价、下架、上新、卖家改价这些信号才是你做决策的依据。6.1 用 price_history 判断降价信号价格不是降一次就值得追连续两次采样都降价才算数。常见做法是取最近 5 条价格记录对比最新一条和历史中位数跌幅超过 5% 才标记为有效降价。这样可以过滤掉卖家短暂调价又改回来的抖动。def detect_price_change(session, item_id: int) - float | None: 返回最近 5 次采样里的跌幅负数表示涨价 rows ( session.query(PriceHistory.price) .filter(PriceHistory.item_id item_id) .order_by(PriceHistory.created_at.desc()) .limit(5) .all() ) if len(rows) 3: return None latest rows[0][0] # 最新价格 median sorted(r[0] for r in rows)[len(rows) // 2] # 中间价抗噪 if latest 0 or median 0: return None return (median - latest) / median参数说明用中位数而不是平均值是因为 9999 这类脏数据虽然被过滤但偶尔会有几毛钱的异常低价混进来平均值会被拉偏中位数不会。跌幅阈值的建议起点是 0.05监控热门型号可以放宽到 0.03。6.2 触发通知企微/钉钉机器人 webhook降价信号不是给你看的是给通知机器人看的。企业微信或钉钉群机器人都是同一个套路往 webhook URL POST 一段 JSON。def notify(webhook_url: str, text: str): 推送一条文本消息到群机器人失败不影响主流程 try: requests.post( webhook_url, json{msgtype: text, text: {content: text}}, timeout5, ) except requests.RequestException as exc: # 通知失败只记日志不能让爬虫任务崩掉 print(fnotify failed: {exc})实践细节夜间 0 点到 8 点别发消息除非你监控的是抢手货同一个商品一天最多提醒一次避免卖家反复改价把你刷屏。我习惯把通知文本拼成一行商品标题、最新价格、跌幅、商品链接方便在手机上直接判断值不值得点进去。6.3 频率克制的边界别把监控做成全量采集最后一条建议来自我自己的教训拿到爬虫后最容易犯的错是觉得反正能跑那就把所有分类都抓一遍。闲鱼的关键词监控场景下全量采集收益极低、风险极高。我的习惯是给关键词分级真正盯的型号 30 分钟一轮普通参考词 6 小时一轮一周都没动静的词直接停掉。每次升级版本后先跑 5 个关键词观察 10 分钟确认没有触发 418 再放量。这个方案有没有价值看你用一周数据画出的价格曲线就明白了——如果曲线基本是平的说明监控的词选错了而不是爬虫不行。希望帮到你。本文还有配套的精品资源点击获取