尧图网页设计 
Python 爬虫阶段学习手册 · 阶段路线总览合辑Python 爬虫阶段学习手册 文档00 总览 适用对象具备基础计算机操作能力、需要按阶段系统性构建爬虫技术体系的学习者大家好我是小马不起床。合辑说明本合辑将 Python 爬虫技术体系拆分为七个递进阶段覆盖语言底座、网络与静态抓取、动态页面处理、并发性能、框架工程化、反爬对抗与逆向、数据存储与部署。合辑以阶段为主线组织每一阶段对应一份独立文档文档内部结构统一为「学习目标—核心知识清单—实战产出—验收标准」。使用方式先阅读本总览确认各阶段的定位与前置依赖再按阶段顺序进入对应文档。每阶段的知识清单为该项技术的能力基线学习时逐条对照完成一条勾选一条。阶段末尾的验收标准用于自检未达标不建议进入下一阶段。前置依赖不满足时如未掌握异步基础即进入 Scrapy 高级中间件应先回退补齐。阶段总览表阶段文档定位核心产出建议学时前置阶段第一阶段01_Python语言底座.md语言与 I/O 基础可复用的工具函数与装饰器、基础爬虫类封装40–60 学时无第二阶段02_网络基础与静态网页抓取.mdHTTP 与静态页面采集requests XPath 静态采集脚本、模拟登录脚本30–40 学时第一阶段第三阶段03_动态网页与浏览器自动化.md动态渲染与接口定位浏览器自动化采集脚本、工具选型对比结论30–40 学时第二阶段第四阶段04_高并发与高性能爬虫.md并发与性能优化线程池与 asyncio 并发采集程序25–35 学时第二阶段第五阶段05_Scrapy爬虫框架.md框架化与工程化规范化 Scrapy 项目、中间件与 Pipeline40–50 学时第三、四阶段第六阶段06_反爬虫对抗与JS逆向.md对抗与逆向分析加密参数还原脚本、验证码与字体反爬处理方案60 学时以上第三、四阶段第七阶段07_数据存储与部署.md存储与运行维护多数据库落库方案、Docker 与 Scrapyd 部署配置25–35 学时第五阶段各阶段目标与知识清单第一阶段Python 语言底座学习目标熟练掌握 Python 语法理解面向对象以及操作系统底层的 I/O 与并发概念。核心知识清单基础语法与数据结构变量与基本类型数字、字符串、布尔值核心数据结构操作List、Tuple、Dict、Set 的增删改查及底层逻辑控制流if-else、for、while函数与模块化函数的定义、参数传递、作用域LEGB匿名函数lambda、高阶函数map、filter、reduce闭包与装饰器重点爬虫中常用于重试机制、日志记录面向对象编程OOP类与对象、封装、继承、多态魔术方法如__init__、__call__、__str__在爬虫中的应用封装各种爬虫类、下载器类文件与 I/O 操作文件读写模式r、w、a、rb、wb上下文管理器with语句JSON、CSV 文件的序列化与反序列化字符串编码与基础加密预备知识字符编码原理ASCII、Unicode、UTF-8、GBK 的转换encode与decodeURL 编码urllib.parse.quote/unquoteBase64 编码原理与 Python 实现实战产出完成装饰器重试与日志工具、爬虫类与下载器类封装、JSON/CSV 读写与编码转换练习。验收标准能够独立设计包含类封装与装饰器的模块结构能够解释 LEGB 作用域、闭包与 GIL 之外的 I/O 概念能够处理 UTF-8 与 GBK 互转及 URL 编解码问题。第二阶段网络基础与静态网页抓取学习目标理解 HTTP 协议掌握基本的请求发送与页面内容提取。核心知识清单HTTP/HTTPS 网络协议基础请求与响应模型常见请求方法GET、POST、PUT、DELETERequest HeadersUser-Agent、Cookie、Referer、Accept 等重点字段常见状态码200、301、302、403、404、500 等基础请求库requests库的基本使用发送 GET/POST 请求、传递参数、处理代理requests.Session()的应用保持连接、自动携带和处理 Cookie、模拟登录数据解析与提取三类主流方式正则表达式re原生字符串、基本元字符、贪婪与非贪婪匹配、re.findall/re.searchXPathlxml库节点选择、谓词、轴定位爬虫中最常用、提取效率高的方式BeautifulSoupbs4CSS 选择器、节点遍历适合容错率高的不规范 HTML实战项目抓取豆瓣电影 Top250练习 requests XPath某网站模拟登录练习 Session实战产出豆瓣电影 Top250 静态采集脚本、基于 Session 的模拟登录脚本。验收标准能够通过请求头与状态码定位请求失败原因能够在 XPath、CSS 选择器与正则之间做出合理选择能够说明 Session 与裸请求的差异。第三阶段动态网页与浏览器自动化学习目标处理现代 Web 页面中 JavaScript 渲染与异步加载导致的数据采集问题。核心知识清单前端基础与异步请求AJAXHTML/CSS/JS 基础认知AJAX 与 Fetch API 的工作方式浏览器抓包技巧熟练使用 Chrome DevToolsNetwork 面板的 XHR/Fetch 过滤定位真实的 JSON 数据接口浏览器自动化工具三类框架对比与实战Selenium环境搭建WebDriver 配置元素定位、模拟点击/输入、页面滚动三种等待机制强制等待、隐式等待、显式等待修改window.navigator.webdriver绕过基础检测Playwright微软开源现代化方案无缝支持异步async/await自动等待机制、网络拦截Network Interceptioncodegen录制脚本功能规避检测的高级技巧工具对比选型总结requests响应速度最快资源占用最小无法执行 JS需自行分析接口与加密逻辑Selenium历史悠久生态成熟运行速度慢资源占用大容易被特征识别Playwright速度较快支持异步API 现代化抗屏蔽能力强替代 Selenium 的首选实战产出同一目标站点的三套实现对比requests 接口直连、Selenium、Playwright与选型结论记录。验收标准能够通过 DevTools 定位页面真实数据接口能够针对渲染等待问题选择正确的等待策略能够给出三种工具在速度、资源与可维护性上的取舍依据。第四阶段高并发与高性能爬虫学习目标突破单线程限制实现大规模数据的采集效率提升。核心知识清单并发理论基础进程、线程、协程的区别同步与异步、阻塞与非阻塞Python 的 GIL全局解释器锁对并发的影响CPU 密集型与 I/O 密集型多线程与多进程I/O 操作实践threading模块基础线程锁Lockmultiprocessing模块基础进程间通信Queue线程池与进程池concurrent.futures.ThreadPoolExecutor与ProcessPoolExecutor生产环境中最常用异步协程Asynchronous I/Oasyncio核心概念事件循环Event Loop、async/await关键字、Taskaiohttp库异步 HTTP 请求替代 requests限制并发量asyncio.Semaphore实战产出基于线程池与基于 aiohttp Semaphore 的两版并发采集程序及吞吐对比数据。验收标准能够判断任务属于 CPU 密集型还是 I/O 密集型并选择并发模型能够解释线程安全问题的成因与加锁方案能够使用 Semaphore 控制并发上限。第五阶段Scrapy 爬虫框架学习目标掌握工业级爬虫框架规范开发流程。核心知识清单Scrapy 核心架构五大组件Engine引擎、Spider爬虫、Scheduler调度器、Downloader下载器、Item Pipeline管道数据流向分析Scrapy 基础操作创建项目与 Spiderscrapy startproject、scrapy genspider使用yield提交 Request 与 ItemScrapy 内置选择器CSS 与 XPath的使用高级中间件MiddlewaresDownloader Middleware动态设置 User-Agent、接入代理 IP 池、集成 Playwright/Selenium 渲染动态页面Spider Middleware处理异常响应数据清洗与持久化Pipelines清洗不规范数据异步存入数据库分布式爬虫拓展Scrapy-Redis的原理实现多台机器共享同一队列进行采集实战产出结构规范的 Scrapy 项目含自定义下载中间件、Pipeline 与分布式配置。验收标准能够绘制并解释请求在五大组件之间的完整流转路径能够编写中间件完成 UA 轮换与代理接入能够说明 Scrapy-Redis 实现分布式所需共享的组件。第六阶段反爬虫对抗与 JS 逆向学习目标应对现代网站的安全防护策略获取加密后的数据。核心知识清单常见反爬策略与应对IP 封禁搭建或购买代理 IP 池字体反爬动态解析 WOFF 字体文件验证码识别OCR 库ddddocr、打码平台、滑动/点选验证码的轨迹模拟加密与解密算法Python 实现哈希算法MD5、SHA 系列对称加密AES、DES理解分组模式 ECB/CBC、填充机制、密钥、偏移量 IV非对称加密RSAJavaScript 逆向工程浏览器调试技巧断点调试XHR 断点、事件监听断点、Call Stack 分析、Overrides 替换常见混淆与防护代码压缩、OB 混淆Obfuscator、Webpack 打包机制扣取与执行 JS 代码使用PyExecJS或subprocess调用 Node.js 执行原生 JS环境补充补全 BOM/DOM 对象如window、document、navigatorAST 抽象语法树了解用于还原混淆后的 JS 代码实战产出至少一个完整加密参数的还原案例文档含定位过程、参数复现与验证结果。验收标准能够从网络请求中定位加密参数的生成位置能够使用 Python 复现 MD5/SHA、AES、RSA 的常见调用形态能够区分混淆、加密与签名三类问题并采取对应手段。第七阶段数据存储与部署学习目标持久化保存采集数据并将爬虫部署至服务器实现自动化运行。核心知识清单数据存储方案关系型数据库MySQL / PostgreSQL使用pymysql或SQLAlchemy适合结构化数据非关系型数据库MongoDB使用pymongo适合存储 JSON 等爬虫数据Redis用于缓存、去重、维护代理池与分布式队列爬虫部署Linux 基础操作使用Scrapyd部署与管理 Scrapy 爬虫使用Docker容器化爬虫运行环境规避环境冲突定时任务Linuxcrontab或 PythonAPScheduler实战产出面向同一批数据的 MySQL 与 MongoDB 落库方案、Docker 镜像与 Scrapyd 部署配置、定时调度任务。验收标准能够依据数据结构特征选择存储方案并说明理由能够独立完成容器化与定时调度配置能够建立运行日志与失败重试的基本观测手段。学习路径建议前三个阶段构成能力核心应以编码练习为主要手段。多数站点的公开页面通过requests与 XPath 即可完成采集不建议在早期投入过多时间在工具选型上。第三阶段以 Playwright 作为重点。在学时有限的条件下Selenium 掌握其原理与常见定位方式即可主要精力应放在 Playwright 上其在现代前端页面中的适应性与稳定性明显更高。第六阶段耗时占比最高建议以实际案例驱动学习例如公开的音乐评论接口、翻译接口避免脱离案例的纯理论学习。第四阶段与第三阶段可并行推进第五阶段应在第三、第四阶段完成之后进入第七阶段依赖第五阶段的产出。各阶段的验收标准未达成前不建议进入依赖它的后续阶段。法律与合规边界爬虫行为受技术访问规范、数据保护法规与目标站点服务协议三重约束学习与实践过程中应遵守以下原则访问声明采集前应读取目标站点的robots.txt不在被禁止的路径与资源上发起请求robots.txt仅是行业约定不构成合法性的充分条件。请求频率应设置合理的并发上限与请求间隔将访问压力控制在目标服务正常容量允许的范围内避免对服务可用性造成影响出现 429、503 等响应时必须退避。数据范围不采集个人隐私数据与需授权访问的非公开数据涉及个人信息的数据需满足最小必要原则并遵循所在地数据保护法规关于收集、存储与使用的要求。用途边界不从事黑产、数据倒卖、绕过付费墙或侵犯知识产权的行为发布或商业使用采集数据前应确认目标站点服务协议的授权范围。身份透明在允许的前提下通过 User-Agent 标识采集程序并保留可联系的入口便于站点方沟通。技术边界规避访问控制的技术手段仅可用于学习与研究不得用于突破授权校验或访问限制。本合辑中的技术内容用于合法合规的数据采集学习与研究使用者需自行承担应用行为产生的法律责任。术语约定中文术语英文对照说明爬虫Spider / Crawler本合辑中指自动采集网页数据的程序反爬虫Anti-Scraping站点方用于识别与限制自动化采集的策略集合协程Coroutine由事件循环调度的用户态并发单元事件循环Event Loop异步任务调度与分发的核心机制异步 I/OAsynchronous I/O发起 I/O 后不阻塞执行、由回调或 await 接收结果的模型中间件MiddlewareScrapy 中位于引擎与下载器/Spider 之间的处理钩子管道PipelineScrapy 中负责数据清洗与持久化的组件代理 IP 池Proxy Pool可轮换的出口 IP 资源集合数据抽取Data Extraction从页面或响应中定位并提取目标字段的过程JS 逆向JavaScript Reverse Engineering分析前端加密逻辑并还原请求参数的过程 Python 爬虫阶段学习手册 · 阶段路线总览
Python 爬虫阶段学习手册 · 阶段路线总览合辑Python 爬虫阶段学习手册 文档00 总览 适用对象具备基础计算机操作能力、需要按阶段系统性构建爬虫技术体系的学习者大家好我是小马不起床。合辑说明本合辑将 Python 爬虫技术体系拆分为七个递进阶段覆盖语言底座、网络与静态抓取、动态页面处理、并发性能、框架工程化、反爬对抗与逆向、数据存储与部署。合辑以阶段为主线组织每一阶段对应一份独立文档文档内部结构统一为「学习目标—核心知识清单—实战产出—验收标准」。使用方式先阅读本总览确认各阶段的定位与前置依赖再按阶段顺序进入对应文档。每阶段的知识清单为该项技术的能力基线学习时逐条对照完成一条勾选一条。阶段末尾的验收标准用于自检未达标不建议进入下一阶段。前置依赖不满足时如未掌握异步基础即进入 Scrapy 高级中间件应先回退补齐。阶段总览表阶段文档定位核心产出建议学时前置阶段第一阶段01_Python语言底座.md语言与 I/O 基础可复用的工具函数与装饰器、基础爬虫类封装40–60 学时无第二阶段02_网络基础与静态网页抓取.mdHTTP 与静态页面采集requests XPath 静态采集脚本、模拟登录脚本30–40 学时第一阶段第三阶段03_动态网页与浏览器自动化.md动态渲染与接口定位浏览器自动化采集脚本、工具选型对比结论30–40 学时第二阶段第四阶段04_高并发与高性能爬虫.md并发与性能优化线程池与 asyncio 并发采集程序25–35 学时第二阶段第五阶段05_Scrapy爬虫框架.md框架化与工程化规范化 Scrapy 项目、中间件与 Pipeline40–50 学时第三、四阶段第六阶段06_反爬虫对抗与JS逆向.md对抗与逆向分析加密参数还原脚本、验证码与字体反爬处理方案60 学时以上第三、四阶段第七阶段07_数据存储与部署.md存储与运行维护多数据库落库方案、Docker 与 Scrapyd 部署配置25–35 学时第五阶段各阶段目标与知识清单第一阶段Python 语言底座学习目标熟练掌握 Python 语法理解面向对象以及操作系统底层的 I/O 与并发概念。核心知识清单基础语法与数据结构变量与基本类型数字、字符串、布尔值核心数据结构操作List、Tuple、Dict、Set 的增删改查及底层逻辑控制流if-else、for、while函数与模块化函数的定义、参数传递、作用域LEGB匿名函数lambda、高阶函数map、filter、reduce闭包与装饰器重点爬虫中常用于重试机制、日志记录面向对象编程OOP类与对象、封装、继承、多态魔术方法如__init__、__call__、__str__在爬虫中的应用封装各种爬虫类、下载器类文件与 I/O 操作文件读写模式r、w、a、rb、wb上下文管理器with语句JSON、CSV 文件的序列化与反序列化字符串编码与基础加密预备知识字符编码原理ASCII、Unicode、UTF-8、GBK 的转换encode与decodeURL 编码urllib.parse.quote/unquoteBase64 编码原理与 Python 实现实战产出完成装饰器重试与日志工具、爬虫类与下载器类封装、JSON/CSV 读写与编码转换练习。验收标准能够独立设计包含类封装与装饰器的模块结构能够解释 LEGB 作用域、闭包与 GIL 之外的 I/O 概念能够处理 UTF-8 与 GBK 互转及 URL 编解码问题。第二阶段网络基础与静态网页抓取学习目标理解 HTTP 协议掌握基本的请求发送与页面内容提取。核心知识清单HTTP/HTTPS 网络协议基础请求与响应模型常见请求方法GET、POST、PUT、DELETERequest HeadersUser-Agent、Cookie、Referer、Accept 等重点字段常见状态码200、301、302、403、404、500 等基础请求库requests库的基本使用发送 GET/POST 请求、传递参数、处理代理requests.Session()的应用保持连接、自动携带和处理 Cookie、模拟登录数据解析与提取三类主流方式正则表达式re原生字符串、基本元字符、贪婪与非贪婪匹配、re.findall/re.searchXPathlxml库节点选择、谓词、轴定位爬虫中最常用、提取效率高的方式BeautifulSoupbs4CSS 选择器、节点遍历适合容错率高的不规范 HTML实战项目抓取豆瓣电影 Top250练习 requests XPath某网站模拟登录练习 Session实战产出豆瓣电影 Top250 静态采集脚本、基于 Session 的模拟登录脚本。验收标准能够通过请求头与状态码定位请求失败原因能够在 XPath、CSS 选择器与正则之间做出合理选择能够说明 Session 与裸请求的差异。第三阶段动态网页与浏览器自动化学习目标处理现代 Web 页面中 JavaScript 渲染与异步加载导致的数据采集问题。核心知识清单前端基础与异步请求AJAXHTML/CSS/JS 基础认知AJAX 与 Fetch API 的工作方式浏览器抓包技巧熟练使用 Chrome DevToolsNetwork 面板的 XHR/Fetch 过滤定位真实的 JSON 数据接口浏览器自动化工具三类框架对比与实战Selenium环境搭建WebDriver 配置元素定位、模拟点击/输入、页面滚动三种等待机制强制等待、隐式等待、显式等待修改window.navigator.webdriver绕过基础检测Playwright微软开源现代化方案无缝支持异步async/await自动等待机制、网络拦截Network Interceptioncodegen录制脚本功能规避检测的高级技巧工具对比选型总结requests响应速度最快资源占用最小无法执行 JS需自行分析接口与加密逻辑Selenium历史悠久生态成熟运行速度慢资源占用大容易被特征识别Playwright速度较快支持异步API 现代化抗屏蔽能力强替代 Selenium 的首选实战产出同一目标站点的三套实现对比requests 接口直连、Selenium、Playwright与选型结论记录。验收标准能够通过 DevTools 定位页面真实数据接口能够针对渲染等待问题选择正确的等待策略能够给出三种工具在速度、资源与可维护性上的取舍依据。第四阶段高并发与高性能爬虫学习目标突破单线程限制实现大规模数据的采集效率提升。核心知识清单并发理论基础进程、线程、协程的区别同步与异步、阻塞与非阻塞Python 的 GIL全局解释器锁对并发的影响CPU 密集型与 I/O 密集型多线程与多进程I/O 操作实践threading模块基础线程锁Lockmultiprocessing模块基础进程间通信Queue线程池与进程池concurrent.futures.ThreadPoolExecutor与ProcessPoolExecutor生产环境中最常用异步协程Asynchronous I/Oasyncio核心概念事件循环Event Loop、async/await关键字、Taskaiohttp库异步 HTTP 请求替代 requests限制并发量asyncio.Semaphore实战产出基于线程池与基于 aiohttp Semaphore 的两版并发采集程序及吞吐对比数据。验收标准能够判断任务属于 CPU 密集型还是 I/O 密集型并选择并发模型能够解释线程安全问题的成因与加锁方案能够使用 Semaphore 控制并发上限。第五阶段Scrapy 爬虫框架学习目标掌握工业级爬虫框架规范开发流程。核心知识清单Scrapy 核心架构五大组件Engine引擎、Spider爬虫、Scheduler调度器、Downloader下载器、Item Pipeline管道数据流向分析Scrapy 基础操作创建项目与 Spiderscrapy startproject、scrapy genspider使用yield提交 Request 与 ItemScrapy 内置选择器CSS 与 XPath的使用高级中间件MiddlewaresDownloader Middleware动态设置 User-Agent、接入代理 IP 池、集成 Playwright/Selenium 渲染动态页面Spider Middleware处理异常响应数据清洗与持久化Pipelines清洗不规范数据异步存入数据库分布式爬虫拓展Scrapy-Redis的原理实现多台机器共享同一队列进行采集实战产出结构规范的 Scrapy 项目含自定义下载中间件、Pipeline 与分布式配置。验收标准能够绘制并解释请求在五大组件之间的完整流转路径能够编写中间件完成 UA 轮换与代理接入能够说明 Scrapy-Redis 实现分布式所需共享的组件。第六阶段反爬虫对抗与 JS 逆向学习目标应对现代网站的安全防护策略获取加密后的数据。核心知识清单常见反爬策略与应对IP 封禁搭建或购买代理 IP 池字体反爬动态解析 WOFF 字体文件验证码识别OCR 库ddddocr、打码平台、滑动/点选验证码的轨迹模拟加密与解密算法Python 实现哈希算法MD5、SHA 系列对称加密AES、DES理解分组模式 ECB/CBC、填充机制、密钥、偏移量 IV非对称加密RSAJavaScript 逆向工程浏览器调试技巧断点调试XHR 断点、事件监听断点、Call Stack 分析、Overrides 替换常见混淆与防护代码压缩、OB 混淆Obfuscator、Webpack 打包机制扣取与执行 JS 代码使用PyExecJS或subprocess调用 Node.js 执行原生 JS环境补充补全 BOM/DOM 对象如window、document、navigatorAST 抽象语法树了解用于还原混淆后的 JS 代码实战产出至少一个完整加密参数的还原案例文档含定位过程、参数复现与验证结果。验收标准能够从网络请求中定位加密参数的生成位置能够使用 Python 复现 MD5/SHA、AES、RSA 的常见调用形态能够区分混淆、加密与签名三类问题并采取对应手段。第七阶段数据存储与部署学习目标持久化保存采集数据并将爬虫部署至服务器实现自动化运行。核心知识清单数据存储方案关系型数据库MySQL / PostgreSQL使用pymysql或SQLAlchemy适合结构化数据非关系型数据库MongoDB使用pymongo适合存储 JSON 等爬虫数据Redis用于缓存、去重、维护代理池与分布式队列爬虫部署Linux 基础操作使用Scrapyd部署与管理 Scrapy 爬虫使用Docker容器化爬虫运行环境规避环境冲突定时任务Linuxcrontab或 PythonAPScheduler实战产出面向同一批数据的 MySQL 与 MongoDB 落库方案、Docker 镜像与 Scrapyd 部署配置、定时调度任务。验收标准能够依据数据结构特征选择存储方案并说明理由能够独立完成容器化与定时调度配置能够建立运行日志与失败重试的基本观测手段。学习路径建议前三个阶段构成能力核心应以编码练习为主要手段。多数站点的公开页面通过requests与 XPath 即可完成采集不建议在早期投入过多时间在工具选型上。第三阶段以 Playwright 作为重点。在学时有限的条件下Selenium 掌握其原理与常见定位方式即可主要精力应放在 Playwright 上其在现代前端页面中的适应性与稳定性明显更高。第六阶段耗时占比最高建议以实际案例驱动学习例如公开的音乐评论接口、翻译接口避免脱离案例的纯理论学习。第四阶段与第三阶段可并行推进第五阶段应在第三、第四阶段完成之后进入第七阶段依赖第五阶段的产出。各阶段的验收标准未达成前不建议进入依赖它的后续阶段。法律与合规边界爬虫行为受技术访问规范、数据保护法规与目标站点服务协议三重约束学习与实践过程中应遵守以下原则访问声明采集前应读取目标站点的robots.txt不在被禁止的路径与资源上发起请求robots.txt仅是行业约定不构成合法性的充分条件。请求频率应设置合理的并发上限与请求间隔将访问压力控制在目标服务正常容量允许的范围内避免对服务可用性造成影响出现 429、503 等响应时必须退避。数据范围不采集个人隐私数据与需授权访问的非公开数据涉及个人信息的数据需满足最小必要原则并遵循所在地数据保护法规关于收集、存储与使用的要求。用途边界不从事黑产、数据倒卖、绕过付费墙或侵犯知识产权的行为发布或商业使用采集数据前应确认目标站点服务协议的授权范围。身份透明在允许的前提下通过 User-Agent 标识采集程序并保留可联系的入口便于站点方沟通。技术边界规避访问控制的技术手段仅可用于学习与研究不得用于突破授权校验或访问限制。本合辑中的技术内容用于合法合规的数据采集学习与研究使用者需自行承担应用行为产生的法律责任。术语约定中文术语英文对照说明爬虫Spider / Crawler本合辑中指自动采集网页数据的程序反爬虫Anti-Scraping站点方用于识别与限制自动化采集的策略集合协程Coroutine由事件循环调度的用户态并发单元事件循环Event Loop异步任务调度与分发的核心机制异步 I/OAsynchronous I/O发起 I/O 后不阻塞执行、由回调或 await 接收结果的模型中间件MiddlewareScrapy 中位于引擎与下载器/Spider 之间的处理钩子管道PipelineScrapy 中负责数据清洗与持久化的组件代理 IP 池Proxy Pool可轮换的出口 IP 资源集合数据抽取Data Extraction从页面或响应中定位并提取目标字段的过程JS 逆向JavaScript Reverse Engineering分析前端加密逻辑并还原请求参数的过程