尧图网页设计 
简介这是一款面向开发者与新媒体运营人员的微信公众号文章批量下载工具源码解决官方接口受限下难以合规采集、归档与分析公众号内容的痛点适用于内容备份、竞品分析、数据研究等场景。资源包共109个文件含34个TypeScript核心逻辑文件、24个Vue前端组件、29个PNG/SVG/ICO等静态资源及10个Markdown文档含部署说明与API手册配合tailwind.css与mp-common-mpaudio.js等实现响应式界面与多媒体支持整体压缩包仅12.02MB轻量易部署。已有717人学习下载源码结构清晰支持Docker一键部署与私有化运行开箱即用无需配置环境。读者可直接获取完整前后端工程、含评论/阅读量/合集/视频消息等全维度导出能力的实现逻辑以及缓存策略、订阅规则引擎、多格式HTML/JSON/Excel打包等关键模块代码具备二次开发与定制化扩展基础。1. 项目缘起为什么我们需要一个独立的公众号文章下载器做内容运营、市场分析或者单纯想收藏一些高质量公众号文章的朋友应该都遇到过类似的困境看到一篇好文章想保存下来离线阅读或者归档整理却发现微信官方并没有提供批量导出或下载的功能。你只能一篇篇手动复制粘贴到文档里或者依赖一些在线工具但这些工具要么收费要么不稳定要么有隐私泄露的风险。更别提当你需要系统性研究某个公众号的历史文章时那种手动操作的繁琐和低效简直让人抓狂。我自己就经常需要分析竞品公众号的运营策略和内容方向手动收集几十上百篇文章是家常便饭。在这个过程中我尝试过市面上几乎所有能找到的“公众号文章下载工具”结果都不尽如人意。有的工具需要登录你的微信这存在极大的安全风险有的工具号称免费但实际用起来限制重重下载几篇就要求付费还有的工具直接就是“一次性”的今天能用明天就失效了。这种受制于人的感觉非常不好作为一个有点技术背景的从业者我决定自己动手丰衣足食。于是“Wechat Article Exporter”这个项目就诞生了。它的核心目标非常明确提供一个开源、免费、可本地运行、无需登录个人微信的公众号文章批量下载工具。它不依赖于任何第三方商业服务所有操作都在你自己的电脑上完成数据安全完全由你自己掌控。今天我就把这个项目的实现思路、核心源码拆解以及我踩过的那些坑毫无保留地分享出来。无论你是Python新手想学习网络爬虫实战还是急需一个可靠工具的内容工作者这篇文章都能给你带来实实在在的帮助。2. 核心原理拆解公众号文章数据到底从哪里来在动手写代码之前我们必须搞清楚一个根本问题我们要下载的文章数据微信把它藏在哪里了直接去抓取公众号的PC端或手机端页面吗那会非常复杂需要模拟登录、处理复杂的JavaScript渲染而且极易被微信的反爬机制封禁。经过一番摸索和测试我发现了一条相对“友好”的路径微信公众号的分享页面或称“临时链接”。当你把一篇公众号文章分享给朋友或朋友圈时微信会生成一个可以在外部浏览器打开的临时链接。这个链接背后的页面结构相对简单包含了文章的完整内容标题、作者、发布日期、正文、图片等而且最重要的是访问这个页面通常不需要任何登录态Cookie或Token。这就为我们提供了一个绝佳的“数据入口”。我们的爬虫不需要伪装成微信客户端只需要像一个普通的浏览器那样去请求这些公开的分享链接即可。那么下一个问题来了如何批量获取一个公众号所有文章的这些分享链接呢这里就需要用到另一个接口微信公众号的“历史消息”页面。在手机微信上进入一个公众号的主页点击“查看历史消息”你会看到一个文章列表。这个列表页面本身也是可以通过特定方式获取的。虽然微信对这个页面做了很多限制比如需要带上特定的Cookie且内容是通过JavaScript动态加载的但通过分析网络请求我们依然可以找到规律从中提取出每篇文章的唯一标识比如biz,mid,idx,sn等参数然后拼装成我们最终需要的文章详情页URL。所以整个工具的数据流逻辑可以概括为以下几步获取公众号标识首先你需要知道目标公众号的biz参数可以理解为公众号的唯一ID。这个参数可以通过一些公开的微信搜索页面或工具查到。爬取文章列表使用获取到的biz模拟请求公众号的历史消息接口解析返回的JSON数据得到一批文章的基本信息标题、链接、发布时间。构造详情页链接将列表中的文章信息按照微信分享页的URL规则拼装成可以直接访问的静态页面URL。下载并解析文章内容逐个请求上一步生成的详情页链接用HTML解析库如BeautifulSoup提取出纯净的文章标题、作者、正文HTML格式、发布时间等。保存到本地将解析后的内容以单篇HTML文件或整合成PDF、Markdown等格式保存到本地文件夹。整个过程中最关键也最脆弱的一环就是第2步——获取文章列表。微信对这个接口的保护比较严格请求时需要携带正确的Cookie并且有访问频率限制。在源码中我们会详细讲解如何获取并维持这个有效的Cookie以及如何优雅地处理请求失败和频率限制。3. 环境准备与核心依赖库选择工欲善其事必先利其器。在开始剖析源码之前我们先来看看这个项目需要什么样的运行环境以及我为什么选择了这些特定的Python库。我的开发环境是macOS但工具本身是跨平台的在Windows和Linux上同样可以运行。基础环境要求Python 3.7建议使用Python 3.8或更高版本以确保库的兼容性。pipPython的包管理工具通常随Python一起安装。核心依赖库及其作用requests这是Python生态中最好用的HTTP库没有之一。我们所有的网络请求包括获取列表、下载文章页面都靠它来完成。它比Python自带的urllib更简洁、更强大。pip install requestsBeautifulSoup4 (bs4)HTML和XML的解析库。当我们拿到文章详情页的HTML代码后需要从中精准地“抠”出标题、正文等元素。BeautifulSoup提供了非常直观的API可以通过标签名、CSS类名等方式来定位元素是爬虫数据提取的利器。pip install beautifulsoup4lxml这是一个高性能的HTML/XML解析器。BeautifulSoup本身只是一个“解析器调度器”它需要依赖一个底层的解析引擎。lxml的速度最快功能也最全是我们首选的后端引擎。pip install lxmlhtml2text一个将HTML转换为Markdown格式文本的库。有些朋友可能更习惯阅读和编辑Markdown格式这个库可以帮我们把下载的HTML正文干净地转换过来去除所有样式只保留结构和重点格式如加粗、链接。pip install html2textpdfkit/wkhtmltopdf这是可选的依赖用于将HTML文章转换为PDF格式。pdfkit是一个包装了wkhtmltopdf命令行工具的Python库。如果你需要PDF输出就必须先在系统上安装wkhtmltopdf然后再安装pdfkit。安装wkhtmltopdf请根据你的操作系统从 其官网 下载并安装。安装pdfkitpip install pdfkit为什么是这些库requestsvsaiohttp虽然aiohttp支持异步能极大提升大批量下载的速度但我们的爬虫需要处理微信的频率限制太快反而容易被封。requests的同步写法更简单直观易于理解和调试对于新手和大多数“按需批量下载”的场景来说完全够用。代码的简洁性和可维护性是我优先考虑的。BeautifulSoupvsPyQuery两者都是优秀的解析库。PyQuery的语法更像jQuery对于前端开发者更友好。但我个人更习惯BeautifulSoup的API而且它的社区更庞大遇到问题更容易找到解决方案。输出格式的选择我选择了HTML作为主要输出格式因为它能最完整地保留原文的排版、图片和样式。Markdown和PDF作为可选的补充格式以满足不同用户的需求。特别是PDF适合需要打印或正式归档的场景。准备好这些库之后我们就可以开始进入最激动人心的部分——阅读和运行源码了。4. 源码深度剖析从获取Cookie到保存文章接下来我们打开“Wechat Article Exporter”的源码一个文件一个文件、一个函数一个函数地看。我会假设你已经有基本的Python语法知识重点讲解爬虫相关的逻辑和那些容易出错的细节。4.1 核心配置文件与Cookie获取通常项目根目录会有一个config.py或config.json文件用于存放配置信息。对于我们这个爬虫最核心的配置就是Cookie。# config.py 示例 import json import os CONFIG_FILE config.json def load_config(): 加载配置文件 if not os.path.exists(CONFIG_FILE): return {} with open(CONFIG_FILE, r, encodingutf-8) as f: return json.load(f) def save_config(config): 保存配置文件 with open(CONFIG_FILE, w, encodingutf-8) as f: json.dump(config, f, ensure_asciiFalse, indent4) # 关键配置项COOKIE # 如何获取手动从浏览器复制。 # 1. 在Chrome/Firefox浏览器中登录微信网页版https://wx.qq.com/。 # 2. 按F12打开开发者工具切换到Network网络面板。 # 3. 刷新页面找到任意一个请求比如 webwxinit在它的 Request Headers请求头里找到 Cookie 这一长串字符串。 # 4. 完整地复制下来粘贴到配置中。 config load_config() DEFAULT_COOKIE config.get(cookie, ) # 你的Cookie字符串 DEFAULT_HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 }注意Cookie是动态的会过期通常微信网页版的Cookie有效期为几天到一周不等。如果某天发现爬虫无法获取列表了第一个要检查的就是Cookie是否失效。重新登录微信网页版按上述步骤复制新的Cookie更新到配置文件即可。千万不要在公共电脑或不信任的环境进行此操作也不要将你的Cookie分享给他人。4.2 公众号文章列表爬取器这是整个项目中最复杂、也最容易失败的部分。我们创建一个crawler.py文件。# crawler.py import requests import time import json from urllib.parse import urlencode from config import DEFAULT_COOKIE, DEFAULT_HEADERS class WechatArticleCrawler: def __init__(self, biz, cookieDEFAULT_COOKIE): 初始化爬虫 :param biz: 公众号的唯一标识如 MzI5MDQzMjY1Mg :param cookie: 从微信网页版获取的Cookie self.biz biz self.cookie cookie self.session requests.Session() self.session.headers.update(DEFAULT_HEADERS) if cookie: self.session.headers.update({Cookie: cookie}) # 基础URL用于构造请求 self.base_url https://mp.weixin.qq.com/mp/profile_ext def get_article_list(self, offset0, count10): 获取公众号文章列表单次请求 :param offset: 起始偏移量0表示从最新一篇开始 :param count: 单次请求获取的文章数量最大似乎为10 :return: 包含文章信息的字典列表以及是否还有更多文章的标识 params { action: getmsg, __biz: self.biz, f: json, offset: offset, count: count, is_ok: 1, scene: 124, uin: 777, key: 777, pass_ticket: , wxtoken: , appmsg_token: , x5: 0, f: json } # 注意这里需要构造一个特殊的查询字符串key和pass_ticket等字段即使为空也要传 url f{self.base_url}?{urlencode(params)} try: resp self.session.get(url, timeout10) resp.raise_for_status() # 如果状态码不是200抛出异常 data resp.json() except requests.exceptions.RequestException as e: print(f网络请求失败: {e}) return [], False except json.JSONDecodeError as e: print(fJSON解析失败响应内容可能不是有效的JSON。原始内容: {resp.text[:200]}) return [], False # 解析返回的JSON数据 if data.get(ret) 0 and general_msg_list in data: msg_list json.loads(data[general_msg_list]) articles [] for msg in msg_list.get(list, []): app_msg_ext_info msg.get(app_msg_ext_info) if not app_msg_ext_info: continue # 提取单篇文章信息 title app_msg_ext_info.get(title) content_url app_msg_ext_info.get(content_url) digest app_msg_ext_info.get(digest, ) cover app_msg_ext_info.get(cover, ) author app_msg_ext_info.get(author, ) publish_time app_msg_ext_info.get(datetime) if content_url: # 将URL中的amp;替换回 content_url content_url.replace(amp;, ) articles.append({ title: title, url: content_url, digest: digest, cover: cover, author: author, publish_time: publish_time }) # 判断是否还有更多数据 can_msg_continue data.get(can_msg_continue, 0) next_offset data.get(next_offset, offset count) has_more (can_msg_continue 1) return articles, has_more, next_offset else: print(f获取列表失败服务器返回: {data}) return [], False, offset def get_all_articles(self, limitNone): 批量获取所有文章直到没有更多或达到限制 :param limit: 最多获取的文章数量为None则获取全部 :return: 所有文章信息的列表 all_articles [] offset 0 count 10 # 微信接口单次最大返回数量 has_more True print(f开始爬取公众号 {self.biz} 的文章列表...) while has_more: print(f正在获取偏移量 {offset} 处的文章...) articles, has_more, next_offset self.get_article_list(offset, count) if not articles: print(本次未获取到文章可能已到底部或Cookie失效。) break all_articles.extend(articles) print(f已获取 {len(all_articles)} 篇文章。) # 检查是否达到数量限制 if limit and len(all_articles) limit: all_articles all_articles[:limit] print(f已达到设定的数量限制 {limit}停止爬取。) break # 更新偏移量准备下一次请求 offset next_offset # **非常重要礼貌地休眠避免请求过快被封** time.sleep(2 random.random()) # 随机休眠2-3秒 print(f列表爬取结束共获取到 {len(all_articles)} 篇文章。) return all_articles关键点解析与避坑指南URL参数之谜get_article_list方法中的params字典里面的uin,key,pass_ticket,wxtoken,appmsg_token等字段很多都是固定值或可以为空。这些参数是微信接口历史遗留的虽然大部分不起作用但缺少某些字段可能导致请求被拒。最稳妥的办法是用浏览器开发者工具抓取一次真实的请求直接复制它的完整查询参数。Cookie失效处理代码中通过resp.raise_for_status()和检查返回JSON的ret字段来判断请求是否成功。如果失败最常见的原因就是Cookie失效。此时程序会打印错误信息并返回空列表。在实际使用中你应该在这里添加更完善的错误处理逻辑比如自动提醒用户更新Cookie。频率限制与休眠在get_all_articles的循环中time.sleep(2 random.random())这行代码至关重要。微信后端对这类接口有明确的频率限制请求太快会导致IP或Cookie被临时封禁返回空数据或错误码。加入随机延迟是为了模拟人类操作降低被封风险。即使这样我也不建议一次性爬取成千上万篇文章分多次、隔天进行是更安全的策略。“amp;”问题从接口返回的content_url里符号被转义成了amp;直接用它去请求会得到404错误。所以必须用replace(amp;, )将其还原。4.3 文章详情页下载与内容解析拿到文章链接列表后下一步就是下载并解析每一篇文章的详细内容。我们创建一个parser.py文件。# parser.py import requests from bs4 import BeautifulSoup import html2text import re from config import DEFAULT_HEADERS class ArticleParser: def __init__(self): self.session requests.Session() self.session.headers.update(DEFAULT_HEADERS) # 初始化html2text转换器进行一些自定义配置 self.h2t html2text.HTML2Text() self.h2t.ignore_links False # 保留链接 self.h2t.ignore_images False # 保留图片引用 self.h2t.body_width 0 # 不自动换行 def download_article(self, article_url): 下载单篇文章的HTML内容 try: resp self.session.get(article_url, timeout15) resp.raise_for_status() # 微信页面编码通常是utf-8但强制指定一下更安全 resp.encoding utf-8 return resp.text except requests.exceptions.RequestException as e: print(f下载文章失败URL: {article_url}, 错误: {e}) return None def parse_article_html(self, html_content, source_url): 从HTML中解析出文章元数据和正文 if not html_content: return None soup BeautifulSoup(html_content, lxml) article_info {} # 1. 提取标题 - 通常位于og:title meta标签或特定id的div中 title_tag soup.find(meta, propertyog:title) if title_tag and title_tag.get(content): article_info[title] title_tag[content].strip() else: # 备用方案查找h1或h2标签 h1_tag soup.find(h1, class_re.compile(rich_media_title)) if h1_tag: article_info[title] h1_tag.get_text().strip() else: article_info[title] 未知标题 # 2. 提取作者 - 通常位于特定id或class的span中 author_tag soup.find(span, class_re.compile(rich_media_meta.*author)) if author_tag: article_info[author] author_tag.get_text().strip() else: author_meta soup.find(meta, propertyog:article:author) if author_meta: article_info[author] author_meta[content].strip() else: article_info[author] 未知作者 # 3. 提取发布日期 - 通常位于特定id或class的em元素中 date_tag soup.find(em, idre.compile(post-date)) if date_tag: article_info[publish_date] date_tag.get_text().strip() else: # 尝试从其他meta标签获取 date_meta soup.find(meta, propertyog:article:published_time) if date_meta: # 格式可能是 2023-10-27T08:00:0008:00 我们只取日期部分 from datetime import datetime try: dt datetime.fromisoformat(date_meta[content].replace(Z, 00:00)) article_info[publish_date] dt.strftime(%Y-%m-%d) except: article_info[publish_date] date_meta[content][:10] else: article_info[publish_date] 未知日期 # 4. 提取正文 - 这是核心部分 # 微信公众号文章的正文通常在一个id为js_content的div里 content_div soup.find(div, idjs_content) if content_div: # 清理一些不需要的标签如广告、引导关注等 for tag in content_div.find_all([script, style, iframe, ins]): tag.decompose() # 获取清理后的HTML article_info[content_html] str(content_div) # 转换为Markdown article_info[content_md] self.h2t.handle(str(content_div)) else: # 如果找不到标准结构尝试其他常见结构 content_div soup.find(div, class_re.compile(rich_media_content)) if content_div: article_info[content_html] str(content_div) article_info[content_md] self.h2t.handle(str(content_div)) else: print(f警告无法从页面中定位到正文内容。URL: {source_url}) article_info[content_html] article_info[content_md] # 5. 提取封面图 cover_meta soup.find(meta, propertyog:image) if cover_meta and cover_meta.get(content): article_info[cover_image] cover_meta[content] else: article_info[cover_image] article_info[source_url] source_url return article_info def save_article(self, article_info, output_dir./output, formathtml): 将解析后的文章保存到本地文件 :param format: 保存格式支持 html, md, both import os import re if not os.path.exists(output_dir): os.makedirs(output_dir) # 用标题作为文件名过滤掉非法字符 safe_title re.sub(r[\\/*?:|], _, article_info[title]) filename_base f{article_info[publish_date]}_{safe_title}[:150] # 防止文件名过长 if format in [html, both]: html_path os.path.join(output_dir, f{filename_base}.html) # 构建一个完整的HTML页面包含元信息和样式 full_html f !DOCTYPE html html langzh-CN head meta charsetUTF-8 title{article_info[title]}/title meta nameauthor content{article_info[author]} meta namepublish_date content{article_info[publish_date]} style body {{ font-family: -apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif; line-height: 1.6; color: #24292e; max-width: 800px; margin: 0 auto; padding: 20px; }} h1 {{ border-bottom: 1px solid #eaecef; padding-bottom: 0.3em; }} .meta {{ color: #6a737d; font-size: 0.9em; margin-bottom: 2em; }} img {{ max-width: 100%; height: auto; }} pre {{ background-color: #f6f8fa; padding: 16px; overflow: auto; border-radius: 6px; }} code {{ background-color: #f6f8fa; padding: 0.2em 0.4em; border-radius: 3px; font-family: SFMono-Regular, Consolas, Liberation Mono, Menlo, monospace; }} /style /head body h1{article_info[title]}/h1 div classmeta strong作者/strong{article_info[author]} | strong发布日期/strong{article_info[publish_date]} | strong原文链接/stronga href{article_info[source_url]}{article_info[source_url]}/a /div hr div idcontent {article_info[content_html]} /div /body /html with open(html_path, w, encodingutf-8) as f: f.write(full_html) print(f已保存HTML: {html_path}) if format in [md, both]: md_path os.path.join(output_dir, f{filename_base}.md) md_content f# {article_info[title]} **作者**: {article_info[author]} **发布日期**: {article_info[publish_date]} **原文链接**: {article_info[source_url]} --- {article_info[content_md]} with open(md_path, w, encodingutf-8) as f: f.write(md_content) print(f已保存Markdown: {md_path})关键点解析与避坑指南编码问题微信页面的编码是UTF-8但有些时候服务器返回的头部信息可能不准确。设置resp.encoding utf-8可以强制使用UTF-8解码避免乱码。HTML结构变化微信的页面结构并非一成不变。代码中使用了多种查找方式如通过idjs_content、class正则匹配、meta标签来定位标题、作者、正文等元素以提高兼容性。如果未来微信改版导致解析失败就需要根据新的页面结构调整这些选择器。正文清理在提取正文js_content后我们使用decompose()方法移除了script、style等无关标签。这一步很重要能让我们得到更纯净的内容。你也可以根据需要扩展这个清理列表。文件名安全Windows和Linux系统对文件名中的某些字符如\,/,:,*,?,,,,|有限制。我们用正则表达式re.sub(r[\\/*?:|], _, ...)将这些非法字符替换为下划线确保文件能成功创建。完整的离线HTMLsave_article函数在保存HTML时不是只保存正文的div而是构建了一个完整的、带有基本样式的HTML文档。这样保存下来的文件在任何浏览器中打开都能获得良好的阅读体验真正实现了“离线收藏”。4.4 主程序流程与异常处理最后我们需要一个主程序main.py来把上述模块串联起来并处理一些全局性的逻辑比如命令行参数解析、进度显示、异常捕获等。# main.py import argparse import sys import time import random from crawler import WechatArticleCrawler from parser import ArticleParser import os def main(): parser argparse.ArgumentParser(description微信公众号文章批量下载工具) parser.add_argument(--biz, requiredTrue, help公众号的biz参数例如MzI5MDQzMjY1Mg) parser.add_argument(--cookie, help微信网页版Cookie如果不提供则使用config.py中的配置) parser.add_argument(--limit, typeint, help限制下载的文章数量从最新开始) parser.add_argument(--output, default./output, help文章输出目录默认为 ./output) parser.add_argument(--format, choices[html, md, both], defaulthtml, help输出格式html, md, both (两者都保存)) parser.add_argument(--delay, typefloat, default2.0, help下载每篇文章之间的延迟秒数防止被封默认2秒) args parser.parse_args() # 初始化爬虫和解析器 crawler WechatArticleCrawler(bizargs.biz, cookieargs.cookie) parser_inst ArticleParser() print(f目标公众号 biz: {args.biz}) print(f输出目录: {args.output}) print(f输出格式: {args.format}) print(- * 50) # 步骤1获取文章列表 try: all_articles crawler.get_all_articles(limitargs.limit) except Exception as e: print(f获取文章列表时发生严重错误: {e}) sys.exit(1) if not all_articles: print(未获取到任何文章列表请检查) print(1. Cookie 是否有效且已配置。) print(2. biz 参数是否正确。) print(3. 网络连接是否正常。) sys.exit(1) print(f成功获取到 {len(all_articles)} 篇文章的列表开始下载内容...) print(- * 50) # 步骤2逐一下载并解析文章 success_count 0 fail_count 0 fail_list [] for idx, article in enumerate(all_articles, 1): print(f[{idx}/{len(all_articles)}] 正在处理: {article[title][:50]}...) article_url article[url] # 下载HTML html parser_inst.download_article(article_url) if not html: print(f - 下载失败跳过。) fail_count 1 fail_list.append(article[title]) continue # 解析HTML article_info parser_inst.parse_article_html(html, article_url) if not article_info or not article_info.get(content_html): print(f - 解析内容失败可能页面结构异常跳过。) fail_count 1 fail_list.append(article[title]) continue # 补充列表中的元数据 article_info[title] article_info.get(title) or article[title] article_info[author] article_info.get(author) or article.get(author, ) article_info[publish_date] article_info.get(publish_date) or article.get(publish_time, ) if article_info[publish_date] and isinstance(article_info[publish_date], int): # 如果时间是时间戳转换为日期字符串 from datetime import datetime article_info[publish_date] datetime.fromtimestamp(article_info[publish_date]).strftime(%Y-%m-%d) # 保存文章 try: parser_inst.save_article(article_info, output_dirargs.output, formatargs.format) success_count 1 print(f - 处理成功。) except Exception as e: print(f - 保存文件时出错: {e}) fail_count 1 fail_list.append(article[title]) # 请求延迟善待服务器 if idx len(all_articles): # 最后一篇不需要休眠 sleep_time args.delay random.uniform(-0.5, 0.5) time.sleep(sleep_time) # 步骤3输出总结报告 print(\n *50) print(任务完成) print(f成功下载: {success_count} 篇) print(f失败: {fail_count} 篇) if fail_list: print(失败文章列表) for title in fail_list: print(f - {title}) print(f所有文章已保存至目录: {os.path.abspath(args.output)}) print(*50) if __name__ __main__: main()现在一个完整的、可运行的公众号文章下载工具就构建完成了。你可以通过命令行来使用它python main.py --biz MzI5MDQzMjY1Mg --limit 20 --output ./my_articles --format both5. 实战中的进阶技巧与疑难排坑工具跑起来只是第一步在实际使用中你会遇到各种各样的问题。下面分享一些我踩过坑后总结的进阶技巧和解决方案。5.1 如何稳定获取有效的CookieCookie是整套流程的“钥匙”但它会过期。手动去浏览器复制毕竟麻烦。一个半自动化的方法是使用browsercookie库注意此方法涉及浏览器安全请仅在个人电脑上谨慎使用。# 可选尝试从浏览器自动获取Cookie以Chrome为例 import browsercookie def get_cookie_from_chrome(domain.weixin.qq.com): 从Chrome浏览器获取指定域的Cookie仅作技术演示注意隐私安全 try: cj browsercookie.chrome() cookies [] for cookie in cj: if domain in cookie.domain: cookies.append(f{cookie.name}{cookie.value}) return ; .join(cookies) except Exception as e: print(f从Chrome获取Cookie失败: {e}) return None重要警告browsercookie需要读取你浏览器本地加密存储的Cookie文件这可能涉及隐私和安全问题。仅建议在完全可控的私人环境下出于学习目的使用且不要将此功能集成到分享给他人的工具中。更推荐的做法是将Cookie保存在一个加密的配置文件里并编写一个简单的命令行交互程序当检测到Cookie失效时提示用户手动更新。5.2 处理图片等媒体资源的下载我们目前保存的HTML里面的图片链接仍然是指向微信CDN的在线地址。一旦原图被删除或链接失效离线文章就看不到图片了。一个更彻底的方案是将图片也下载到本地并替换HTML中的链接。# 在ArticleParser类中添加方法 def download_and_replace_images(self, soup, output_dir, article_id): 下载正文中的所有图片并替换为本地路径 :return: 处理后的BeautifulSoup对象 import os import requests from urllib.parse import urljoin, urlparse img_dir os.path.join(output_dir, images, article_id) if not os.path.exists(img_dir): os.makedirs(img_dir) for img_tag in soup.find_all(img): img_url img_tag.get(data-src) or img_tag.get(src) if not img_url or not img_url.startswith(http): continue try: # 生成本地文件名 parsed_url urlparse(img_url) img_filename os.path.basename(parsed_url.path) or fimg_{hash(img_url)}.jpg # 防止文件名冲突 local_path os.path.join(img_dir, img_filename) # 下载图片 resp requests.get(img_url, streamTrue, timeout10, headersDEFAULT_HEADERS) if resp.status_code 200: with open(local_path, wb) as f: for chunk in resp.iter_content(1024): f.write(chunk) # 将img标签的src替换为本地相对路径 relative_path os.path.join(images, article_id, img_filename).replace(\\, /) img_tag[src] relative_path # 移除可能存在的data-src属性 if data-src in img_tag.attrs: del img_tag[data-src] print(f 图片已下载: {img_filename}) else: print(f 图片下载失败 (HTTP {resp.status_code}): {img_url}) except Exception as e: print(f 处理图片时出错: {e}, URL: {img_url}) continue return soup然后在parse_article_html方法中在清理完无关标签后调用此方法处理图片。在save_article时需要将处理后的soup重新转换为字符串。这样保存的HTML就完全独立了。5.3 应对反爬策略User-Agent轮换与代理IP如果你需要大规模、高频次地爬取即使设置了延迟也可能触发微信的反爬机制。这时可以考虑一些进阶策略User-Agent轮换准备一个UA列表每次请求随机选择一个。USER_AGENTS [ Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ..., Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 ..., # ... 更多UA ] self.session.headers.update({User-Agent: random.choice(USER_AGENTS)})使用代理IP当本地IP被限制时可以通过代理池来发送请求。proxies { http: http://your-proxy-ip:port, https: http://your-proxy-ip:port, } resp self.session.get(url, proxiesproxies, timeout10)注意免费代理IP大多不稳定且速度慢商用代理IP需要成本。对于个人偶尔使用的场景遵守爬虫礼仪加延迟、限制频率通常就足够了。5.4 常见错误码与解决方案返回空列表或ret不为099%的原因是Cookie失效。请重新登录微信网页版获取新Cookie。请求超时检查网络连接或适当增加timeout参数的值。微信服务器有时响应较慢。SSL证书错误如果在某些环境下遇到SSL错误可以在requests.get()中增加verifyFalse参数但这会降低安全性仅作临时调试用。JSONDecodeError服务器返回的不是JSON可能是HTML错误页面。打印出resp.text的前几百字符看看是不是触发了反爬如验证码页面。如果是只能暂停一段时间再试。这个工具的核心代码和思路已经完整呈现。它不是一个万能的黑科技而是一个基于现有微信公开接口的、遵循基本爬虫伦理的实用脚本。它的价值在于开源、透明、可控。你可以完全理解它的每一行代码可以根据自己的需求任意修改和扩展比如增加数据库存储、定时任务、GUI界面等。希望这个详细的拆解不仅能帮你解决公众号文章下载的痛点更能让你对Python网络爬虫有一个扎实的实战理解。如果在使用或改造过程中遇到任何问题欢迎在项目的开源社区进行交流。本文还有配套的精品资源点击获取 Python爬虫实战：开源公众号文章批量下载工具实现与源码解析
简介这是一款面向开发者与新媒体运营人员的微信公众号文章批量下载工具源码解决官方接口受限下难以合规采集、归档与分析公众号内容的痛点适用于内容备份、竞品分析、数据研究等场景。资源包共109个文件含34个TypeScript核心逻辑文件、24个Vue前端组件、29个PNG/SVG/ICO等静态资源及10个Markdown文档含部署说明与API手册配合tailwind.css与mp-common-mpaudio.js等实现响应式界面与多媒体支持整体压缩包仅12.02MB轻量易部署。已有717人学习下载源码结构清晰支持Docker一键部署与私有化运行开箱即用无需配置环境。读者可直接获取完整前后端工程、含评论/阅读量/合集/视频消息等全维度导出能力的实现逻辑以及缓存策略、订阅规则引擎、多格式HTML/JSON/Excel打包等关键模块代码具备二次开发与定制化扩展基础。1. 项目缘起为什么我们需要一个独立的公众号文章下载器做内容运营、市场分析或者单纯想收藏一些高质量公众号文章的朋友应该都遇到过类似的困境看到一篇好文章想保存下来离线阅读或者归档整理却发现微信官方并没有提供批量导出或下载的功能。你只能一篇篇手动复制粘贴到文档里或者依赖一些在线工具但这些工具要么收费要么不稳定要么有隐私泄露的风险。更别提当你需要系统性研究某个公众号的历史文章时那种手动操作的繁琐和低效简直让人抓狂。我自己就经常需要分析竞品公众号的运营策略和内容方向手动收集几十上百篇文章是家常便饭。在这个过程中我尝试过市面上几乎所有能找到的“公众号文章下载工具”结果都不尽如人意。有的工具需要登录你的微信这存在极大的安全风险有的工具号称免费但实际用起来限制重重下载几篇就要求付费还有的工具直接就是“一次性”的今天能用明天就失效了。这种受制于人的感觉非常不好作为一个有点技术背景的从业者我决定自己动手丰衣足食。于是“Wechat Article Exporter”这个项目就诞生了。它的核心目标非常明确提供一个开源、免费、可本地运行、无需登录个人微信的公众号文章批量下载工具。它不依赖于任何第三方商业服务所有操作都在你自己的电脑上完成数据安全完全由你自己掌控。今天我就把这个项目的实现思路、核心源码拆解以及我踩过的那些坑毫无保留地分享出来。无论你是Python新手想学习网络爬虫实战还是急需一个可靠工具的内容工作者这篇文章都能给你带来实实在在的帮助。2. 核心原理拆解公众号文章数据到底从哪里来在动手写代码之前我们必须搞清楚一个根本问题我们要下载的文章数据微信把它藏在哪里了直接去抓取公众号的PC端或手机端页面吗那会非常复杂需要模拟登录、处理复杂的JavaScript渲染而且极易被微信的反爬机制封禁。经过一番摸索和测试我发现了一条相对“友好”的路径微信公众号的分享页面或称“临时链接”。当你把一篇公众号文章分享给朋友或朋友圈时微信会生成一个可以在外部浏览器打开的临时链接。这个链接背后的页面结构相对简单包含了文章的完整内容标题、作者、发布日期、正文、图片等而且最重要的是访问这个页面通常不需要任何登录态Cookie或Token。这就为我们提供了一个绝佳的“数据入口”。我们的爬虫不需要伪装成微信客户端只需要像一个普通的浏览器那样去请求这些公开的分享链接即可。那么下一个问题来了如何批量获取一个公众号所有文章的这些分享链接呢这里就需要用到另一个接口微信公众号的“历史消息”页面。在手机微信上进入一个公众号的主页点击“查看历史消息”你会看到一个文章列表。这个列表页面本身也是可以通过特定方式获取的。虽然微信对这个页面做了很多限制比如需要带上特定的Cookie且内容是通过JavaScript动态加载的但通过分析网络请求我们依然可以找到规律从中提取出每篇文章的唯一标识比如biz,mid,idx,sn等参数然后拼装成我们最终需要的文章详情页URL。所以整个工具的数据流逻辑可以概括为以下几步获取公众号标识首先你需要知道目标公众号的biz参数可以理解为公众号的唯一ID。这个参数可以通过一些公开的微信搜索页面或工具查到。爬取文章列表使用获取到的biz模拟请求公众号的历史消息接口解析返回的JSON数据得到一批文章的基本信息标题、链接、发布时间。构造详情页链接将列表中的文章信息按照微信分享页的URL规则拼装成可以直接访问的静态页面URL。下载并解析文章内容逐个请求上一步生成的详情页链接用HTML解析库如BeautifulSoup提取出纯净的文章标题、作者、正文HTML格式、发布时间等。保存到本地将解析后的内容以单篇HTML文件或整合成PDF、Markdown等格式保存到本地文件夹。整个过程中最关键也最脆弱的一环就是第2步——获取文章列表。微信对这个接口的保护比较严格请求时需要携带正确的Cookie并且有访问频率限制。在源码中我们会详细讲解如何获取并维持这个有效的Cookie以及如何优雅地处理请求失败和频率限制。3. 环境准备与核心依赖库选择工欲善其事必先利其器。在开始剖析源码之前我们先来看看这个项目需要什么样的运行环境以及我为什么选择了这些特定的Python库。我的开发环境是macOS但工具本身是跨平台的在Windows和Linux上同样可以运行。基础环境要求Python 3.7建议使用Python 3.8或更高版本以确保库的兼容性。pipPython的包管理工具通常随Python一起安装。核心依赖库及其作用requests这是Python生态中最好用的HTTP库没有之一。我们所有的网络请求包括获取列表、下载文章页面都靠它来完成。它比Python自带的urllib更简洁、更强大。pip install requestsBeautifulSoup4 (bs4)HTML和XML的解析库。当我们拿到文章详情页的HTML代码后需要从中精准地“抠”出标题、正文等元素。BeautifulSoup提供了非常直观的API可以通过标签名、CSS类名等方式来定位元素是爬虫数据提取的利器。pip install beautifulsoup4lxml这是一个高性能的HTML/XML解析器。BeautifulSoup本身只是一个“解析器调度器”它需要依赖一个底层的解析引擎。lxml的速度最快功能也最全是我们首选的后端引擎。pip install lxmlhtml2text一个将HTML转换为Markdown格式文本的库。有些朋友可能更习惯阅读和编辑Markdown格式这个库可以帮我们把下载的HTML正文干净地转换过来去除所有样式只保留结构和重点格式如加粗、链接。pip install html2textpdfkit/wkhtmltopdf这是可选的依赖用于将HTML文章转换为PDF格式。pdfkit是一个包装了wkhtmltopdf命令行工具的Python库。如果你需要PDF输出就必须先在系统上安装wkhtmltopdf然后再安装pdfkit。安装wkhtmltopdf请根据你的操作系统从 其官网 下载并安装。安装pdfkitpip install pdfkit为什么是这些库requestsvsaiohttp虽然aiohttp支持异步能极大提升大批量下载的速度但我们的爬虫需要处理微信的频率限制太快反而容易被封。requests的同步写法更简单直观易于理解和调试对于新手和大多数“按需批量下载”的场景来说完全够用。代码的简洁性和可维护性是我优先考虑的。BeautifulSoupvsPyQuery两者都是优秀的解析库。PyQuery的语法更像jQuery对于前端开发者更友好。但我个人更习惯BeautifulSoup的API而且它的社区更庞大遇到问题更容易找到解决方案。输出格式的选择我选择了HTML作为主要输出格式因为它能最完整地保留原文的排版、图片和样式。Markdown和PDF作为可选的补充格式以满足不同用户的需求。特别是PDF适合需要打印或正式归档的场景。准备好这些库之后我们就可以开始进入最激动人心的部分——阅读和运行源码了。4. 源码深度剖析从获取Cookie到保存文章接下来我们打开“Wechat Article Exporter”的源码一个文件一个文件、一个函数一个函数地看。我会假设你已经有基本的Python语法知识重点讲解爬虫相关的逻辑和那些容易出错的细节。4.1 核心配置文件与Cookie获取通常项目根目录会有一个config.py或config.json文件用于存放配置信息。对于我们这个爬虫最核心的配置就是Cookie。# config.py 示例 import json import os CONFIG_FILE config.json def load_config(): 加载配置文件 if not os.path.exists(CONFIG_FILE): return {} with open(CONFIG_FILE, r, encodingutf-8) as f: return json.load(f) def save_config(config): 保存配置文件 with open(CONFIG_FILE, w, encodingutf-8) as f: json.dump(config, f, ensure_asciiFalse, indent4) # 关键配置项COOKIE # 如何获取手动从浏览器复制。 # 1. 在Chrome/Firefox浏览器中登录微信网页版https://wx.qq.com/。 # 2. 按F12打开开发者工具切换到Network网络面板。 # 3. 刷新页面找到任意一个请求比如 webwxinit在它的 Request Headers请求头里找到 Cookie 这一长串字符串。 # 4. 完整地复制下来粘贴到配置中。 config load_config() DEFAULT_COOKIE config.get(cookie, ) # 你的Cookie字符串 DEFAULT_HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 }注意Cookie是动态的会过期通常微信网页版的Cookie有效期为几天到一周不等。如果某天发现爬虫无法获取列表了第一个要检查的就是Cookie是否失效。重新登录微信网页版按上述步骤复制新的Cookie更新到配置文件即可。千万不要在公共电脑或不信任的环境进行此操作也不要将你的Cookie分享给他人。4.2 公众号文章列表爬取器这是整个项目中最复杂、也最容易失败的部分。我们创建一个crawler.py文件。# crawler.py import requests import time import json from urllib.parse import urlencode from config import DEFAULT_COOKIE, DEFAULT_HEADERS class WechatArticleCrawler: def __init__(self, biz, cookieDEFAULT_COOKIE): 初始化爬虫 :param biz: 公众号的唯一标识如 MzI5MDQzMjY1Mg :param cookie: 从微信网页版获取的Cookie self.biz biz self.cookie cookie self.session requests.Session() self.session.headers.update(DEFAULT_HEADERS) if cookie: self.session.headers.update({Cookie: cookie}) # 基础URL用于构造请求 self.base_url https://mp.weixin.qq.com/mp/profile_ext def get_article_list(self, offset0, count10): 获取公众号文章列表单次请求 :param offset: 起始偏移量0表示从最新一篇开始 :param count: 单次请求获取的文章数量最大似乎为10 :return: 包含文章信息的字典列表以及是否还有更多文章的标识 params { action: getmsg, __biz: self.biz, f: json, offset: offset, count: count, is_ok: 1, scene: 124, uin: 777, key: 777, pass_ticket: , wxtoken: , appmsg_token: , x5: 0, f: json } # 注意这里需要构造一个特殊的查询字符串key和pass_ticket等字段即使为空也要传 url f{self.base_url}?{urlencode(params)} try: resp self.session.get(url, timeout10) resp.raise_for_status() # 如果状态码不是200抛出异常 data resp.json() except requests.exceptions.RequestException as e: print(f网络请求失败: {e}) return [], False except json.JSONDecodeError as e: print(fJSON解析失败响应内容可能不是有效的JSON。原始内容: {resp.text[:200]}) return [], False # 解析返回的JSON数据 if data.get(ret) 0 and general_msg_list in data: msg_list json.loads(data[general_msg_list]) articles [] for msg in msg_list.get(list, []): app_msg_ext_info msg.get(app_msg_ext_info) if not app_msg_ext_info: continue # 提取单篇文章信息 title app_msg_ext_info.get(title) content_url app_msg_ext_info.get(content_url) digest app_msg_ext_info.get(digest, ) cover app_msg_ext_info.get(cover, ) author app_msg_ext_info.get(author, ) publish_time app_msg_ext_info.get(datetime) if content_url: # 将URL中的amp;替换回 content_url content_url.replace(amp;, ) articles.append({ title: title, url: content_url, digest: digest, cover: cover, author: author, publish_time: publish_time }) # 判断是否还有更多数据 can_msg_continue data.get(can_msg_continue, 0) next_offset data.get(next_offset, offset count) has_more (can_msg_continue 1) return articles, has_more, next_offset else: print(f获取列表失败服务器返回: {data}) return [], False, offset def get_all_articles(self, limitNone): 批量获取所有文章直到没有更多或达到限制 :param limit: 最多获取的文章数量为None则获取全部 :return: 所有文章信息的列表 all_articles [] offset 0 count 10 # 微信接口单次最大返回数量 has_more True print(f开始爬取公众号 {self.biz} 的文章列表...) while has_more: print(f正在获取偏移量 {offset} 处的文章...) articles, has_more, next_offset self.get_article_list(offset, count) if not articles: print(本次未获取到文章可能已到底部或Cookie失效。) break all_articles.extend(articles) print(f已获取 {len(all_articles)} 篇文章。) # 检查是否达到数量限制 if limit and len(all_articles) limit: all_articles all_articles[:limit] print(f已达到设定的数量限制 {limit}停止爬取。) break # 更新偏移量准备下一次请求 offset next_offset # **非常重要礼貌地休眠避免请求过快被封** time.sleep(2 random.random()) # 随机休眠2-3秒 print(f列表爬取结束共获取到 {len(all_articles)} 篇文章。) return all_articles关键点解析与避坑指南URL参数之谜get_article_list方法中的params字典里面的uin,key,pass_ticket,wxtoken,appmsg_token等字段很多都是固定值或可以为空。这些参数是微信接口历史遗留的虽然大部分不起作用但缺少某些字段可能导致请求被拒。最稳妥的办法是用浏览器开发者工具抓取一次真实的请求直接复制它的完整查询参数。Cookie失效处理代码中通过resp.raise_for_status()和检查返回JSON的ret字段来判断请求是否成功。如果失败最常见的原因就是Cookie失效。此时程序会打印错误信息并返回空列表。在实际使用中你应该在这里添加更完善的错误处理逻辑比如自动提醒用户更新Cookie。频率限制与休眠在get_all_articles的循环中time.sleep(2 random.random())这行代码至关重要。微信后端对这类接口有明确的频率限制请求太快会导致IP或Cookie被临时封禁返回空数据或错误码。加入随机延迟是为了模拟人类操作降低被封风险。即使这样我也不建议一次性爬取成千上万篇文章分多次、隔天进行是更安全的策略。“amp;”问题从接口返回的content_url里符号被转义成了amp;直接用它去请求会得到404错误。所以必须用replace(amp;, )将其还原。4.3 文章详情页下载与内容解析拿到文章链接列表后下一步就是下载并解析每一篇文章的详细内容。我们创建一个parser.py文件。# parser.py import requests from bs4 import BeautifulSoup import html2text import re from config import DEFAULT_HEADERS class ArticleParser: def __init__(self): self.session requests.Session() self.session.headers.update(DEFAULT_HEADERS) # 初始化html2text转换器进行一些自定义配置 self.h2t html2text.HTML2Text() self.h2t.ignore_links False # 保留链接 self.h2t.ignore_images False # 保留图片引用 self.h2t.body_width 0 # 不自动换行 def download_article(self, article_url): 下载单篇文章的HTML内容 try: resp self.session.get(article_url, timeout15) resp.raise_for_status() # 微信页面编码通常是utf-8但强制指定一下更安全 resp.encoding utf-8 return resp.text except requests.exceptions.RequestException as e: print(f下载文章失败URL: {article_url}, 错误: {e}) return None def parse_article_html(self, html_content, source_url): 从HTML中解析出文章元数据和正文 if not html_content: return None soup BeautifulSoup(html_content, lxml) article_info {} # 1. 提取标题 - 通常位于og:title meta标签或特定id的div中 title_tag soup.find(meta, propertyog:title) if title_tag and title_tag.get(content): article_info[title] title_tag[content].strip() else: # 备用方案查找h1或h2标签 h1_tag soup.find(h1, class_re.compile(rich_media_title)) if h1_tag: article_info[title] h1_tag.get_text().strip() else: article_info[title] 未知标题 # 2. 提取作者 - 通常位于特定id或class的span中 author_tag soup.find(span, class_re.compile(rich_media_meta.*author)) if author_tag: article_info[author] author_tag.get_text().strip() else: author_meta soup.find(meta, propertyog:article:author) if author_meta: article_info[author] author_meta[content].strip() else: article_info[author] 未知作者 # 3. 提取发布日期 - 通常位于特定id或class的em元素中 date_tag soup.find(em, idre.compile(post-date)) if date_tag: article_info[publish_date] date_tag.get_text().strip() else: # 尝试从其他meta标签获取 date_meta soup.find(meta, propertyog:article:published_time) if date_meta: # 格式可能是 2023-10-27T08:00:0008:00 我们只取日期部分 from datetime import datetime try: dt datetime.fromisoformat(date_meta[content].replace(Z, 00:00)) article_info[publish_date] dt.strftime(%Y-%m-%d) except: article_info[publish_date] date_meta[content][:10] else: article_info[publish_date] 未知日期 # 4. 提取正文 - 这是核心部分 # 微信公众号文章的正文通常在一个id为js_content的div里 content_div soup.find(div, idjs_content) if content_div: # 清理一些不需要的标签如广告、引导关注等 for tag in content_div.find_all([script, style, iframe, ins]): tag.decompose() # 获取清理后的HTML article_info[content_html] str(content_div) # 转换为Markdown article_info[content_md] self.h2t.handle(str(content_div)) else: # 如果找不到标准结构尝试其他常见结构 content_div soup.find(div, class_re.compile(rich_media_content)) if content_div: article_info[content_html] str(content_div) article_info[content_md] self.h2t.handle(str(content_div)) else: print(f警告无法从页面中定位到正文内容。URL: {source_url}) article_info[content_html] article_info[content_md] # 5. 提取封面图 cover_meta soup.find(meta, propertyog:image) if cover_meta and cover_meta.get(content): article_info[cover_image] cover_meta[content] else: article_info[cover_image] article_info[source_url] source_url return article_info def save_article(self, article_info, output_dir./output, formathtml): 将解析后的文章保存到本地文件 :param format: 保存格式支持 html, md, both import os import re if not os.path.exists(output_dir): os.makedirs(output_dir) # 用标题作为文件名过滤掉非法字符 safe_title re.sub(r[\\/*?:|], _, article_info[title]) filename_base f{article_info[publish_date]}_{safe_title}[:150] # 防止文件名过长 if format in [html, both]: html_path os.path.join(output_dir, f{filename_base}.html) # 构建一个完整的HTML页面包含元信息和样式 full_html f !DOCTYPE html html langzh-CN head meta charsetUTF-8 title{article_info[title]}/title meta nameauthor content{article_info[author]} meta namepublish_date content{article_info[publish_date]} style body {{ font-family: -apple-system, BlinkMacSystemFont, Segoe UI, Helvetica, Arial, sans-serif; line-height: 1.6; color: #24292e; max-width: 800px; margin: 0 auto; padding: 20px; }} h1 {{ border-bottom: 1px solid #eaecef; padding-bottom: 0.3em; }} .meta {{ color: #6a737d; font-size: 0.9em; margin-bottom: 2em; }} img {{ max-width: 100%; height: auto; }} pre {{ background-color: #f6f8fa; padding: 16px; overflow: auto; border-radius: 6px; }} code {{ background-color: #f6f8fa; padding: 0.2em 0.4em; border-radius: 3px; font-family: SFMono-Regular, Consolas, Liberation Mono, Menlo, monospace; }} /style /head body h1{article_info[title]}/h1 div classmeta strong作者/strong{article_info[author]} | strong发布日期/strong{article_info[publish_date]} | strong原文链接/stronga href{article_info[source_url]}{article_info[source_url]}/a /div hr div idcontent {article_info[content_html]} /div /body /html with open(html_path, w, encodingutf-8) as f: f.write(full_html) print(f已保存HTML: {html_path}) if format in [md, both]: md_path os.path.join(output_dir, f{filename_base}.md) md_content f# {article_info[title]} **作者**: {article_info[author]} **发布日期**: {article_info[publish_date]} **原文链接**: {article_info[source_url]} --- {article_info[content_md]} with open(md_path, w, encodingutf-8) as f: f.write(md_content) print(f已保存Markdown: {md_path})关键点解析与避坑指南编码问题微信页面的编码是UTF-8但有些时候服务器返回的头部信息可能不准确。设置resp.encoding utf-8可以强制使用UTF-8解码避免乱码。HTML结构变化微信的页面结构并非一成不变。代码中使用了多种查找方式如通过idjs_content、class正则匹配、meta标签来定位标题、作者、正文等元素以提高兼容性。如果未来微信改版导致解析失败就需要根据新的页面结构调整这些选择器。正文清理在提取正文js_content后我们使用decompose()方法移除了script、style等无关标签。这一步很重要能让我们得到更纯净的内容。你也可以根据需要扩展这个清理列表。文件名安全Windows和Linux系统对文件名中的某些字符如\,/,:,*,?,,,,|有限制。我们用正则表达式re.sub(r[\\/*?:|], _, ...)将这些非法字符替换为下划线确保文件能成功创建。完整的离线HTMLsave_article函数在保存HTML时不是只保存正文的div而是构建了一个完整的、带有基本样式的HTML文档。这样保存下来的文件在任何浏览器中打开都能获得良好的阅读体验真正实现了“离线收藏”。4.4 主程序流程与异常处理最后我们需要一个主程序main.py来把上述模块串联起来并处理一些全局性的逻辑比如命令行参数解析、进度显示、异常捕获等。# main.py import argparse import sys import time import random from crawler import WechatArticleCrawler from parser import ArticleParser import os def main(): parser argparse.ArgumentParser(description微信公众号文章批量下载工具) parser.add_argument(--biz, requiredTrue, help公众号的biz参数例如MzI5MDQzMjY1Mg) parser.add_argument(--cookie, help微信网页版Cookie如果不提供则使用config.py中的配置) parser.add_argument(--limit, typeint, help限制下载的文章数量从最新开始) parser.add_argument(--output, default./output, help文章输出目录默认为 ./output) parser.add_argument(--format, choices[html, md, both], defaulthtml, help输出格式html, md, both (两者都保存)) parser.add_argument(--delay, typefloat, default2.0, help下载每篇文章之间的延迟秒数防止被封默认2秒) args parser.parse_args() # 初始化爬虫和解析器 crawler WechatArticleCrawler(bizargs.biz, cookieargs.cookie) parser_inst ArticleParser() print(f目标公众号 biz: {args.biz}) print(f输出目录: {args.output}) print(f输出格式: {args.format}) print(- * 50) # 步骤1获取文章列表 try: all_articles crawler.get_all_articles(limitargs.limit) except Exception as e: print(f获取文章列表时发生严重错误: {e}) sys.exit(1) if not all_articles: print(未获取到任何文章列表请检查) print(1. Cookie 是否有效且已配置。) print(2. biz 参数是否正确。) print(3. 网络连接是否正常。) sys.exit(1) print(f成功获取到 {len(all_articles)} 篇文章的列表开始下载内容...) print(- * 50) # 步骤2逐一下载并解析文章 success_count 0 fail_count 0 fail_list [] for idx, article in enumerate(all_articles, 1): print(f[{idx}/{len(all_articles)}] 正在处理: {article[title][:50]}...) article_url article[url] # 下载HTML html parser_inst.download_article(article_url) if not html: print(f - 下载失败跳过。) fail_count 1 fail_list.append(article[title]) continue # 解析HTML article_info parser_inst.parse_article_html(html, article_url) if not article_info or not article_info.get(content_html): print(f - 解析内容失败可能页面结构异常跳过。) fail_count 1 fail_list.append(article[title]) continue # 补充列表中的元数据 article_info[title] article_info.get(title) or article[title] article_info[author] article_info.get(author) or article.get(author, ) article_info[publish_date] article_info.get(publish_date) or article.get(publish_time, ) if article_info[publish_date] and isinstance(article_info[publish_date], int): # 如果时间是时间戳转换为日期字符串 from datetime import datetime article_info[publish_date] datetime.fromtimestamp(article_info[publish_date]).strftime(%Y-%m-%d) # 保存文章 try: parser_inst.save_article(article_info, output_dirargs.output, formatargs.format) success_count 1 print(f - 处理成功。) except Exception as e: print(f - 保存文件时出错: {e}) fail_count 1 fail_list.append(article[title]) # 请求延迟善待服务器 if idx len(all_articles): # 最后一篇不需要休眠 sleep_time args.delay random.uniform(-0.5, 0.5) time.sleep(sleep_time) # 步骤3输出总结报告 print(\n *50) print(任务完成) print(f成功下载: {success_count} 篇) print(f失败: {fail_count} 篇) if fail_list: print(失败文章列表) for title in fail_list: print(f - {title}) print(f所有文章已保存至目录: {os.path.abspath(args.output)}) print(*50) if __name__ __main__: main()现在一个完整的、可运行的公众号文章下载工具就构建完成了。你可以通过命令行来使用它python main.py --biz MzI5MDQzMjY1Mg --limit 20 --output ./my_articles --format both5. 实战中的进阶技巧与疑难排坑工具跑起来只是第一步在实际使用中你会遇到各种各样的问题。下面分享一些我踩过坑后总结的进阶技巧和解决方案。5.1 如何稳定获取有效的CookieCookie是整套流程的“钥匙”但它会过期。手动去浏览器复制毕竟麻烦。一个半自动化的方法是使用browsercookie库注意此方法涉及浏览器安全请仅在个人电脑上谨慎使用。# 可选尝试从浏览器自动获取Cookie以Chrome为例 import browsercookie def get_cookie_from_chrome(domain.weixin.qq.com): 从Chrome浏览器获取指定域的Cookie仅作技术演示注意隐私安全 try: cj browsercookie.chrome() cookies [] for cookie in cj: if domain in cookie.domain: cookies.append(f{cookie.name}{cookie.value}) return ; .join(cookies) except Exception as e: print(f从Chrome获取Cookie失败: {e}) return None重要警告browsercookie需要读取你浏览器本地加密存储的Cookie文件这可能涉及隐私和安全问题。仅建议在完全可控的私人环境下出于学习目的使用且不要将此功能集成到分享给他人的工具中。更推荐的做法是将Cookie保存在一个加密的配置文件里并编写一个简单的命令行交互程序当检测到Cookie失效时提示用户手动更新。5.2 处理图片等媒体资源的下载我们目前保存的HTML里面的图片链接仍然是指向微信CDN的在线地址。一旦原图被删除或链接失效离线文章就看不到图片了。一个更彻底的方案是将图片也下载到本地并替换HTML中的链接。# 在ArticleParser类中添加方法 def download_and_replace_images(self, soup, output_dir, article_id): 下载正文中的所有图片并替换为本地路径 :return: 处理后的BeautifulSoup对象 import os import requests from urllib.parse import urljoin, urlparse img_dir os.path.join(output_dir, images, article_id) if not os.path.exists(img_dir): os.makedirs(img_dir) for img_tag in soup.find_all(img): img_url img_tag.get(data-src) or img_tag.get(src) if not img_url or not img_url.startswith(http): continue try: # 生成本地文件名 parsed_url urlparse(img_url) img_filename os.path.basename(parsed_url.path) or fimg_{hash(img_url)}.jpg # 防止文件名冲突 local_path os.path.join(img_dir, img_filename) # 下载图片 resp requests.get(img_url, streamTrue, timeout10, headersDEFAULT_HEADERS) if resp.status_code 200: with open(local_path, wb) as f: for chunk in resp.iter_content(1024): f.write(chunk) # 将img标签的src替换为本地相对路径 relative_path os.path.join(images, article_id, img_filename).replace(\\, /) img_tag[src] relative_path # 移除可能存在的data-src属性 if data-src in img_tag.attrs: del img_tag[data-src] print(f 图片已下载: {img_filename}) else: print(f 图片下载失败 (HTTP {resp.status_code}): {img_url}) except Exception as e: print(f 处理图片时出错: {e}, URL: {img_url}) continue return soup然后在parse_article_html方法中在清理完无关标签后调用此方法处理图片。在save_article时需要将处理后的soup重新转换为字符串。这样保存的HTML就完全独立了。5.3 应对反爬策略User-Agent轮换与代理IP如果你需要大规模、高频次地爬取即使设置了延迟也可能触发微信的反爬机制。这时可以考虑一些进阶策略User-Agent轮换准备一个UA列表每次请求随机选择一个。USER_AGENTS [ Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ..., Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 ..., # ... 更多UA ] self.session.headers.update({User-Agent: random.choice(USER_AGENTS)})使用代理IP当本地IP被限制时可以通过代理池来发送请求。proxies { http: http://your-proxy-ip:port, https: http://your-proxy-ip:port, } resp self.session.get(url, proxiesproxies, timeout10)注意免费代理IP大多不稳定且速度慢商用代理IP需要成本。对于个人偶尔使用的场景遵守爬虫礼仪加延迟、限制频率通常就足够了。5.4 常见错误码与解决方案返回空列表或ret不为099%的原因是Cookie失效。请重新登录微信网页版获取新Cookie。请求超时检查网络连接或适当增加timeout参数的值。微信服务器有时响应较慢。SSL证书错误如果在某些环境下遇到SSL错误可以在requests.get()中增加verifyFalse参数但这会降低安全性仅作临时调试用。JSONDecodeError服务器返回的不是JSON可能是HTML错误页面。打印出resp.text的前几百字符看看是不是触发了反爬如验证码页面。如果是只能暂停一段时间再试。这个工具的核心代码和思路已经完整呈现。它不是一个万能的黑科技而是一个基于现有微信公开接口的、遵循基本爬虫伦理的实用脚本。它的价值在于开源、透明、可控。你可以完全理解它的每一行代码可以根据自己的需求任意修改和扩展比如增加数据库存储、定时任务、GUI界面等。希望这个详细的拆解不仅能帮你解决公众号文章下载的痛点更能让你对Python网络爬虫有一个扎实的实战理解。如果在使用或改造过程中遇到任何问题欢迎在项目的开源社区进行交流。本文还有配套的精品资源点击获取