1. 当AI搜索开始“挑食”你的网站为什么被跳过过去大半年我陆续帮几个做内容站和技术博客的朋友排查过同一个问题明明内容质量不差传统搜索引擎里排名也还行但一到AI搜索、AI问答、AI摘要这类场景自己的页面就像被无视了一样引用列表里永远没有自己。有人怀疑是权重不够有人怀疑是被降权折腾了一圈才发现问题根本不在内容质量上而在于AI搜索抓取和引用内容的逻辑跟传统搜索引擎压根不是一套玩法。这就是GEOGenerative Engine Optimization生成式引擎优化要解决的事。它和传统SEO最大的区别在于SEO的目标是“让页面排在结果列表前面”而GEO的目标是“让页面被AI直接读进去、并且愿意在生成答案时引用你”。前者拼的是排名算法后者拼的是可抓取性、可解析性、可引用性。你内容写得再好如果AI的爬虫在门口就被拦住了或者读到的是一堆它无法结构化的噪音那它自然不会引用你。这篇文章适合三类人看一是做内容站、技术博客、文档站发现AI搜索流量起不来的站长二是负责企业官网、产品文档想让自家内容出现在AI回答里的运营和开发者三是单纯对AI搜索抓取机制好奇想搞明白robots.txt、llms.txt这些文件到底怎么影响AI引用的技术人。我会从抓取链路讲起把“为什么不被引用”拆成几个可排查的环节然后给出可以直接抄的代码方案包括llms.txt完整写法和robots配置的取舍逻辑。全程按我实际排查的顺序来不绕弯子。先说结论AI搜索不引用你的网站九成情况下逃不出这四个原因爬虫被robots挡在门外、页面内容对AI不可解析、缺少面向AI的索引声明文件、内容本身缺乏可被引用的结构化信号。下面逐个拆。2. 拆解AI搜索的抓取链路从爬虫进门到内容被引用2.1 AI爬虫和传统爬虫到底差在哪很多人下意识觉得“AI搜索用的还是那套爬虫”这个认知是第一个坑。传统搜索引擎爬虫比如各类通用爬虫的核心任务是发现链接、抓取页面、建立倒排索引它关心的是关键词覆盖和链接关系。而AI搜索的抓取链路多了两个关键环节内容抽取和引用决策。内容抽取阶段AI需要把HTML里的正文、标题、结构化数据干净地剥离出来喂给模型做理解和摘要。如果你的页面正文被大量导航、广告、脚本包裹抽取质量就会很差。引用决策阶段模型会判断“这段话是否值得作为答案来源”它偏好的是事实密度高、表述明确、有明确出处的内容片段。我实测过一个对比同样一篇讲配置参数的文章A站正文直接写在HTML里B站正文靠JavaScript渲染。传统爬虫对B站可能还能靠渲染服务兜底但AI抓取链路里B站的内容抽取成功率明显低一截。这不是玄学是链路设计决定的。2.2 一次完整的AI引用要过几道关把链路拆开看你的页面要被AI引用至少要过五关DNS与服务器可达爬虫能连上你的服务器返回200。robots.txt放行AI爬虫的User-Agent没有被Disallow规则拦住。页面可解析返回的是服务端渲染或静态HTML正文可被抽取。索引声明存在有llms.txt或类似声明告诉AI“我这里有什么内容”。内容可引用段落结构清晰事实明确有标题层级支撑。这五关里第2关和第4关是最容易被忽略、也最容易用代码直接改掉的。大部分“AI不引用我”的案例卡点就在这两处。下面重点讲这两块顺带把第3关和第5关的实操要点也带上。2.3 为什么“内容好”不等于“会被引用”这里要纠正一个普遍误区。很多站长觉得“我内容原创、深度够AI没理由不引用”。但AI的引用决策不是内容评审而是信息检索匹配。它需要的是当用户问某个问题时你的页面里有一段话能直接、准确、低歧义地回答这个问题。举个例子你写了一篇三千字的“某某工具使用心得”通篇是个人感受和场景描述但没有任何一句是“某某工具的默认端口是XXXX”这种可直接摘取的事实句。那AI在回答“某某工具默认端口是多少”时就很难从你这里摘出答案自然引用别人。所以GEO的一个核心动作是把可引用的事实句显式写出来而不是藏在散文里。3. 用代码改掉“不被引用”robots.txt与llms.txt实操3.1 robots.txt里最容易被写错的几条规则robots.txt是AI爬虫进门的第一道关卡。我见过太多站点在这里“误伤”自己。最常见的错误有三种。第一种用Disallow: /一刀切。有些站点为了防采集直接全站禁止结果把AI爬虫也一起挡了。你要区分“防恶意采集”和“允许AI引用”这俩目标不冲突靠User-Agent精细控制就行。第二种规则顺序写反。robots.txt的匹配是最长匹配优先同长度时Allow优先但很多人以为是从上往下第一条命中就生效。实际写法应该把更具体的Allow放在前面或者至少保证Allow的路径长度不短于Disallow。第三种忘了给AI爬虫单独放行。下面是一段我实际在用的配置模板你可以直接改域名用# 允许主流AI抓取爬虫访问公开内容 User-agent: GPTBot Allow: / Disallow: /admin/ Disallow: /private/ User-agent: ClaudeBot Allow: / Disallow: /admin/ User-agent: PerplexityBot Allow: / Disallow: /admin/ User-agent: Google-Extended Allow: / # 通用爬虫规则 User-agent: * Allow: / Disallow: /admin/ Disallow: /tmp/ Sitemap: https://yourdomain.com/sitemap.xml注意不同AI产品的爬虫User-Agent名称会变写之前先去对应平台的官方文档确认当前名称别照抄过期的。我一般每季度核对一次。这里有个取舍要讲清楚Disallow: /admin/这类后台路径该挡就挡但正文页、文档页、博客页一定要Allow。有些站点把整个/docs/目录挡了理由是“怕被抄”结果AI永远读不到你的文档引用自然无从谈起。3.2 llms.txt完整写法教程给AI一张内容地图如果说robots.txt是“门禁”那llms.txt就是“导览图”。它是放在网站根目录的一个纯文本文件用Markdown格式告诉AI我这个站点有哪些核心内容、分别在哪、大概讲什么。这个约定近一年被越来越多AI抓取链路支持写法不复杂但细节决定效果。一个完整的llms.txt结构分三部分站点概述、核心内容分区、可选资源。下面是我给一个技术文档站写的实例# 某某工具官方文档 某某工具是一款用于数据处理的命令行工具本文档覆盖安装、配置、API与常见问题。 ## 快速开始 - [安装指南](https://yourdomain.com/docs/install.md): 支持多平台的安装步骤与依赖说明 - [五分钟上手](https://yourdomain.com/docs/quickstart.md): 最小可用示例与核心概念 ## 配置参考 - [配置文件详解](https://yourdomain.com/docs/config.md): 所有配置项、默认值与取值范围 - [环境变量](https://yourdomain.com/docs/env.md): 支持的环境变量清单 ## API - [API 总览](https://yourdomain.com/docs/api/index.md): 接口列表与鉴权方式 - [错误码](https://yourdomain.com/docs/api/errors.md): 完整错误码与排查建议 ## Optional - [更新日志](https://yourdomain.com/docs/changelog.md)几个关键点必须说清楚。第一链接尽量指向.md或纯文本版本而不是渲染后的HTML页面因为AI抽取纯文本的成功率更高。第二每条链接后面跟一句简短描述这句话本身就可能被AI当作摘要素材。第三## Optional这个分区是约定俗成的“次要内容”标记AI可以按需读取不强制。提示llms.txt不是万能钥匙它只是“声明”。如果robots.txt把爬虫挡了llms.txt写得再漂亮也没用。两者要配合使用。3.3 让页面本身对AI“可读”的三个代码动作光有声明文件还不够页面本身得让AI读得动。我一般做三个动作。第一个确保正文是服务端渲染或静态生成的。如果你的站点是纯客户端渲染至少给AI爬虫做一次预渲染或者提供对应的静态版本。判断方法很简单用curl抓一下页面看返回的HTML里有没有正文文字。curl -s https://yourdomain.com/docs/install | grep -o 安装步骤 | head -1如果这条命令啥都抓不到说明正文是JS渲染的AI大概率也读不到。第二个用语义化标签包裹正文。article、main、h1到h3这些标签能帮AI快速定位正文区域。我见过用一堆div堆出来的页面AI抽取时经常把侧边栏文字也混进去导致引用内容错乱。第三个给关键事实句加结构化标记。比如用dl定义列表写参数用表格写对比数据。AI对表格和定义列表的解析准确率明显高于纯段落。4. 内容层的GEO改造让AI愿意摘你这句话4.1 把“散文”改成“可摘取的答案块”前面说了AI引用的是“能直接回答问题的片段”。所以GEO在内容层最有效的动作是把长段落拆成问题-答案结构。具体做法每个小节开头用一句话直接给出结论后面再展开解释。比如原来写“关于超时设置我们在实际使用中发现默认值偏小建议根据网络情况调整一般调到30秒比较稳妥”改成默认超时是10秒建议调整为30秒。然后再补一段解释为什么。这样AI在回答“某某工具超时默认多少”时能直接摘到“默认超时是10秒”这句引用概率大幅提升。这不是讨好AI而是让信息表达更清晰对真人读者同样友好。4.2 标题层级就是AI的导航地图AI抽取内容时高度依赖标题层级来判断“这段在讲什么”。如果你的页面只有h1和一堆pAI很难判断哪段属于哪个主题。正确做法是h1下用h2分大主题h2下用h3分细节且标题本身要包含关键词。我对比过两个结构不同的页面A页面标题是“配置”B页面标题是“超时与重试配置详解”。在AI回答“如何配置超时”时B页面被引用的概率明显更高因为标题本身就命中了问题意图。所以标题别写得太抽象把用户会问的词直接写进去。4.3 事实密度与出处的平衡AI偏好事实密度高的内容但也需要出处可信。我的经验是关键数据、参数、结论尽量在句子里带上来源或版本信息。比如“在v2.3版本中默认端口是8080”比“默认端口是8080”更可信因为AI能判断这是有版本约束的事实不是随口一说。同时别为了堆事实把文章写成参数表。可读性和可引用性要平衡。我的做法是正文用自然语言讲清楚关键参数用表格或定义列表单独列一份两者互相呼应。5. 常见问题与排查技巧实录5.1 AI不引用我的网站按这个顺序查我把实际排查流程整理成一张速查表按顺序走基本能定位到问题排查步骤检查方法常见问题修复动作1. 爬虫可达性curl -I看返回码返回403/503检查服务器防火墙与WAF规则2. robots放行查看robots.txt对应UA被Disallow误挡增加Allow规则3. 页面可解析curl抓正文文字正文为空改服务端渲染或预渲染4. 索引声明访问 /llms.txt404或格式错按规范补写5. 内容可引用人工找事实句全是感受无结论补写结论句与参数表这张表我用了大半年帮朋友排查基本十分钟内能定位。重点提醒第1步和第2步要一起看有时候服务器返回200但robots把AI爬虫挡了表现就是“能访问但不被引用”很容易误判。5.2 几个我踩过的坑第一个坑llms.txt里写了链接但没写描述。一开始我以为只要列链接就行后来发现带描述的那些条目被引用的概率明显更高。描述那句话本身就是在帮AI做摘要。第二个坑robots.txt里用了通配符但没测试。Disallow: /*.pdf这种写法本意是挡PDF结果把带pdf参数的动态页也挡了。改完一定要用在线robots测试工具验证一遍别凭感觉。第三个坑以为改了llms.txt就立刻生效。AI抓取有缓存周期改完通常要等几天到几周才会反映到引用结果里。别改完第二天没变化就以为没用耐心等一个抓取周期。5.3 关于“要不要给AI单独做一份内容”有人问是不是要给AI单独准备一份精简版内容。我的看法是没必要单独维护两套但可以在同一份内容里做分层。正文写给真人看关键事实句和参数表用结构化方式标出来AI和真人都能各取所需。单独维护两套内容成本高且容易不同步得不偿失。6. 我个人的实操体会这套GEO改造做下来最大的感受是它本质上不是“讨好AI”而是把内容表达得更清晰、更结构化。那些让AI更容易引用的改动——明确结论、语义化标签、结构化参数表——对真人读者的阅读体验同样是提升。所以别把它当成一套独立的“AI优化技巧”它更像是内容工程的基本功。我一般建议先从robots.txt和llms.txt这两个文件入手改动成本最低见效相对快。然后再回头优化页面结构和内容表达。整个过程不用大改版按模块逐步推进就行。最后分享一个小技巧定期用curl抓一下自己的核心页面看看返回的HTML里正文是否完整这个习惯能帮你提前发现很多抓取问题。