先看结论
先让公开页面返回可阅读正文和正确状态码,再补充清晰链接、canonical、语言版本与站点地图。结构化数据必须与可见内容一致;它们帮助理解页面,但不保证收录或 AI 引用。
第一步:检查初始 HTML
用不执行 JavaScript 的请求读取页面,确认文章标题、摘要、正文和来源都在返回 HTML 中。若只有空的 root 节点,部分读取工具会错过正文;静态生成或服务端渲染可以改善这一点。
用户和抓取工具应获得相同事实。不要给机器人发送隐藏营销文本,或在结构化数据中塞入页面上不存在的评价。
curl -L https://your-domain.example/guides/your-article
# Confirm the response contains the article body, not only scripts.第二步:稳定地址与清晰链接
一篇文章使用稳定的地址。中文与英文最好有各自可访问的 URL,再用 hreflang 建立对应关系;canonical 指向当前语言的规范页面,不要把所有文章都指向首页。
从首页、文章列表和相关指南链接到正文。链接名称要说明目标内容。不要让用户必须登录、点多层弹窗或依赖站内搜索才能找到公开教程。
第三步:元信息与结构化数据
为文章提供独立标题与摘要。Article / BlogPosting 元数据可表达标题、作者、日期与页面关系;BreadcrumbList 表达导航层级。所有字段必须对应真实可见信息。
站点地图列出希望被发现的规范页面,并使用内容真正修改的日期。robots.txt 用于说明抓取规则,不是访问控制;后台和密钥仍然必须由服务端权限保护。
第四步:发布后复查与持续维护
- 检查首页 → 指南列表 → 正文 → 相关文档的链接链路。
- 检查中文与英文直达地址、移动阅读和不存在文章的 404。
- 用搜索平台提供的工具检查抓取与收录;提交站点地图不代表一定收录。
- 把 llms.txt 视为补充内容索引,不把它当成通用标准、强制要求或推荐开关。
参考资料
内容原则:说明前提,引用原始资料,区分平台能力与实际开通状态。教程不构成性能或 AI 推荐承诺。