llms.txt 是近年出现的一种网站内容标注规范，旨在帮助大语言模型更高效地抓取和理解网站核心内容，被视作 robots.txt 在 AI 时代的补充。一位开发者在 V2EX 分享了一款面向存量网站的 llms.txt 生成器。该工具的定位是帮已经运行一段时间、尚未配置 llms.txt 的网站快速补齐这份文件：用户输入网址后，工具会抓取网站页面并自动生成 llms.txt，同时逐页说明哪些页面被选中以及入选原因，便于站长核对生成结果是否符合预期。技术路线上，该工具的生成过程不调用任何大模型 API，完全基于抓取与规则分析完成，因此没有模型调用成本，目前可免费使用，站点地址为 llmstxtscan.com。作者表示，新站在开发阶段让 AI 顺手生成 llms.txt 并不困难，难点在于老网站如何在已有页面的基础上整理出合理的内容索引，这款工具正是针对这一场景设计。作者同时邀请站长试用，并希望收到关于页面选取是否准确的反馈，以持续改进抓取和筛选逻辑。这类工具的出现也表明，网站内容适配 AI 爬虫正在成为一个独立的技术需求。
事件分析
技术层面，该工具选择绕开大模型 API 的路线，依赖爬虫与规则判定筛选页面，优点是零成本、响应快，但页面取舍的准确度高度依赖启发式策略，与直接用 LLM 理解页面语义的方式存在差距，作者征集抓取结果反馈也说明筛选逻辑仍在打磨期。产业层面，llms.txt 的流行折射出生成式引擎优化（GEO）正在兴起：随着 AI 对话入口分流传统搜索流量，站长需要像对待搜索引擎爬虫一样对待 AI 抓取方，围绕它的工具链、校验与监控体系可能逐步成形。后续走向上，若 llms.txt 获得主流 AI 产品明确支持，生成、检测类配套工具会进一步细分，也可能与站点地图、结构化数据等既有机制整合，成为网站运营的基础设施之一。
核心观点：AI 爬虫正在复刻搜索引擎时代的老路，llms.txt 之争本质是网站流量新入口的卡位。
原文链接：V2EX 分享发现
评论前必须登录！
立即登录 注册