robots.txt检测
输入域名或网址,自动读取robots.txt,判断是否存在、是否误写Disallow: /、是否声明Sitemap,以及目标页是否被规则拦截。
robots.txt决定搜索引擎能抓取哪些页面。最常见的致命错误是误写Disallow: /把全站屏蔽,或忘记声明Sitemap地址。
sitemap检测
输入sitemap地址,校验XML是否合法、统计URL条数、是否超过5万条,并抽样前20条检查状态码。
只抽样前20条做状态检查,不做全量请求,避免对目标站造成压力。sitemap建议控制在5万条/50MB以内,超出时拆分为sitemap索引。
robots.txt与sitemap.xml是网站与搜索引擎之间的两份“说明书”。前者告诉爬虫哪些页面可以抓、哪些不要抓,后者告诉爬虫网站有哪些重要页面值得抓。两份文件都很小,却经常因为一个字符写错,让整站收录出问题。
最典型的robots错误是把“禁止抓取”写成Disallow: /,等于把整个站点对搜索引擎关闭;其次是分不清User-agent规则组,导致对某个搜索引擎的限制误伤了另一个。正确做法是只屏蔽确实不需要收录的路径(如后台、购物车、参数页),并在文件里明确声明Sitemap的绝对地址。sitemap方面,XML必须合法、URL使用绝对地址、数量与体积控制在平台建议范围内;超过5万条时应拆成sitemap索引,按栏目或时间分片。
本页两个工具只做检测与提示,不代替你修改文件。真正把抓取规则、站点地图与内链结构一起理顺,让搜索引擎高效抓到该抓的页面,属于SEO全站诊断的一部分。如果你想系统检查抓取与收录问题,黔优网提供带爬虫的全站技术诊断,欢迎联系我们获取一份完整的问题清单与整改建议。
检测只告诉你问题,改不动才是大头。SEO/GEO诊断与落地优化,可以联系我们
