首页/在线工具/ robots与sitemap
QIANU/在线工具箱

robots与sitemap检测:抓取规则与网站地图一键校验

robots检测、sitemap检测——输入地址即可判断抓取规则是否误配、网站地图是否合规,拿到结论就能动手修。

robots.txt检测

输入域名或网址,自动读取robots.txt,判断是否存在、是否误写Disallow: /、是否声明Sitemap,以及目标页是否被规则拦截。

robots.txt决定搜索引擎能抓取哪些页面。最常见的致命错误是误写Disallow: /把全站屏蔽,或忘记声明Sitemap地址。

sitemap检测

输入sitemap地址,校验XML是否合法、统计URL条数、是否超过5万条,并抽样前20条检查状态码。

只抽样前20条做状态检查,不做全量请求,避免对目标站造成压力。sitemap建议控制在5万条/50MB以内,超出时拆分为sitemap索引。

robots.txt与sitemap.xml是网站与搜索引擎之间的两份“说明书”。前者告诉爬虫哪些页面可以抓、哪些不要抓,后者告诉爬虫网站有哪些重要页面值得抓。两份文件都很小,却经常因为一个字符写错,让整站收录出问题。

最典型的robots错误是把“禁止抓取”写成Disallow: /,等于把整个站点对搜索引擎关闭;其次是分不清User-agent规则组,导致对某个搜索引擎的限制误伤了另一个。正确做法是只屏蔽确实不需要收录的路径(如后台、购物车、参数页),并在文件里明确声明Sitemap的绝对地址。sitemap方面,XML必须合法、URL使用绝对地址、数量与体积控制在平台建议范围内;超过5万条时应拆成sitemap索引,按栏目或时间分片。

本页两个工具只做检测与提示,不代替你修改文件。真正把抓取规则、站点地图与内链结构一起理顺,让搜索引擎高效抓到该抓的页面,属于SEO全站诊断的一部分。如果你想系统检查抓取与收录问题,黔优网提供带爬虫的全站技术诊断,欢迎联系我们获取一份完整的问题清单与整改建议。

检测只告诉你问题,改不动才是大头。SEO/GEO诊断与落地优化,可以联系我们
☎电话✆微信↑顶部
网站首页  |  关于我们  |  发展历程  |  积分规则  |  联系方式  |  投诉举报  |  运营规则  |  服务协议  |  法律申明  |  营业执照  |  品牌商标  |  广告服务  |  网站留言  |  帮助中心  |  网站地图  |  违规举报