1、robots.txt的设置:这个文件放在网站的根目录下,搜索引擎来网站爬取的第一个文件,可以告诉搜索引擎蜘蛛,该抓取那个不抓取那个,如果不会,可以不用设置。设置好了再百度平台更新下,测试抓取看有没有问题。
2、网站地图的设置:这个很有必要,可以让搜索引擎蜘蛛快速的抓取网站所有连接,可以在robots文件写上,让蜘蛛主动过来抓取网站连接,设置好了百度平台提交。网站地图的形式有xml、txt格式的。
注意:网站地图最多放5万条链接,多了的话可以设置多个地图。
优先级别:allow (可以抓取) 级别高于Disallow (不可以抓取)
3、熊掌号的绑定:在百度注册个账号,登录百度平台绑定网站,网站绑定熊掌号,这样百度会增加对网站的信任度。
4、404页面的制作:放在网站根目录下,网站死链接自动跳转到404页面,用户手动点击跳转选择,不要自动跳转,听说这样有可能会被百度惩罚。