meta标签是放在html网页中head头部标签内的，我们可以通过设置html元素<meta>标签中name=＂robots＂相应的content属性值来告诉所有搜索引擎蜘蛛爬虫如何抓取页面。 在SEO中，对于蜘蛛的控制是非常重要的一部分内容，所以希望各位看官准确把握这部分的内容。
示例
如果我们希望所有搜索引擎蜘蛛爬虫来抓取页面，就可以这样写：
<meta name="robots" content="index"> |
但是要禁止所有搜索引擎蜘蛛爬虫抓取页面，就像这样写：
<meta name="robots" content="noindex"> |
浙公网安备33010502006705号