在做SEO時(shí)，很多時(shí)候想對(duì)頁(yè)面進(jìn)行精確控制，robots.txt并不能完全滿(mǎn)足我們的需求，這時(shí)候我們可以利用html的元標(biāo)記來(lái)了。
指令整合：
index/noindex 是搜允許抓取本頁(yè)面
follow/nofollow 是否允許從本頁(yè)抓取索引別的鏈接
archive/noarchive 是否允許建立快照
禁止搜索引擎建立快照
快照不被百度緩存（禁止百度快照）：
<meta name="Baiduspider"content="noarchive">
所有搜索引擎，抓取這個(gè)頁(yè)面、爬行鏈接、禁止快照：
<meta name="robots"content="index,follow,noarchive">
所有搜索引擎，禁止快照
<meta name="robots"content="noarchive">
以上的一段代碼限制了所有的搜索引擎建立你的網(wǎng)頁(yè)快照，需要注意的是，這樣的標(biāo)記僅僅是禁止搜索引擎為你的網(wǎng)站建立快照，如果你要禁止搜索引擎索引你的這個(gè)頁(yè)面的話(huà)，請(qǐng)參照后面的辦法。
禁止搜索引擎抓取本頁(yè)面
為了讓搜索引擎禁止抓取本頁(yè)面，我們一般的做法是在頁(yè)面的元標(biāo)記中加入如下的代碼：
<meta name="robots" content="noindex,follow">
在這里，meta name=”robots”是泛指所有的搜索引擎的，在這里我們也可以特指某個(gè)搜索引擎。
例如meta name=”Googlebot”、meta name=”Baiduspide”等。
content部分有四個(gè)命令：index、noindex、follow、nofollow，命令間以英文的 “,”分隔。
index命令：告訴搜索引擎抓取這個(gè)頁(yè)面
follow命令：告訴搜索引擎可以從這個(gè)頁(yè)面上找到鏈接，然后繼續(xù)訪(fǎng)問(wèn)抓取下去。
noindex命令：告訴搜索引擎不允許抓取這個(gè)頁(yè)面
nofollow命令：告訴搜索引擎不允許從此頁(yè)找到鏈接、拒絕其繼續(xù)訪(fǎng)問(wèn)。
根據(jù)以上的命令，我們就有了一下的四種組合
<meta name="robots" content="index,follow">：可以抓取本頁(yè)，而且可以順著本頁(yè)繼續(xù)索引別的鏈接 <meta name="robots" content="index,follow">：不許抓取本頁(yè)，但是可以順著本頁(yè)抓取索引別的鏈接 <meta name="robots" content="noindex,nofollow">：可以抓取本頁(yè)，但是不許順著本頁(yè)抓取索引別的鏈接 <meta name="robots" content="noindex,nofollow">：不許抓取本頁(yè)，也不許順著本頁(yè)抓取索引別的鏈接
這里需要注意的是，不可把兩個(gè)對(duì)立的反義詞寫(xiě)到一起，例如
<meta name="robots" content="index,noindex">
或者直接同時(shí)寫(xiě)上兩句
<meta name="robots" content="index,follow"><meta name="robots" content="noindex,follow">
這里有一個(gè)簡(jiǎn)便的寫(xiě)法，如果是
<meta name="robots" content="index,follow">
的形式的話(huà)，可以寫(xiě)成：
<meta name="robots" content="ALL">
如果是
<meta name="robots" content="noindex,nofollow">
的形式的話(huà)，可以寫(xiě)成：
<meta name="robots" content="none">
當(dāng)然，我們也可以把禁止建立快照和對(duì)于搜索引擎的命令寫(xiě)到一個(gè)命令元標(biāo)記中。從上面的文章中我們得知，禁止建立網(wǎng)頁(yè)快照的命令是noarchive，那么我們就可以寫(xiě)成如下的形式：
<meta name="robots" content="index,follow,noarchive">
如果是對(duì)于單獨(dú)的某個(gè)搜索引擎不允許建立快照，例如百度，我們就可以寫(xiě)成：
<meta name="robots" content="index,follow,noarchive">
如果在元標(biāo)記中不寫(xiě)關(guān)于蜘蛛的命令，那么默認(rèn)的命令即為如下
<meta name="robots" content="index,follow, archive">
如果我們對(duì)于這一部分把握不準(zhǔn)的話(huà)，可以直接寫(xiě)上上面的這一行命令，或者是直接留空。
因此，在SEO中，了解robots和html的元標(biāo)記的用法，對(duì)于控制搜索引擎蜘蛛的抓取非常重要的。
