今天有人說可以利用 html 頁面的中 meta 標簽來屏蔽搜索引擎蜘蛛的抓取或不讓蜘蛛抓取網頁中的其它鏈接，本着好奇的精神，就查了一些相關的資料，發現了一串類似 <meta name='robots' content='noindex,nofollow' /> 這樣的HTML代碼，可以告訴來網頁爬取的蜘蛛本頁內容是否可以抓取，是否可以抓取網頁上的其它鏈接。
SEO優化之 meta 標簽的解析
html meta標簽的代碼如下：
<meta name='robots' content='noindex,nofollow' />
解釋：
name ：是指的所有的搜索引擎.它的值有多個，下面列出幾個。
robots：表示所有的搜索引擎
Baiduspide：百度
Googlebot：谷歌
content：表示對搜索引擎蜘蛛的行為做出指示，它有下面的幾值來表示。
index：允許本頁被抓取
noindex：禁止許本頁被抓取
follow：允許本頁的上其它鏈接可以被跟蹤抓取
nofollow：禁止本頁上的其它鏈接被跟蹤抓取
noarchive：禁止搜索引擎對網站建立快照
SEO優化之 meta 標簽的用法
根據上面 content 屬性的四個值，我們可以列出以下幾個組合的用法：
<meta name='robots' content='index,follow' />：可以抓取本頁，也可以順着本頁繼續索引別的鏈接
<meta name='robots' content='noindex,follow' />：禁止抓取本頁，但可以抓取跟蹤本頁的其它鏈接
<meta name='robots' content='index,nofollow' />：可以抓取本頁，禁止抓取和跟蹤本頁的其它鏈接
<meta name='robots' content='noindex,nofollow' />：禁止抓取本頁，禁止抓取和跟蹤本頁的其它鏈接
<meta name='robots' content='noarchive' />：禁止搜索引擎建立快照
需要注意的是：
1、index 與 follow 的組合可以簡化為 all
<meta name='robots' content='index,follow' />
可以寫成
<meta name='robots' content='all' />
2、noindex 與 nofollow 組合可以簡化為 none
<meta name='robots' content='noindex,nofollow' />
可以寫成
<meta name='robots' content='none' />
3、相反的屬性值是不能寫在一樣的，比如 index 與 noindex 不能寫到一起，follow 與 nofollow 不能寫到一起
下面的兩個示例是錯誤的
<meta name='robots' content='index,onindex' />
<meta name='robots' content='follow,onfollow' />