nginx下禁止訪問robots.txt的設置方法

關於robots.txt文件：搜索引擎通過一種程序robot（又稱spider），自動訪問互聯網上的網頁並獲取網頁信 息。您可以在您的網站中創建一個純文本文件robots.txt，在這個文件中聲明該網站中不想被robot 訪問的部分，這樣，該網站的部分或全部內容就可以不被搜索引擎收錄了，或者指定搜索引擎只收錄指定的內容。

訪問xxx/robots.txt，可以得知我們網站中存在/admin和/bbs，其中/admin是關於后台管理的目錄，把這個路徑輕易的暴漏顯然是不太安全的，下面我們可以通過禁止訪問.txt類型的文件來，增加網站的安全性。

修改nginx.conf文件，vim /usr/local/nginx/conf/nginx.conf

1. location ~* \.(txt|doc)$ {  
2.             root   /usr/local/nginx/html;  
3.             deny all;  
4.     } 

指定403.html文件的配置信息

1. error_page  403              /403.html;  
2.    location = /403.html {  
3.         root  html;  
4.    } 

重新加載配置文件

1. /usr/local/nginx/sbin/nginx -s reload

再次訪問robots.txt，發現提示無法訪問該文件了。

 

通過這種方法可以在某種程度上保護網站安全，避免黑客通過訪問robots.txt猜到我們網站的目錄結構或者說有哪些真實存在的目錄和文件。

當然還可以禁止其他指定類型的文件比如.doc、.xsl等等，方法是同樣的。