CTF學習記錄--Robots協議
robots協議也叫robots.txt（統一小寫）是一種存放於網站根目錄下的ASCII編碼的文本文件。
它通常是為了告之搜索引擎爬蟲可獲取的資源和不可獲取的資源。
robots協議不是一種規范而只是一種約定俗成。並不可以保障你網站的隱私不被檢索。
User-agent: * 這里的代表的所有的搜索引擎種類，是一個通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄
Disallow: /cgi-bin/.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /?* 禁止訪問網站中所有包含問號 (?) 的網址
Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網頁和gif格式圖片
Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖
實例分析：鏈接https://adworld.xctf.org.cn/task/answertype=web&number=3&grade=0&id=5063&page=1
攻防世界-robots
可以直接訪問robots.txt文件 得到文件內容。
User-agent：*
Disallow:
Disallow:flag_1s_h3re.php
也就是說對於所有瀏搜索引擎種類，都不允許訪問改php文件。
然后通過url直接訪問改php文件，即可得到鑰匙
cyberpeace{......}