一、背景
目前百度爬蟲爬取業務總是按照自己的性能進行抓取客戶數據,從來不考慮客戶端的網絡承受能力,導致客戶端網絡帶寬超出預算范圍,因此在客戶端方面針對百度的無限制抓取采取相應的策略。
二、解決方案:
1、單獨用一個公網IP承載百度抓取業務。例:123.103.77.13
2、在交換機上針對IP:123.103.77.13進行單IP限速
a、創建ACL
acl number 3001 name baidu_spider_acl rule 1 permit ip source 123.103.77.13 0
b、創建 classifier 匹配ACL
traffic classifier baidu_spider operator and if-match acl 3001
c、創建 限制策略
traffic behavior baidu_spide car cir 51200 #限速50M ,此數值必須為8的倍數
d、創建QOS,關聯 classifier 和 限制策略
qos policy baidu_spider classifier baidu_spider behavior baidu_spider
e、端口上應用策略
# qos apply policy baidu_spider outbound
f、效果展示: