修改配置nginx限制恶意爬虫频率

超过设置的限定频率,就会给spider一个503
上述配置详细解释请自行google下,具体的spider/bot名称请自定义。

1
2
3
4
5
6
7
#全局配置
limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;
#某个server中
limit_req zone=anti_spider burst=30 nodelay;
if ($http_user_agent ~* "xxspider|xxbot") {
set $anti_spider $http_user_agent;
}