超过设置的限定频率,就会给spider
一个503
。
上述配置详细解释请自行google
下,具体的spider/bot
名称请自定义。
1 2 3 4 5 6 7
| limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;
limit_req zone=anti_spider burst=30 nodelay; if ($http_user_agent ~* "xxspider|xxbot") { set $anti_spider $http_user_agent; }
|