IIS6/IIS7以上、Nginx、Apache阻挡屏障异常蜘蛛UA匍匐下降负载方式

[db:作者]

前言：比来网站拜候很是慢假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，cpu占用很是高假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，办事器负载整体也很是高假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，翻开日志发现有很多不著名的蜘蛛一向在匍匐我的站点假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，按照经历必定是这里的题目假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，因而按照我的情况写了法则做了屏障假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，屏障后负载降下来了假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，下面整理下iis及nginx及apache情况下若何屏障不著名的蜘蛛ua预警可以参考下述几点停止排查和优化需要将这两个部分毗连起来。
留意（请按照自己的情况调剂删除或增加ua信息假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，我供给的法则中包括了不常用的蜘蛛ua假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，几近用不着假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，若您的网站比力特别假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，需要分歧的蜘蛛爬取假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，倡议仔细分析法则假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，将指定ua删除即可）
屏障后的结果
1、我网站是nginx,下面是我的屏障法则,将法则增加到设置文件的server段里面,当这些蜘蛛来抓取时会返回444；
if ($http_user_agent ~ "MegaIndex|MegaIndex.ru|BLEXBot|Qwantify|qwantify|semrush|Semrush|serpstatbot|hubspot|python|Bytespider|Go-http-client|Java|PhantomJS|SemrushBot|Scrapy|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|perl|Python|Wget|Xenu|ZmEu|^$" )
{
return 444;
}
2、IIS7/IIS8/IIS10及以上web办事请在网站根目录下建立web.config文件,并写入以下代码即可;








3、IIS6请在isapi重写组件中增加法则
#Block spider
RewriteCond %{HTTP_USER_AGENT} (MegaIndex|MegaIndex.ru|BLEXBot|Qwantify|qwantify|semrush|Semrush|serpstatbot|hubspot|python|Bytespider|Go-http-client|Java|PhantomJS|SemrushBot|Scrapy|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|perl|Python|Wget|Xenu|ZmEu|^$) [NC]
RewriteRule !(^/robots.txt$) - [F]
4、apache请在.htaccess文件中增加以下法则即可：
[I]
RewriteEngine On
#Block spider
RewriteCond %{HTTP_USER_AGENT} "MegaIndex|MegaIndex.ru|BLEXBot|Qwantify|qwantify|semrush|Semrush|serpstatbot|hubspot|python|Bytespider|Go-http-client|Java|PhantomJS|SemrushBot|Scrapy|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|perl|Python|Wget|Xenu|ZmEu|^$" [NC]
RewriteRule !(^robots.txt$) - [F]
[/I]
本文由技术小门生原创假如您的虚拟主机处事出现流量超标预警可以参考下述几点停止排查和优化，转载请说明出处：https://blog.tag.gg/showinfo-36-35757-0.html