LNMP 网站频繁出现 502/503 错误?

如果你的网站频繁出现 502/503 错误,并且服务器资源一直是高占用的情况,I/O读写占用也非常高的话,可以阅读本文章进行错误排查。

如果你使用的是宝塔面包/aapanel面板,请首先查阅网站错误日志在以下目录:

/www/wwwlogs

如果查阅日志中有被机器人(bots)频繁访问采集数据的情况,你需要配置nginx服务来阻止某些恶意爬虫:

Nginx黑名单

这是一个为nginx提供的恶意爬虫黑名单,请根据项目说明进行配置:

这个方法是github上分享的,原文地址:https://github.com/mariusv/nginx-badbot-blocker

在Installation段介绍了详细的使用方法。

简单说就是在自己虚拟主机的nginx配置文件html段里面引入下面两个配置文件

include nginx-badbot-blocker/blacklist.conf;
include nginx-badbot-blocker/blockips.conf;

然后重启nginx服务就可以了。

使用安全插件屏蔽

在wordpress添加插件Wordfence,直接在Wordfence的防火墙设置里面,也可以禁止特定爬虫抓取,还可以设置抓取频率,当爬虫频率过高的时候会自动阻止它。

使用robots.txt文件

robots.txt文件做过网站的人应该都听说过,所以这里就不给你科普它的作用了。

直接插入下面这些内容保存,就可以了。

User-agent: YandexBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: “日志中查到的恶意爬虫的名字”
Disallow: /

人已赞赏
Centos

php-fpm io读写过高导致服务器资源占用率过高

2020-7-18 17:48:43

Centos

Windows 10 Pro(专业版) 自带虚拟机 Hyper-V

2020-7-21 19:41:48

各类网站开发

站长微信 710 342 444 或者扫一扫右侧二维码。
    0 条回复 A文章作者 M管理员
      暂无讨论,说说你的看法吧
    个人中心
    购物车
    优惠劵
    今日签到
    有新私信 私信列表
    搜索