标签: 垃圾蜘蛛

在服务器日常维护过程中我们经常会发现日志中有很多网络蜘蛛爬取的记录，这些蜘蛛有些是知名的并对网站收录流量有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守robots规则对服务器造成压力，还不能为网站带来流量的无用爬虫，比如宜搜 ...

阅读 »