最新消息:

标签:采集

比较全面的MySQL优化参考(下篇)
mysql

比较全面的MySQL优化参考(下篇)

admin 9年前 (2015-05-30) 3607浏览 0评论

本文整理了一些MySQL的通用优化方法,做个简单的总结分享,旨在帮助那些没有专职MySQL DBA的企业做好基本的优化工作,至于具体的SQL优化,大部分通过加适当的索引即可达到效果,更复杂的就需要具体分析了,可以参考本站的一些优化案例或者联系我,下方...

如何正确识别Baiduspider
爬虫

如何正确识别Baiduspider

admin 10年前 (2014-06-26) 2608浏览 0评论

经常听到有人抱怨百度蜘蛛爬的太频繁导致服务器被跑挂了,大部分情况下那些不是真的百度蜘蛛,而是一些采集站点来爬内容,这里替百度觉得冤。辨别爬虫是否是百度的,不单单看主机头,毕竟浏览器头信息是可以伪造的,一般我们通过DNS反向解析能更好的判断当前IP是否...

查看 Linux 系统信息的 web 面板 psdash
Linux

查看 Linux 系统信息的 web 面板 psdash

admin 10年前 (2014-04-11) 3131浏览 0评论

psdash 是一款查看 Linux 系统信息的 web 面板,和我们以前提到的另一款系统监控工具 Glances 一样,psDash 的系统信息的采集也是由 psutil 完成的。和 Glances 不同的是,psdash 没有提供 API,只带了...

apache禁止网络爬虫采集
apache

apache禁止网络爬虫采集

admin 10年前 (2014-02-20) 2698浏览 0评论

Apache中禁止网络爬虫,之前设置了很多次的,但总是不起作用,原来是是写错了,不能写到Dirctory中,要写到Location中 <Location /> SetEnvIfNoCase User-Agent "spider&...