标签：采集

admin 11年前（2015-07-02） 0浏览

本文整理了一些MySQL的通用优化方法，做个简单的总结分享，旨在帮助那些没有专职MySQL DBA的企业做好基本的优化工作，至于具体的SQL优化，大部分通过加适当的索引即可达到效果，更复杂的就需要具体分析了，可以参考本站的一些优化案例或者联系我，下方...

admin 12年前（2015-03-16） 2浏览

经常听到有人抱怨百度蜘蛛爬的太频繁导致服务器被跑挂了，大部分情况下那些不是真的百度蜘蛛，而是一些采集站点来爬内容，这里替百度觉得冤。辨别爬虫是否是百度的，不单单看主机头，毕竟浏览器头信息是可以伪造的，一般我们通过DNS反向解析能更好的判断当前IP是否...

admin 13年前（2014-02-19） 0浏览

Apache中禁止网络爬虫，之前设置了很多次的，但总是不起作用，原来是是写错了，不能写到Dirctory中，要写到Location中 <Location /> SetEnvIfNoCase User-Agent "spider&...

admin 18年前（2008-11-04） 0浏览

一、蝈蝈采集系统主要特性 1、简单介绍 蝈蝈采集系统介绍：蝈蝈采集系统是一款web数据采集系统。 设计目标：通用型采集系统，可采集任意web数据,任意类型文件下载。 入库目标：直接操作mysql数据库,适用于任意类型的mysql资源管理系统 程序架构...