标签：蜘蛛

admin 12年前（2015-03-16） 2浏览

经常听到有人抱怨百度蜘蛛爬的太频繁导致服务器被跑挂了，大部分情况下那些不是真的百度蜘蛛，而是一些采集站点来爬内容，这里替百度觉得冤。辨别爬虫是否是百度的，不单单看主机头，毕竟浏览器头信息是可以伪造的，一般我们通过DNS反向解析能更好的判断当前IP是否...