python模拟登陆登陆一：验证码与cookies的同步处理思路
admin 12年前（2015-03-16） 4浏览
自动登陆可能是写爬虫的第一步，如果都不能登陆，很多东西爬不到的。这也不是第一次写包含验证码识别的自动登陆脚本了。这次有点被坑住了，把这次的记录下来。 这次要自动登陆的网站地址是：2013年株洲市中小学教师全员培训 http://zhuzhou2013...
最新发布 第30页
爱开源
linux平台上编译安装boost库
admin 12年前（2015-03-16） 3浏览
背景：PHP的gearman需要这Lib库，才能编译得过，做一些多任务分发时需要gearman的PHP扩展。 Download: http://sourceforge.net/projects/boost/?source=typ_redirect l...
nginx 反向代理 google
admin 12年前（2015-03-16） 4浏览
欢迎使用 http://g.aikaiyuan.com/ server { listen 80; resolver 8.8.8.8; server_name g.aikaiyuan.com; ssl on; ssl_certificate g.aik...
用Docker构建分布式Redis集群
admin 12年前（2015-03-16） 6浏览
【编者的话】本文介绍了如何使用Docker搭建Redis集群，很多读者都在问Docker能带来哪些实质性的好处，我想本文就是一个很好的例子。不使用Docker你也可以搭建Redis集群，那使用Docker后会有怎么样的优势了？我想可以用两个词总结：快...
Shell 转换文件名大小写的方法
admin 12年前（2015-03-16） 8浏览
bash 下 转换文件 大小写方法，如下： for file in ls do mv $file echo $file | tr “[A-Z]” “[a-z]” done 转载请注明：爱开源 » Shell 转换文件名大小写的方法 转载请注明：爱开源...
Poor Man PHP Profiler
admin 12年前（2015-03-16） 3浏览
说起 Profiler，老派的 PHP 程序员会选XDebug，新派的 PHP 程序员会选Xhprof，不过我们公司的服务器上都没装，于是我写了这个「Poor Man PHP Profiler」。 既然不用 XDebug 和 Xhprof，我们就要自...
Nginx 安装 HTTPS SSL 证书
admin 12年前（2015-03-16） 7浏览
基本步骤可以参考这篇文章, 但这篇文章有一个致命错误, 就是没有安装 INTERMEDIATE CA, 照样会被浏览器显示证书不可信. 生成 server.key.orig sudo openssl genrsa -des3 -out server....
Debian 7.8 通过 apt-get 安装 nodejs
admin 12年前（2015-03-16） 4浏览
查看当前系统版本 aikaiyuan@debian:~$ cat /etc/debian_version 7.8 aikaiyuan@debian:~$ 安装 curl和源 aikaiyuan@debian:~$ sudo apt-get insta...
Docker在春晚中的实际表现
admin 12年前（2015-03-16） 4浏览
Docker成功的为1.02亿小伙伴刷微博，抢红包提供了可靠的服务。接着上一篇文章《大规模Docker集群助力微博迎接春晚峰值挑战》，这里给大家分享Docker在春晚实战中的实际表现，以及对于后续发展的的思路，由于篇幅有限这里仅点到为止，如果大家希望...
autocommit=0引起的业务hang住
admin 12年前（2015-03-16） 8浏览
背景 有用户报告一个普通的select 语句被hang住了，执行超时。查明之后发现是autocommit使用不当导致。 这里将case简化，说明复现步骤及原因。 复现 session1 建表并插入数据： create table if not exi...
开源web终端ssh
admin 12年前（2015-03-16） 5浏览
前言： 好久都没来写博客，最近忙啥去了呢？ 一是忙于saltstack的二次开发，二是云计算的学习研究中，所以就一直没写东西，今天给大家介绍个工具。 好了，开始正文！ 1.首先来说一下为什么要web ssh? 有人是说，有xshell，secureR...
ifconfig 下面的一些字段(errors, dropped, overruns)
admin 12年前（2015-03-16） 7浏览
一台机器经常收到丢包的报警，先看看最底层的有没有问题: # ethtool em2 | egrep 'Speed|Duplex' Speed: 1000Mb/s Duplex: Full # ethtool -S em2 | grep crc rx_...
启用服务器的远程IPMI Console功能
admin 12年前（2015-03-16） 4浏览
背景介绍： IPMI是智能型平台管理接口（Intelligent Platform Management Interface）的缩写，是管理基于 Intel结构的企业系统中所使用的外围设备采用的一种工业标准，该标准由Intel，HP，DELL和Sup...
OpenVPN over HTTP 突破Layer 7 QoS的宽带网速限制
admin 12年前（2015-03-16） 5浏览
Why 我家里用的是一家三线的便宜小区宽带，标称有几个M的带宽，虽说有些资源确实能达到这个速度，但发现直连VPN的速度从来都没上去过，大概30k/s，不难猜测到，ISP在链路上做了手脚，即所谓的Layer 7 Priority QoS。因为入线是10...
ssh连接远程服务器超时配置
admin 12年前（2015-03-16） 6浏览
终端上ssh到服务器一段时间不操作就会卡住，得关闭窗口。打开新Tab重连，找了下配置， 以下内容写到 ~/.ssh/config 中 Host * ServerAliveInterval 120 ConnectTimeout 240 转载请注明：爱开...
CakePHP nginx rewrite 规则
admin 12年前（2015-03-16） 4浏览
server { listen 80; server_name www.aikaiyuan.com; root /data/site/www.aikaiyuan.com; index index.php; access_log /logs/www.a...
解决SSH X11-Forwarding无法工作
admin 12年前（2015-03-16） 6浏览
熟悉SSH X11-Forwarding的朋友都知道，只要打开SSH X11-Forwarding后，远程的图形界面就可以通过SSH的加密隧道“拽”到本地的xserver上来，无需手动在远程设置DISPLAY变量。 Putty设置X11-Forwar...
不要乱用 TCP ENC flag
admin 12年前（2015-03-16） 4浏览
前段时间处理了一个 case，现象很简单，同网络环境下的机器，绝大多数的机器都无法 curl 访问 example.com，仅有少部分的可以 curl 访问，并且他们的 mtr 的路径一模一样，机器的配置应该也有一样。 对比一下，可以访问的： $ c...
一个用户SQL慢查询分析，原因及优化
admin 12年前（2015-03-16） 5浏览
问题描述 一个用户反映先线一个SQL语句执行时间慢得无法接受。SQL语句看上去很简单(本文描述中修改了表名和字段名): SELECT count(*) FROM a JOIN b ON a.S = b.S WHERE a.L > ’2014-0...
被遗忘的Logrotate
admin 12年前（2015-03-16） 5浏览
我发现很多人的服务器上都运行着一些诸如每天切分Nginx日志之类的CRON脚本，大家似乎遗忘了Logrotate，争相发明自己的轮子，这真是让人沮丧啊！就好比明明身边躺着现成的性感美女，大家却忙着自娱自乐，罪过！ Logrotate的介绍 显而易见，...
python 在终端下 输出指定颜色
admin 12年前（2015-03-16） 5浏览
在开发项目过程中，为了方便调试代码，经常会向stdout中输出一些日志，默认的这些日志就直接显示在了终端中。而一般的应用服务器，第三方库，甚至服务器的一些通告也会在终端中显示，这样就搅乱了我们想要的信息。 解决 我们可以通过对有用的信息设置不同颜色来...
Nginx为什么不支持.htaccess文件
admin 12年前（2015-03-16） 5浏览
前曾在Typecho开发群中与王轶讨论了关于Nginx支持.htaccess文件的问题。王轶认为，Nginx能够支持.htaccess规则，且兼容Apache规则。我认为，Nginx支持使用.htaccess文件来存储Nginx的伪静态规则，不兼容....
编写模块 operations.py 简化 subprocess与paramiko
admin 12年前（2015-03-16） 4浏览
在使用Python来编写运维脚本时，相信大家都使用过subprocess与paramiko这两个模块。 其中，subprocess主要用于本地，而paramiko则是用于远程登录执行以及通过sftp传输文件。 而在使用过fabric这个模块之后，我非...
MegaCli 监控raid状态
admin 12年前（2015-03-16） 6浏览
MegaCli是一款管理维护硬件RAID软件，可以通过它来了解当前raid卡的所有信息，包括 raid卡的型号，raid的阵列类型，raid 上各磁盘状态，等等。通常，我们对硬盘当前的状态不太好确定，一般通过机房人员巡检来完成，有没有通过软件的方式来...
sudo echo “test” >> /etc/rc.local 显示 bash: /etc/rc.local: Permission denied
admin 12年前（2015-03-16） 6浏览
当我们 交换完 SSH 秘钥，又做完 sudo设置 通过远程 ssh 调用 sudo 有提示 权限不够(Permission denied) 比如： [root@aikaiyuan /root]# ssh www.aikaiyuan.com -l a...
服务器批量执行工具 PSSH
admin 12年前（2015-03-16） 2浏览
操作一台服务器的时候可以 ssh，操作多台服务器可以开多个窗口多个 ssh，那操作很多台服务器呢？ 我们的一个 集群 上大概有60多台 Ubuntu 服务器作执行节点，这些服务器操作系统和软件配置完全一样（上线后由 puppet 统一配置），有时候我...
python保证只能运行一个脚本实例
admin 12年前（2015-03-16） 5浏览
保证只能运行一个脚本实例，方法是程序运行时监听一个特定端口，如果失败则说明已经有实例在跑。 使用装饰器实现，便于重用 import functools def just_one_instance(func): ''' 装饰器 如果已经有实例在跑则退出...
不使用 expect 实现自动化 ssh 密码认证
admin 12年前（2015-03-16） 4浏览
一般来说，自动化通过 ssh 执行操作或者通过 scp 传文件首先得过 ssh 认证这一关。采用公钥认证是最方便安全的方式。但是有时候不得不使用密码认证。而 ssh 默认是直接读写终端来输出提示信息和读入密码的，所以没法直接用echo passwor...
ppp = 2.4.4 is needed by pptpd-1.3.4-2.rhel5.x86_64的解决办法及原因
admin 12年前（2015-03-16） 4浏览
今天换了vps，因为快到期了，提前七八天换好，省的以后没时间弄。将博客迁移的新的vps后，第一件事自然是装vpn，我还是选择了pptp vpn，详情见我的文章《Linux 安装配置 PPTP VPN 服务器》。当然，因为已经手动安装了很多遍了，过程自...
php-fpm root 用户 启动
admin 12年前（2015-03-16） 4浏览
centos 6.5 64位的机器，用yum装的php-fpm，因为特殊原因需要用root账号启动php-fpm，但是发现，启动不了。 1,修改user和group # vim /etc/php-fpm.d/www.conf ; RPM: apach...