迁移Zabbix数据库到TokuDB
admin 12年前(2015-03-15) 6浏览
背景介绍 线上的Zabbix数据库有几个大表数据量疯狂增长,单表已经超过500G,而且在早期也没做成分区表,后期维护非常麻烦。比如,想删除过期的历史数据,在原先的模式下,history、history_uint等几个大表是用 (itemid, clo...
admin 12年前(2015-03-15) 6浏览
背景介绍 线上的Zabbix数据库有几个大表数据量疯狂增长,单表已经超过500G,而且在早期也没做成分区表,后期维护非常麻烦。比如,想删除过期的历史数据,在原先的模式下,history、history_uint等几个大表是用 (itemid, clo...
admin 12年前(2015-03-15) 6浏览
在很早的时候,就听网上的文章说: python有GIL,所以在单进程内,即使使用多线程也无法利用到多核的优势,同一时刻,python的字节码只会运行在一个cpu上。 以前也是奉为真理,直到今天在对自己的python server做性能测试的时候,发现...
admin 12年前(2015-03-15) 7浏览
背景: openvpn的服务器和客户端不在同一网络,均连接各自的路由器接入internet。 openvpn版本:2.1.4(OpenVPN 2.1.4 i686-pc-mingw32 [SSL] [LZO2] [PKCS11] built on N...
admin 12年前(2015-03-15) 3浏览
Salt WebUI saltstack web uiweb平台界面 saltapi项目主页: http://salt-api.readthedocs.org/en/latest/ halite 项目主页: https://github.com/sa...
admin 12年前(2015-03-15) 4浏览
最近碰到“程序速度大大降低”的说法,还是直接用数据说明比较有信服力,以及可以找出真正问题所在。 Python自带了几个性能分析的模块:profile、cProfile和hotshot,使用方法基本都差不多,无非模块是纯Python还是用C写的。 官网...
admin 12年前(2015-03-15) 2浏览
TPC-C是专门针对联机交易处理系统(OLTP系统)的规范,一般情况下我们也把这类系统称为业务处理系统。 tpcc-mysql是percona基于TPC-C(下面简写成TPCC)衍生出来的产品,专用于MySQL基准测试。其源码放在launchpad上...
admin 12年前(2015-03-15) 3浏览
背景:大文件的断点续传,有时网络波动啥的,需要断点从已经下载位置续传下载文件,对于没有传过的文件再次从开始下载就麻烦了,这块http协议支持的,Apache和Nginx都支持这样的方法实现了从某个部分进行断点下载。 服务器是否支持断点续传的判断: 更...
admin 12年前(2015-03-15) 4浏览
先看效果 安装setproctitle(Master/Minion端均进行) yum -y install python-setproctitle 重启salt service salt-master restart service salt-min...
admin 12年前(2015-03-15) 4浏览
Query Cache(查询缓存,以下简称QC)存储SELECT语句及其产生的数据结果,特别适用于:频繁提交同一个语句,并且该表数据变化不是很频繁的场景,例如一些静态页面,或者页面中的某块不经常发生变化的信息。QC有可能会从InnoDB Buffer...
admin 12年前(2015-03-15) 2浏览
0x01 需求背景 公司要弄自动化的扫描工具,目前市面上的工具都无法针对业务进行检测,所以只能自己开发。辣么,就有个问题,爬虫需要自己去写。。。 之前自己也写过相关的爬虫,但是要么是半成品,要么就是垃圾代码…很多都无法直接引用,所以,在强大的KPI考...
admin 12年前(2015-03-15) 4浏览
一.情况表现为 1.在公司内网对站点的http访问: linux主机出现故障:curl以及抓包分析,发现服务端不响应linux客户端的请求,无法建立TCP连接,浏览器返回“无法连接到服务器” windows主机正常 2.http访问质量下降: 基调显...
admin 12年前(2015-03-15) 4浏览
基本上用了mysql作为oltp业务的,基本上都会配置mysql的主从,一方面用mysql的主从做数据库的读写分离,另一方面mysql本身的单机备份不是很强,一般采用主从架构,在从上进行数据备份。 在这过程中或多或少出现一些主从不同步的情况,本文将对...
admin 12年前(2015-03-15) 5浏览
这个BUG是我去年11月撞见的,早该写出来了。因为这个BUG造成的灾难后果远远超出我的想像。 当时的现象是某些机器重启后起不来,/var/log/message中有这样的信息: Nov 15 03:46:09 kernel: INFO: task s...
admin 12年前(2015-03-15) 6浏览
一. 安装包: crash(通过yum安装) kernel-debuginfo-2.6.32-358.el6.x86_64.rpm kernel-debuginfo-common-x86_64-2.6.32-358.el6.x86_64.rpm 二....
admin 12年前(2015-03-15) 4浏览
百度推出了sitemap1.0结构化数据wordpress插件无疑帮助了广大站长的忙了,可是新东西难免会出现各种各样的bug,就像我一样,就遇到了sign检测失败的情况,去网上搜索了很多网页发现都没有给出正确的解决方法,我是个技术狂,所以就敢为人先,...
admin 12年前(2015-03-15) 3浏览
Linux服务器有两个网卡,配置eth0为公网使用,eth1为内网使用。 分别为两个网卡配置IP地址,DNS,网关等。重启生效后,发现无法访问公网,ping网关也能ping通,ping同一个网关下的其他公网地址也能ping通。 1> 刚开始pi...
admin 12年前(2015-03-15) 6浏览
为测试系统多线程并发操作时的响应,今天写了个简单的python脚本往mysql中插入、取出数据,用到了MySQLdb、threading模块。 其中threading模块是对thread模块的一个面向对象的封装,比较好用。 import MySQLd...
admin 12年前(2015-03-15) 8浏览
Tomcat 常用运行模式有3种,分别为 bio,nio,apr.生产环境建议用apr,详细请看 tomcat的三种模式(bio、nio、apr) 安装APR [root@aikaiyuan ~]# yum -y install apr apr-de...
admin 12年前(2015-03-15) 5浏览
今天一个朋友向我咨询怎么去优化 MySQL,我按着思维整理了一下,大概粗的可以分为21个方向。 还有一些细节东西(table cache, 表设计,索引设计,程序端缓存之类的)先不列了,对一个系统,初期能把下面做完也是一个不错的系统。 1. 要确保有...
admin 12年前(2015-03-15) 7浏览
tomcat的运行模式有3种 1)bio 默认的模式,性能非常低下,没有经过任何优化处理和支持. 2)nio 利用java的异步io护理技术,noblocking IO技术. 想运行在该模式下,直接修改server.xml里的Connector节点,...
admin 12年前(2015-03-15) 7浏览
使用 MySQL自带命令 mysqldumpslow 查看 OPTIONS -s ORDER ORDER, 主要有 c, t, l, r 和 ac, at, al, ar, 分别是按照 query次数, 时间, lock的时间和返回的记录数来排序, ...
admin 12年前(2015-03-15) 4浏览
udo: sorry, you must have a tty to run sudo sudo:抱歉,您必须拥有一个终端来执行 sudo 真实场景是在执行pssh的时候,在远端服务器执行sudo命令,有如下报错: $ pssh -h testlis...
admin 12年前(2015-03-15) 4浏览
在文 arp_announce 的作用 里解释了 arp_announce 的用途,即控制 arp 请求包。今天又碰到一个也是和 arp 有关的问题, 涉及到另外一个参数 arp_filter,这个参数和 arp 响应有关系。 在某台 ESXi 部署...
admin 12年前(2015-03-15) 9浏览
为了提高性能,几乎所有互联网应用都有缓存机制,其中Memcache是使用非常广泛的一个分布式缓存系统。众所周知,LAMP是非常经典的Web架构方式,但是随着Nginx的成熟,越来越多的系统开始转型为LNMP(Linux+Nginx+MySQL+PHP...
admin 12年前(2015-03-15) 6浏览
当前系统版本 aikaiyuan@www:~$ cat /etc/debian_version 7.8 aikaiyuan@www:~$ 1、卸载debian ubuntu 自带的openjdk aikaiyuan@www:~$ sudo apt-g...
admin 12年前(2015-03-15) 6浏览
通常,我们使用的DELL/HP/IBM三家的机架式PC级服务器阵列卡是从LSI的卡OEM出来的,DELL和IBM两家的阵列卡原生程度较高,没有做太多封装,可以用原厂提供的阵列卡管理工具进行监控;而HP的阵列卡一般都做过封装了,因此需要使用自身特有的管...
admin 12年前(2015-03-15) 6浏览
打开MySQL慢查询 MySQL慢查询记录日志对于跟踪PHP+MySQL体系下的MySQL负载调优问题很有用处,比如安装了很多Discuz!插件的用户,这样可以大概排查出那些插件有代码问题。其实启用MySQL的慢查询日志很简单,只需要在MySQL的配...
admin 12年前(2015-03-15) 4浏览
讲 PHP 优化的文章往往都是教大家如何编写高效的代码,本文打算从另一个角度来讨论问题,教大家如何配置高效的环境,如此同样能够达到优化的目的。 pool 一个让人沮丧的消息是绝大多数 PHP 程序员都忽视了池的价值。这里所说的池可不是指数据库连接池之...
admin 12年前(2015-03-15) 4浏览
一直以来积累了很多对MySQL优化的心得和经验,计划通过写日志的方式一步一步写出来分享给大家。 MySQL优化的第一步应该做的就是排查问题,找出瓶颈,而通常情况下的瓶颈和问题都需要通过观察MySQL的运行情况来进行分析,《查看MySQL运行状况》这篇...
admin 12年前(2015-03-15) 3浏览
虽然并非你编写的每个 Python 程序都要求一个严格的性能分析,但是让人放心的是,当问题发生的时候,Python 生态圈有各种各样的工具可以处理这类问题。 分析程序的性能可以归结为回答四个基本问题: 正运行的多快 速度瓶颈在哪里 内存使用率是多少 ...