Linux 文件系统IO性能优化
admin 12年前(2015-03-17) 3浏览
对于LINUX SA来说,服务器性能是需要我们特别关注的,包括CPU、IO、内存等等系统的优化变得至关重要,这里转载一篇非常不错的关于IO优化的文章,供大家参考和学习: 一、关于页面缓存的信息,可以用 cat /proc/meminfo 看到。其中的...
admin 12年前(2015-03-17) 3浏览
对于LINUX SA来说,服务器性能是需要我们特别关注的,包括CPU、IO、内存等等系统的优化变得至关重要,这里转载一篇非常不错的关于IO优化的文章,供大家参考和学习: 一、关于页面缓存的信息,可以用 cat /proc/meminfo 看到。其中的...
admin 12年前(2015-03-17) 3浏览
在Hive中,如果使用了External Table或者Partition,那么路径是不在自己的hive warehouse下的 --获取table的真实hdfs路径 desc formatted my_table; --获取partition的真实...
admin 12年前(2015-03-17) 3浏览
nfs server unavailable/unreachable后,client端偶尔会出现很诡异的情况:任何命令都跑不了/跑了没输出 这个问题在网上找了半天也没找到根本的原因,可能得读代码才能搞懂了,但是这个代码可不是一般的长…… 找到了个解决...
admin 12年前(2015-03-17) 5浏览
https://wiki.archlinux.org/index.php/Systemd_(%E7%AE%80%E4%BD%93%E4%B8%AD%E6%96%87) systemd 基本工具 检视和控制systemd的主要命令是systemctl。...
admin 12年前(2015-03-17) 4浏览
代码写多了越发觉得测试的重要性,之前一直喜欢“目测”的做法已经不值得推荐了。当然,这只是一个玩笑。 在Python代码里测试大概有这么几种:doctest、unittest和nose(第三方工具)。 个人推荐nose,简单的话doctest也已经足够...
admin 12年前(2015-03-17) 4浏览
Jon’s recent Find the Time to First Byte Using Curl post reminded me about the additional timing details that cURL can provid...
admin 12年前(2015-03-17) 3浏览
原来加密都是用shc来着,前些天看到用gzexe加密shell,说是防君子不防小人,又没说明怎么破解,今天试了一下,可以简单的还原出来! 加密: [root@akin2 ~]# gzexe 1.sh 1.sh: 58.2% 解密: [root@aki...
admin 12年前(2015-03-17) 4浏览
相对于prefork,worker是2.0 版中全新的支持多线程和多进程混合模型的MPM。由于使用线程来处理,所以可以处理相对海量的请求,而系统资源的开销要小于基于进程的服务器。但是,worker也使用了多进程,每个进程又生成多个线程,以获得基于进程...
admin 12年前(2015-03-17) 6浏览
geoiplookup是由MaxMind提供的一个命令行工具。可以查询一个IP地址或主机名的地理或者网络信息。 安装geoiplookup,需要先安装EPEL源。 # yum install geoip GeoIP.dat安装在/usr/share/...
admin 12年前(2015-03-17) 3浏览
linux curl是一个利用URL规则在命令行下工作的文件传输工具。它支持文件的上传和下载,所以是综合传输工具,但按传统,习惯称url为下载工具。 一,curl命令参数,有好多我没有用过,也不知道翻译的对不对,如果有误的地方,还请指正。 -a/--...
admin 12年前(2015-03-17) 5浏览
在 MacOS 10.9 编译 subversion-1.8.9 时,出现 configure: error: failed to recognize APR_INT64_T_FMT on this platform 解决办法: 安装 Apache ...
admin 12年前(2015-03-17) 3浏览
Xcode里默认没有pch文件 要添加的话,可以手动添加 1 新建一个pch文件 2 在setting里设定 Prefix header为该pch文件 详细gif教程参考这个 http://www.cnblogs.com/YouXianMing/p/...
admin 12年前(2015-03-17) 3浏览
这次的惊魂让我提高很多,先说提高,再说故事经过。文章可能有点乱,大家包涵。 1)linode还有一种可以ssh上去的方式 第一步 ssh pennyliang@lish-tokyo.linode.com 然后在提示中输入密码(其中pennyliang...
admin 12年前(2015-03-17) 6浏览
这里主要介绍电脑无需任何设置,就能够自动加密代理特定网站的HTTP/HTTPS协议。由于某墙的存在,作用你懂的。敏感磁太多,这里就不多说了。 方案介绍 涉及到的软件 BIND: 一个流行的域名解析服务器,我们可以设置哪些域名需要走加密线路。 Stun...
admin 12年前(2015-03-17) 4浏览
这篇通过Django源码中的cached_property来看下Python中一个很重要的概念——Descriptor(描述器)的使用。想必通过实际代码来看能让人对其用法更有体会。 什么是Descriptor? Descriptor是Python中定...
admin 12年前(2015-03-17) 4浏览
一、RAW 1、挂载RAW磁盘方法 未分区镜像文件直接使用loop mount -o loop vdisk01.img /mnt/ 已分区的挂载: losetup /dev/loop0 vdisk01.img kpartx -a /dev/loop0...
admin 12年前(2015-03-17) 3浏览
随着qemu2.1的发布,可以看到,qemu支持了vhost-user。从介绍可以看出,这是把原来vhost-backend从kernel移到了userspace,这和原来virtio架构有什么区别呢?并且这个特性带来了怎样的改进? virtio v...
admin 12年前(2015-03-17) 3浏览
在上篇多线程mysql客户端 的测试程序中,我使用print输出线程标识和每个线程执行的次数。 但经常会出现多个线程输出到同一行中的情况,导致无法清晰看到每条信息。其中做了两个调整: 先赋值到一个字符串中,然后输出;(这时如果用print输出,仍然会...
admin 12年前(2015-03-17) 4浏览
背景 MySQL/InnoDB的加锁分析,一直是一个比较困难的话题。我在工作过程中,经常会有同事咨询这方面的问题。同时,微博上也经常会收到MySQL锁相关的私信,让我帮助解决一些死锁的问题。本文,准备就MySQL/InnoDB的加锁问题,展开较为深入...
admin 12年前(2015-03-17) 2浏览
做benchmark测试的过程中,总是会涉及到linux操作系统底层的设置导致无法充分利用机器的性能,在调试的过程中,不少资料没能和linux kernel版本对应上导致一些参数的设置错误。根据现有服务器的硬件条件和软件版本做相关优化,把一些实践的心...
admin 12年前(2015-03-17) 4浏览
keepalive_timeout 15s; client_header_timeout 1m; 读取整个头的时间不能超过1分钟 send_timeout 1m; 客户端的连接还在,但是tengine这边发送缓冲区满了(客户端不读取数据,或者读取数据...
admin 12年前(2015-03-17) 3浏览
Python的两种版本,Python 2.x和Python 3.x,的划分,不了解的去参考: 【整理】总结Python2(Python 2.x版本)和Python3(Python 3.x版本)之间的区别 2.对于各种字符编码要有个基本的了解比如: 通...
admin 12年前(2015-03-17) 4浏览
我经常会进行一些基准测试工作,测试结果需要进行对比,一般测试结果采用图表展示的方式再阐述结论最为通俗易懂。 本次分享下我平时用excel来生成图表的方法: 一、数据收集、初始化 1、构建一个excel表格 2、纵向表示多种对比的测试模式 3、横向表示...
admin 12年前(2015-03-17) 4浏览
屈指一算,陌陌已经两岁多了。一个两岁的小屁孩也已经背起书包上学背英文单词了,两岁的陌陌也正在创业的路上越走越顺。回头看看这一路,不容易啊。遥想当年那只有四五台电脑,60 平米左右的办公室,再对比现在一人手持四五个移动设备,1000 平的高上大 CBD...
admin 12年前(2015-03-17) 3浏览
FastCGI模块(FastCGI) – 范圣帅 – 博客园 这个模块允许nginx同FastCGI协同工作,并且控制哪些参数将被安全传递。 例: location / { fastcgi_pass localhost:9000; fastcgi_i...
admin 12年前(2015-03-17) 3浏览
背景: 公司在线上使用了CDH5集群,一开始由于疏忽,忘记了在计划任务中定期执行Balancer来平衡各节点的数据。 后来,在引入大量的Job之后,数据增长非常迅猛,有很多节点开始出现利用率超过99.9%的情况,部分Job甚至开始Failed。 于是...
admin 12年前(2015-03-17) 3浏览
今天接到一个朋友电话说是觉的数据库被别人更改了,出现数据不对的问题 。经过很久的排查是数据类型溢出了(发生问题的版本是MySQL 5.1)。后来通过给朋友那边把MySQL 5.1升级到MySQL 5.5去解决这个问题。 这也让我有兴趣去了解一下MyS...
admin 12年前(2015-03-17) 3浏览
默认情况下proxy_max_temp_file_size值为1024MB,也就是说后端服务器的文件不大于1G都可以缓存到nginx代理硬盘中,如果超过1G,那么文件不缓存,而是直接中转发送给客户端.如果proxy_max_temp_file_siz...
admin 12年前(2015-03-17) 3浏览
OOM command not allowed when used memory > ‘maxmemory’ 报错排查 grep “OOM command not allowed when used memory > ‘maxmemory...
admin 12年前(2015-03-17) 3浏览
是的,作为一个程序员,你往往发现,有的时候你花费了数小时,数天,甚至数星期来查找问题,但最终可能只花费了数秒,改动了数行,甚至几个字符就解决了问题。这次给大家分享一个困扰了我很久,我花了五个小时才查找出问题原因,最终只添加了一个字符解决了的问题。 h...