使用stdbuf解决tail -f加管道命令后不能及时输出的问题(IO缓冲的坑)
admin 7年前 (2017-10-23) 8546浏览 0评论
一般我们使用tail -f来跟踪文件变化(或tail -F来对付轮转日志)。 但是在tail加上管道(例如tail -f | xxcmd )后,会发现输出可能有延时, 就是说,日志文件变化了,但管道命令并没有及时输出结果。要等到日志 变化达到一定量时...
admin 7年前 (2017-10-23) 8546浏览 0评论
一般我们使用tail -f来跟踪文件变化(或tail -F来对付轮转日志)。 但是在tail加上管道(例如tail -f | xxcmd )后,会发现输出可能有延时, 就是说,日志文件变化了,但管道命令并没有及时输出结果。要等到日志 变化达到一定量时...
admin 7年前 (2017-09-08) 7841浏览 0评论
使用Subprocess Popen的类库困挠了我一个月的问题终于解决了。 一句话就是:等待命令返回不要使用wait(),而是使用communicate(),但注意内存,大输出使用文件。 错误的使用例子 之前的代码这样使用的。 # 不合适的代码 de...
admin 8年前 (2016-10-13) 3611浏览 0评论
写在前面:我们在使用mysqldump备份数据时,请一定记住要加上 -q 参数,后果可能是很严重的,不要给自己挖坑哦。到底为什么呢,且听我慢慢道来! 先来看看 mysqldump -help 中,关于 -q 参数的解释: -q, --quick Do...
admin 9年前 (2016-05-26) 8545浏览 0评论
The “Out of socket memory” error Out of Socket memory 关于 Out of Socket memory 在服务端,连接达到一定数量,诸如50W时,有些隐藏很深的问题,就不断的抛出来。 通过查看dme...
admin 9年前 (2015-08-22) 5296浏览 0评论
介绍 众所周知,NGINX 采用异步、事件驱动的方式处理连接。意味着无需对每个请求创建专门的进程或线程,它用一个工作进程(worker process)处理多个连接和请求。为了达到这个目的,NGINX采用非阻塞模式的 socket,并利用诸如 epo...
admin 9年前 (2015-07-15) 3288浏览 0评论
摘要: PHP解析multipart/form-datahttp请求的body part请求头时,重复拷贝字符串导致DOS。远程攻击者通过发送恶意构造的multipart/form-data请求,导致服务器CPU资源被耗尽,从而远程DOS服务器。 影...
admin 10年前 (2015-05-30) 4488浏览 0评论
分享一下我们这边实际碰到的问题;物理机centos7,vm 5.8不定时crash;vm6.3没有问题(相对较少6.3的vm);不限定特定主机; 看看有无同行碰到过同样的问题; 如果有同行碰到过类似问题,希望可以分享; 后续也会更新我们这边的进展;分...
admin 10年前 (2015-05-30) 3755浏览 0评论
本文整理了一些MySQL的通用优化方法,做个简单的总结分享,旨在帮助那些没有专职MySQL DBA的企业做好基本的优化工作,至于具体的SQL优化,大部分通过加适当的索引即可达到效果,更复杂的就需要具体分析了,可以参考本站的一些优化案例或者联系我,下方...
admin 10年前 (2015-05-30) 3544浏览 0评论
按照题主的意思 是根据内存去算一个最大并发的连接数. 那么首先要找出来单个连接消耗内存的地方. 第一个首先是socket buffer. read 和write 分别有一个, 默认大小在 /proc/sys/net/ipv4/tcp_rmem (fo...
admin 10年前 (2015-04-27) 6155浏览 0评论
本文来自 Bugsnag 的联合创始人 Simon Maynard 的系列文章,作者根据几年来对 Redis 的使用经历,对 Redis 监控方法进行了系统性的总结,干货很多,值得一看。 原文链接:Redis Masterclass – Part 2...
admin 10年前 (2015-04-16) 3044浏览 0评论
写在前面:我们在使用mysqldump备份数据时,请一定记住要加上 -q 参数,后果可能是很严重的,不要给自己挖坑哦。到底为什么呢,且听我慢慢道来! 先来看看 mysqldump –help 中,关于 -q 参数的解释: -q, --quick ...
admin 10年前 (2015-04-13) 5457浏览 0评论
一般而言,slave相对master延迟较大,其根本原因就是slave上的复制线程没办法真正做到并发。简单说,在master上是并发模式(以InnoDB引擎为主)完成事务提交的,而在slave上,复制线程只有一个sql thread用于binlog的...
admin 10年前 (2015-03-25) 3163浏览 0评论
对于数据库来讲大多瓶颈都出现在IO问题上,所以现在SSD类的设备也才能大行其道。那数据库的IO这块有什么可以优化的吗? 我这里大致谈一下我的看法,希望能达到一个抛砖引玉的效果。 这里谈一下数据库本身的配置方面 具体如下: 配置方面对于IO优化的原则:...
admin 10年前 (2014-11-14) 3589浏览 0评论
英文原文: http://www.percona.com/doc/percona-server/5.5/management/innodb_lru_dump_restore.html 中文:http://www.360doc.com/content...
admin 10年前 (2014-11-14) 3247浏览 0评论
Query Cache(查询缓存,以下简称QC)存储SELECT语句及其产生的数据结果,特别适用于:频繁提交同一个语句,并且该表数据变化不是很频繁的场景,例如一些静态页面,或者页面中的某块不经常发生变化的信息。QC有可能会从InnoDB Buffer...
admin 10年前 (2014-11-13) 5366浏览 0评论
参考文章:Nginx 万兆网络环境测试 上周在proxy层测试url hash万兆网卡服务器过程中发现服务器内存用满,使用大量的swap,导致服务器无响应。 一、 现象描述: swap 100%,IO超过60%; nginx每进程占用内...
admin 10年前 (2014-10-28) 3446浏览 0评论
最近线上出现了不少由于 ring buffer 设置过小而导致的丢包问题问题,这个值在这之前我们一直使用的是出场的默认值,因此跟动辄 2048 的 max 相比,200 或者 500 确实小了点。 比如看看某台 web server 的监控 看了下 ...
admin 10年前 (2014-10-28) 4055浏览 0评论
一切的工程都要从实用的角度出发,排除 GLSB 在外,目前主流的开放的前端无非就那几种: 1. 最简单的就是 DNS RR,上手很快,缺点也很明显 2. web server + keepalived,相对智能些,依然有缺点,没有 health ch...