使用stdbuf解决tail -f加管道命令后不能及时输出的问题（IO缓冲的坑）
admin 7年前 (2017-10-23) 8259浏览 0评论
一般我们使用tail -f来跟踪文件变化(或tail -F来对付轮转日志)。 但是在tail加上管道（例如tail -f | xxcmd )后，会发现输出可能有延时， 就是说，日志文件变化了，但管道命令并没有及时输出结果。要等到日志 变化达到一定量时...
标签：buffer
Python Subprocess Popen 管道阻塞问题分析解决
admin 7年前 (2017-09-08) 7454浏览 0评论
使用Subprocess Popen的类库困挠了我一个月的问题终于解决了。 一句话就是：等待命令返回不要使用wait()，而是使用communicate()，但注意内存，大输出使用文件。 错误的使用例子 之前的代码这样使用的。 # 不合适的代码 de...
mysqldump 备份时 要加上 -q 参数
admin 8年前 (2016-10-13) 3449浏览 0评论
写在前面：我们在使用mysqldump备份数据时，请一定记住要加上 -q 参数，后果可能是很严重的，不要给自己挖坑哦。到底为什么呢，且听我慢慢道来！ 先来看看 mysqldump -help 中，关于 -q 参数的解释： -q, --quick Do...
百万并发之 tcp_mem
admin 8年前 (2016-05-26) 7355浏览 0评论
The “Out of socket memory” error Out of Socket memory 关于 Out of Socket memory 在服务端，连接达到一定数量，诸如50W时，有些隐藏很深的问题，就不断的抛出来。 通过查看dme...
Nginx 引入线程池，提升 9 倍性能
admin 9年前 (2015-08-22) 5082浏览 0评论
介绍 众所周知，NGINX 采用异步、事件驱动的方式处理连接。意味着无需对每个请求创建专门的进程或线程，它用一个工作进程（worker process）处理多个连接和请求。为了达到这个目的，NGINX采用非阻塞模式的 socket，并利用诸如 epo...
PHP multipart/form-data 远程DOS漏洞
admin 9年前 (2015-07-15) 3123浏览 0评论
摘要： PHP解析multipart/form-datahttp请求的body part请求头时，重复拷贝字符串导致DOS。远程攻击者通过发送恶意构造的multipart/form-data请求，导致服务器CPU资源被耗尽，从而远程DOS服务器。 影...
centos 7 HV上面centos 5.8的 vm 不定时crash问题
admin 9年前 (2015-05-30) 4257浏览 0评论
分享一下我们这边实际碰到的问题；物理机centos7，vm 5.8不定时crash；vm6.3没有问题（相对较少6.3的vm)；不限定特定主机； 看看有无同行碰到过同样的问题； 如果有同行碰到过类似问题，希望可以分享； 后续也会更新我们这边的进展；分...
比较全面的MySQL优化参考（下篇）
admin 9年前 (2015-05-30) 3605浏览 0评论
本文整理了一些MySQL的通用优化方法，做个简单的总结分享，旨在帮助那些没有专职MySQL DBA的企业做好基本的优化工作，至于具体的SQL优化，大部分通过加适当的索引即可达到效果，更复杂的就需要具体分析了，可以参考本站的一些优化案例或者联系我，下方...
epoll 单机（4G内存）并发量最大能达到多少？
admin 9年前 (2015-05-30) 3399浏览 0评论
按照题主的意思 是根据内存去算一个最大并发的连接数. 那么首先要找出来单个连接消耗内存的地方. 第一个首先是socket buffer. read 和write 分别有一个, 默认大小在 /proc/sys/net/ipv4/tcp_rmem (fo...
Redis监控技巧
admin 9年前 (2015-04-27) 5929浏览 0评论
本文来自 Bugsnag 的联合创始人 Simon Maynard 的系列文章，作者根据几年来对 Redis 的使用经历，对 Redis 监控方法进行了系统性的总结，干货很多，值得一看。 原文链接：Redis Masterclass – Part 2...
使用mysqldump备份时为什么要加上 -q 参数
admin 9年前 (2015-04-16) 2888浏览 0评论
写在前面：我们在使用mysqldump备份数据时，请一定记住要加上 -q 参数，后果可能是很严重的，不要给自己挖坑哦。到底为什么呢，且听我慢慢道来！ 先来看看 mysqldump –help 中，关于 -q 参数的解释： -q, --quick ...
MySQL 主从同步 slave延迟很大 优化方法
admin 9年前 (2015-04-13) 5303浏览 0评论
一般而言，slave相对master延迟较大，其根本原因就是slave上的复制线程没办法真正做到并发。简单说，在master上是并发模式（以InnoDB引擎为主）完成事务提交的，而在slave上，复制线程只有一个sql thread用于binlog的...
Innodb IO优化－配置优化
admin 9年前 (2015-03-25) 3026浏览 0评论
对于数据库来讲大多瓶颈都出现在IO问题上，所以现在SSD类的设备也才能大行其道。那数据库的IO这块有什么可以优化的吗？ 我这里大致谈一下我的看法，希望能达到一个抛砖引玉的效果。 这里谈一下数据库本身的配置方面 具体如下： 配置方面对于IO优化的原则：...
快速预热Innodb Buffer Pool的方法
admin 10年前 (2014-11-14) 3403浏览 0评论
英文原文: http://www.percona.com/doc/percona-server/5.5/management/innodb_lru_dump_restore.html 中文：http://www.360doc.com/content...
线上环境到底要不要开启query cache
admin 10年前 (2014-11-14) 3100浏览 0评论
Query Cache（查询缓存，以下简称QC）存储SELECT语句及其产生的数据结果，特别适用于：频繁提交同一个语句，并且该表数据变化不是很频繁的场景，例如一些静态页面，或者页面中的某块不经常发生变化的信息。QC有可能会从InnoDB Buffer...
万兆网络环境下的nginx压力测试 (二)
admin 10年前 (2014-11-13) 5173浏览 0评论
参考文章：Nginx 万兆网络环境测试 上周在proxy层测试url hash万兆网卡服务器过程中发现服务器内存用满，使用大量的swap，导致服务器无响应。 一、 现象描述： swap 100%，IO超过60%； nginx每进程占用内...
调整 ring buffer & interrupts affinity 的重要性
admin 10年前 (2014-10-28) 3273浏览 0评论
最近线上出现了不少由于 ring buffer 设置过小而导致的丢包问题问题，这个值在这之前我们一直使用的是出场的默认值，因此跟动辄 2048 的 max 相比，200 或者 500 确实小了点。 比如看看某台 web server 的监控 看了下 ...
如何部署一个真正好用的前端
admin 10年前 (2014-10-28) 3890浏览 0评论
一切的工程都要从实用的角度出发，排除 GLSB 在外，目前主流的开放的前端无非就那几种: 1. 最简单的就是 DNS RR，上手很快，缺点也很明显 2. web server + keepalived，相对智能些，依然有缺点，没有 health ch...
- 1
- 2