使用stdbuf解决tail -f加管道命令后不能及时输出的问题（IO缓冲的坑）
admin 9年前（2017-10-23） 2浏览
一般我们使用tail -f来跟踪文件变化(或tail -F来对付轮转日志)。 但是在tail加上管道（例如tail -f | xxcmd )后，会发现输出可能有延时， 就是说，日志文件变化了，但管道命令并没有及时输出结果。要等到日志 变化达到一定量时...
标签：buffer
Python Subprocess Popen 管道阻塞问题分析解决
admin 9年前（2017-09-08） 1浏览
使用Subprocess Popen的类库困挠了我一个月的问题终于解决了。 一句话就是：等待命令返回不要使用wait()，而是使用communicate()，但注意内存，大输出使用文件。 错误的使用例子 之前的代码这样使用的。 # 不合适的代码 de...
mysqldump 备份时 要加上 -q 参数
admin 9年前（2017-06-14） 0浏览
写在前面：我们在使用mysqldump备份数据时，请一定记住要加上 -q 参数，后果可能是很严重的，不要给自己挖坑哦。到底为什么呢，且听我慢慢道来！ 先来看看 mysqldump -help 中，关于 -q 参数的解释： -q, --quick Do...
百万并发之 tcp_mem
admin 10年前（2016-05-26） 1浏览
The “Out of socket memory” error Out of Socket memory 关于 Out of Socket memory 在服务端，连接达到一定数量，诸如50W时，有些隐藏很深的问题，就不断的抛出来。 通过查看dme...
Nginx 引入线程池，提升 9 倍性能
admin 11年前（2015-08-22） 2浏览
介绍 众所周知，NGINX 采用异步、事件驱动的方式处理连接。意味着无需对每个请求创建专门的进程或线程，它用一个工作进程（worker process）处理多个连接和请求。为了达到这个目的，NGINX采用非阻塞模式的 socket，并利用诸如 epo...
PHP multipart/form-data 远程DOS漏洞
admin 11年前（2015-07-15） 2浏览
摘要： PHP解析multipart/form-datahttp请求的body part请求头时，重复拷贝字符串导致DOS。远程攻击者通过发送恶意构造的multipart/form-data请求，导致服务器CPU资源被耗尽，从而远程DOS服务器。 影...
MySQL 主从同步 slave延迟很大 优化方法
admin 11年前（2015-07-03） 0浏览
一般而言，slave相对master延迟较大，其根本原因就是slave上的复制线程没办法真正做到并发。简单说，在master上是并发模式（以InnoDB引擎为主）完成事务提交的，而在slave上，复制线程只有一个sql thread用于binlog的...
Innodb IO优化－配置优化
admin 11年前（2015-07-02） 1浏览
对于数据库来讲大多瓶颈都出现在IO问题上，所以现在SSD类的设备也才能大行其道。那数据库的IO这块有什么可以优化的吗？ 我这里大致谈一下我的看法，希望能达到一个抛砖引玉的效果。 这里谈一下数据库本身的配置方面 具体如下： 配置方面对于IO优化的原则：...
比较全面的MySQL优化参考（下篇）
admin 11年前（2015-07-02） 0浏览
本文整理了一些MySQL的通用优化方法，做个简单的总结分享，旨在帮助那些没有专职MySQL DBA的企业做好基本的优化工作，至于具体的SQL优化，大部分通过加适当的索引即可达到效果，更复杂的就需要具体分析了，可以参考本站的一些优化案例或者联系我，下方...
centos 7 HV上面centos 5.8的 vm 不定时crash问题
admin 11年前（2015-05-30） 0浏览
分享一下我们这边实际碰到的问题；物理机centos7，vm 5.8不定时crash；vm6.3没有问题（相对较少6.3的vm)；不限定特定主机； 看看有无同行碰到过同样的问题； 如果有同行碰到过类似问题，希望可以分享； 后续也会更新我们这边的进展；分...
epoll 单机（4G内存）并发量最大能达到多少？
admin 11年前（2015-05-30） 0浏览
按照题主的意思 是根据内存去算一个最大并发的连接数. 那么首先要找出来单个连接消耗内存的地方. 第一个首先是socket buffer. read 和write 分别有一个, 默认大小在 /proc/sys/net/ipv4/tcp_rmem (fo...
Redis监控技巧
admin 11年前（2015-04-27） 0浏览
本文来自 Bugsnag 的联合创始人 Simon Maynard 的系列文章，作者根据几年来对 Redis 的使用经历，对 Redis 监控方法进行了系统性的总结，干货很多，值得一看。 原文链接：Redis Masterclass – Part 2...
使用mysqldump备份时为什么要加上 -q 参数
admin 11年前（2015-04-16） 0浏览
写在前面：我们在使用mysqldump备份数据时，请一定记住要加上 -q 参数，后果可能是很严重的，不要给自己挖坑哦。到底为什么呢，且听我慢慢道来！ 先来看看 mysqldump –help 中，关于 -q 参数的解释： -q, --quick Do...
MySQL数据库运维
admin 12年前（2015-03-17） 0浏览
第4章 压力测试 压力测试是指在MySQL上线前，需要进行大量的压力测试，从而达到交付的标准。压力测试不仅可以测试MySQL服务的稳定性，还可以测试出MySQL和系统的瓶颈。 4.1 TPC-C模型 TPC（Transaction Processin...
本周扑火之 redis 不给力
admin 12年前（2015-03-16） 0浏览
Social Graph 高速接口，当前我们使用 Redis 存储。但在实现的过程中，发现了诸多的问题。 48G 内存的机器上部署了 2 个 Redis 进程，一个 Redis 占用超过 21 G 内存后，在快速写入的过程中同时进行一次 bgsave...
如何部署一个真正好用的前端
admin 12年前（2015-03-16） 1浏览
一切的工程都要从实用的角度出发，排除 GLSB 在外，目前主流的开放的前端无非就那几种: 1. 最简单的就是 DNS RR，上手很快，缺点也很明显 2. web server + keepalived，相对智能些，依然有缺点，没有 health ch...
万兆网络环境下的nginx压力测试 (二)
admin 12年前（2015-03-16） 0浏览
参考文章：Nginx 万兆网络环境测试 上周在proxy层测试url hash万兆网卡服务器过程中发现服务器内存用满，使用大量的swap，导致服务器无响应。 一、 现象描述： swap 100%，IO超过60%； nginx每进程占用内存达4G，且无...
ifconfig 下面的一些字段(errors, dropped, overruns)
admin 12年前（2015-03-16） 0浏览
一台机器经常收到丢包的报警，先看看最底层的有没有问题: # ethtool em2 | egrep 'Speed|Duplex' Speed: 1000Mb/s Duplex: Full # ethtool -S em2 | grep crc rx_...
一个用户SQL慢查询分析，原因及优化
admin 12年前（2015-03-16） 2浏览
问题描述 一个用户反映先线一个SQL语句执行时间慢得无法接受。SQL语句看上去很简单(本文描述中修改了表名和字段名): SELECT count(*) FROM a JOIN b ON a.S = b.S WHERE a.L > ’2014-0...
快速预热Innodb Buffer Pool的方法
admin 12年前（2015-03-15） 0浏览
英文原文: http://www.percona.com/doc/percona-server/5.5/management/innodb_lru_dump_restore.html 中文：http://www.360doc.com/content/...
线上环境到底要不要开启query cache
admin 12年前（2015-03-15） 0浏览
Query Cache（查询缓存，以下简称QC）存储SELECT语句及其产生的数据结果，特别适用于：频繁提交同一个语句，并且该表数据变化不是很频繁的场景，例如一些静态页面，或者页面中的某块不经常发生变化的信息。QC有可能会从InnoDB Buffer...
优化MySQL的21个建议
admin 12年前（2015-03-15） 1浏览
今天一个朋友向我咨询怎么去优化 MySQL，我按着思维整理了一下，大概粗的可以分为21个方向。 还有一些细节东西（table cache, 表设计，索引设计，程序端缓存之类的）先不列了，对一个系统，初期能把下面做完也是一个不错的系统。 1. 要确保有...
ext4+delalloc造成单次写延迟增加的分析
admin 12年前（2015-03-15） 0浏览
这篇文章是淘宝内核组的刘峥同学在内部技术论坛上发表的一篇文章，但是由于刘峥同学目前没有blog，征得本人同意，贴在我的blog上，如果大家喜欢，请去新浪微博关注他。:) 日前线上在升级到Ext4文件系统后出现应用写操作延迟开销增大的问题。造成这一问题...
调整 ring buffer & interrupts affinity 的重要性
admin 12年前（2014-10-28） 0浏览
最近线上出现了不少由于 ring buffer 设置过小而导致的丢包问题问题，这个值在这之前我们一直使用的是出场的默认值，因此跟动辄 2048 的 max 相比，200 或者 500 确实小了点。 比如看看某台 web server 的监控 看了下 ...
优化MySQL的21个建议
admin 12年前（2014-06-27） 1浏览
今天一个朋友向我咨询怎么去优化 MySQL，我按着思维整理了一下，大概粗的可以分为21个方向。 还有一些细节东西（table cache, 表设计，索引设计，程序端缓存之类的）先不列了，对一个系统，初期能把下面做完也是一个不错的系统。 1. 要确保有...
浅谈TCP优化
admin 12年前（2014-06-27） 0浏览
很多人常常对TCP优化有一种雾里看花的感觉，实际上只要理解了TCP的运行方式就能掀开它的神秘面纱。Ilya Grigorik 在「High Performance Browser Networking」中做了很多细致的描述，让人读起来醍醐灌顶，我大概...
MySQL体系结构
admin 12年前（2014-04-29） 0浏览
了解MySql必须牢牢记住其体系结构图，Mysql是由SQL接口，解析器，优化器，缓存，存储引擎组成的。 1 Connectors指的是不同语言中与SQL的交互 2 Management Serveices & Utilities： 系统管理...
Nginx+PHP(FastCGI)+MySQL在小内存VPS(t1.micro)上的安装配置与优化
admin 13年前（2014-03-24） 0浏览
参考资料： http://blog.s135.com/nginx_php_v6/ http://blog.s135.com/post/375/ 背景介绍： 以前，因为AWS EC2的价格比较昂贵而租用了其它国外小厂商的VPS，在使用了3年多之后，发现...