python+uwsgi导致redis无法长链接引起性能下降问题记录
admin 9年前(2017-06-12) 0浏览
今天在部署python代码到预生产环境时,web站老是出现redis链接未初始化,无法连接到服务的提示,比对了一下开发环境与测试环境代码,完全一致,然后就是查看各种日志,排查了半天也没有查明是什么原因引起的。 没有办法的情况下,直接登录服务器,从uw...
admin 9年前(2017-06-12) 0浏览
今天在部署python代码到预生产环境时,web站老是出现redis链接未初始化,无法连接到服务的提示,比对了一下开发环境与测试环境代码,完全一致,然后就是查看各种日志,排查了半天也没有查明是什么原因引起的。 没有办法的情况下,直接登录服务器,从uw...
admin 9年前(2017-06-06) 2浏览
先观察上面截图,可以看到两个关键信息: 这台机器已经建立了 238 万个 TCP 连接 使用内存大约在 48G。 下面将会介绍在单个 HAProxy 机器上实现这种规模访问所需的配置。本文是负载测试 HAProxy 系列文章的最后一篇。有时间的读者建...
admin 10年前(2016-07-11) 0浏览
同步 vs 异步 重头戏来了。我们来验证异步是否值得(编码麻烦)。看看同步与异步(client)效率上的区别。异步每分钟能够发起多少请求。 为此,我们首先配置一个异步的aiohttp服务器端。这个服务端将获取全部的html文本, 来自Marry Sh...
admin 10年前(2016-06-10) 0浏览
thread 和 threading 模块都能够实现 python 中的多线程,一般而言使用 threading 更加方便,因为 thread 有很多的缺点,例如当主线程结束后,所以子线程都会强制终止掉,没有警告也没有正常的清理工作。所以一般情况下更...
admin 10年前(2016-03-24) 0浏览
1. SH调度算法–尽量不要采用 一些业务为了支持会话保持,选择SH调度算法,以实现 同一源ip的请求调度到同一台RS上;但 SH算法本省没有实现一致性hash,一旦一台RS down,当前所有连接都会断掉;如果配置了inhibit_on_failu...
admin 11年前(2015-12-07) 0浏览
inotify 事件丢失的那点事_黑色星期五_新浪博客 昨儿个同事让我帮其解决他一直悬而不决的inotify丢事件的问题,我下面是我对inotify参数调整的理解 fs.inotify.max_user_instances = 128 fs.inot...
admin 11年前(2015-07-25) 0浏览
本文一共分析了三个案例,分别介绍并发系统中的共享资源并发访问、计算型密集型任务缓存访问 、单一热点资源峰值流量问题和解决方案。 Q1:订票系统,某车次只有一张火车票,假定有1w个人同时打开12306网站来订票,如何解决并发问题? A1: 首先介绍数据...
admin 11年前(2015-07-08) 2浏览
在redhat网站查到下面的信息,说是因为内存不够的原因。我觉得这个可以当作出现这个问题的解释,但是却解释得不够“完美”,我仍旧还在疑惑中:如果是是因为内存不够的原因,那么在每次测试之前,只要保证机器状态一样,那么TCP: time wait buc...
admin 11年前(2015-07-03) 0浏览
一般而言,slave相对master延迟较大,其根本原因就是slave上的复制线程没办法真正做到并发。简单说,在master上是并发模式(以InnoDB引擎为主)完成事务提交的,而在slave上,复制线程只有一个sql thread用于binlog的...
admin 11年前(2015-05-30) 0浏览
按照题主的意思 是根据内存去算一个最大并发的连接数. 那么首先要找出来单个连接消耗内存的地方. 第一个首先是socket buffer. read 和write 分别有一个, 默认大小在 /proc/sys/net/ipv4/tcp_rmem (fo...
admin 11年前(2015-03-25) 0浏览
前言 : 究竟怎样进行数据库性能测试,数据库性能测试需要做些什么?大多数产品线的RD和QA也比较迷茫,经常过来咨询。 一般说来,做数据库性能测试需要如下几个步骤: :明确测试目的 :设计测试模型 (即压力模型) :准备测试集群环境 :准备压力测试工具...
admin 12年前(2015-03-17) 0浏览
做benchmark测试的过程中,总是会涉及到linux操作系统底层的设置导致无法充分利用机器的性能,在调试的过程中,不少资料没能和linux kernel版本对应上导致一些参数的设置错误。根据现有服务器的硬件条件和软件版本做相关优化,把一些实践的心...
admin 12年前(2015-03-16) 2浏览
网友提问: 1.问题主题 如何记录用户发表的文章的点击量 2.问题补充描述 当并发非常小的时候可以直接存在这个文章表里面,叫一个click_count,但是如果网站的访问量很高,那这样数据库肯定要累死,各位大牛有什么好的解决办法么? 回答: 我们只讨...
admin 12年前(2015-03-16) 0浏览
对于做大量并发服务器端(比如Web服务器Nginx、Apache等)开发的童鞋,肯定知道有一个名为C10K的问题。当然,这是一个比较古老的问题了,从03年(非准确值)提及到现在已经有10余年之久。而随着整个网络相关技术的高速发展,包括CPU、网卡、操...
admin 12年前(2015-03-16) 0浏览
我的blog前面有一篇文章描述了 软终端导致单cpu消耗100% 的文章 linux内核软中断引起大量丢包 ,导致机器丢包跟延迟高的问题,文中我只是简单的说明了一下升级内核进行解决的,这个问题我并没有进行一个问题解决的说明,经历了一系列的调整后,单机...
admin 12年前(2015-03-15) 0浏览
在MySQL复制环境中,我们通常只根据 Seconds_Behind_Master 的值来判断SLAVE的延迟。这么做大部分情况下尚可接受,但并不够准确,而应该考虑更多因素。 首先,我们先看下SLAVE的状态: yejr@imysql.com [(n...
admin 12年前(2015-03-15) 2浏览
在MySQL复制环境中,我们通常只根据 Seconds_Behind_Master 的值来判断SLAVE的延迟。这么做大部分情况下尚可接受,但并不够准确,而应该考虑更多因素。 首先,我们先看下SLAVE的状态: yejr@imysql.com [(n...
admin 12年前(2015-03-15) 0浏览
nginx 上有两个限制连接的模块一个是 limit_zone 另一个是 limie_req_zone,两个都可以限制连接,但具体有什么不同呢?下面是 nginx 官网上给的解释 limit_req_zone Limit frequency of c...
admin 12年前(2015-03-15) 0浏览
为测试系统多线程并发操作时的响应,今天写了个简单的python脚本往mysql中插入、取出数据,用到了MySQLdb、threading模块。 其中threading模块是对thread模块的一个面向对象的封装,比较好用。 import MySQLd...
admin 12年前(2015-03-15) 1浏览
Tomcat 常用运行模式有3种,分别为 bio,nio,apr.生产环境建议用apr,详细请看 tomcat的三种模式(bio、nio、apr) 安装APR [root@aikaiyuan ~]# yum -y install apr apr-de...
admin 12年前(2015-03-15) 1浏览
今天一个朋友向我咨询怎么去优化 MySQL,我按着思维整理了一下,大概粗的可以分为21个方向。 还有一些细节东西(table cache, 表设计,索引设计,程序端缓存之类的)先不列了,对一个系统,初期能把下面做完也是一个不错的系统。 1. 要确保有...
admin 12年前(2015-03-15) 0浏览
为了提高性能,几乎所有互联网应用都有缓存机制,其中Memcache是使用非常广泛的一个分布式缓存系统。众所周知,LAMP是非常经典的Web架构方式,但是随着Nginx的成熟,越来越多的系统开始转型为LNMP(Linux+Nginx+MySQL+PHP...
admin 12年前(2015-03-15) 0浏览
结论: thread_concurrency 在GNU/Linux系统上没有用的。 不过很多LINUX自带的mysql包里面的配置文件都有thread_concurrency选项, 甚至Mysql官方源码里面的my-large.cnf my-inno...
admin 12年前(2014-08-14) 0浏览
前些天一个Nginx+PHP项目上线后遭遇了性能问题,于是打算练练手,因为代码并不是我亲自写的,所以决定从系统层面入手看看能否做一些粗线条的优化。 首先,我发现服务的Backlog设置过小,可以通过ss命令查询Send-Q来确认: [root@aik...
admin 12年前(2014-07-10) 0浏览
nginx在处理高并发能力上非常出色,而go作为新时代互联网语言,在设计之初就为实现高并发。 ngx_lua由nginx来处理网络事件,并使用协程来实现非阻塞,从而实现高并发。 go语言级别提供非阻塞的api,同样使用协程来提供高并发处理。 我们来测...
admin 12年前(2014-06-29) 0浏览
引言:项目的设备选型是一项细腻而又艰巨的任务。因为它有一次性、不可更改、兼容性、扩展性、功能性、性能性、易用性等参数阀值来参照。例如我们的项目,首先要了解今年的设备采购预算有多少,如何分配的,分配下来每个项目大概有多少,按照预算标准进行分级。其次由于...
admin 12年前(2014-06-27) 1浏览
今天一个朋友向我咨询怎么去优化 MySQL,我按着思维整理了一下,大概粗的可以分为21个方向。 还有一些细节东西(table cache, 表设计,索引设计,程序端缓存之类的)先不列了,对一个系统,初期能把下面做完也是一个不错的系统。 1. 要确保有...
admin 16年前(2010-08-29) 0浏览
Linux+Apache的稳定性、安全性和性能以及低廉的价格正在赢得越来越多的市场份额,使用Linux+Apache作网站服务器的朋友也越来越多,而Apache作为一种http服务,相比FTP总是不容易控制,特别是当网站以http方式提供软件/音乐下...
admin 17年前(2009-09-30) 0浏览
nginx 限制IP连接数和每个IP连接速度 This is The Code server { listen 80; server_name download.selboo.com.cn; index index.html index.htm de...
admin 17年前(2009-05-12) 0浏览
每秒处理的的请求数:req/s 每个请求的响应时间:response time 1、利用网络处理量计算。 计算参考公式: 并发 = connection established / min(server keepalive, server timeo...