最新消息:

分布式

分布式系统的Raft算法

分布式系统的Raft算法

admin 5个月前 (12-12) 281浏览 0评论

过去, Paxos一直是分布式协议的标准,但是Paxos难于理解,更难以实现,Google的分布式锁系统Chubby作为Paxos实现曾经遭遇到很多坑。 来自Stanford的新的分布式协议研究称为Raft,它是一个为真实世界应用建立的协议,主要注重...

分布式存储系统GlusterFS初体验

分布式存储系统GlusterFS初体验

admin 4年前 (2015-12-11) 2011浏览 0评论

过去一直以为GlusterFS和GFS为同一个东西,真是惭愧。昨天一同事用到才发现它是个好东西! 安装很简单,在所有存储服务器上执行: yum -y install glusterfs glusterfs-server chkconfig glust...

Ceph 性能优化

Ceph 性能优化

admin 4年前 (2015-07-15) 3178浏览 0评论

最近一直在忙着搞Ceph存储的优化和测试,看了各种资料,但是好像没有一篇文章把其中的方法论交代清楚,所以呢想在这里进行一下总结,很多内容并不是我原创,只是做一个总结。如果其中有任何的问题,欢迎各位喷我,以便我提高。 优化方法论 做任何事情还是要有个方...

分布式对象存储系统Sheepdog性能测试

分布式对象存储系统Sheepdog性能测试

admin 4年前 (2015-04-05) 1696浏览 0评论

Sheepdog是一个分布式对象存储系统,专为虚拟机提供块存储,号称无单点、零配置、可线性扩展(省略更多优点介绍)。本文主要关注其性能究竟如何,测试版本为目前的最新稳定版0.7.4。 测试环境 节点数量:6个 磁盘:各节点都配备7200转SATA硬盘...

把Sheepdog装进OpenStack

把Sheepdog装进OpenStack

admin 4年前 (2015-04-05) 1842浏览 0评论

现在网上有关sheepdog使用方面的资料还是少一些,本文主要介绍sheepdog的安装、简单使用方法,以及怎样与OpenStack集成。 编译安装 Sheepdog提供源码包(tarball)下载,同样能够安装使用。不过,发布工作需要制作deb安装...

sheepdog安装和使用管理

sheepdog安装和使用管理

admin 4年前 (2015-04-05) 2149浏览 0评论

一. 系统架构 Sheepdog的架构是完全对称的,没有中心控制节点,不存在单点问题,具有以下几点特性: Ÿ   性能和容量的现行扩展:当需要更大的容量时,sheepdog可以以线性增长方式简单的将新节点加入到集群中。 Ÿ   无单点故障:当有机器出...

linux下zookeeper安装与测试

linux下zookeeper安装与测试

admin 4年前 (2015-04-05) 1378浏览 0评论

一、linux下单机版zookeeper安装 (0)预备 安装java环境,并配置好java相关的环境变量$JAVA_HOME (1)下载最新的稳定版并解压 从人人下载吧: wget http://labs.renren.com/apache-mir...

FastDFS分布式存储实战

FastDFS分布式存储实战

admin 4年前 (2015-02-16) 3431浏览 0评论

FastDFS分布式存储实战 一、技术选型 普通存储方案:Rsync、DAS(IDE/SATA/SAS/SCSI 等 块)、NAS(NFS、CIFS、SAMBA 等 文件系统)、 SAN(FibreChannel, iSCSI, FoE 存储网络 块...

分布式消息系统尝试(rabbitmq, celery, redis)

分布式消息系统尝试(rabbitmq, celery, redis)

admin 5年前 (2014-07-21) 3224浏览 0评论

最近在调整游戏的后台架构,之前因为需要快速出产品,所以整个代码都揉成一团,也基本没有做任何分层处理。现在服务器端的开发也开始逐渐招进来,所以打算打算换一套统一的架构,以后做新游戏只要做其中的业务逻辑即可。 其实之前在腾讯的时候,基本不会用到messa...

分布式文件系统FastDFS设计原理及技术架构

分布式文件系统FastDFS设计原理及技术架构

admin 5年前 (2014-03-09) 1579浏览 0评论

FastDFS是一个开源的轻量级分布式文件系统,由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < ...

分布式对象存储系统Sheepdog性能测试

分布式对象存储系统Sheepdog性能测试

admin 5年前 (2014-01-04) 1632浏览 0评论

Sheepdog是一个分布式对象存储系统,专为虚拟机提供块存储,号称无单点、零配置、可线性扩展(省略更多优点介绍)。本文主要关注其性能究竟如何,测试版本为目前的最新稳定版0.7.4。 测试环境 节点数量:6个 磁盘:各节点都配备7200转SATA硬盘...

Python实现简单分布式处理

Python实现简单分布式处理

admin 6年前 (2013-04-26) 1584浏览 0评论

记得在zipsite项目中,对于文本文件本身就没有序列化的问题,但对于富媒体文件的序列化,我采用的方法是pickle。后来我忽然觉得使用pickle是可以实现简单的分布任务处理的。 废话不表,上代码: 首先是一个“有限事务机”,讲白一点就是所有的任务...

HBase性能调优

HBase性能调优

admin 6年前 (2013-04-15) 1338浏览 0评论

因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。 配置优化 zookeeper.session.timeout 默...

Moosefs管理中的小技巧

Moosefs管理中的小技巧

admin 8年前 (2011-05-30) 1200浏览 0评论

之前写过一个初步介绍Moosefs基本概念的文章,仅是简单测试之后,对mfs的一些理解和认识。最近在实际环境中部署了一套MooseFS系统,用于备份和其他之用,在这个过程中又遇到了些问题,于