第二天的主题就轻松一些也宽泛一些
Intel的吴峰光介绍了writeback最近的改进方向。
吴峰光（intel）同学的讲座
以前的writeback是脏页到了一定的比例就开始，以后要改为曲线调节式的。举个例子，以前是脏页的比例到了20%，kernel就开始写回；以后，脏页比例到了10%，kernel就开始偶尔的缓慢的写回，到了20%，kernel开始正常速度写回，到了30%，kernel开始频繁写回，有点自适应的味道。
吴峰光做了一个实验：在一台服务器上，启动10个dd来写硬盘，同时scp一个大文件，会发现scp的流量时高时低，抖动的非常厉害（因为脏页比例一到，磁盘就会突然面临大量的写操作，影响scp的读磁盘操作）；使用新patch后，scp的流量很平稳。（这个实验太有说服力了！做集群或做“云”的同学们？你们难道没有遇到过类似“一写大文件，其它的进程都被拖慢”的麻烦吗？）
然后百度的谢广军介绍了百度在存储方面的探索。
在SSD出现之前，2006年，百度就与华为合作搞过SSD卡??用nand flash攒一个。很多坏块管理，擦除平衡（就是脏块合并）都是自己靠软件实现的（真辛苦），为了解决写放大的问题，把每个block的其中一部分用来记log（变override为append）
目前百度有个新的存储方案，就是拿掉kernel，让应用直接存取硬件，广军同学原话“raid卡聚合起来的io肯定不如应用直接分开访问N块硬盘的性能“，所以，干脆不要block层，文件系统层，直接访问磁盘！这个激进方案目前在考察中。
互联网应用很容易遇到一个问题：一台服务器上跑多个应用，这多个应用会争夺资源，所以，怎么隔离它们呢？两个常见方案：用虚拟机，或用cgroup。但虚拟机方案显然有两个缺点：更长的IO代码路径更低的效率（Coly提出）；在机房搭太多虚拟机会消耗IP增加运营难度（谢广军提出）。所以，目前cgroup胜出。
最后一个讲座是Intel benchmark team的同学主持的，主要介绍intel对各种硬件各种文件系统的测试。最后，他提出了一个很有趣的看法：随着硬件的飞速提升，很多软件层可能面临消失。比如，SSD出现后，很多互联网公司已经不再使用通用的文件系统而改为自己实现一个简单的，而如果以后PCM出现，kernel里的block层和fs层可能就不再需要了。看来我们两天的讨论主题——储存/文件系统，被这最后一个讲座给直接否掉了 ^_^
不过Coly有句话：
“PCM就算出来，那也得三年以后了，这三年，咱们不能不吃不喝呀“
参会同学们的合影
结语：感谢 百度 和 南大富士通 赞助此次CLSF讨论会
相关文章
转载请注明：爱开源 » CLSF讨论会纪要（二）