由于原先的appserver功能不断增多,最近又增了两个功能,需要不断从后端memcached中提取数据并进行计算,由于提取数据量大且频繁,导致效率很低,粗测了一下,获取数据和格式化等操作花了90%以上的时间,由此设想将memcached改写或重写一个支持memcached的服务器,将计算功能和memcached做到一起,让获取数据的路径最短,也就最大限度减少了数据传输和格式化等操作,就是类似存储过程一样啦,这部分可以考虑使用插件来实现,甚至可考虑使用脚本语言来实现。

网上搜了一下,果然发现早有人这么干了,正所谓英雄所见啊,呵呵。具体方法倒很多,自定义key命名,根据特殊keygetsetreplace上做特殊操作,或者根据命令中的flag等做特殊处理,或者扩充stat命令等,都是可以的,我们暂时就考虑修改特殊的键值做特殊处理。

要做一个完备的既支持ascii命令又支持binary命令的兼容memcached还是有一点点麻烦的,我暂时也没有太多需求,所以就仅支持了ascii命令,其实也是考虑支持ascii的客户端更多,各种语言的支持mc的客户端数不胜数,但大多只支持ascii命令。由于我之前为了测试服务器框架效率,做过一个支持ascii命令的memcached兼容版本,因此拿过来直接使用太方便了,这个版本的实现其实很容易,如果有一个较好的框架代码的话基本上在一天之内可做完,当然要做到很好可能需要多花一些时间,我现在做的也不是特好,要完全取代memcached使用还是有些差距,主要是一些过期机制等没完全实现,虽然速度上比标准mc版本还要快一点,呵呵,因为暂时的确是不需要这些过期机制,所以也没打算这个版本实现,其他功能基本上都有。

以后准备将这个memcached解码部分作为一个单独的解析器,和支持其他协议一样,换上这个解析那就支持mc协议了,还是很方便的,以后有空还是要做个支持binary协议的,以便可以更高效的解决问题。

想到server能支持Memcached协议真是好啊,客户端基本只要用个libmemcached就好了,多服务器分布,容错,多份数据啥的都有现成的解决方案,只要把server做稳定了就基本ok了,对咱这种小团队来说再合适不过了,节省了很多开发维护成本啊,现在内存这么便宜,部署几个点实在是很easy的问题。

 

 

Posted on 2011-01-23 17:13 袁斌 阅读(2037) 评论(1)  编辑 收藏 引用 所属分类: c++

Feedback

# re: 让后端服务器支持memcached协议  回复  更多评论   

2011-01-23 19:07 by 杨粼波
它的应用是很广泛的,不管是在线游戏的领域,还是大型网站的领域里面,比比皆是。

在现在,内存越来越便宜,但是磁盘硬盘IO很慢的情况下,不失为一个良好的解决方案。当然,等到固态硬盘技术普及了之后,可能就不再需要考虑数据库的IO问题了。

当然,memcache的解决方案也不是万金油,要想减少数据库对磁盘的IO操作,那倒是足够了。

只有注册用户登录后才能发表评论。
网站导航: 博客园   IT新闻   BlogJava   知识库   博问   管理