由于原先的appserver功能不断增多,最近又增了两个功能,需要不断从后端memcached中提取数据并进行计算,由于提取数据量大且频繁,导致效率很低,粗测了一下,获取数据和格式化等操作花了90%以上的时间,由此设想将memcached改写或重写一个支持memcached的服务器,将计算功能和memcached做到一起,让获取数据的路径最短,也就最大限度减少了数据传输和格式化等操作,就是类似存储过程一样啦,这部分可以考虑使用插件来实现,甚至可考虑使用脚本语言来实现。
网上搜了一下,果然发现早有人这么干了,正所谓英雄所见啊,呵呵。具体方法倒很多,自定义key命名,根据特殊key在get、set、replace上做特殊操作,或者根据命令中的flag等做特殊处理,或者扩充stat命令等,都是可以的,我们暂时就考虑修改特殊的键值做特殊处理。
要做一个完备的既支持ascii命令又支持binary命令的兼容memcached还是有一点点麻烦的,我暂时也没有太多需求,所以就仅支持了ascii命令,其实也是考虑支持ascii的客户端更多,各种语言的支持mc的客户端数不胜数,但大多只支持ascii命令。由于我之前为了测试服务器框架效率,做过一个支持ascii命令的memcached兼容版本,因此拿过来直接使用太方便了,这个版本的实现其实很容易,如果有一个较好的框架代码的话基本上在一天之内可做完,当然要做到很好可能需要多花一些时间,我现在做的也不是特好,要完全取代memcached使用还是有些差距,主要是一些过期机制等没完全实现,虽然速度上比标准mc版本还要快一点,呵呵,因为暂时的确是不需要这些过期机制,所以也没打算这个版本实现,其他功能基本上都有。
以后准备将这个memcached解码部分作为一个单独的解析器,和支持其他协议一样,换上这个解析那就支持mc协议了,还是很方便的,以后有空还是要做个支持binary协议的,以便可以更高效的解决问题。
想到server能支持Memcached协议真是好啊,客户端基本只要用个libmemcached就好了,多服务器分布,容错,多份数据啥的都有现成的解决方案,只要把server做稳定了就基本ok了,对咱这种小团队来说再合适不过了,节省了很多开发维护成本啊,现在内存这么便宜,部署几个点实在是很easy的问题。