jianlinzhang

  C++博客 :: 首页 :: 新随笔 :: 联系 :: 聚合  :: 管理 ::
  16 随笔 :: 2 文章 :: 17 评论 :: 0 Trackbacks
    最近一段时间,由于开题,我们系统的研究了存储系统。从传统的分布式存储到现在比较流行的p2p分布式存储都有了一些新的认识。
下面我来总结一下这几天的成效:
    首先,对于传统的分布式系统,无非是在不同的区域搭建一些服务器,然后再在这些服务器上存储数据。它解决了一些集中式存储的问题,但是也存在着比如服务器成为瓶颈、由于带宽而带来的访问不便等问题。因此,p2p分布式存储应运而生!
    我们再来分析p2p分布式存储,他的总体思想就是让客户也成为服务器,当你在存储数据的同时,也提供空间让别人来存储。这就很好的解决了由于服务器很少而产生的瓶颈,也能在速度上加以改进。但是同样它也带来了很多的问题:(1)数据稳定性、(2)数据的一致性、(3)数据的安全性和隐私性、(4)数据的防攻击性。当然还有技术上的难题,比如覆盖网络和节点信息收集算法,数据的放置与组织,复制管理,负载平衡,数据迁移,数据索引,公平性维护。。。
    现有的p2p分布式存储主要分为两种类型:p2p存储服务系统,主要是采用许多服务器用对等的方式整合起来,来提供服务的一类存储系统,比如现有的OceanStore,PAST,CFS,Tangler,Granary。还有一类便是p2p存储交换系统,主要构架是纯p2p的模式,用以实现数据的备份,当然用户得付出一些代价。现有的系统如Freenet, Nations, Pastiche, FARSITE.
    p2p存储系统体系结构.无论是p2p存储服务系统还是p2p存储交换系统,他们的基本体系结构都是相同的,主要是一下的5个层次:覆盖网和信息收集,基本数据放置和组织,数据放置和组织优化,基本的系统映像和系统映像的转换与上层应用。
    现有的许多p2p分布式存储系统比较。首先是最早的分布式存储系统OceanStore,它利用Tapestry路由机制,支持对大量复制的移动数据的串行化更行策略,提供了专门的存储,在架构上采取了自己的专用服务器,来保证数据的稳定性,一致性与安全性,在很多策略上都值得我们借鉴,但是是需要客户付费,而且设计很复杂。然后我们介绍另外一种分布式存储系统PAST,它也是基于存储服务的,它与OceanStore最大的不同就是设计是一切从简的。它采用Pastry提供的路由机制,试图利用网络中限制的存储节点建立一个更为完善的存储语义。主要是向用户提供了一组key-value对的数据存储,在解决负载均衡方面也有其独道之处。最重要的是它不支持并发访问,即它只提供个人存储,不提供共享。最后我们讨论一下基于p2p存储交换系统——Pastiche,它主要用来进行备份操作系统。由于该系统不提供服务器存储,所以用户提供了一定的空间但不一定他能享受同样大小的空间,比如一个用户提供了1G空间,但最后他可能只能享受500M或者更小,因为其余的空间需要进行复制策略。但是由于操作系统的文件重复率很高,所以在复制时可以减少一定的冗余量。(如有需要了解更多的关于这些系统的细节,可以联系我)。
    现在我想介绍一下最近几年比较流行的Hadoop Distributed File System。由于其开源性,当你需要进行深入研究和想继续改进功能与性能时,可以好好学习一下。HDFS是基于大数据集的存储系统。该系统中拥有一个名字节点(NameNode)和多个数据节点(DataNode)。一个文件被分割为一个或者多个数据块,这些数据块存储在一组数据节点中。名字结点执行文件系统的名字空间操作,比如打开、关闭、重命名文件或目录,还决定数据块从数据结点的映射。数据结点负责提供客户的读写请求。数据结点还依照名字结点的指令执行数据块的创建、删除复制工作。
    最后我介绍一下我们的想法:我们是在利用教育网的网络条件下,产生一个新系统,来完成以下三个方面的功能与应用,首先是数据的迁移,其应用场景如当你需要传送大文件时,就现在的一些网络和软件,还没有完全很好的方法,还有如你在需要打印东西时,当你没有优盘时,也可以采用我们的系统;其次是数据的共享,其应用场景如当你想共享你的一些mp3或者其他的资料时,可以很方便的上载上去;最后是空间的优化,我们想实现用户在系统中运用的空间比他提供给该系统的空间一样或者更多,而且采用“激励机制”,让用户的使用空间还可以有少量的增加,但我们不收取费用。 
posted on 2008-12-02 12:34 张建林 阅读(3143) 评论(2)  编辑 收藏 引用

评论

# re: 关于p2p分布式存储 2008-12-02 19:39 Springer`
顶  回复  更多评论
  

# re: 关于p2p分布式存储 2009-05-27 19:18 yzy
非常感谢,写的非常好,我现在正在准备开题,研究方向也是这方面的,该帖子对我有很大的启发。。。  回复  更多评论
  


只有注册用户登录后才能发表评论。
网站导航: 博客园   IT新闻   BlogJava   知识库   博问   管理