Hadoop分布式文件系统HDFS和OpenStack对象存储系统Swift有何不同

发布网友发布时间：2022-05-23 07:38

共1个回答

热心网友时间：2023-10-16 23:05

然HDFS与Openstack对象存储（Swift）之间有着一些相似之处，但是这两种系统的总体设计却大不一样。
1. HDFS使用了*系统来维护文件元数据（Namenode，名称节点），而在Swift中，元数据呈分布式，跨集群复制。使用一种*元数据系统对HDFS来说无异于单一故障点，因而扩展到规模非常大的环境显得更困难。
2. Swift在设计时考虑到了多租户架构，而HDFS没有多租户架构这个概念。
3. HDFS针对更庞大的文件作了优化（这是处理数据时通常会出现的情况），Swift被设计成了可以存储任何大小的文件。
4. 在HDFS中，文件写入一次，而且每次只能有一个文件写入；而在Swift中，文件可以写入多次；在并发操作环境下，以最近一次操作为准。
5. HDFS用Java来编写，而Swift用Python来编写。
另外，HDFS被设计成了可以存储数量中等的大文件，以支持数据处理，而Swift被设计成了一种比较通用的存储解决方案，能够可靠地存储数量非常多的大小不一的文件。