Hadoop有哪些优缺点?
发布网友
发布时间:2022-04-25 21:00
我来回答
共1个回答
热心网友
时间:2022-04-14 08:58
一、HDFS缺点:
1、不能做到低延迟:由于hadoop针对高数据吞吐量做了优化,牺牲了获取数据的延迟,所以对于低延迟数据访问,不适合hadoop,对于低延迟的访问需求,HBase是更好的选择,
2、不适合大量的小文件存储:由于namenode将文件系统的元数据存储在内存中,因此该文件系统所能存储的文件总数受限于namenode的内存容量,根据经验,每个文件、目录和数据块的存储信息大约占150字节。
3、不适合多用户写入文件,修改文件:Hadoop2.0虽然支持文件的追加功能,但是还是不建议对HDFS上的 文件进行修改,因为效率低。
4、对于上传到HDFS上的文件,不支持修改文件,HDFS适合一次写入,多次读取的场景。
5、HDFS不支持多用户同时执行写操作,即同一时间,只能有一个用户执行写操作。
二、HDFS优点:
1、高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
2、高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。
3、高效性。Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。
4、高容错性。Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。
5、低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比,hadoop是开源的,项目的软件成本因此会大大降低。
6、Hadoop带有用Java语言编写的框架,因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写,比如 C++。
一、 Hadoop 特点
1、支持超大文件:一般来说,HDFS存储的文件可以支持TB和PB级别的数据。
2、检测和快速应对硬件故障:在集群环境中,硬件故障是常见性问题。因为有上千台服务器连在一起,故障率高,因此故障检测和自动恢复hdfs文件系统的一个设计目标。
3、流式数据访问:HDFS的数据处理规模比较大,应用一次需要大量的数据,同时这些应用一般都是批量处理,而不是用户交互式处理,应用程序能以流的形式访问数据库。
4、简化的一致性模型:对于外部使用用户,不需要了解hadoop底层细节,比如文件的切块,文件的存储,节点的管理。
5、高容错性:数据自动保存多个副本,副本丢失后自动恢复。可构建在廉价机上,实现线性(横向)扩展,当集群增加新节点之后,namenode也可以感知,将数据分发和备份到相应的节点上。
6、商用硬件:Hadoop并不需要运行在昂贵且高可靠的硬件上,它是设计运行在商用硬件的集群上的,因此至少对于庞大的集群来说,节点故障的几率还是非常高的。HDFS遇到上述故障时,被设计成能够继续运行且不让用户察觉到明显的中断。
Hadoop的优点和缺点是什么?
3、Hadoop能够在节点之间进行动态地移动数据,并保证各个节点的动态平衡,处理速度非常快,具有高效性。4、Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配,具有高容错性。Hadoop的缺点:1、Hadoop不适用于低延迟数据访问。2、Hadoop不能高效存储大量小文件。3、Hadoop不支持多用户写入并...
Hadoop有哪些优缺点?
1、高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。2、高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。3、高效性。Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。4、高容错性。Hadoop能够自...
hadoop有哪些优缺点
Hadoop的优缺点介绍:(一) 优点:(一)高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖;(二)高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。(三)高效性。Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此...
hadoop与传统的关系型数据库(如oracle)相比,有什么优势及劣势?_百度...
1、hadoop是个轻量级的产品,又是开源的,不像dpf那么复杂,还要购买商业软件,搭个DPF环境需要费挺大力气的。hadoop能处理半结构化,非结构化数据。但hadoop要写mapreduce函数,这个比起SQL来,方便灵活性差太多了。2、hadoop是个轻量级的产品,又是开源的,不像dpf那么复杂,还要购买商业软体,搭个DPF...
hadoop2.0安全机制优缺点
Hadoop 2.0安全机制的优缺点:优点:身份验证和授权:Hadoop 2.0引入了Kerberos身份验证,这使得用户可以验证其身份,并允许特定的用户访问特定的资源。这大大增强了安全性。数据加密:Hadoop 2.0支持数据加密,这可以防止数据在传输过程中被窃取。这对于在公共网络上传输数据的用户来说是一个重要的安全...
HDFS的优缺点以及应用场景
适合一次写入,多次读出场景,而且不支持文件的随机修改,但是支持文件的追加 .适合做数据分析 随机修改:把已经写过的内存进行修改 追加:在之前文件写的基础上面后面继续加内容 优点:缺点:实际工作中本人自己测试过,一个文件/目录/文件块大概是占用的元数据内存是150B,假如有100W个小文件,每个文件都...
MooseFS和Hadoop两个分布式文件系统各有什么优缺点
态,然后才能和Master或者ChunkServer通信;3.MooseFS提供了快照功能,HDFS目前还没有看到这个方面的实际开发行 动;4.MooseFS针对小文件和随机I/O进行了一些优化;说到主流这个问题,HDFS具有压倒性的优势:Facebook、Yahoo、阿里、腾讯、百度等等都是使用者,社区也更为活跃,谁让Apache Software ...
四.(一)HDFS优缺点
Hadoop中HDFS优缺点 HDFS的优点: 1、处理超大文件 这里的超大文件通常是指百MB、甚至数百TB大小的文件。目前在实际应用...
hadoop搭建在windows下和linux下有何优缺点
hadoop是运行在linux下的并行计算框架,在windows上搭建也是通过cygwin模拟linux的环境来运行,所以个人觉得直接在windows下搭建hadoop几乎没有任何好处,还不如在windows上安装linux的虚拟机,通过虚拟机中的linux系统来运行hadoop
HBase和oracle,Hadoop的区别?
Hbase作为Hadoop下的一个子项目,目前发展比较强大,和传统的关系型数据库oracle来比,两者各有优缺点,我们先看一个简单的表格。数据维护:比如更新,只是按照key值插入新的记录,旧版本还在,会在storefile合并过程中进行删除数据维护:增删查改非常方便,直接修改 以上简单罗列了Hbase和Oracle两者的区别,...