海量图片存储用hadoop是否合适？存储在哪个节点上能否由我们自己决定

发布网友发布时间：2022-04-25 20:59

共2个回答

热心网友时间：2023-10-15 04:30

hadoop可以实现海量数据的存储，它包含分布式文件系统HDFS，所以您说的一部分存在节点1，一部分存在节点2上肯定可行
当你需要存储比较大的文件时，HDFS会把它分成多个小块（块的大小可以自己定）来进行分布式存储，而且名字节点会记录存的位置，当应用程序请求计算时，会将计算移到相应的数据附近，所以用hadoop，就相信它好了，当然你也可以在它上面附加一些自己的安全管理模块，或其它中间件等，毕竟hadoop也有不尽人意的地方，还需要改进。
目前*，淘宝，yahoo！等都用hadoop构建了自己的数据中心来支持海量数据的存储追问那假如提供现在提供海量的图片需要我们去存储，那我是否需要关心怎么存储这些图片，也就是说我们需要特地去编写maprecer去实现应该把图片存储在哪个节点上吗？还是HDFS本身就有这方面的功能自己去安排数据该怎么存？

追答HDFS是文件系统，你就导入存储图片数据的文件就行，跟maprece无关，maprece是处理数据的，就是怎样帮你快速处理那些海量图片数据，找出你想用的资源。你可以看下专门介绍HDFS的文档，向HDFS里添加数据文件，可以手动用命令添加（适合文件量比较小的），也可以编写代码来添加（文件量比较大的情况下建议用这种方法）

热心网友时间：2023-10-15 04:30

海量图片存储，推荐杉岩海量对象存储MOS，采用去中心化、分布式技术架构，支持百亿级文件及EB级容量存储，
具备高效的数据检索、智能化标签和分析能力，轻松应对大数据和云时代的存储挑战，为企业发展提供智能决策。