问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

hadoop主要应用领域包括以下哪些

发布网友 发布时间:2022-04-25 20:58

我来回答

1个回答

热心网友 时间:2022-04-14 06:38

Hadoop本身是一个生态圈. 整个生态圈里包含了底层的分布式存储HDFS, 计算框架Maprece, 集群调度管理工具Zookeeper,集群资源管理工具YARN, 分布式数据库HBASE等等. 我拿淘宝的店铺淘生意举一个例子吧, 可能不是那么准确:
比如一个店铺一天有10万的访客量, 你想分析的诸如这些访客来自哪里,性别,年龄,访问过什么商品,买过什么商品等等都会在访问网站的时候留下相关的痕迹文件(简称日志),比如这些文件一天就有1TB,那么你怎么存大文件?一个客户可能对应的特性就有上万条,你怎么在数据库里存大表,又怎么分析用户特性?这些都依赖于Hadoop的框架.
现在假设你有一个10台机器的集群:
HDFS:可以将你每天生成的1TB文件拆分存储在这个集群内. Zookeeper可以监控你的文件系统以及其他主从框架的服务是否正常在线. YARN则可在集群内协调你的CPU/内存资源,当有任务的时候可以合理分配资源进行计算,Maprece则是执行分析计算的基本框架,HBASE则可以将你分析后的数据保存在整个分布式集群内. 以供其它应用来进行进一步的分析展示. 其它的Spark/Storm/HIVE/Impala/cassandra 等等在这就不说了.
总之,涉及超大数据进行存储分析等领域,都是以Hadoop为基本框架的,至少底层都是HDFS 纯手打,忘采纳.
声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
电脑常用的系统是常见的电脑操作系统有哪些 电脑有哪些系统软件电脑都有哪些系统 csgo箱子开哪个性价比高-七种高性价比箱子详情介绍 word的空白页怎么删除不了word中空白页删不掉解决方法 word空白页怎么删除不了 删除不掉解决方法 word空白页怎么删除不了word中为什么空白页删不掉 word中删除空白页怎么删word空白页删除不掉咋办 表白两次她都说我们继续做朋友,我还有机会吗? 糖尿病人运动最佳方式 糖尿病的人要怎样运动 配置hadoop集群是怎么配置的 Hadoop的优点和缺点是什么? Hadoop中的HA集群 sudo chmod -R 555什么意思? chmod -R 1777什么意思 hadoop集群中hadoop需要启动哪些进程 hadoop集群正常有哪些进程 linux中 #chmod –R 777 * 是什么意思 Hadoop集群的核心组件不包括 Hadoop有哪几个组成部分?-ITJOB chmod -R o=--- ./test 谁能解释一下这是什么意思--- ./test Hadoop集群可以运行的3个模式分别是什么,有哪些注意点 Linux:chmod -R 777 * 是什么意思? linux环境下使用chmod -r 777 修改文件夹下的文件及文件夹权限_百度知 ... chmod怎么读? 太平人寿保险有限公司全无忧防癌保险费率 太平人寿的福禄倍至和全无忧哪种适合36岁女子 太平人寿全无忧防癌险能退多少 全无忧防癌险交多少 买了太平人寿的全无忧 ,患了急性淋巴细胞白血病能理赔吗 hadoop集群设置 多少个节点 多个hadoop集群怎么配 linux命令:chmod 美的空调e8是什么故障?解决办法 iPhone13promax怎么设置电梯卡 iphone13pro能添加门禁卡吗 苹果手机13promax如何安装门禁 美团众包是开近单模式好还是同城模式好? 美团同城核心派单吗 美团同城模式 先抢订单派单吗? 美团同城核心派跑腿单吗 美团同城模式先抢同城标签订单派单吗还是得要抢? 美团同城模式为什么不能开 美团众包开同城模式能跑没开通众包的地方吗 美团同城模式自动派单必须没单5公里么? 美团外卖同同城模式开了送货会不会越跑越远回不来? 美团同城模式怎样才能做得多一点? 美团众包开通同城模式后只能抢同城标志的单吗? 为什么别人美团那么多单自己那么少 达尔优鼠标em915二代怎么设置吃鸡压*宏啊?数据什么的得多少啊,求个文件,谢谢。