大数据如何入门
发布网友
发布时间：2022-03-25 11:21
共12个回答
热心网友
时间：2022-03-25 12:50
首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。
大数据
Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。
Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。
Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。
Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。
Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。
Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。
Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。
Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。
Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。
热心网友
时间：2022-03-25 14:08
导读：
第一章：初识Hadoop
第二章：更高效的WordCount
第三章：把别处的数据搞到Hadoop上
第四章：把Hadoop上的数据搞到别处去
第五章：快一点吧，我的SQL
第六章：一夫多妻制
第七章：越来越多的分析任务
第八章：我的数据要实时
第九章：我的数据要对外
第十章：牛*高大上的机器学习
经常有初学者会问，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高……首先，如果你确定了想往这个方面发展，先考虑自己的过去从业经历、专业、兴趣是什么。计算机专业——操作系统、硬件、网络、服务器？软件专业——软件开发、编程、写代码？还是数学、统计学专业——对数据和数字特别感兴趣？
其实这就是想告诉你大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。
先扯一下大数据的4V特征：
数据量大，TB->PB
数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；
商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来；
处理时效性高，海量数据的处理需求不再局限在离线计算当中。
现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：
文件存储：Hadoop HDFS、Tachyon、KFS
离线计算：Hadoop MapRece、Spark
流式、实时计算：Storm、Spark Streaming、S4、Heron
K-V、NOSQL数据库：HBase、Redis、MongoDB
资源管理：YARN、Mesos
日志收集：Flume、Scribe、Logstash、Kibana
消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ
查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式协调服务：Zookeeper
集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager
数据挖掘、机器学习：Mahout、Spark MLLib
数据同步：Sqoop
任务调度：Oozie
······
第一章：初识Hadoop
1.1 学会百度与Google
不论遇到什么问题，先试试搜索并自己解决。
Google首选，翻不过去的，就用百度吧。
1.2 参考资料首选官方文档
特别是对于入门来说，官方文档永远是首选文档。
相信搞这块的大多是文化人，英文凑合就行，实在看不下去的，请参考第一步。
1.3 先让Hadoop跑起来
Hadoop可以算是大数据存储和计算的开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。
关于Hadoop,你至少需要搞清楚以下是什么：
Hadoop 1.0、Hadoop 2.0
MapRece、HDFS
NameNode、DataNode
JobTracker、TaskTracker
Yarn、ResourceManager、NodeManager
自己搭建Hadoop，请使用第一步和第二步，能让它跑起来就行。
建议先使用安装包命令行安装，不要使用管理工具安装。
另外：Hadoop1.0知道它就行了，现在都用Hadoop 2.0.
1.4 尝试使用Hadoop
HDFS目录操作命令；
上传、下载文件命令；
提交运行MapRece示例程序；
打开Hadoop WEB界面，查看Job运行状态，查看Job运行日志。
知道Hadoop的系统日志在哪里。
1.5了解它们的原理
MapRece：如何分而治之；
HDFS：数据到底在哪里，什么是副本；
Yarn到底是什么，它能干什么；
NameNode到底在干些什么；
ResourceManager到底在干些什么；
1.6 自己写一个MapRece程序
仿照WordCount例子，自己写一个（照抄也行）WordCount程序，
打包并提交到Hadoop运行。
不会Java的话，Shell、Python都可以，有个东西叫Hadoop Streaming。
如果能认真完成了以上几步，恭喜你，你的一只脚已经进来了。
第二章：更高效的WordCount
2.1 学点SQL吧
如果不懂数据库的童鞋先学习使用SQL句。
2.2 SQL版WordCount
在1.6中，你写（或者抄）的WordCount一共有几行代码？
如果用SQL的话：
SELECT word,COUNT(1) FROM wordcount GROUP BY word;这便是SQL的魅力，编程需要几十行，甚至上百行代码，SQL一句就搞定；使用SQL处理分析Hadoop上的数据，方便、高效、易上手、更是趋势。不论是离线计算还是实时计算，越来越多的大数据处理框架都在积极提供SQL接口。
2.3 安装配置Hive
Hive算是数据仓库工具，安装不难，网上有很多教程，配置完成后，可以正常进入Hive命令行。
2.4 试试使用Hive
尝试在Hive中创建wordcount表，并运行2.2中的SQL语句。在Hadoop WEB界面中找到刚才运行的SQL任务。看SQL查询结果是否和1.4中MapRece中的结果一致。
明明写的是SQL，为什么Hadoop WEB界面中看到的是MapRece任务？
2.5 学会Hive的基本命令
创建、删除表；加载数据到表；下载Hive表的数据；并学习更多关于Hive的语法和命令。
以上如果按照第一章和第二章的流程认真完整的走了一遍后，应该已经具备以下技能和知识点：
0和Hadoop2.0的区别
MapRece的原理（还是那个经典的题目，一个10G大小的文件，给定1G大小的内存，如何使用Java程序统计出现次数最多的10个单词及次数）；
HDFS读写数据的流程；向HDFS中PUT数据；从HDFS中下载数据；
自己会写简单的MapRece程序，运行出现问题，知道在哪里查看日志；
会写简单的SELECT、WHERE、GROUP BY等SQL语句；
Hive SQL转换成MapRece的大致流程；
Hive中常见的语句：创建表、删除表、往表中加载数据、分区、将表中数据下载到本地；
从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapRece是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapRece，提交运行。
此时，你的认知中“大数据平台”是这样的：
那么问题来了，海量数据如何到HDFS上呢？
第三章：把别处的数据搞到Hadoop上
此处也可以叫做数据采集，把各个数据源的数据采集到Hadoop上。
3.1 HDFS PUT命令
put命令在实际环境中也比较常用，通常配合shell、python等脚本语言来使用。建议需熟练掌握。
3.2 HDFS API
HDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。
实际环境中一般自己较少编写程序使用API来写数据到HDFS，通常都是使用其他框架封装好的方法。比如：Hive中的INSERT语句，Spark中的saveAsTextfile等。
可以尝试了解原理，试着写几个Demo。
3.3 Sqoop
Sqoop是一个主要用于Hadoop/Hive与传统关系型数据库Oracle/MySQL/SQLServer等之间进行数据交换的开源框架。
就像Hive把SQL翻译成MapRece一样，Sqoop把你指定的参数翻译成MapRece，提交到Hadoop运行，完成Hadoop与其他数据库之间的数据交换。
自己下载和配置Sqoop（建议先使用Sqoop1，Sqoop2比较复杂）。
了解Sqoop常用的配置参数和方法。
使用Sqoop完成从MySQL同步数据到HDFS；
使用Sqoop完成从MySQL同步数据到Hive表；
PS：如果后续选型确定使用Sqoop作为数据交换工具，那么建议熟练掌握，否则，了解和会用Demo即可。
3.4 Flume
Flume是一个分布式的海量日志采集和传输框架，因为“采集和传输框架”，所以它并不适合关系型数据库的数据采集和传输。Flume可以实时的从网络协议、消息系统、文件系统采集日志，并传输到HDFS上。因此，如果你的业务有这些数据源的数据，并且需要实时的采集，那么就应该考虑使用Flume。
下载和配置Flume。使用Flume监控一个不断追加数据的文件，并将数据传输到HDFS；
PS：Flume的配置和使用较为复杂，如果你没有足够的兴趣和耐心，可以先跳过Flume。
3.5 阿里开源的DataX
之所以介绍这个，是因为以前某公司客户目前使用的Hadoop与关系型数据库数据交换的工具，就是之前基于DataX开发的，个人感觉非常好用。现在DataX已经是3.0版本，支持很多数据源。你也可以在其之上做二次开发。
PS：有兴趣的可以研究和使用一下，对比一下它与Sqoop。
至此，你的“大数据平台”应该是这样的：
第四章：把Hadoop上的数据搞到别处去
前面介绍了如何把数据源的数据采集到Hadoop上，数据到Hadoop上之后，便可以使用Hive和MapRece进行分析了。那么接下来的问题是，分析完的结果如何从Hadoop上同步到其他系统和应用中去呢？
其实此处的方法和第三章基本一致的。
4.1 HDFS GET命令
把HDFS上的文件GET到本地。需要熟练掌握。
4.2 HDFS API
原理同3.2.
4.3 Sqoop
原理同3.3。
使用Sqoop完成将HDFS上的文件同步到MySQL；
使用Sqoop完成将Hive表中的数据同步到MySQL；
4.4 DataX
原理同3.4
此时，“你的大数据平台”应该是这样的：
走完第三章和第四章的流程，那么你应该已经具备以下技能和知识点：
知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集；
知道sqoop（或者还有DataX）是HDFS和其他数据源之间的数据交换工具；
知道flume可以用作实时的日志采集；
至此，对于大数据平台，应该已经掌握如何搭建Hadoop集群，把数据采集到Hadoop上，使用Hive和MapRece来分析数据，把分析结果同步到其他数据源。
接下来的问题就是，Hive使用的越来越多，你会发现很多不愉快的地方，特别是速度慢，
大多情况下，明明我的数据量很小，它都要申请资源，启动MapRece来执行。
第五章：快一点吧，我的SQL
其实大家都已经发现Hive后台使用MapRece作为执行引擎，实在是有点慢。因此SQL On Hadoop的框架越来越多，按我的了解，最常用的按照流行度依次为SparkSQL、Impala和Presto.这三种框架基于半内存或者全内存，提供了SQL接口来快速查询分析Hadoop上的数据。
目前我们的方案使用的是SparkSQL，至于为什么用SparkSQL，原因大概如下：
使用Spark还做了其他事情，不想引入过多的框架；
Impala对内存的需求太大，没有过多资源部署；
5.1 关于Spark和SparkSQL
什么是Spark，什么是SparkSQL。
Spark有的核心概念及名词解释。
SparkSQL和Spark是什么关系，SparkSQL和Hive是什么关系。
SparkSQL为什么比Hive跑的快。
可参考：SparkSQL与Hive on Spark的比较
5.2 如何部署和运行SparkSQL
Spark有哪些部署模式？
如何在Yarn上运行SparkSQL？
使用SparkSQL查询Hive中的表。
可参考：Spark - lxw的大数据田地
PS: Spark不是一门短时间内就能掌握的技术，因此建议在了解了Spark之后，可以先从SparkSQL入手，循序渐进。
如果认真完成了上面的学习和实践，此时，你的”大数据平台”应该是这样的：
第六章：一夫多妻制
其实我想说的是数据的一次采集、多次消费。
在实际业务场景下，特别是对于一些监控日志，想即时的从日志中了解一些指标（关于实时计算，后面章节会有介绍），这时候，从HDFS上分析就太慢了，尽管是通过Flume采集的，但Flume也不能间隔很短就往HDFS上滚动文件，这样会导致小文件特别多。
为了满足数据的一次采集、多次消费的需求，这里要说的便是Kafka。
6.1 关于Kafka
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。
6.2 如何部署和使用Kafka
使用单机部署Kafka，并成功运行自带的生产者和消费者例子。
使用Java程序自己编写并运行生产者和消费者程序。
Flume和Kafka的集成，使用Flume监控日志，并将日志数据实时发送至Kafka。
关于Kafka，可以参考 ：Kafka - lxw的大数据田地
至此，“大数据平台”应该扩充成这样：
这时，使用Flume采集的数据，不是直接到HDFS上，而是先到Kafka，Kafka中的数据可以由多个消费者同时消费，其中一个消费者，就是将数据同步到HDFS。
总结：
为什么Spark比MapRece快。
使用SparkSQL代替Hive，更快的运行SQL。
使用Kafka完成数据的一次收集，多次消费架构。
自己可以写程序完成Kafka的生产者和消费者。
前面的学习已经掌握了大数据平台中的数据采集、数据存储和计算、数据交换等大部分技能，而这其中的每一步，都需要一个任务（程序）来完成，各个任务之间又存在一定的依赖性，比如，必须等数据采集任务成功完成后，数据计算任务才能开始运行。如果一个任务执行失败，需要给开发运维人员发送告警，同时需要提供完整的日志来方便查错。
第七章：越来越多的分析任务
不仅仅是分析任务，数据采集、数据交换同样是一个个的任务。这些任务中，有的是定时触发，有点则需要依赖其他任务来触发。当平台中有几百上千个任务需要维护和运行时候，仅仅靠crontab远远不够了，这时便需要一个调度监控系统来完成这件事。调度监控系统是整个数据平台的中枢系统，类似于AppMaster，负责分配和监控任务。
7.1 Apache Oozie
1. Oozie是什么？有哪些功能？
2. Oozie可以调度哪些类型的任务（程序）？
3. Oozie可以支持哪些任务触发方式？
4.安装配置Oozie。
7.2 其他开源的任务调度系统
Azkaban
light-task-scheler
alibaba/zeus
……
此时：
第八章：数据要实时
在第六章介绍Kafka的时候提到了一些需要实时指标的业务场景，实时基本可以分为绝对实时和准实时，绝对实时的延迟要求一般在毫秒级，准实时的延迟要求一般在秒、分钟级。对于需要绝对实时的业务场景，用的比较多的是Storm，对于其他准实时的业务场景，可以是Storm，也可以是Spark Streaming。当然，如果可以的话，也可以自己写程序来做。
8.1 Storm
1. 什么是Storm？有哪些可能的应用场景？
2. Storm由哪些核心组件构成，各自担任什么角色？
3. Storm的简单安装和部署。
4. 自己编写Demo程序，使用Storm完成实时数据流计算。
8.2 Spark Streaming
1. 什么是Spark Streaming，它和Spark是什么关系？
2. Spark Streaming和Storm比较，各有什么优缺点？
3. 使用Kafka + Spark Streaming，完成实时计算的Demo程序。
此时：
至此，大数据平台底层架构已经成型了，其中包括了数据采集、数据存储与计算（离线和实时）、数据同步、任务调度与监控这几大模块。接下来是时候考虑如何更好的对外提供数据了。
第九章：数据要对外
通常对外（业务）提供数据访问，大体上包含以下方面：
离线：比如，每天将前一天的数据提供到指定的数据源（DB、FILE、FTP）等；
离线数据的提供可以采用Sqoop、DataX等离线数据交换工具。
实时：比如，在线网站的推荐系统，需要实时从数据平台中获取给用户的推荐数据，这种要求延时非常低（50毫秒以内）。
根据延时要求和实时数据的查询需要，可能的方案有：HBase、Redis、MongoDB、ElasticSearch等。
OLAP分析：OLAP除了要求底层的数据模型比较规范，另外，对查询的响应速度要求也越来越高，可能的方案有：Impala、Presto、SparkSQL、Kylin。如果你的数据模型比较规模，那么Kylin是最好的选择。
即席查询：即席查询的数据比较随意，一般很难建立通用的数据模型，因此可能的方案有：Impala、Presto、SparkSQL。
这么多比较成熟的框架和方案，需要结合自己的业务需求及数据平台技术架构，选择合适的。原则只有一个：越简单越稳定的，就是最好的。
如果你已经掌握了如何很好的对外（业务）提供数据，那么你的“大数据平台”应该是这样的：
第十章：牛*高大上的机器学习
这里本人也没有接触太多，稍微讲一下我们的业务场景应用，遇到的能用机器学习解决的问题大概这么三类：
分类问题：包括二分类和多分类，二分类就是解决了预测的问题，就像预测一封邮件是否垃圾邮件；多分类解决的是文本的分类；
聚类问题：从用户搜索过的关键词，对用户进行大概的归类。
推荐问题：根据用户的历史浏览和点击行为进行相关推荐。
大多数行业，使用机器学习解决的，也就是这几类问题。
入门学习线路：
数学基础；
机器学习实战（Machine Learning in Action），懂Python最好；
SparkMlLib提供了一些封装好的算法，以及特征处理、特征选择的方法。
那么把机器学习部分加进 “大数据平台”。
热心网友
时间：2022-03-25 15:43
热心网友
时间：2022-03-25 17:34
大数据入门学习路线
热心网友
时间：2022-03-25 19:42
热心网友
时间：2022-03-25 22:07
热心网友
时间：2022-03-26 00:48
大数据前景是很不错的，像大数据这样的专业还是一线城市比较好，师资力量跟得上、就业的薪资也是可观的，学大数据面授班的时间大约半年，学大数据可以按照路线图的顺序，
学大数据关键是找到靠谱的大数据培训机构，你可以深度了解机构的口碑情况，问问周围知道这家机构的人，除了口碑再了解机构的以下几方面：
1. 师资力量雄厚
要想有1+1>2的实际效果，很关键的一点是师资队伍，你接下来无论是找个工作还是工作中出任哪些的人物角色，都越来越爱你本身的技术专业大数据技术性，也许的技术专业大数据技术性则绝大多数来自你的技术专业大数据教师，一个好的大数据培训机构必须具备雄厚的师资力量。
2. 就业保障完善
实现1+1>2效果的关键在于能够为你提供良好的发展平台，即能够为你提供良好的就业保障，让学员能够学到实在实在的知识，并向大数据学员提供一对一的就业指导，确保学员找到自己的心理工作。
3. 学费性价比高
一个好的大数据培训机构肯定能给你带来1+1>2的效果，如果你在一个由专业的大数据教师领导并由大数据培训机构自己提供的平台上工作，你将获得比以往更多的投资。
希望你早日学有所成。
热心网友
时间：2022-03-26 03:46
大数据工程师，众所周知，在没有大数据以前，行业应用已经非常成熟了，最早大家只关注功能的实现，接着重视前台的界面，前端工程师因此火了一段时间，因为以前数据量不大，所以在功能上并不重视，由于移动互联网的发展，数据量非常庞大了，这个时候单机服务器不能解决问题，那么分布式集群就出现了，大数据工程师的职责就是搭建大数据平台，所以从上图可以得知，大数据工程师，需要有java基础（行业应用大部分是java语言编写的），所以，今后想从事该岗位的，那么学习的路线图如下
java基础----linux----hadoop-----hive、hbase----scala---spark
算法工程师，该岗位零基础的小伙伴就请止步吧，更适用于数学专业的研究生及以上学历，对数据基础要求比较高。
数据挖掘工程师，建议从python入手，毕竟python里面有大量的数据科学的包，也有pyspark，直接从spark里面调数据，不用学习Scala语言（spark的编程语言是Scala），学习的路线如下：
python基础—python web（强化编程基础）--数学基础补充（线性代数、概率统计、离散数学）--python numpy pandas包---机器学习算法---深度学习
数据分析师，该岗位对数学基础要求不高，但对综合素质要求非常高，能充分的理解行业行情、公司运营、产品运作、对市场敏锐度较高。具备一定的编程基础，建议学习python，能熟练使用相关的工具，如excel，sas、spss等，能写漂亮的文章做PPT就行，数学基础不好的女生可以建议走该方向。
学习路线：python基础—python numpy pandas包---excel—spss---sas
大数据可视化，该岗位需要前端的相关基础，大数据运维工程师，也不多做介绍了。
根据以上的岗位介绍，对自己做一个整体的规划
个人是建议从大数据工程师入手，从java基础开始学，毕竟编程基础是每个岗位都需要的，而且java的适用面是最广的，虽然现在python的势头很足，但相对java来说，python比较简单，只要java能熟练使用了，要学会python，两周的时间就没问题，从长远的职业规划来说，学习没有速成的方法，脚踏实地才是最重要的。
我这有大数据工程师详细的学习的计划，分享给大家，希望对你们有帮助。
第一阶段：静态网页基础（HTML+CSS）
难易程度：一颗星
主要技术包括：html常用标签、CSS常见布局、样式、定位等、静态页面的设计制作方式等
第二阶段：JavaSE+JavaWeb
难易程度：两颗星
主要技术包括：java基础语法、java面向对象（类、对象、封装、继承、多态、
抽象类、接口、常见类、内部类、常见修饰符等） 、异常、集合、文件、IO、
MYSQL(基本SQL语句操作、多表查询、子查询、存储过程、事务、分布式事务)
JDBC、线程、反射、Socket编程、枚举、泛型、设计模式
第三阶段：前端框架
难易程序：两星
主要技术包括：JavaScript、Jquery、注解反射一起使用，XML以及XML解析、解析dom4j、jxab、jdk8.0新特性、SVN、Maven、easyui
第四阶段：企业级开发框架
难易程序：三颗星
主要技术包括：Hibernate、Spring、SpringMVC、log4j slf4j 整合、myBatis、struts2、Shiro 、redis、流程引擎activity， 爬虫技术nutch,lucene，webService CXF、Tomcat集群和热备 、MySQL读写分离
第五阶段： 初识大数据
难易程度：三颗星
主要技术包括：大数据前篇（什么是大数据，应用场景，如何学习大数据库，虚拟机概念和安装等）、Linux常见命令(文件管理、系统管理、磁盘管理)、Linux Shell编程（SHELL变量、循环控制、应用）、Hadoop入门（Hadoop组成、单机版环境、目录结构、HDFS界面、MR界面、简单的SHELL、java访问hadoop）、HDFS(简介、SHELL、IDEA开发工具使用、全分布式集群搭建)、MapRece应用(中间计算过程、Java操作MapRece、程序运行、日志监控)、Hadoop高级应用(YARN框架介绍、配置项与优化、CDH简介、环境搭建)、扩展(MAP 端优化，COMBINER 使用方法见,TOP K,SQOOP导出,其它虚拟机VM的快照,权限管理命令,AWK 与 SED命令)
第六阶段：大数据数据库
难易程度：四颗星
主要技术包括：Hive入门（Hive简介、Hive使用场景、环境搭建、架构说明、工作机制）、Hive Shell编程（建表、查询语句、分区与分桶、索引管理和视图）、Hive高级应用(DISTINCT实现、groupby、join、sql转化原理、java编程、配置和优化)、hbase入门、Hbase SHELL编程(DDL、DML、Java操作建表、查询、压缩、过滤器)、细说Hbase模块（REGION、HREGION SERVER、HMASTER、ZOOKEEPER简介、ZOOKEEPER配置、Hbase与Zookeeper集成）、HBASE高级特性(读写流程、数据模型、模式设计读写热点、优化与配置)
第七阶段：实时数据采集
难易程序：四颗星
主要技术包括：Flume日志采集，KAFKA入门（消息队列、应用场景、集群搭建）、KAFKA详解（分区、主题、接受者、发送者、与ZOOKEEPER集成、Shell开发、Shell调试）、KAFKA高级使用（java开发、主要配置、优化项目）、数据可视化（图形与图表介绍、CHARTS工具分类、柱状图与饼图、3D图与地图）、STORM入门（设计思想、应用场景、处理过程、集群安装）、STROM开发（STROM MVN开发、编写STORM本地程序）、STORM进阶（java开发、主要配置、优化项目）、KAFKA异步发送与批量发送时效，KAFKA全局消息有序，STORM多并发优化
第八阶段：SPARK数据分析
难易程序：五颗星
主要技术包括：SCALA入门(数据类型、运算符、控制语句、基础函数)、SCALA进阶(数据结构、类、对象、特质、模式匹配、正则表达式)、SCALA高级使用（高阶函数、科里函数、偏函数、尾迭代、自带高阶函数等）、SPARK入门(环境搭建、基础结构、运行模式)、Spark数据集与编程模型、SPARK SQL、SPARK 进阶（DATA FRAME、DATASET、SPARK STREAMING原理、SPARK STREAMING支持源、集成KAFKA与SOCKET、编程模型）、SPARK高级编程（Spark-GraphX、Spark-Mllib机器学习）、SPARK高级应用（系统架构、主要配置和性能优化、故障与阶段恢复）、SPARK ML KMEANS算法，SCALA 隐式转化高级特性
希望对您有所帮助！~
热心网友
时间：2022-03-26 07:01
Hadoop:这是现在流行的大数据处理平台几乎已经成为大数据的代名词,所以这个是必学的。
Hadoop里面包括几个组件HDFS、MapRece和YARN, HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，
MapRece是对数据进行处理计算的,它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。
记住学到这里可以作为你学大数据的一个节点。
Zookeeper:这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。
它一般用来存放- -些相互协作的信息，这些信息比较小一般不会超过1M,都是使用它的软件对它有依赖，
对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。
Mysql:我们学习完大数据的处理了,接下来学习学习小数据的处理工具mysq|数据库,因为一会装hive的时候要用到，
mysq|需要掌握到什么层度那?你能在Linux 上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。
这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。
热心网友
时间：2022-03-26 10:32
大数据需要学习：
第一阶段： Java开发·
第二阶段： 大数据基础·
第三阶段： Hadoop生态体系·
第四阶段： Spark生态系统·
第五阶段： 项目实战
在学习大数据之前是要把Java搞清楚，建议学习这三部分内容：
1、Java基础。掌握面向对象的开发过程，清晰封装、继承、多态以及掌握多线程的创建。
2、Java操作数据库。掌握数据库知识以及如何使用Java完成数据库操作对学习大数据非常重要。
3、Java Web开发。重点内容，很多大数据落地应用都采用Java Web技术来呈现。
完成以上内容的学习之后，下一步就是搭建Hadoop及Spark平台，然后在平台上使用Java完成一系列功能的实现。这部分内容比较多，需要较长的时间来学习， 建议找个老老师带你吧。
热心网友
时间：2022-03-26 14:20
对于大数据的入门学习，基础不一样，起点就会不一样，今天先来说说，对于零基础的同学想要学习大数据的方式方法吧！很多人可能感到不可思议，零基础怎么可能学习大数据，没有编程基础怎么能入门呢？其实这个观点是很正确的，对于大数据的开发而言，是需要一定的编程基础的，所以我们的大数据入门级课程就落在了编程语言的学习。
现在一般的大数据入门课程，都是从编程语言开始教授的，但请你一定要认清一个问题，编程语言只是大数据课程的一小部分，如果整个大数据的课程一大部分都是编程语言的教授，你就要小心了，这真的不是真正的大数据课程。还有一些“戏精”机构以HTML5、Java、大数据可视化等擦边知识， 混淆真实大数据授课标准课程，蒙蔽学员，发现时才追悔莫及。我们总结以下假课，避免学员入坑。
不靠谱的大数据学习课程总结如下：
1、大数据偏HTML5
课程偏重HTML5、css、HTMl、AJAX、jQuery、AngleJs、Js等内容讲解。
2、大数据偏Java
课程偏重Java、JavaWeb、Spring、SpringMVC、MyBatis、HTCargo项目实战。
3、大数据偏大数据可视化
课程偏重Photoshop、Javascript及可视化工具，就职大数据运维工程师。薪资低、就业慢，岗位少。
4、大数据偏测试课程
课程偏重数据库管理系统（DBMS）、VBScript脚本语言等。
靠谱的大数据学习课程如下：
靠谱的大数据学习课程，要让学生掌握计算机技术、hadoop 、spark、storm开发、hive 数据库、Linux 操作系统等知识，具备分布式存储、分布式计算框架等技术，熟悉大数据处理和分析技术。
其中，大数据生态体系的各个模块的功能和开发技术，包括 Hadoop 体系中的 HDFS， Hbase 进行数据操作，MapRece 进行数据开发，YARN 进行资源配置，Hive 完成数据仓库，Pig进行数据分析，以及 Oozie，Zookeeper，Sqoop 和 Flume 等模块。还有Spark 生态体系的学习，及其 Scala 基础和 SparkSQL 开发。
话不多说了，想要学习大数据的，快开始行动吧！
热心网友
时间：2022-03-26 18:25
http://www.bilibili.com/video/av47114104?p=1
