为什么当下众多企业都在着力搭建自己的大数据平台?

发布网友发布时间：2022-04-26 11:57

共12个回答

热心网友时间：2022-04-13 15:13

（1）操作系统的选择操作系统一般使用开源版的RedHat、Centos或者Debian作为底层的构建平台，要根据大数据平台所要搭建的数据分析工具可以支持的系统，正确的选择操作系统的版本。

（2）搭建Hadoop集群Hadoop作为一个开发和运行处理大规模数据的软件平台，实现了在大量的廉价计算机组成的集群中对海量数据进行分布式计算。Hadoop框架中最核心的设计是HDFS和MapRece，HDFS是一个高度容错性的系统，适合部署在廉价的机器上，能够提供高吞吐量的数据访问，适用于那些有着超大数据集的应用程序；MapRece是一套可以从海量的数据中提取数据最后返回结果集的编程模型。在生产实践应用中，Hadoop非常适合应用于大数据存储和大数据的分析应用，适合服务于几千台到几万台大的服务器的集群运行，支持PB级别的存储容量。

（3）选择数据接入和预处理工具面对各种来源的数据，数据接入就是将这些零散的数据整合在一起，综合起来进行分析。数据接入主要包括文件日志的接入、数据库日志的接入、关系型数据库的接入和应用程序等的接入，数据接入常用的工具有Flume，Logstash，NDC（网易数据运河系统），sqoop等。对于实时性要求比较高的业务场景，比如对存在于社交网站、新闻等的数据信息流需要进行快速的处理反馈，那么数据的接入可以使用开源的Strom，Spark streaming等。

（4）数据存储除了Hadoop中已广泛应用于数据存储的HDFS，常用的还有分布式、面向列的开源数据库Hbase，HBase是一种key/value系统，部署在HDFS上，与Hadoop一样，HBase的目标主要是依赖横向扩展，通过不断的增加廉价的商用服务器，增加计算和存储能力。
（5）选择数据挖掘工具Hive可以将结构化的数据映射为一张数据库表，并提供HQL的查询功能，它是建立在Hadoop之上的数据仓库基础架构，是为了减少MapRece编写工作的批处理系统，它的出现可以让那些精通SQL技能、但是不熟悉MapRece、编程能力较弱和不擅长Java的用户能够在HDFS大规模数据集上很好的利用SQL语言查询、汇总、分析数据。

热心网友时间：2022-04-13 16:31

大数据时代是未来的趋势，为了适应社会发展，必须建立，这样才能够生存下去。

何为大数据

过去，大数据指的是那些数量庞大而复杂的数据集，其大小超出了常用软件工具在可容忍的时间内捕获、管理和处理数据的能力。一个更能达成共识的定义就是：大数据代表的信息资产的特点是具有非常庞大的数量，产生的速度非常快以及数据的多样性，这些特点决定了需要特定的技术和分析方法来实现其价值的转化。因此，其实近期“大数据”已经很少用来指数据集的大小了，现在更倾向于指人们使用预测分析、用户行为分析或某些其他高级的数据分析方法，从数据中提取信息创造价值。因为数据本身的价值是无法直接可见的，但是通过各种数据计算和分析，可以将人们无法注意到的信息从数据中提取出来，创造价值。

这也是为什么企业们纷纷想搭建大数据分析平台的原因。每天企业的内部运营支撑系统和外部与客户的交互系统都能产生大量的数据，如何利用这些数据向企业内部和外部企业客户提供具有极大商业价值的信息支撑和智能解决方案已经成为企业的重要的无形资产。根据企业量身定做的大数据分析平台，可为企业提供报表工具、分析工具、结合企业的实际需求进行的解决方案实施服务；企业的管理人员、业务分析人员等也可以通过web、手机或者其他移动设备访问，以便随时了解企业的关键指标和进行深度业务分析。

何为大数据分析平台？

首先，最底层的是各种各样的数据源。当今的IT生态系统，需要对各种不同种类来源的数据进行分析。这些来源有可能是系统内部的日志数据，也有可能是来源于其他接口的数据等等。

然后从这些数据源采集各种符合企业需求的数据，经过验证、清洗、并转化为所需格式后，储存到一个合适的持久化储存层中。

下一阶段是数据的处理和分析，包括从数据分析人员从原始数据中分析出来的一些拓展信息，在这一阶段中的一部分干净数据是去规范化的，包括对一些相关数据集的数据进行一些排序，在规定的时间间隔内进行数据结果归集，执行机器学习算法，分析预测等。

最后一层，是可视化和展示各个不同分析算法处理过的结果。这个步骤包括从预先计算汇总的结果中读取和用一种友好界面或者表格的形式展示出来，这样便于企业内部非专业人员对数据分析结果的理解。

大数据分析平台的应用

最基础的大数据分析平台有上述的几层架构，如果是数据量庞大的企业，会需要架构更加复杂的分析平台。

如果我们现在要为一间规模庞大的金融集团构建大数据分析平台，这个金融集团的基本现状为其商城已经建立面向整个零售业务的数据仓库，整合了前台业务运营数据和后台管理数据，建立了面向零售的管理分析应用；并且开展了供应链金融、人人贷和保理等多种业务，积累了一定量的业务数据，同时业务人员也从客户管理、风险评级和经营规模预测等方面，提出了大量分析预测需求。但是该集团仍然存在一些问题，它的商城数据仓库积累的数据没有充分的利用，缺乏面向整个金融集团的统一、完整的数据视图，以及缺乏支撑金融集团日常业务运转的风险评估体系和客户的360度视图，客户行为分析和预测无法实现。

那么，想而知，对于这个集团目前建设基础数据平台和BI应用是未来一段时间的重点。通过数据平台和BI应用建设，他们可以搭建统一的大数据共享和分析平台，对各类业务进行前瞻性预测分析，并为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力。下图为该集团的大数据分析平台的效果图，可视为最终的建设目标。

热心网友时间：2022-04-13 18:06

大数据平台可以提高人们的认知能力，是社会发展的必然产物。大数据平台可以使各地区之间的关联性已经越来越强，打破数据行业堡垒，引入外部数据源、进行多源数据汇聚融合，依靠大数据平台得到的大数据分析结果将一定程度上纠正过去人们对事物片面的认识，给人们带来全新的认知

热心网友时间：2022-04-13 19:57

大数据平台就是旨在为计算机世界提供一个尽可能全局的、综合的视图。利用大数据平台帮助我们发现事物间的关联性，多个角度去看待问题，辅助我们做出正确的决策，并推测出整个形式的发展趋势和结果，辅助用户决策，从而实现更大的商业价值。

热心网友时间：2022-04-13 22:05

因为在这个时代，大数据能解决很多问题，能帮企业很多

热心网友时间：2022-04-14 00:30

因为大数据对于大企业来说很是重要，可以解决很多事

热心网友时间：2022-04-14 03:11

大数据意味着有很多的优势，在做出服务回应的时候更准确

热心网友时间：2022-04-14 06:09

因为有大平台数据才能发展下去

热心网友时间：2022-04-14 09:24

有了自己的大数据平台当然就好挣钱了呀

热心网友时间：2022-04-14 12:55

搭建大数据平台已经成为大势所趋

热心网友时间：2022-04-14 16:43

要发展，必须跟上时代的潮流

热心网友时间：2022-04-14 20:48

对自己有利好挣钱