大数据分析师是做什么的?

发布网友 发布时间：2022-04-22 00:18

我来回答

共4个回答

热心网友 时间：2022-05-13 16:11

数据分析主要是做数据的收集、挖掘、清洗、分析,最后形成具有业务价值的分析报告.
大包括数据体量的大，也包括数据维度的广.
大数据工程师是个很重要的工作，就是通过分析数据来找出过去事件的特征。通过引入关键因素，大数据工程师可以预测未来的消费趋势。在阿里妈妈的营销平台上，工程师正试图通过引入气象数据来帮助淘宝卖家做生意。
举例
今年夏天不热，很可能某些产品就没有去年畅销，除了空调、电扇，背心、游泳衣等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系，找到与之相关的品类，提前警示卖家周转库存。
根据不同企业的业务性质，大数据工程师可以通过数据分析来达到不同的目的。
而大数据分析师需要掌握的技能有五点
懂业务。从事数据分析工作的前提就会需要懂业务，即熟悉行业知识、公司业务及流程，较好有自己独到的见解，若脱离行业认知和公司业务背景，分析的结果只会是脱了线的风筝，没有太大的使用价值。
懂管理。
方面是搭建数据分析框架的要求，比如确定分析思路就需要用到营销、管理等理论知识来指导，如果不熟悉管理理论，就很难搭建数据分析的框架，后续的数据分析也很难进行。另
方面的作用是针对数据分析结论提出有指导意义的分析建议。
懂分析。指掌握数据分析基本原理与
些有效的数据分析方法，并能灵活运用到实践工作中，以便有效的开展数据分析。基本的分析方法有：对比分析法、分组分析法、交叉分析法、结构分析法、漏斗图分析法、综合评价分析法、因素分析法、矩阵关联分析法等。高
的分析方法有：相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列等。
懂工具。指掌握数据分析相关的常用工具。数据分析方法是理论，而数据分析工具就是实现数据分析方法理论的工具，面对越来越庞大的数据，我们不能依靠计算器进行分析，必须依靠强大的数据分析工具帮我们完成数据分析工作。
懂设计。懂设计是指运用图表有效表达数据分析师的分析观点，使分析结果
目了然。图表的设计是门大学问，如图形的选择、版式的设计、颜色的搭配等等，都需要掌握
定的设计原则。

热心网友 时间：2022-05-13 17:29

总结一句话就是 写 SQL （很多入职一两年的大数据工程师主要的工作就是写 SQL ）
还有其他的
2 为集群搭大数据环境（一般公司招大数据工程师环境都已经搭好了，公司内部会有现成的大数据平台，但我这边会私下搞一套测试环境，毕竟公司内部的大数据系统权限*很多，严重影响开发效率）
3 维护大数据平台（这个应该是每个大数据工程师都做过的工作，或多或少会承担“运维”的工作）
4 数据迁移（有部分公司需要把数据从传统的数据库 Oracle、MySQL 等数据迁移到大数据集群中，这个是比较繁琐的工作，吃力不讨好）
5 应用迁移（有部分公司需要把应用从传统的数据库 Oracle、MySQL 等数据库的存储过程程序或者SQL脚本迁移到大数据平台上，这个过程也是非常繁琐的工作，无聊，高度重复且麻烦，吃力不讨好）
6 数据采集（采集日志数据、文件数据、接口数据，这个涉及到各种格式的转换，一般用得比较多的是 Flume 和 Logstash）
7 数据处理
7.1 离线数据处理（这个一般就是写写 SQL 然后扔到 Hive 中跑，其实和第一点有点重复了）
7.2 实时数据处理（这个涉及到消息队列，Kafka，Spark，Flink 这些，组件，一般就是 Flume 采集到数据发给 Kafka 然后 Spark 消费 Kafka 的数据进行处理）
8 数据可视化（这个我司是用 Spring Boot 连接后台数据与前端，前端用自己魔改的 echarts）
9 大数据平台开发（偏Java方向的，大概就是把开源的组件整合起来整成一个可用的大数据平台这样，常见的是各种难用的 PaaS 平台）
10 数据中台开发（中台需要支持接入各种数据源，把各种数据源清洗转换为可用的数据，然后再基于原始数据搭建起宽表层，一般为了节省开发成本和服务器资源，都是基于宽表层查询出业务数据）
11 搭建数据仓库（这里的数据仓库的搭建不是指 Hive ，Hive 是搭建数仓的工具，数仓搭建一般会分为三层 ODS、DW、DM 层，其中DW是最重要的，它又可以分为DWD,DWM,DWS，这个层级只是逻辑上的概念，类似于把表名按照层级区分开来的操作，分层的目的是防止开发数据应用的时候直接访问底层数据，可以减少资源，注意，减少资源开销是减少 内存 和 CPU 的开销，分层后磁盘占用会大大增加，磁盘不值钱所以没什么关系，分层可以使数据表的逻辑更加清晰，方便进一步的开发操作，如果分层没有做好会导致逻辑混乱，新来的员工难以接手业务，提高公司的运营成本，还有这个建数仓也分为建离线和实时的）
总之就是离不开写 SQL ...

热心网友 时间：2022-05-13 19:04

付费内容限时免费查看回答大数据分析师要学会打破信息孤岛利用各种数据源，在海量数据中寻找数据规律，在海量数据中发现数据异常。负责大数据数据分析和挖掘平台的规划、开发、运营和优化；根据项目设计开发数据模型、数据挖掘和处理算法；通过数据探索和模型的输出进行分析，给出分析结果。

提问我是文科生，想从事数据分析工作。一般考什么等级数据分析师就够用了

一般性的企业或公司

回答现在数据分析师有3个等级：级别Level I（业务分析师）、Level II（建模分析师）和Level II（大数据分析师）、Level III（数据科学家）。

一般一级就可以

提问太多的公式和模型，担心不懂。

一级就可以去一些几十人的公司或淘宝和电商

回答对的

提问

假如按照英语等级水平来说，level3等于英语六级，level2等于英语四级，level1等于参加高考英语水平吗？然后level1水平就可以教小学初中高中英语了，对吧。

回答对的

热心网友 时间：2022-05-13 20:55

“大数据分析师就是通过数据的分析，来确定数据的商业价值，让数据变成生产力。”而大数据和传统数据的最大区别在于，它是在线的、实时的、规模海量且形式不规整的，并没有章法可循，因此，能够利用这些数据的人就很重要。