大数据工程师和大数据开发工程师的职能有何区别
发布网友
发布时间：2023-12-25 08:30
共1个回答
热心网友
时间：2024-11-30 07:38
大数据工程师和大数据开发工程师两者之间没有区别。大数据工程师指的就是大数据开发工程师。大数据工程师（即大数据开发工程师）从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务。
大数据工程师（即大数据开发工程师）的职能如下：
1、大数据采集（爬虫）、大数据清洗（ETL工程师）、大数据建模（算法工程师）与大数据分析（数据分析员）。
2、管理、分析展现及应用等技术（大数据开发工程师）。
3、研究、应用大数据平台体系架构、技术和标准。
4、设计、开发、集成、测试大数据软硬件系统。
5、管理、维护并保障大数据系统稳定运行。
6、监控、管理和保障大数据安全。
7、提供大数据的技术咨询和技术服务。
扩展资料：
大数据工程师（即大数据开发工程师）的技能要求：
1、精通Java技术知识，熟悉Spark、kafka、Hive、HBase、zookeeper、HDFS、MR等应用设计及开发。
2、了解python/shell等脚本语言。
3、熟悉大数据平台架构，对ETL、数据仓库等有一定了解。
4、有数据可视化、数据分析、数学模型建立相关经验者优先考虑。
5、有爬虫系统开发经验者优先。
