大数据开发工程师岗位职责

大数据开发工程师是做什么的?本文提供大数据开发工程师的岗位职责例子,包括详细的工作内容及任职要求。

1、参与大数据平台相关的数据整合清洗、数据应用的设计和开发

2.协助用户完成用户测试，解决测试发现的问题。

任职要求：

1、本科及以上学历，计算机或相关专业，2年以上DW/BI项目实施和开发经验

2、熟悉大数据开源产品的架构和技术细节，具有Hadoop、Mapreduce、HBase、Hive、Spark、Kafka、Redis 等大数据平台开发经验

3、有金融、互联网金融、电商、广告等行业数据仓库，数据挖掘经验

4、精通SQL，熟练使用至少一种数据库，如Oracle、MySQL、PostgreSQL等

1、3年以上工作经验；至少有一个数据仓库/数据集市/ODS项目开发经验；
2、精通oracle数据库的开发（view/TRIGER/function/procedure/package）及SQL调优，熟悉oracle数据库的基础原理；
3、精通ETL工具datastage开发；
4、熟悉linux/Unix系统，有shell/Perl脚本开发能力；
5、具备良好的分析能力和沟通协调能力，能够承受较高的压力，工作认真负责，积极主动，有较高的效率；
6、熟悉一种主流商用调度工具TWS/control-M/AUTOSYS优先；
7、熟悉Python开发优先；

岗位职责:

1、参与大数据平台的搭建、开发和维护工作；

2、负责大数据采集、清洗、整合等工作；

3、负责大数据平台文本挖掘分析等工作；

4、负责BI以及报表开发；

5、参与新技术选型和调研，解决不断增长的海量数据带来的存储和计算挑战。

任职资格:

1、本科以上学历，计算机、信息管理等相关专业；

2、深厚的Java功底，3年及以上的并发编程经验，参与过分布式高性能服务的设计开发过程，有大规模分布式系统的实践经验；

3、熟悉hadoop/kafka/flume/storm/spark/zookeeper等相关技术；

4、熟悉常见数据库如oracle/mysql，有Nosql数据库如mongoDb等经验者优先；

5、熟悉redis或memcache者优先；

6、对于分布式系统有一定了解，有海量数据处理经验；

7、具备较强学习能力，良好的沟通能力和团队合作意识

1、负责基于Hadoop/Spark/Hive/Storm/kafka等分布式计算平台实现离线分析、实时分析的计算框架；

2、负责平台数据仓库的选型、设计、开发、维护工作；

3、负责上述计算平台系统的可用性、容量、性能、监控、发布、安全等运维管理工作，确保系统持续稳定、高效运行；

4、协调大数据团队高效的进行数据处理、分析、统计、挖掘工作；

岗位要求：

1、熟悉服务器/存储/网络/OS等基础架构基本元素，熟悉linux操作系统，具备较强的调优排障能力；

2、熟悉Hadoop、Spark等大数据框架，有大型分布式计算开发、部署等相关经验；

3、熟悉shell/python或其他脚本语言中的任意一门，有扎实的Java开发基础，了解jvm的运行机制以及相应调优；

4、能够独立完成项目的系统分析、设计，并主导完成详细设计和编码的任务。

5、注重性能，良好的代码管理及重构意识。具备独立沟通需求，设计，架构，开发的能力；

6、熟悉主流的数据存储产品，有开发经验者优先。如：HBase，Hive，Redis，MongoDB，MySQL等；

7、有团队管理经验者优先。