Hadoop运维工程师岗位职责

Hadoop运维工程师是做什么的?本文提供Hadoop运维工程师的岗位职责例子,包括详细的工作内容及任职要求。

岗位职责：

1.负责Hadoop相关项目日常运行维护、故障排查工作；

2.负责Hadoop集群的监控和配置调优工作；

3.负责Hadoop平台的用户管理、权限分配、资源分配；

4.负责集群服务器软件的安装、维护、部署、更新；

任职要求：

1.熟悉Hadoop生态，知晓HDFS、YARN、Kafka、HBase、hive等Hadoop生态技术的体系结构和运行原理可对大数据平台进行性能调优，升级扩容、性能监控以及配置调优具备1年以上Hadoop大数据平台运维经验；

2.熟悉linux系统，熟练使用shell/python/perl中至少一种具备1年以上linux管理工作经验；

3.熟练使用git版本控制，jenkins持续集成工具；

4.具有良好的学习能力、沟通能力和团队合作精神；具有强烈的进取精神和乐观的工作态。

任职资格
1.计算机或相关专业本科以上学历；
2.二年以上Hadoop大数据平台实际生产环境经验；熟悉Apache spark资源管理、调度和性能调优；熟悉Spark，Kafka，HDFS，Hive，Hbase，MapReduce，Yarn，Flume，Mesos，ZooKeeper中的2个以上组件；
3.理解Spark和MapReduce的原理，能够根据日志分析程序运行出现错误的原因，并对程序运行的参数进行优化，给予业务开发人员建议和支持；
4.熟悉分布式系统、分布式计算系统的工作机制，熟悉Hadoop生态圈相关核心技术的工作机理；有一定源码研究者优先；
5.熟悉Linux系统管理工作；熟悉Shell编程，能够编写脚本解决日常问题，包括自动化的工作流设计；
6.熟悉Scala或者Python编程者优先。

岗位职责
1.负责高并发，大存储和实时流的Hadoop/spark大数据平台规划，运维，监控和优化工作；
2.保证Hadoop/spark平台各核心服务运行的稳定、高效；
3.对Hadoop/spark平台运维不断优化，提升数据产品的质量和响应速度；
4.开发各种Hadoop大数据自动化运维与监控工具；
5.平台大数据环境的部署维护和技术支持;
6.应用故障的处理跟踪及统计汇总分析;
7.应用安全，数据的日常备份和应急恢复。岗位职责：
1、负责移动大数据中心的建设与维护；
2、负责安徽移动hadoop集群的故障排查、解决；
3、其他省份hadoop项目建设提供技术支持。

任职资格：
1、国家统招本科，2年以上工作经验；
2、有Java开发经验，对hadoop源码有研究，具备部署、实施、维护hadoop的能力。
3、有较为丰富的linux 安装、配置、系统管理、调优经验；
4、熟悉存储、网络原理、了解他企业级软件如tomcat、weblogic、mysql等安装，配置和优化；
5、参与过电信行业2年以上维护、实施、设计工作；
6、熟悉系统集成、机房管理等工作流程。岗位职责：
1. 负责Hadoop及相关组件的部署和维护，保证其稳定运行；
2. 开发和使用Hadoop大数据自动化运维与监控工具；
3. 基于大数据应用需求，不断调整和优化Hadoop框架及组件的配置，提升性能；
4. 为数据仓库、数据挖掘建模等数据应用项目提供运行环境支持；
任职要求：
1. 本科及以上学历，计算机相关专业，2年以上相关工作经验；
2. 熟悉Linux开发环境和shell脚本；
3. 熟悉Hadoop及其相关组件部署维护，有实际大数据集群运维经验；
4. 熟悉IT系统基础架构及网络原理，具备大型集群运维经验；
5. 熟悉数据仓库