大數據運維工程師

職位描述

崗位職責：

1、負責公司hadoop平臺管理維護；

2、協同業務部門進行hadoop相關項目實施；

3、規范管理數據接入，管理數據使用；

4、ETL流程規范，創建數據管理流程、標準；

5、IT內部大數據探索；

6、其他平臺系統的運維管理（云平臺等）。 

任職要求：

1、計算機、電子、數學或者統計學相關本科以上學歷，3年以上工作經歷；

2、熟悉HADOOP整體架構體系，業務解決方案，架構規劃，技術方案，以及后期的平臺維護，問題原因查找與解決；

3、有hadoop集群部署、管理、優化經驗，至少熟悉使用Cloudera\MAPR\Hortonworks\星環其中一種

4、具備MapReduce、HDFS、Hbase、Hive、Pig、Sqoop、Oozie、Flume、Zookeeper、spark等大規模集群的開發、運維經驗者優先；

5、掌握Python/Shell/Java中至1種開發語言；了解ETL使用及運維

6、能維護Hadoop源碼，有Hadoop源代碼BUG修復或者源代碼優化經驗者優先；

7、了解oracle、myaql、redis等數據庫技術，具有一定的數據庫運維管理經驗；

8、在AI、ML、DL上有所了解，熟悉大數據高級分析工具及語言。