岗位职责:
1、进行大数据架构的规划设计,参与到业务建模及数据化运营平台的搭建、运维,对业务流程与大数据的结合提出设计方案,并且落地实施;
2、独立完成基于大数据平台的业务项目的开发、实施和维护工作;
3、负责解决大数据平台建设过程中的技术难点和性能调优工作;
4、负责数据仓库设计,根据业务需求实现高效率高灵活性的查询,数据分析,数据挖掘;
5、负责高吞吐高可用数据实时和离线采集,高并发的大数据业务架构设计
6、负责研发技术发展方向,新技术领域的探索,引入并验证数据平台领域新技术,提供系统效能
任职资格:
1、具有2年以上的大数据开发经验,熟悉大数据、数据仓库,分布式架构技术理论,具有大数据整体系统架构设计和实战经验,熟悉CDH、HDP、TDH至少一款大数据产品,有从无到有建设大数据平台经验者优先;
2、熟悉大数据组件的开发、搭建、维护以及性能优化;
3、较强的开发能力,必须熟练使用相关开发语言(Java/Python/Scala/Shell等)、大数据生态、数据库、Linux等相关知识,能够独立完成并指导初级开发人员完成大数据相关的技术实现和调优;
4、熟练掌握和应用大数据生态体系,熟练掌握一种主流消息队列框架,对Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Kafka、Flume、kylin等组件/技术中的一个或者多个有深入理解,阅读并理解底层源码;
5、Kafka,Spark,Impala,Hive,Shell必须熟练掌握,熟练应用开发,必须精通复杂数据查询性能调优,包括实时查询和离线批处理查询,服务器和生态组件的参数优化。
6、了解基础算法、统计学知识优先;
7、对大数据技术及开源框架充满热情,具有钻研精神,提供相关培训和必要支持。
联系我时,请说是在云南招聘网上看到的,谢谢!