职位描述
技能要求:
Java,Spark,Hive,Linux,Hadoop,MongoDB
岗位职责:
1、负责大数据实时、离线分析处理;
2、面向业务目标,从数据模型、数据分布、数据传输、数据存储等方面进行大数据系统的开发;
3、负责数据仓库建设、设计、优化和落地;
4、负责数据ETL开发、数据平台建设、ETL数据准确性验证及ETL任务的优化;
5、数据仓库需求调研和需求分析。
任职要求:
1、本科及以上学历,计算机相关专业;
2、熟悉常用开源分布式系统,精通Hadoop/Hive/Spark/Storm/Hbase/Kafka/Flume组件中的至少四个以上;
3、参与过完整的数据采集、数据清洗整理、分析和建模等工作;
4、有大规模分布式系统开发、维护经验,有故障处理能力,源码级开发能力;
5、熟悉Linux开发环境,熟练掌握至少一种编程语言(Java / Python / SHELL / Scala);
6、有较强的逻辑思维能力,善于分析、归纳、快速定位并解决问题;
7、有数据分析工具平台的开发经验者优先;
8、具有良好的学习能力、时间和流程意识、沟通协作能力;
9、可接受中短期出差。
专业要求
技能要求