岗位职责：

1、大数据平台搭建与维护；

2、大数据处理与分析；

3、数据仓库建设；

4、大数据应用软件开发；

5、撰写产品及解决方案文档，组织内外部培训；

6、完成上级交办的其他能力范围内工作。

岗位要求：

1、掌握离线、实时计算开发能力，熟悉并能够熟练运用数据仓库模型设计方法，具有实际的数据模型设计及 ETL 开发经验，能够高效完成数据处理流程的设计和实现。

2、深入掌握 Hadoop 生态相关的技术及开发，包括 Flink、Hive on spark、Doris、CDH、REDIS、Dolphinscheduler、kafka 等，具备基于分布式存储与计算平台进行应用开发和性能优化的丰富经验，能够充分发挥大数据平台的性能优势。

3、熟练掌握至少一门编程语言，如Python、 Java、Scala 等，具备良好的编程习惯和代码质量意识，能够运用编程语言高效实现大数据处理算法和业务逻辑；同时具备软件开发能力，能够参与大数据相关软件的需求分析、架构设计和代码实现，熟悉软件开发流程和规范，有良好的代码管理和版本控制意识。

4、熟悉集群环境的日常运维管理，能够熟练处理 CDH、FLINK、Dolphinscheduler、Doris 集群等环境中出现的各种问题，确保集群的稳定运行。

5、具备扎实的关系型数据库开发能力，熟练掌握 SQL 语言，能够进行复杂的数据库查询、优化、存储过程编写；熟悉至少一种主流关系型数据库（如 MySQL、Oracle、SQL Server）的架构设计、性能调优和日常维护，能够处理数据的增删改查及事务管理等操作。