【集团】大数据运维 上海 全职 职位描述 1.参与自研类DataWorks平台的架构设计和研发落地，确保平台的高可用和扩展性等。2.负责核心功能模块的开发和维护，包括统一数据集成（实时、离线）、数据研发（实时、离线）、统一作业调度（调度引擎、调度编排）、数据分析（adhoc、batch、混合引擎）、数据地图（元数据采集、全链路血缘）、数据治理（数据质量评测体系，质量指标、监控告警）等。 职位要求 1.本科及以上学历，计算机科学、软件工程或相关专业。2.互联网5年以上大数据平台开发经验（熟悉DataWorks平台或类似数据平台，了解数据开发用户视角，如IDE体验、调试效率）。3.熟练掌握Java、Python、SQL等编程语言。4.熟练掌握SpringCloud分布式微服务技术栈，包括：SpringBoot、Redis、MQ/Kafka、MySQL/PostgreSQL等。 5.熟练掌握Hadoop大数据技术栈特性和应用，包括：HDFS/MR/Yarn、Hive、HBase、Spark、Flink、Presto/ClickHouse/Doris等。6.熟悉Ad-Hoc（即席）、Batch（批）、Stream（流）、数据湖等大数据开发框架，了解技术原理和应用场景，具备开发实践经验。 7.熟悉DolphinScheduler/Airflow等大数据调度框架，了解技术原理和应用场景，具备开发实践经验。 加分项： -有dify \豆包等大模型应用、结合垂直领域赋能业务。-有Jupyter、Python数据分析工具集成（如Pandas、NumPy、Scikit-learn）/机器学习/数据治理体系/数据分析知识、实际项目经验者优先。 投递...
大数据开发工程师 东莞 职能部门类 本科及以上 3-5 年 职位描述 （1）大数据开发1、负责大数据离线开发，使用Sqoop等组件开发每日离线数据采集任务，使用Hive/Spark SQL编写ETL作业过程，处理各种复杂的业务逻辑，根据业务逻辑配置合理的调度顺序；2、负责大数据实时开发，使用Flink/Spark实时计算引擎开发实时流作业，读取接口/文本/数据库日志/消息队列中间件等数据源，经过业务逻辑加工处理后写入大数据平台；3、保障数据产出时效稳定，每天监控数据产出时间，采取调度链路优化，作业优化，SQL优化等手段，提升数据产出效率。（2）集团数据资产建设1、根据各个业务领域项目推进过程中沉淀的数据分析体系，维护成可方便检索，查找和应用的数据资产，包含业务口径，出数频率，数据样例等关键业务和技术元数据；2、根据数据分析师提供的数据质量规则，开发相应的数据校验程序，确保跑数完成后即刻校验，确保高质量的数据资产；3、生成相应的数据服务接口，可供前端应用，BI工具和业务系统调用。（3）数据仓库模型设计1、根据业务领域数据特征以及维度建模的方法，横向划分数据仓库分析主题域，纵向划分层次，达成数据重复利用率高且能快速开发数据需求的目的；2、定义各个数仓分层，考虑数据写入和查询的性能，提升作业的运行速度，报表查询数据时的高复用性和易扩展性；3、通过合理的数据模型设计，提高数据的查询性能和分析效率，降低维护成本。（4）制定规范1、制定公司数据仓库架构设计原则，输出数据仓库模型设计的基本原则；2、制定公司数据开发的开发规范。 职位要求 （1）教育程度：本科毕业3年以上，计算机，信息工程，数学等相关专业毕业；（2）相关经验：具有3年以上大数据开发相关经验；（3）专业能力：1.具备数据仓库架构和设计能力，熟悉维度建模的方法；2.良好的沟通和逻辑思维能力，能够对业务需求进行抽象并据此进行架构设计；3.有过数据资产目录建设和维护的经验；4.熟悉大数据离线和实时开发使用的组件，Hive、Spark、Flink等，熟悉分布式计算和存储的相关原理及高可用机制原理，并可独立排查故障问题；5.熟练使用Dataworks，DolphiScheduler，kettle或其它数据开发工具中的一种；6.熟悉SQL的执行原理，具备优化复杂SQL的能力；7.掌握shell，python，java等编程语言中的一种；8.具有很好的沟通表达能力，勤奋好学，具有很好的团队合作意识。 职位信息 部门： 集团IT部 招聘数量： 1 投递...
