大数据开发工程师 深圳、长沙 社招 全职 互联网 / 电子 / 网游 职位描述 1.承担数据应用的开发和治理等工作,负责数据需求整体解决方案的设计,包括数据采集、数据集成、数据建模、资产发布等;2.研究相关大数据前沿技术,结合业务需求,进行大数据平台组件的架构、优化,推动技术沉淀;负责对外技术沟通,提升数据研发能力;3.制定大数据技术规范,发布白皮书,负责建立团队内部以及团队之间的技术分享、协作和评审的流程和机制;4.负责大数据能力在业务上的落地。 职位要求 1.统招本科以上学历,3年以上大数据经验;2.熟悉大规模数据处理、分布式存储计算、数据建模,了解大数据前沿技术;具备2个以上大数据平台项目完整实践经验;深入理解常用的数据建模理论,有数据仓库模型建设经验优先;3.精通Sql、Hadoop、Hive、Spark、Flink、Kafka、Impala、Yarn、Zookeeper、OLAP技术等,熟悉Linux系统、Java或scala语言、Shell、 Python;4.有电商领域的大数据项目经验优先,有数据中台、技术中台建设等技术背景者优先,有Databricks和 aws技术栈的使用经验优先;5.有很强的学习、分析和解决问题能力、良好的团队意识和协作精神,有较强的内外沟通能力;6.喜欢和业务打交道,喜欢站在业务视角上去看技术问题,理解技术是为业务服务的;7.客户服务意识强,积极乐观坚韧,有较强的抗压能力。 投递...
数据研发工程师 成都 全职 研发 - 大数据 职位描述 1、负责掌阅集团企业级数据建设(涵盖流量、内容、用户、商业化等业务方向),提供通用、稳定、丰富、高效的公共数据能力,提升数据支持业务的效率,探索数据增量价值;2、面向流量、内容、用户、商业化等业务方向,建设专题数据,提供丰富易用的数据服务,直接支持公司业务决策分析,赋能业务;3、建设企业级数据治理和管理体系,结合业务+元数据+技术,推进资源成本的优化,提高数据服务质量,保障数据产出的稳定性和准确性;4、参与公司级别商业化相关系统数据设计、研发以及保障。 职位要求 1、精通分布式文件系统hdfs常用命令以及底层原理。2、精通yarn,datax,sqoop,hbase 等hadoop生态常用工具3、精通数仓常用计算引擎,hive/spark/kylin/impala/starrocks 至少两种以上。4、精通常用数据库3种以上。mysql/redis/hbase/es5、对数仓之上的衍生产品(例:投放,BI,DMP,数据分析平台,监控平台,调度平台等)有丰富经验,有过大厂经验最好,。6、熟悉linux常用命令,熟悉至少一种脚本语言。shell/python7、熟悉Kafka、Flink、Scala、Java技术栈, 熟练运用流计算窗口、状态、算子、并发、调优技术8、对自己使用过的组件看过源码者优先考虑。强加分项:1.有明确的广告投放系统经验,对广告投放术语、指标例如 cpm/cpc/cps/wau/uv/pv/ltv/apru/roi等等有相对深刻得了理解,并参与实践2.对计算广告服务基本流程架构(dsp/adx/dmp/ssp等等)、核心概念例如RTA/RTB等等有相对深刻的了解甚至实际参与研发3.对于用户画像-用户标签-用户分群的数据体系建设有实践经验 投递...
Job Description: 工作职责 1. Doris 集群全生命周期管理 - 负责 Apache Doris 集群的部署架构设计、高可用配置(3FE/3BE+)、日常运维与监控体系建设 - 主导大版本升级(如 2.1→3.0 存算分离)、灰度发布、回滚预案设计与演练 - 7×24 小时稳定性保障,快速响应并解决 FE/BE 故障、Tablet 异常、Compaction 积压、OOM 等问题 - 建立完善的巡检、告警(Prometheus/Grafana)、故障复盘与 SOP 沉淀机制 2. 性能调优与治理 - 基于业务场景进行 Doris 表模型选型(Duplicate/Unique Key/Aggregate)、分区策略、分桶设计与 Sort Key