资深数据工程师 上海 社招 全职 数字技术 - 数字架构 硕士及以上 5-7 年 职位描述 1、核心职能:主要负责能源产品&经营的数据链路搭建、数据治理及运维、数据自动化,支持产品运营可靠性、用户行为分析、电费降本经营等;2、注能源产品数据架构基础建设,专注电费经营、后市场产品运营,结合AI技术,聚焦基础数据架构和数据关系模型; - 核心工作:数据链路搭建、数据治理&运维、数据自动化 - 输出:数据架构方案、数仓设计、数据体系治理规划、业务优化洞察&建议书 - 能力重心: - 专业基础能力 - 掌握描述统计、假设检验、相关性、回归分析、抽样、置信区间等基础统计知识; - 理解漏斗分析、留存分析、用户分层、RFM、归因分析、A/B 实验原理与落地; - 理解数据分层、维度建模、星型/雪花模型; - 业务理解 - 快速吃透行业 / 公司业务流程、商业模式、核心链路(用户、营收、运营等),听懂业务术语; - 独立梳理核心指标、衍生指标、口径定义,统一跨部门指标标准; -
AI数据平台工程师 深圳 全职 互联网 / 电子 / 网游 职位描述 1、负责用户context信息采集体系的搭建、优化与落地,设计多源数据采集方案(涵盖用户行为、设备信息、交互轨迹等),对接前后端业务模块,制定采集标准,保障采集数据的完整性、准确性和实时性。2、主导数据平台全流程搭建与运维,负责音频、视频等全天候数据的接收、解析、转码、存储及流转管理,搭建高可用、高可靠的数据链路,处理海量音视频及3、结构化数据,保障平台7×24小时稳定运行,支撑业务正常运转及数据供给。优化数据处理管道,针对音视频数据体积大、处理效率低等特性,制定优化方案,提升数据处理时效与存储利用率,输出标准化、高质量的数据,为大模型训练提供合规、可用的训练语料(音视频、用户行为相关数据等)。4、负责数据平台监控体系搭建与维护,配置关键指标(数据采集量、处理延迟、存储占用、链路稳定性)监控告警,快速响应并排查数据丢失、传输异常、系统卡顿等故障,保障数据供给不中断。5、协同业务团队、算法团队,梳理业务数据需求及大模型训练数据需求,优化数据筛选、脱敏、标注流程,输出贴合需求的数据解决方案,支撑业务决策与大模型迭代训练。6、负责数据平台架构迭代优化,引入合适的技术框架,提升平台扩展性、可维护性,适配业务增长及大模型训练的数据量级提升需求,保障数据安全合规。 职位要求 1、学历要求:本科及以上学历,计算机、大数据、软件工程等相关专业,1-3年及以上数据平台相关工作经验。2、技术能力:精通Flume、Logstash、Kafka等数据采集工具,熟练掌握Hadoop、Spark、Flink等大数据框架,具备音视频数据处理、用户context信息采集相关经验。3、运维能力:熟悉Docker、K8s容器化部署,具备全天候数据平台运维、性能优化及故障排查能力,能快速响应线上问题,保障平台高可用。4、存储与安全:熟悉HDFS、HBase、MySQL、MongoDB等存储方案,掌握数据脱敏、备份与恢复方法,了解数据安全合规相关要求,能保障数据安全。语言与工具:熟练使用Java、Python、Scala其中一种及以上编程语言,掌握Shell脚本编写,熟悉Prometheus、Grafana等监控工具者优先。5、业务理解:具备良好的业务敏感度,能快速理解数据平台对业务支撑、大模型训练的核心价值,具备较强的跨团队沟通协作能力和问题解决能力。6、加分项:有大模型训练数据供给、音视频全天候数据平台搭建相关经验者优先;熟悉数据分层设计、数据治理相关工作者优先。 投递...