大数据开发工程师实习生南京实习互联网 / 电子 / 网游职位描述1. 参与大数据平台的开发与维护，协助构建高可靠、高性能的数据处理系统；2. 协助开发和优化分布式计算任务（如Hadoop/Spark/Flink作业），提升数据处理效率；3. 参与ETL流程设计与实现，支持数据清洗、转换和加载；4. 协助数据仓库与数据建模工作，维护数据表结构和元数据管理；5. 学习并跟踪大数据领域新技术（如实时计算、湖仓一体等）。职位要求1. 学历专业：计算机、软件工程等计算机相关专业本科及以上在校生；2. 技术要求： - 了解至少一种大数据框架（Hadoop/Spark/Flink/Hive/Apache Hudi等）； - 熟悉SQL，有NoSQL数据库（如HBase/MongoDB）使用经验者优先； - 掌握Java/Scala中的至少一门编程语言； - 掌握Superset等数据分析工具，了解方法； - 对Linux基础命令和Shell脚本有一定了解；3. 加分项： - 接触过数据仓库（如Hive/Apache Hudi）、消息队列（Kafka）或实时计算技术； - 参与过数据处理或分析相关项目（如竞赛、科研、开源项目）；4. 个人素质：逻辑清晰，学习能力强，具备团队协作精神，对大数据技术有热情。实习收获：- 深入实战学习业界主流大数据技术栈；- 接触真实业务场景下的海量数据处理挑战；- 获得资深工程师一对一指导及转正机会。投递...
Job Summary: As a Data Engineer in the AMC Tech team, you will be responsible for designing, building, and maintaining the data infrastructure that supports our data platform, with a strong focus on fund management business
蔚来AGI超星计划-Agentic Semantic Search推荐投递圣何塞、上海、北京校招实习数字技术硕士及以上蔚来AGI超星计划职位 ID：A34979职位描述课题介绍About the positionJoin our AI Platform team to build intelligent agents that unlock the full value of our companys internal knowledge and data. You will work at the intersection of large language models,
Some careers have more impact than others. If you’re looking for a career where you can make a real impression, join HSBC and discover how valued you’ll be. We are currently seeking an experienced professional to
Some careers have more impact than others. If you’re looking for a career where you can make a real impression, join HSBC and discover how valued you’ll be. We are currently seeking an experienced professional to
Some careers have more impact than others. If you’re looking for a career where you can make a real impression, join HSBC and discover how valued you’ll be. We are currently seeking an experienced professional to
大数据平台工程师 广州 全职 通用智能板块 职位描述 湖仓一体与向量数据融合架构建设：基于 Flink + Apache Paimon 构建统一的流批一体湖仓平台，支持结构化信号数据与高维向量（如感知 embedding、场景特征）的统一存储与管理；探索 Paimon + Lance 存储向量列，实现列式高效压缩与快速 I/O；数据指标体系与实时能力建设：构建高时效、高一致性的核心数据指标体系（如功能状态、生产状态、场景分类等），通过 Flink State/Checkpoint/Watermark 机制保障端到端 Exactly-Once 语义，支撑算法训练与数据闭环；数据治理与标准化：制定并落地湖仓环境下的元数据管理、数据血缘、质量监控、分级分类与 SLA 保障体系，推动数据标准（命名规范、Schema 演进、分区策略等）在湖表层统一实施，涵盖向量字段的 Schema 定义、版本管理与生命周期策略；全链路数据研发支撑：主导从车端日志、车联网原始数据、感知 embedding 到湖仓与向量引擎的端到端链路开发，包括实时采集（Kafka/Pulsar）、流式清洗（Flink）、湖表写入（Paimon）、向量同步（Lance → Milvus）、离线加速（Z-Order/Compaction）、服务化（Trino/Doris/Milvus SDK）及可视化等；平台化与效能提升：参与湖仓与向量检索平台的自动化部署、监控告警、资源隔离与性能调优，提升数据开发效率与系统稳定性。 职位要求 计算机、软件工程或相关专业本科及以上学历，扎实的编程能力，熟练掌握 Java/Scala/Python 中至少一种，能编写高性能、可维护的分布式数据处理代码；深入理解 Flink 核心机制（Checkpoint、State Backend、Watermark、Exactly-Once、SQL Planner、JobManager/TaskManager 架构），有
分布式计算与存储软件工程师 广州 全职 通用智能板块 职位描述 职位描述1. 负责小鹏汽车“扶摇”AI平台数据处理相关的软件开发工作，包括数据加载工具（XDataLoader）和数据集管理平台（XDataset），提供统一的数据加载、转换、缓存与预取能力；目标解决大规模数据加载过程中出现的性能瓶颈、数据一致性、系统稳定性等问题，服务AI大模型的训练和推理；2. 开发并维护高性能 DataLoader SDK，支持自定义采样、并行读取、缓存预取与数据增强等功能，优化多线程/进程流水线，降低I/O与预处理延迟，简化算法团队接入并提升加载效率；3. 搭建通用Dataset管理系统，实现多源异构数据（图片、视频、点云、传感器等）的统一接入、解析与格式化；4. 协同算法团队及其他技术团队，深入理解业务需求，快速响应并落地实现。 职位要求 1. 计算机 / 软件工程硕士或同等经验，3年及以上大规模数据处理经验；有大规模模型训练与推理场景支持经验者优先；2. 精通 Python，具备扎实软件工程基础，良好编程规范和代码质量意识；3. 有以下至少一项实际项目经验；两项及以上者优先： a. 大规模数据加载机制（如 PyTorch DataLoader、NVIDIA DALI、TensorFlow Dataset、Hugging Face Datasets） b. Parquet/ORC 等列式存储格式及相关生态（如Petastorm)，能设计高效的分区、压缩与向量化读取流程，优化批量数据访问性能。 c. Linux文件系统与网络I/O，能针对NFS、对象存储等场景进行性能调优；有云存储系统（如阿里云OSS、CPFS、火山引擎vePFS）相关经验。4. 具备关系型数据库（MySQL/PostgreSQL）与NoSQL（Redis/MongoDB等）相关经验，了解元数据与缓存管理；5. 具备大规模分布式数据处理、性能优化与问题排查经验，能定位并高效解决复杂的性能问题；熟悉Apache Ray、Kubeflow/Airflow、Prometheus等开源项目者优先；6. 具有良好的跨团队沟通能力和协作精神，责任心强，善于主动推进问题解决。加分项1.
大数据集成开发 上海 互联网 / 电子 / 网游 技术岗位 职位描述 1.平台与引擎研发： 深度参与全域数据集成平台及底层核心引擎的设计、开发与迭代，利用AI技术优化组件性能与稳定性，构建智能化、高可用的数据中台基座。2.AI重塑工作流： 将AI深度融入日常研发全流程，在需求分析（如通过AI解析用户故事）、方案设计（AI生成与评审架构图）、代码开发（使用AI Copilot进行应用开发与单元测试）、故障排查（AI辅助日志分析与根因定位）以及文档生成等环节，形成稳定、可复用的“人机协作”研发工作流，显著提升交付效率与质量。3.智能化需求支持： 参与用户需求调研与技术支持，探索并落地利用AI Agent或大模型来自动化处理常见数据集成问题，提升技术支持响应速度和用户满意度。4.技术探索与创新： 追求极致，持续跟踪AI在数据工程领域（如Text-to-SQL数据集成、智能数据质量检测）的前沿技术，并推动其在产品中落地，构建业内领先的智能数据中台产品。 职位要求 1.编程语言： 精通Java/Scala语言，深刻理解JVM、类装载、线程、并发、IO资源管理及网络编程等核心原理。2.大数据引擎： 深入理解Flink/Spark/Doris等主流大数据计算与存储引擎，有丰富的性能调优实战经验。3.分布式系统能力： 熟悉分布式系统设计、缓存、消息队列等机制，具备出色的系统故障排查与性能优化能力。4.AI研发实践： 必须具备将AI工具（如GitHub Copilot, Cursor, 通义灵码等）系统化融入项目开发的实战经验，能清晰阐述其如何融入个人或团队的工作流并实现稳定产出。 了解Prompt Engineering、RAG等大模型应用技术者优先。5.行业视野： 了解行业主流数据集成产品，如Apache SeaTunnel、Flink CDC、Apache InLong等的设计理念与实现。 投递...