1 – 1 of 1 jobs
数据湖开发工程师 深圳 社招 全职 职位描述 1、负责企业级数据湖平台的设计、开发与运维，支撑海量数据存储与分析。2、基于 Iceberg/Lance 构建湖仓一体架构，提升数据管理能力。3、设计并实现数据全生命周期的加密方案（静态加密、传输加密、字段级加密），落地脱敏、分级分类、权限管控等安全机制，确保合规（GDPR / 等保 / 个保法）。4、参与数据治理体系建设，包括不限于数据质量、数据血缘、数据生命周期等能力建设。5、优化数据存储、计算性能及资源成本，保障平台稳定运行。6、推动数据湖与 AI、数据分析等业务场景结合落地。 职位要求 1、本科及以上学历，计算机/软件/数据相关专业，3年以上大数据/数据平台研发经验。2、熟练掌握 Java/Scala/Python 中至少一种开发语言。3、熟悉 Spark、Flink 等分布式计算框架及其运行原理。4、熟悉 Iceberg、Hudi等数据湖技术中的至少一种，有生产实践经验。5、熟悉 Kafka 等消息中间件及实时数据处理架构。6、熟悉分布式存储、对象存储及数据湖存储架构。7、熟悉 Docker、Kubernetes 等云原生技术优先。8、有完整的数据治理实践经验，熟悉 Atlas / DataHub / Amundsen 等元数据与血缘工具，了解 DAMA、DCMM 等方法论。9、熟悉数据加密与安全：对称/非对称加密、KMS、TDE、字段级加密、Tokenization、动态脱敏；了解 Ranger / Sentry 等权限框架。10、熟悉向量检索相关技术：主流向量数据库（ Milvus