数据湖开发工程师 深圳 社招 全职 职位描述 1、负责企业级数据湖平台的设计、开发与运维,支撑海量数据存储与分析。2、基于 Iceberg/Lance 构建湖仓一体架构,提升数据管理能力。3、设计并实现数据全生命周期的加密方案(静态加密、传输加密、字段级加密),落地脱敏、分级分类、权限管控等安全机制,确保合规(GDPR / 等保 / 个保法)。4、参与数据治理体系建设,包括不限于数据质量、数据血缘、数据生命周期等能力建设。5、优化数据存储、计算性能及资源成本,保障平台稳定运行。6、推动数据湖与 AI、数据分析等业务场景结合落地。 职位要求 1、本科及以上学历,计算机/软件/数据相关专业,3年以上大数据/数据平台研发经验。2、熟练掌握 Java/Scala/Python 中至少一种开发语言。3、熟悉 Spark、Flink 等分布式计算框架及其运行原理。4、熟悉 Iceberg、Hudi等数据湖技术中的至少一种,有生产实践经验。5、熟悉 Kafka 等消息中间件及实时数据处理架构。6、熟悉分布式存储、对象存储及数据湖存储架构。7、熟悉 Docker、Kubernetes 等云原生技术优先。8、有完整的数据治理实践经验,熟悉 Atlas / DataHub / Amundsen 等元数据与血缘工具,了解 DAMA、DCMM 等方法论。9、熟悉数据加密与安全:对称/非对称加密、KMS、TDE、字段级加密、Tokenization、动态脱敏;了解 Ranger / Sentry 等权限框架。10、熟悉向量检索相关技术:主流向量数据库( Milvus
AI应用系统架构师 深圳 全职 互联网 / 电子 / 网游 职位描述 1. 系统架构设计负责科技情报知识服务平台整体技术架构设计,包括智慧服务门户、科技信息展示、新型高端智库、科技专题服务、数据社区支撑等核心系统的架构规划与设计;2. 技术选型与规范主导技术栈选型决策,制定开发规范、接口规范、数据规范,确保多团队协作的技术一致性;3. AI能力集成设计大语言模型(如GLM)服务化架构,规划学者分析、智能推荐、自动摘要、多模态解析等AI能力的接入方案;4. 数据架构设计负责论文、专利、人才、政策等海量科技数据的存储架构设计,包括数据建模、分库分表策略、搜索引擎集成等;5. 架构评审与优化对各子系统技术方案进行评审,识别技术风险,持续优化系统性能、安全性与可扩展性;6. 技术文档输出编写概要设计、详细设计中的架构部分,输出系统架构图、部署架构图、数据流图等核心文档;7. 团队协作与产品、前端、后端、算法、运维团队紧密协作,推动技术方案落地实施。 职位要求 必备条件1. 本科及以上学历,计算机、软件工程或相关专业,3年以上开发经验,2年以上架构设计经验,有扎实的计算机基础知识(如数据结构、算法、系统设计)2. 精通分布式系统架构设计,熟悉微服务架构、消息队列(Kafka/RabbitMQ)、缓存(Redis)、搜索引擎(Elasticsearch)等技术;3. 熟练掌握Python/Go/Java语言中至少一种,具备优秀的代码编写能力和工程实现的经验;4. 熟悉至少一种主流云平台(阿里云/腾讯云/华为云),具备云原生架构设计能力;5. 具备大数据平台或知识图谱相关项目架构经验,熟悉数据建模和ETL流程;6. 具备良好的文档撰写能力,能输出清晰的架构设计文档;7. 具备优秀的沟通协调能力,能够推动跨团队技术方案落地。优先条件1. 有大语言模型(LLM)应用架构或AI中台建设经验者优先;2. 有政府/央企/科研机构项目交付经验者优先。 投递...