高级安全技术开发工程师（大数据） 深圳 全职 研发 职位描述 1. SOC大数据后端架构设计与开发： - 主导自研SOC系统的架构：设计分布式数据管道（事件摄入、存储、查询）、分析引擎（规则匹配、关联分析），实现实时/异步威胁检测与自动化响应。 - 构建数据湖/仓库：开发高性能数据处理服务，支持日志聚合（多源格式如JSON/Syslog）、ETL管道，确保数据一致性与低延迟索引。 - 集成业界安全能力：开发适配层，将EDR（端点事件流、原始日志）、DLP（敏感数据事件）、遥测工具（eBPF/Osquery）接入SOC，支持零信任底座的数据馈送（如访问策略日志）。 2. 大数据处理与安全分析集成： - 处理海量安全数据：优化实时/批处理管道（Kafka流处理、Flink/Spark计算），支持TB级日志分析（如全球分支EDR事件、产线RFID访问遥测、物理门禁日志）。 - 开发威胁狩猎与响应模块：基于图数据库（Neo4j）实现关联分析（如杀伤链追踪）、异常检测引擎；集成DLP规则引擎。 3. SOC系统快速迭代与优化： - 独立响应安全运营需求：从需求到部署的全栈开发（如新警报规则引擎、仪表盘API），目标快速交付，支持敏捷SOC演进。 - 构建可扩展数据框架：开发统一API（gRPC/REST）与插件系统，便于未来集成新数据源（如CTI威胁情报、UEBA用户行为）；确保架构弹性（K8s容器化、水平扩展）。 - 系统性能运维：监控数据吞吐（ELK栈集成）、成本优化（数据压缩/分区），保障99.99%+可用性；处理全球数据合规（如数据驻留、匿名化）。 4. AI辅助大数据开发与智能提升： - 能够充分利用AI工具加速开发。 - 探索AI在SOC中的应用：集成机器学习引擎（如TensorFlow/Go bindings）实现智能告警（异常基线学习）、自动化响应（AI驱动隔离决策）、自然语言查询（LLM解析日志），提升威胁响应效率。 5. 跨团队协作与文档维护：