Agent 评测工程师 北京 社招 全职 职位 ID：A188605 职位描述 1. 搭建Agent端到端评测体系，覆盖单轮问答质量、多轮对话一致性、工具调用准确率、任务完成率等维度。2. 构建和维护评测数据集（Golden Dataset），包括标准问答对、多步推理用例、边界Case、对抗样本等。3. 开发自动化评测Pipeline，集成到CI/CD流程，实现Agent版本发布前的自动回归测试。4. 设计Agent安全性评测方案，包括Prompt注入防御、信息泄露检测、权限越界测试。5. 对标Manus、Genspark等产品的Agent能力，定期进行竞品Benchmark对比评测。6. 输出评测报告，驱动算法和工程团队持续优化。 职位要求 1.本科及以上学历，2年以上AI/NLP评测或QA工程经验。2.熟悉Agent评测框架：RAGAS、DeepEval、TruLens、AgentBench、PromptFoo中至少两种。3.有评测数据集构建经验，熟悉数据标注流程与质量控制方法。4.熟悉LangSmith、LangFuse等LLM可观测性工具，能追踪Agent全链路执行日志。5.了解主流Agent Benchmark（SWE-Bench、WebArena、GAIA、ToolBench等）。6.精通Python，有自动化测试框架开发经验。7.了解红队测试（Red Teaming）、对抗性评测方法者加分。8.有Manus、Genspark、Perplexity等AI Agent产品深度使用与评测经验者优先。 投递...
AI产品实习生 北京 实习 数字技术 职位 ID：A238038 职位描述 一、AI Agent 产品功能设计与产品经理协作，完成产品方案设计、评审和交付跟进，包括但不限于:1.分析LLM调用链路，定位系统瓶颈，输出延迟优化方案并跟进研发落地2.设计新用户引导流程，降低AI对话式产品的使用门槛3.设计用户反馈机制，建立反馈闭环4.设计并推进AI驱动的内容简报功能:5.设计数据埋点方案，搭建产品核心指标看板6.参与面向工程师的排查/诊断类工具的产品设计二、数据运营与用户洞察1.通过可观测性平台(如Langfuse)分析用户行为数据，定位流失原因和体验瓶颈2.维护运营记录，跟踪用户反馈，推动问题修复和体验优化3.产出周/月度产品健康报告(DAU趋势、延迟分布、功能使用率等)三、AI大模型及应用进展跟踪1.持续跟踪国内外AI大模型的技术进展(LLM推理优化、Agent架构演进、多模态能力突破等)2.调研行业中AI驱动研发提效的产品和实践(AI辅助代码生成、自动化测试、智能运维等)3.定期输出 AI技术简报，为团队技术选型和产品方向提供参考四、内部研发流程痛点调研与提效方案1.深入调研研发团队日常工作流，发现重复性高、效率低下的环节2.结合AI大模型能力，提出具体的技术解决方案或产品化思路3.输出可行性分析报告，推动从人工操作到AI自动化的流程改造我们希望你 职位要求 基本要求:1.本科及以上学历在读，计算机、人工智能、数据科学或相关专业优先2.每周至少4天，实习期3个月以上(6个月优先)3.对AI大模型(LLM/Agent/RAG)有基础认知，了解Prompt Engineering、Agent 架构等基本概念加分项:有产品经理实习经验，参与过完整产品迭代了解智能辅助驾驶行业或相关技术工作方式:工作中会深度使用AI工具来提升效率，希望你愿意拥抱AI原生工作流 投递...
算法实习生 北京 校招 实习 算法类 职位描述 1. 辅助完成大语言模型（LLM）及 AI Agent 在汽车研发、生产制造、供应链等核心业务场景的技术预研与项目落地；2. 参与构建基于 Agent 的业务流自动化方案（如研发标准文档的智能解析与知识库问答、生产异常的智能排查辅助、供应链决策等），优化 Agent 的 Tool-calling 能力、工作流编排（Orchestration）与意图识别逻辑；3. 参与大模型应用评测体系的搭建，针对具体汽车业务场景（如汽车工程规范、安全报告解析）构建评估集，进行准确率、召回率等核心指标的计算与跟踪，持续迭代并优化大模型应用效果。 职位要求 1. 计算机科学、人工智能、数据科学、软件工程、数学、汽车工程等相关专业，硕士及以上学历；2. 熟练掌握 Python 编程语言，具备扎实的数据结构与算法基础，能够编写高质量的工程代码；3. 深入理解大语言模型基础理论，熟练掌握 Prompt Engineering，熟悉 Few-shot、CoT（思维链）等常见模型效果优化方法；4. 熟悉至少一种主流的 LLM/Agent 开发框架或编排工具（如 LangChain、LlamaIndex、AutoGen 等），了解 RAG（检索增强生成）技术链路、向量数据库及复杂 Agent