搜索与数据工程实习生(AI大模型方向) 北京 社招 实习 职位描述 1、参与互联网公开数据的采集、清洗、解析和结构化处理,建设高质量知识库与训练数据集;2、负责网页、文档、PDF等多种数据源的数据抓取与解析,持续提升数据覆盖率与更新时效;3、参与分布式爬虫系统建设,优化采集链路的稳定性、扩展性和运行效率;4、参与网站反爬机制分析与采集策略优化,包括动态页面解析、请求特征分析、访问频率控制等;5、参与代理池、任务调度、异常监控等基础能力建设,提升大规模数据采集成功率;6、参与搜索检索系统建设,包括索引构建、检索优化、数据更新等工作;7、参与大模型RAG(检索增强生成)系统的数据建设与效果优化;8、协助开展搜索质量评估、数据标注和效果分析工作,持续提升知识检索质量。 职位要求 1、本科及以上学历在读,计算机、软件工程、人工智能等相关专业;2、熟练掌握 Python,具备良好的编码能力和工程实践能力;3、熟悉 HTTP/HTTPS、Cookie、Session、Ajax、REST API 等网络基础知识;4、熟悉 HTML、XPath、CSS Selector、正则表达式等网页解析技术;5、熟悉 Linux 环境和常用开发工具;6、了解搜索引擎、知识库、大模型应用等相关技术;7、具备较强的问题分析能力和自主学习能力。加分项熟悉 Scrapy、Playwright、Selenium、BeautifulSoup 等采集框架;有反爬对抗、动态网页采集、分布式爬虫等项目经验;熟悉 Elasticsearch、OpenSearch 等搜索引擎;了解向量检索、Embedding、Milvus、Faiss等技术;熟悉 Redis、Kafka、MySQL、MongoDB 等中间件或数据库;有开源项目贡献、技术博客或竞赛经历。技术关键词Python|Scrapy|Playwright|Selenium|分布式爬虫|反爬对抗|代理池|Elasticsearch|RAG|知识库|向量检索|Redis|Kafka你将获得参与大模型核心知识库与搜索系统建设;接触海量互联网数据采集与搜索技术实践;学习RAG、知识库、向量检索等前沿AI技术;与搜索、数据、算法团队深度协作,了解大模型产品研发全流程。 投递...
数据采集工程师 北京 全职 金融 职位描述 1. 负责核心业务网络数据采集体系的架构设计、迭代优化与落地实施,支撑数据量的稳定采集需求。2. 攻克复杂网页与接口的访问限制、数据加密、动态渲染等技术难题,保障公开数据获取的持续性与成功率。3. 负责采集系统的性能调优,解决采集延迟、资源占用过高、数据重复/丢失等问题,提升采集效率与数据质量。4. 调研前沿网络数据获取、接口解析与合规采集技术、对抗技术,输出技术方案与最佳实践。 职位要求 1. 本科及以上学历,计算机、软件工程、通信工程、数学等相关专业,5年及以上专业数据获取开发与实战经验,有大型分布式数据获取系统搭建经验者优先。2. 精通Python/Go/Java至少一门主流开发语言,熟练使用Scrapy、BeautifulSoup、Playwright、Selenium、PySpider等主流爬虫框架与工具,具备自研数据获取框架或二次开发能力者优先。3. 精通HTTP/HTTPS协议、TCP/IP协议、Web前端技术(HTML/CSS/JS),熟练掌握抓包分析工具(Charles、Fiddler、Wireshark),具备深度逆向分析接口加密、JS混淆代码的能力。4. 具备丰富的对抗实战经验,能独立解决各类复杂数据获取场景,熟悉验证码平台、代理池搭建与优化、Cookie池管理、设备指纹等技术方案。5. 严格恪守数据合规与网络安全准则,无恶意数据采集、数据泄露等行为。 投递...
与邓白氏一起塑造未来 在邓白氏,我们相信数据能够创造更美好的未来。作为全球最具影响力的商业信息服务机构之一,我们帮助全球企业实现增长、管理风险并推动创新。180 多年来,企业一直信任我们能将不确定性转化为机遇。我们是一支多元化的全球团队,致力于推动创新与协作,勇于探索前沿理念。你准备好发挥影响力、共同塑造未来了吗?加入我们吧!请访问 dnb.com/careers 探索更多机会。 PURPOSE OF THE JOB (required for supervisory/managerial job): Summarize why this job exists and the contribution it makes to the overall business of the company ‘Compliance Risk Management Solutions’ is core
与邓白氏一起塑造未来 在邓白氏,我们相信数据能够创造更美好的未来。作为全球最具影响力的商业信息服务机构之一,我们帮助全球企业实现增长、管理风险并推动创新。180 多年来,企业一直信任我们能将不确定性转化为机遇。我们是一支多元化的全球团队,致力于推动创新与协作,勇于探索前沿理念。你准备好发挥影响力、共同塑造未来了吗?加入我们吧!请访问 dnb.com/careers 探索更多机会。 【职位描述】 PURPOSE OF THE JOB(required for supervisory/managerial job): Summarize why this job exists and the contribution it makes to the overall business of the company 负责香港及海外主体商业信息报告的制作、分析与交付,通过公开信息检索、数据核实、多渠道信息整合及风险分析,按时、高质量完成各类标准化及定制化商业信息报告,支持客户在信用管理、供货商管理及风险管理等方面的决策需求。 PRINCIPAL ACCOUNTABILITIES: Describe the major
与邓白氏一起塑造未来 在邓白氏,我们相信数据能够创造更美好的未来。作为全球最具影响力的商业信息服务机构之一,我们帮助全球企业实现增长、管理风险并推动创新。180 多年来,企业一直信任我们能将不确定性转化为机遇。我们是一支多元化的全球团队,致力于推动创新与协作,勇于探索前沿理念。你准备好发挥影响力、共同塑造未来了吗?加入我们吧!请访问 dnb.com/careers 探索更多机会。 【职位描述】 PURPOSE OF THE JOB(required for supervisory/managerial job): Summarize why this job exists and the contribution it makes to the overall business of the company 负责香港及海外主体商业信息报告的制作、分析与交付,通过公开信息检索、数据核实、多渠道信息整合及风险分析,按时、高质量完成各类标准化及定制化商业信息报告,支持客户在信用管理、供货商管理及风险管理等方面的决策需求。 PRINCIPAL ACCOUNTABILITIES: Describe the major
与邓白氏一起塑造未来 在邓白氏,我们相信数据能够创造更美好的未来。作为全球最具影响力的商业信息服务机构之一,我们帮助全球企业实现增长、管理风险并推动创新。180 多年来,企业一直信任我们能将不确定性转化为机遇。我们是一支多元化的全球团队,致力于推动创新与协作,勇于探索前沿理念。你准备好发挥影响力、共同塑造未来了吗?加入我们吧!请访问 dnb.com/careers 探索更多机会。 【职位描述】 PURPOSE OF THE JOB(required for supervisory/managerial job): Summarize why this job exists and the contribution it makes to the overall business of the company 负责香港及海外主体商业信息报告的制作、分析与交付,通过公开信息检索、数据核实、多渠道信息整合及风险分析,按时、高质量完成各类标准化及定制化商业信息报告,支持客户在信用管理、供货商管理及风险管理等方面的决策需求。 PRINCIPAL ACCOUNTABILITIES: Describe the major