IT之家 4 月 2 日消息，IT之家从国家知识产权局中国专利公布公告网获悉，DeepSeek 关联公司杭州深度求索人工智能基础技术研究有限公司申请的“一种广度数据采集的方法及其系统”专利于 4 月 1 日公布。
专利摘要显示：
该发明的有益效果在于：发现尽可能多的网页链接，并减少对网站的流量冲击；对已经下载的内容进行分析，对未下载的链接进行质量推断，通过择优下载分配额度的方式，减少低质量网页下载和重复下载，提高数据质量及下载效率，减少在数据采集过程中网络资源的消耗；采用单独的信息回灌队列，保证网页元信息库修改操作的原子性和稳定性。
背景技术称：近年来，随着人工智能技术的进展，NLP 自然语言领域取得了巨大的进步。许多大语言模型 (Large Language Models,LLMs) 被训练应用于自然语言处理领域，用于研究实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
大语言模型的训练需要构建一个高质量、多样化的大语言模型数据集，这需要将网页数据采集并处理后得到大量高质量的文本信息作为模型的输入，用于大语言模型进行训练。
然而，现有的数据采集技术存在诸多问题，比如对复杂站点进行采集时，无法获取完整链接；容易过量下载，造成对方网站崩溃；对下载页面不进行内容质量分析和推断，造成重复下载或低质下载、影响数据采集的效率。
因此，在大量网页数据获取的过程中，如何快速、精准、安全、高效地采集互联网数据变得至关重要。
相关文章：
上海交大师生表示：持续聚焦科技创新策源，把论文写在祖国大地上04-29
加码“AI+编程教育” 商汤科技与编程猫达成战略合作04-29
数字中国峰会 | 度小满CTO张文斌：Agent正在重塑客户体验与金融风险决策模式04-29
成都首批4个人工智能特色产业园亮相04-29
王毅：坚持金砖团结合作，改革完善全球治理04-29
亮点抢先看！深圳科技文化新地标来了，5月1日正式开馆04-28